Tag: Voxtral

Implemente Voxtral de Mistral AI en Amazon SageMaker AI

Configure su modelo en code/serving.properties: Para implementar Voxtral-Mini, use el siguiente código: option.model_id=mistralai/Voxtral-Mini-3B-2507 option.tensor_parallel_grado=1 Para implementar Voxtral-Small, utilice el siguiente código: option.model_id=mistralai/Voxtral-Small-24B-2507 option.tensor_parallel_grado=4 Abra y ejecute Voxtral-vLLM-BYOC-SageMaker.ipynb para implementar su…