Aumente el rendimiento de la inferencia para los LLM con los nuevos contenedores de Amazon SageMaker
Hoy, Amazon SageMaker lanza una nueva versión (0.25.0) de contenedores de aprendizaje profundo (DLC) de inferencia de modelos grandes (LMI) y agrega soporte para Biblioteca TensorRT-LLM de NVIDIA. Con estas…