Los LLM continúan ganando popularidad y también lo hace la cantidad de formas de alojarlos e implementarlos para realizar inferencias. Los desafíos con el alojamiento LLM han sido bien documentados, particularmente debido al tamaño del modelo y a garantizar el uso óptimo del hardware en el que se implementan. Los casos de uso de LLM también varían. Algunos pueden requerir tiempos de respuesta basados en tiempo real, mientras que otros tienen un requisito de latencia más cercano al tiempo real.
Para este último y para más casos de uso de inferencia fuera de línea, Inferencia asincrónica de SageMaker sirve como una gran opción. Con la inferencia asincrónica, como sugiere el nombre, nos centramos en una carga de trabajo basada más en tiempo real donde la latencia no es necesariamente súper estricta, pero aún requiere un punto final activo que se puede invocar y escalar según sea necesario. Específicamente dentro de los LLM, este tipo de cargas de trabajo se están volviendo cada vez más populares en casos de uso como edición/generación de contenido, resumen y más. Todas estas cargas de trabajo no necesitan respuestas de menos de un segundo, pero sí requieren una inferencia oportuna que puedan invocar según sea necesario, en lugar de una naturaleza completamente fuera de línea como la de un Transformación por lotes de SageMaker.
En este ejemplo, veremos cómo podemos usar el Servidor de inferencia de generación de texto HuggingFace junto con SageMaker Asynchronous Endpoints para alojar el Modelo Flan-T-5-XXL.
NOTA: Este artículo supone un conocimiento básico de Python, LLM y Amazon SageMaker. Para comenzar con Amazon SageMaker Inference, haría referencia a lo siguiente guía. Cubriremos los conceptos básicos de la inferencia asincrónica de SageMaker, pero para una introducción más profunda consulte el ejemplo inicial. aquí sobre el que construiremos.
DESCARGO DE RESPONSABILIDAD: Soy arquitecto de aprendizaje automático en AWS y mis opiniones son mías.
- Cuándo utilizar la inferencia asincrónica de SageMaker
- Implementación de inferencia asincrónica de TGI
a. Configuración e implementación de terminales
b. Invocación de inferencia asincrónica
C. Configuración de escala automática - Recursos adicionales y conclusión