Web de actualidad independiente
Cuando el prellenado y la decodificación comparten una GPU, los mensajes largos detiene la generación de tokens para cada solicitud simultánea. El prellenado y decodificación desagregados (DPD) elimina esta interferencia…
En el artículo anterior, vimos cómo un modelo de lenguaje convierte logits en probabilidades y toma muestras del siguiente token. ¿Pero de dónde vienen estos logits? En este tutorial, adoptamos…
una empresa de gran tamaño, un clúster de Kubernetes para realizar inferencias en tiempo real sobre su producto LLM de cara al cliente. Comenzamos con 64 GPU H100 SXM en…