Web de actualidad independiente
La ejecución de inferencia de modelo de lenguaje grande (LLM) a escala generalmente obliga a una compensación de caché KV: o paga por instancias de GPU de gran tamaño para…
Los modelos de peso abierto se han vuelto lo suficientemente potentes como para manejar tareas complejas, como flujos de trabajo agentes de varios pasos, razonamiento avanzado y codificación a largo…
Cuando el prellenado y la decodificación comparten una GPU, los mensajes largos detiene la generación de tokens para cada solicitud simultánea. El prellenado y decodificación desagregados (DPD) elimina esta interferencia…
A medida que las empresas escalan sus cargas de trabajo de IA generativa, la demanda de una infraestructura de inferencia más rápida, más observable y más flexible continúa creciendo. Amazon…
Cuando crea agentes empresariales que ejecutan flujos de trabajo de varios pasos, enfrenta un desafío de capacitación fundamental. Estos agentes consultan bases de datos, llaman a API, hacen referencias cruzadas…
La implementación y ampliación de modelos básicos para la inferencia generativa de IA presenta desafíos para las organizaciones. Los equipos a menudo luchan con una configuración de infraestructura compleja, patrones…
Esta publicación está coescrita con Altay Sansal y Alejandro Valenciano de TGS. TGS, un proveedor de datos de geociencias para el sector energético, respalda los flujos de trabajo de exploración…
Esta publicación de blog fue escrita en coautoría con Johannes Maunz, Tobias Bösch Borgards, Aleksander Cisłak y Bartłomiej Gralewicz de Hexagon. Hexagon es el líder mundial en tecnologías de medición…
Entrenar e implementar grandes modelos de IA requiere capacidades informáticas distribuidas avanzadas, pero administrar estos sistemas distribuidos no debería ser complejo para los científicos de datos y los profesionales del…
La infraestructura moderna de IA atiende múltiples cargas de trabajo simultáneas en el mismo clúster, desde el preentrenamiento y el ajuste del modelo básico (FM) hasta la inferencia y evaluación…