En Exa, estamos creando uno de los pocos índices web verdaderos al agregar y ofrecer conocimiento de toda la web, junto con fuentes privadas y sintéticas. Optimizamos el índice para búsqueda semántica, conectando a agentes y humanos con datos verdaderos y de alta calidad. Utilizamos modelos de aprendizaje automático (ML) semántico de múltiples torres para incrustar datos web y consultar datos en el mismo espacio vectorial, de modo que los usuarios puedan expresar consultas complejas en lenguaje natural junto con la búsqueda tradicional de palabras clave. La tecnología clave detrás de esto es una base de datos de vectores interna. Debe ingerir la mayor cantidad posible de datos web de alta calidad e incorporarlos todos. Por lo tanto, la economía unitaria de la incorporación es la base de todo lo que hacemos. A una escala de decenas o cientos de miles de millones de documentos, encontrar el hardware que ofrezca el mejor rendimiento por dólar no es un detalle de ajuste. Cualquier mejora en el costo por documento se suma a un número significativo.
Esta publicación detalla cómo optimizamos nuestra infraestructura de integración para cargas de trabajo de inferencia más económicas y flexibles en hardware AWS Neuron (AWS Inferentia2 y AWS Trainium2) y cómo un flujo de trabajo de desarrollo agente impulsó la optimización.
La inferencia se ejecuta en una canalización asincrónica, pero debe ser de gran volumen y rápida para entregar datos recientes rápidamente y reducir el tiempo entre el descubrimiento y la entrega.
Figura 1: Una vista simplificada de la pila Exa
Cada documento web estructurado que clasificamos como de calidad suficientemente alta debe integrarse antes de poder publicarse. Esta figura muestra cómo los datos web sin procesar se mueven desde los rastreadores a una canalización asincrónica de análisis, moderación y filtrado, luego incrustación, con el resultado servido desde una base de datos vectorial.
Incrustar documentos a escala
Nuestra experiencia con la familia de hardware Neuron comenzó con un relleno. Pasar a un modelo de documento superior significó volver a incorporar nuestro corpus existente. Seleccionamos 30 mil millones de documentos de alta prioridad para volver a incrustarlos. Una migración como esta duplica temporalmente la carga de integración, lo que hizo que fuera exactamente el momento adecuado para reevaluar nuestras opciones de hardware.
Figura 2: La carga de inferencia duplicada del relleno
La figura anterior muestra dos canalizaciones paralelas que comparten las etapas de rastreo y análisis, una que incorpora el modelo en vivo en el índice en vivo y otra que reincorpora documentos de prioridad con el nuevo modelo en el nuevo índice, que es lo que duplica la carga. Esta duplicación fue un claro detonante para reconsiderar nuestras opciones de hardware y optimización.
Viaje de optimización
Las cifras de AWS Inferentia2 se refieren al rendimiento en el tipo de instancia más pequeño, una instancia de Inferentia2 xlarge (inf2.xlarge), con un chip y dos NeuronCores. Nuestra carga de trabajo se ejecuta en un único NeuronCore, por lo que ejecutamos pods de Kubernetes que se empaquetan en instancias más grandes sin dejar ningún núcleo inactivo, lo que nos brinda homogeneidad de contenedores en toda la flota de integración. El mismo proceso se ejecuta en un Trainium2 NeuronCore y se escala de la misma manera a través del paralelismo de datos. Nuestra implementación inicial de Inferentia2 fue una representación sencilla del modelo FP16 con datos paralelos. A partir de esa línea de base, se convirtió en una marcha para impulsar el rendimiento (docs/seg) lo más alto posible, utilizando el SDK de Neuron y el soporte del equipo de AWS Trainium. El siguiente cuadro muestra las ganancias de rendimiento en cada hito.
Figura 3: Mejora del rendimiento en los hitos de optimización
A partir de la compilación ingenua, una serie progresiva de optimizaciones finalmente produjo una mejora de rendimiento de aproximadamente 1,5 veces. El primero fue la optimización del diseño del peso, que elimina transposiciones innecesarias al alinear el diseño del peso con la programación y el diseño del modelo más amplio. También habilitamos la transmisión automática, lo que permite que el compilador reduzca las multiplicaciones de matrices para reducir la precisión y al mismo tiempo preservar el rango dinámico. Los resultados abatidos alcanzaron nuestra puerta de corrección de similitud de coseno de 0,999 con respecto a la referencia (consulte la metodología Agentic), por lo que el impacto de la precisión estuvo dentro de nuestro umbral de aceptación.
Núcleos NKI
La biblioteca Neuron Kernel Interface (NKI) proporciona núcleos optimizados para operaciones y capas de modelos comunes. Estos núcleos prediseñados ofrecen beneficios inmediatos en características comunes y los utilizamos para eliminar rápidamente las fuentes más directas de ineficiencia. Un núcleo de atención directa nos dio el siguiente aumento en el rendimiento.
Optimización del diseño de la memoria: un kernel SwiGLU MLP fusionado
El siguiente obstáculo fue la pérdida de memoria. Los perfiles de Neuron Explorer mostraron consistentemente grandes cantidades de derrames y recargas desde la memoria de alto ancho de banda (HBM), lo que impidió que Tensor Engine se utilizara por completo durante el paso hacia adelante. Utilizando un kernel MLP directo como trampolín para perfilar las deficiencias de la implementación prediseñada, escribimos un kernel SwiGLU MLP fusionado y de peso estacionario personalizado que eliminó los bloqueos de HBM.
Usamos el lenguaje NKI de nivel superior para operaciones de diseño, bucles y operaciones de memoria, y solo pasamos al NKI ISA de nivel inferior para operaciones tensoriales específicas. Mantener la mayor parte del kernel en el lenguaje de nivel superior lo hace más comprensible para los ingenieros y más fácil de depurar.
Reducción de FLOPS
En este punto chocamos contra una pared. El rendimiento por acelerador medido con el otro núcleo del chip inactivo fue significativamente mayor que lo que vimos con ambos núcleos ejecutándose simultáneamente. Esa brecha significó que nuestro rendimiento teórico de datos paralelos debería haber estado muy por encima de nuestro rendimiento agregado realizado, lo que apuntaba a una contención entre los núcleos.
La elaboración de perfiles y la experimentación demostraron que nuestra carga de trabajo aún no estaba saturando Tensor Engine. El margen de maniobra restante era nuestro y podíamos reclamarlo simplificando el cálculo. El camino más claro que quedaba era reducir los FLOPS generales necesarios para producir nuestros resultados eliminando el desperdicio. Reescribimos el núcleo de atención alrededor de las formas exactas en nuestro modelo para reducir los FLOPS gastados en el relleno. Aquí es donde la personalización del kernel realmente dio sus frutos. Los núcleos genéricos están diseñados para manejar cualquier forma, por lo que no pueden aprovechar las formas específicas de una arquitectura determinada. Obtuvimos más rendimiento adaptando la implementación a la forma real de la arquitectura principal de nuestro modelo. También integramos operaciones de atención en matmuls únicos donde el núcleo genérico usaba múltiples pasos de instrucción. Esto redujo las operaciones de bucle interno necesarias para calcular los mismos valores, lo que redujo los viajes de ida y vuelta de HBM y produjo una importante aceleración final.
En total, nuestra versión final supuso una mejora del 47 % en el rendimiento y el coste por cada millón de documentos integrados, en comparación con nuestra base inicial.
Metodología agente
Los agentes desarrollaron todas estas optimizaciones dentro de un sencillo arnés de tres partes que les permite verificar la corrección, medir el rendimiento y perfilar la carga de trabajo para encontrar la siguiente dirección. Al utilizar Flyte, una plataforma de flujo de trabajo de operaciones de aprendizaje automático, cada agente ejecuta su propio flujo de trabajo. El flujo de trabajo compila un ejecutable NEFF Neuron y verifica un pase hacia adelante con un conjunto de datos de referencia, que debe alcanzar una similitud de coseno de 0,999 con el modelo canónico. Luego perfila un pase hacia adelante y ejecuta una prueba de saturación de 30 minutos en hardware real.
El arnés apoya a los agentes a diferentes costos. Los modelos livianos manejan trabajos tediosos como la búsqueda de parámetros del compilador en la cuadrícula y las comprobaciones de corrección evitan la desviación. Los agentes de razonamiento prueban hipótesis complejas y encuentran cuellos de botella, mientras que los generadores de código más potentes escriben núcleos personalizados para solucionarlos. Hacer coincidir a cada agente con su tarea mantiene los costos bajo control y la validación evita que los agentes capaces se desvíen. Debido a que muchos agentes no conocen las últimas funciones y sintaxis, las habilidades de desarrollo de agentes neuronales también ayudaron.
Los beneficios de la computación flexible
Hasta ahora, hemos optimizado Inferentia2 para la región EE. UU. Oeste (Oregón) (us-west-2), pero ajustar una familia de hardware en una región tiene límites estrictos. La disponibilidad al contado y bajo demanda varía según la región, y las organizaciones con muchos consumidores compiten consigo mismas. Bloquearse en una región o tipo de instancia casi garantiza una escasez de computación y posiblemente un servicio degradado.
Los cronogramas de Exa se calculan en múltiples regiones desde un plano de control de Kubernetes. Nuestro programador compara el rendimiento por dólar entre tipos de instancias y empaqueta pods en los nodos más baratos, reprogramándolos a medida que cambia la demanda. Cada tipo de hardware que optimizamos nos acerca al óptimo global. Es por eso que nuestro trabajo en Inferentia2 se trasladó directamente a Trainium2. Cambiar los perfiles de hardware nos permite liberar nodos que otros equipos necesitan o absorber su computación reservada no utilizada. Para un modelo de larga duración, la optimización del hardware resulta enormemente rentable.
Conclusión
A la escala que opera Exa, lo que importa es extraer el máximo rendimiento de costos de un conjunto flexible de hardware. Agregar hardware Neuron a ese grupo y optimizarlo con NKI ha demostrado ser una fuente importante de ahorro de costos a largo plazo.