El nuevo enfoque del Modelo de lenguaje de regresión de Google (RLM) permite que los grandes modelos de lenguaje (LLM) predecan el rendimiento del sistema industrial directamente a partir de datos de texto sin procesar, sin depender de ingeniería de características complejas o formatos tabulares rígidos.
El desafío de la predicción del sistema industrial
La predicción del rendimiento para los sistemas industriales a gran escala, como los grupos Borg Compute de Google, tradicionalmente ha requerido una amplia ingeniería de características específicas de dominio y representaciones de datos tabulares, lo que dificulta la escalabilidad y la adaptación. Los registros, los archivos de configuración, las mezclas de hardware variables y los datos de trabajo anidados no se pueden aplanar o normalizar fácilmente para los modelos de regresión clásica. Como resultado, los flujos de trabajo de optimización y simulación a menudo se vuelven frágiles, costosos y lentos, especialmente cuando se introducen nuevos tipos de cargas de trabajo o hardware.
La idea principal: regresión de texto a texto
El modelo de lenguaje de regresión de Google (RLM) reformula la regresión como una tarea de generación de texto: todos los datos de estado del sistema (configuración, registros, perfiles de carga de trabajo, descripciones de hardware) se serializan en formatos de texto estructurados como Yaml o JSON y se usan como la entrada de entrada XXX. El modelo de regresión luego genera el objetivo numérico yyy, como las métricas de eficiencia (millones de instrucciones por segundo por unidad de cómputo de Google, MIPS por GCU), como una respuesta de cadena de texto.
- No se requieren características tabulares: Esto elimina la necesidad de conjuntos de características predefinidas, normalización y esquemas de codificación rígida.
- Aplicabilidad universal: Cualquier estado del sistema puede representarse como una cadena; Las características heterogéneas, anidadas o de evolución dinámica son compatibles de forma nativa.
Detalles técnicos: arquitectura y capacitación
El enfoque utiliza un codificador relativamente pequeño LLM (parámetros de 60 m) que entrena a través de la pérdida de entropía cruzada de próxima token en representaciones de cuerdas de XXX y AAYY. El modelo no está provocado en el modelado de lenguaje general: el entrenamiento puede comenzar desde la inicialización aleatoria, centrándose directamente en los estados del sistema de correlación con resultados numéricos.
- Tokenización numérica personalizada: Los resultados se tocan de manera eficiente (por ejemplo, codificación P10 Mantissa-Sign-Exponent) para representar valores de punto flotante dentro del vocabulario del modelo.
- Adaptación de pocos disparos: Los RLM previos al detenido son rápidamente ajustables en nuevas tareas con tan solo 500 ejemplos, adaptándose a nuevas configuraciones de clúster o meses en cuestión de horas, no semanas.
- Escala de longitud de secuencia: Los modelos pueden procesar textos de entrada muy largos (miles de tokens), lo que garantiza que los estados complejos se observen completamente.
Rendimiento: resultados en el clúster Borg de Google
Prueba en el clúster Borg, RLMS logró un 0.99 correlación de rango de Spearman (0.9 promedio) entre los MIP predichos y verdaderos por GCU, con Error cuadrado medio 100 inferior que las líneas de base tabulares. Los modelos cuantifican de forma nativa la incertidumbre mediante el muestreo de múltiples salidas para cada entrada, lo que respalda la simulación del sistema probabilístico y los flujos de trabajo de optimización bayesiana.
- Cuantificación de la incertidumbre: Los RLM capturan las incertidumbres aleatóricas (inherentes) y epistémicas (incógnitas debido a la observabilidad limitada), a diferencia de la mayoría de los regresores de caja negra.
- Simuladores universales: Las capacidades de modelado de densidad de RLM sugieren su uso en la construcción de gemelos digitales universales para sistemas a gran escala, aceleración de la optimización de la infraestructura y la retroalimentación en tiempo real.
Comparación: RLMS vs regresión tradicional
| Acercarse | Formato de datos | Ingeniería de características | Adaptabilidad | Actuación | Incertidumbre |
|---|---|---|---|---|---|
| Regresión tabular | Tensores planos, números | Manual requerido | Bajo | Limitado por características | Mínimo |
| RLM (texto a texto) | Texto estructurado y anidado | Ninguno requerido | Alto | Rangos casi perfectos | Espectro completo |
Aplicaciones y resumen
- Clusters de nube y cómputo: Predicción y optimización del rendimiento directo para una infraestructura grande y dinámica.
- Fabricación e IoT: Simuladores universales para la predicción de resultados en diversas tuberías industriales.
- Experimentos científicos: Modelado de extremo a extremo donde los estados de entrada son complejos, descritos textualmente y numéricamente diversos.
Este nuevo enfoque, tratar la regresión como modelado de idiomas, retira las barreras de larga data en la simulación del sistema, permite una adaptación rápida a los nuevos entornos y respalda la sólida predicción consciente de la incertidumbre, todo crucial para la IA industrial de próxima generación.
Mira el Papel, Codos y Detalle técnico. No dude en ver nuestro Página de Github para tutoriales, códigos y cuadernos. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro Subreddit de 100k+ ml y suscribirse a Nuestro boletín.
Michal Sutter es un profesional de la ciencia de datos con una Maestría en Ciencias en Ciencias de Datos de la Universidad de Padova. Con una base sólida en análisis estadístico, aprendizaje automático e ingeniería de datos, Michal se destaca por transformar conjuntos de datos complejos en ideas procesables.