La optimización de los modelos de aprendizaje automático con formas dinámicas puede ser crucial para lograr un mejor rendimiento y flexibilidad. Las formas dinámicas se refieren a la capacidad de un modelo para manejar datos de entrada con diferentes dimensiones durante el tiempo de ejecución. Los usuarios utilizan marcos que admiten gráficos de cálculo dinámico, como la ejecución entusiasta de TensorFlow o PyTorch. Estos marcos permiten construir modelos que pueden adaptarse a tamaños de entrada variables durante el tiempo de ejecución.

Existen muchos desafíos a la hora de optimizar modelos de aprendizaje automático con formas dinámicas, ya que muchas optimizaciones tradicionales dependen del análisis de formas estáticas. La información que falta en las dimensiones dinámicas puede afectar significativamente las optimizaciones que se pueden realizar entre operadores y funciones. Los modelos con formas dinámicas deben manejar lotes de diferentes tamaños. La optimización para diferentes tamaños de lotes puede ser más desafiante que la optimización para un tamaño de lote fijo, particularmente en entornos de producción.

Los compiladores actuales de aprendizaje automático (ML) generalmente reducen los programas al hardware en un flujo de reducción tradicional de un solo disparo, aplicando una optimización tras otra, generalmente reescribiendo el programa en una representación de nivel inferior. Este enfoque a menudo da como resultado la pérdida de forma e información adicional entre las capas de abstracción, lo que dificulta la realización de optimizaciones incrementales a través de los límites.

Investigadores presentes Relajarse. Es una abstracción del compilador para optimizar cargas de trabajo dinámicas de aprendizaje automático de un extremo a otro. Tiene anotaciones de formas simbólicas de primera clase para realizar un seguimiento de los cálculos de formas dinámicas a nivel global en todo el programa. También tiene una abstracción entre niveles que encapsula gráficos computacionales, programas tensoriales a nivel de bucle y llamadas a bibliotecas en una única representación para permitir optimizaciones entre niveles. Es un marco de compilación de un extremo a otro para optimizar modelos de formas dinámicas.

Los investigadores adoptan un método de deducción directa que deduce la anotación de una expresión en función de sus componentes de entrada. La deducción directa es simple y local, y se pueden obtener anotaciones para variables temporales durante las pasadas del compilador. Además, cuando las formas no se pueden inferir automáticamente, la deducción directa puede utilizar los resultados de una coincidencia insertada por el usuario para continuar infiriendo anotaciones posteriores.

Los investigadores dicen que todas las optimizaciones en Relax se realizan como transformaciones dinámicas componibles con reconocimiento de formas. Esto optimiza incrementalmente o reduce parcialmente partes del cálculo utilizando diferentes enfoques. Considera análisis de otros niveles e incorpora optimizaciones adicionales que asumen relaciones de forma dinámicas.

Los resultados experimentales muestran que Relax compila y optimiza LLM emergentes en diversos backends de hardware, brindando un rendimiento competitivo a soluciones específicas de plataforma altamente optimizadas. Además, Relax admite LLM en un amplio conjunto de dispositivos y entornos, incluidos teléfonos móviles, dispositivos integrados y navegadores web a través de WebAssembly y WebGPU.

Revisar la Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides unirte. nuestro SubReddit de 32k+ ML, 41k+ comunidad de Facebook, Canal de discordia, y Boletín electrónicodonde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.

Si te gusta nuestro trabajo, te encantará nuestra newsletter.

también estamos en Telegrama y WhatsApp.