Los LLM han revolucionado el desarrollo de software al automatizar tareas de codificación y cerrar la brecha entre el lenguaje natural y la programación. Si bien son muy eficaces para la programación de propósito general, tienen dificultades con dominios especializados como la Computación de Alto Rendimiento (HPC), particularmente en la generación de código paralelo. Esta limitación surge de la escasez de datos de código paralelo de alta calidad en los conjuntos de datos previos al entrenamiento y la complejidad inherente de la programación paralela. Abordar estos desafíos es fundamental, ya que la creación de LLM específicos de HPC puede mejorar significativamente la productividad de los desarrolladores y acelerar los descubrimientos científicos. Para superar estos obstáculos, los investigadores enfatizan la necesidad de conjuntos de datos seleccionados con código paralelo de mejor calidad y metodologías de capacitación mejoradas que vayan más allá del simple aumento del volumen de datos.
Los esfuerzos para adaptar los LLM para HPC han incluido el ajuste de modelos especializados como HPC-Coder y OMPGPT. Si bien estos modelos resultan prometedores, muchos se basan en arquitecturas obsoletas o aplicaciones limitadas, lo que limita su eficacia. Avances recientes como HPC-Coder-V2 aprovechan técnicas de última generación para mejorar el rendimiento, logrando resultados comparables o superiores a los de modelos más grandes mientras se mantiene la eficiencia. Los estudios destacan la importancia de la calidad de los datos sobre la cantidad y abogan por enfoques específicos para mejorar la generación de código paralelo. Las investigaciones futuras tienen como objetivo desarrollar LLM sólidos específicos de HPC que cierren la brecha entre las capacidades de programación en serie y en paralelo integrando conocimientos de la generación de datos sintéticos y centrándose en conjuntos de datos de alta calidad.
Investigadores de la Universidad de Maryland realizaron un estudio detallado para perfeccionar un LLM de HPC especializado para la generación de código paralelo. Desarrollaron un conjunto de datos sintéticos, HPC-INSTRUCT, que contiene pares instrucción-respuesta de alta calidad derivados de muestras de código paralelo. Utilizando este conjunto de datos, perfeccionaron HPC-Coder-V2, que surgió como el mejor LLM de código fuente abierto para la generación de código paralelo, con un rendimiento cercano a los niveles de GPT-4. Su estudio exploró cómo la representación de datos, los parámetros de entrenamiento y el tamaño del modelo influyen en el rendimiento, abordando preguntas clave sobre la calidad de los datos, el ajuste de estrategias y la escalabilidad para guiar los avances futuros en los LLM específicos de HPC.
La mejora de los LLM de código para la programación paralela implica la creación de HPC-INSTRUCT, un gran conjunto de datos sintéticos de 120.000 pares de instrucciones-respuesta derivados de fragmentos de código paralelo de código abierto y resultados de LLM. Este conjunto de datos incluye tareas de programación, traducción, optimización y paralelización en lenguajes como C, Fortran y CUDA. Ajustamos tres LLM de código previamente entrenados (modelos de parámetros 1.3B, 6.7B y 16B) en HPC-INSTRUCT y otros conjuntos de datos utilizando el marco AxoNN. A través de estudios de ablación, examinamos el impacto de la calidad de los datos, el tamaño del modelo y el formato rápido en el rendimiento, optimizando los modelos para el punto de referencia ParEval para evaluar su capacidad para generar código paralelo de manera efectiva.
Para evaluar los Code LLM para la generación de código paralelo, se utilizó el punto de referencia ParEval, que presenta 420 problemas diversos en 12 categorías y siete modelos de ejecución como MPI, CUDA y Kokkos. El rendimiento se evaluó utilizando la métrica pass@k, que mide la probabilidad de generar al menos una solución correcta en k intentos. Los estudios de ablación analizaron el impacto de los modelos base, el enmascaramiento de instrucciones, la calidad de los datos y el tamaño del modelo. Los resultados revelaron que el ajuste de los modelos base produjo un mejor rendimiento que las variantes de instrucción, los datos de alta calidad mejoraron los resultados y los modelos más grandes mostraron rendimientos decrecientes, con una ganancia notable de 1.300 millones a 6.700 millones de parámetros.
En conclusión, el estudio presenta HPC-INSTRUCT, un conjunto de datos de instrucciones HPC creado utilizando datos sintéticos de LLM y código paralelo de código abierto. Se realizó un análisis en profundidad de los datos, el modelo y las configuraciones de indicaciones para identificar los factores que influyen en el rendimiento del código LLM en la generación de código paralelo. Los hallazgos clave incluyen el impacto mínimo del enmascaramiento de instrucciones, la ventaja de ajustar los modelos base sobre las variantes ajustadas por instrucciones y los rendimientos decrecientes del aumento de los datos de entrenamiento o el tamaño del modelo. Utilizando estos conocimientos, se perfeccionaron tres LLM de última generación específicos de HPC (modelos HPC-Coder-V2) para lograr un rendimiento superior en el punto de referencia ParEval. Estos modelos son eficientes y superan a otros en la generación de código paralelo para computación de alto rendimiento.
Verificar el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. No olvides unirte a nuestro SubReddit de más de 60.000 ml.
A Sana Hassan, pasante de consultoría en Marktechpost y estudiante de doble titulación en IIT Madras, le apasiona aplicar la tecnología y la inteligencia artificial para abordar los desafíos del mundo real. Con un gran interés en resolver problemas prácticos, aporta una nueva perspectiva a la intersección de la IA y las soluciones de la vida real.