El procesamiento del lenguaje natural utiliza modelos de lenguaje grandes (LLM) para habilitar aplicaciones como traducción de idiomas, análisis de sentimientos, reconocimiento de voz y resumen de texto. Estos modelos dependen de datos supervisados basados en retroalimentación humana, pero depender de datos no supervisados se vuelve necesario ya que superan las capacidades humanas. Sin embargo, la cuestión de la alineación surge a medida que los modelos se vuelven más complejos y matizados. Investigadores de la Universidad Carnegie Mellon, la Universidad de Pekín, el MIT-IBM Watson AI Lab, la Universidad de Cambridge, el Instituto Max Planck de Sistemas Inteligentes y la UMass Amherst han desarrollado la metodología de generalización fácil a difícil (E2H) que aborda el problema de la alineación en tareas complejas sin depender de la retroalimentación humana.
Las técnicas de alineación tradicionales dependen en gran medida del ajuste supervisado y del aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF). Esta dependencia de las capacidades humanas constituye un obstáculo a la hora de ampliar estos sistemas, ya que recopilar comentarios humanos de alta calidad requiere mucha mano de obra y es costoso. Además, la generalización de estos modelos a escenarios más allá de las conductas aprendidas es un desafío. Por lo tanto, existe una necesidad urgente de una metodología que pueda realizar tareas complejas sin requerir una supervisión humana exhaustiva.
La solución propuesta, Generalización fácil a difícil, emplea una metodología de tres pasos para lograr una generalización de tareas escalable:
- Modelos de recompensa supervisados por procesos (PRM): los modelos se entrenan en tareas simples a nivel humano. Luego, estos modelos entrenados evalúan y guían la capacidad de resolución de problemas de la IA en tareas complejas de nivel superior.
- Generalización de fácil a difícil: los modelos se exponen gradualmente a tareas más complejas a medida que se entrenan. Las predicciones y evaluaciones de las tareas más fáciles se utilizan para guiar el aprendizaje de las más difíciles.
- Refinamiento iterativo: los modelos se ajustan en función de la retroalimentación proporcionada por los PRM.
Este proceso de aprendizaje con refinamiento iterativo permite a la IA pasar de modelos dependientes de la retroalimentación humana a anotaciones humanas reducidas. La generalización de tareas que se desvían del comportamiento aprendido es más fluida. Por tanto, este método optimiza el rendimiento de la IA en situaciones en las que la participación humana se vuelve oscura.
La comparación de rendimiento muestra mejoras significativas en el punto de referencia MATH500, un modelo RL supervisado por procesos 7b logró una precisión del 34,0%, mientras que un modelo 34b alcanzó una precisión del 52,5%, utilizando solo supervisión humana en problemas fáciles. El método también demostró eficacia en el punto de referencia de codificación de APPS. Estos resultados sugieren resultados de alineación comparables o superiores a los de RLHF, al tiempo que reducen significativamente la necesidad de datos etiquetados por humanos en tareas complejas.
Esta investigación aborda el desafío crítico de la alineación de la IA más allá de la supervisión humana mediante la introducción de un marco de generalización innovador y fácil de implementar. El método propuesto demuestra resultados prometedores al permitir que los sistemas de IA aborden tareas cada vez más complejas mientras se alinean con los valores humanos. Las fortalezas notables incluyen su novedoso enfoque para la alineación escalable, la efectividad en dominios como las matemáticas y la codificación, y el potencial para abordar las limitaciones de los métodos de alineación actuales. Sin embargo, es necesaria una mayor validación en diversos escenarios del mundo real. En general, este trabajo marca un paso significativo hacia el desarrollo de sistemas de IA que puedan operar de manera segura y efectiva sin supervisión humana directa, allanando el camino para tecnologías de IA más avanzadas y alineadas.
Verificar el Papel y Página de GitHub. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. No olvides unirte a nuestro SubReddit de más de 60.000 ml.
Afeerah Naseem es pasante de consultoría en Marktechpost. Está cursando su licenciatura en tecnología en el Instituto Indio de Tecnología (IIT), Kharagpur. Le apasiona la ciencia de datos y le fascina el papel de la inteligencia artificial en la resolución de problemas del mundo real. Le encanta descubrir nuevas tecnologías y explorar cómo pueden hacer que las tareas cotidianas sean más fáciles y eficientes.