Los modelos de recompensa son componentes fundamentales para alinear LLM con comentarios humanos, pero enfrentan el desafío de los problemas de piratería de recompensas. Estos modelos se centran en atributos superficiales, como la longitud de la respuesta o el formato en lugar de identificar indicadores de calidad verdaderos como la realidad y la relevancia. Este problema surge porque los objetivos de entrenamiento estándar no pueden diferenciar entre correlaciones espurias presentes en los datos de entrenamiento y los impulsores causales genuinos de la calidad de la respuesta. La falta de separación de estos factores conduce a modelos de recompensa frágiles (RMS) que generan políticas desalineadas. Además, existe la necesidad de un método que utilice una comprensión causal de la formación de preferencias para entrenar a RMS sensibles a los atributos de calidad causales e invariante a varias señales espurias.
Limitaciones de los enfoques de RM existentes y la necesidad de robustez causal
Los métodos existentes intentan resolver problemas de piratería de recompensas en los sistemas RLHF estándar que dependen de los métodos de clasificación Bradley-Terry o por pares. Esto incluye modificaciones arquitectónicas, como ODIN, ajustes a nivel de política y métodos centrados en datos que involucran conjuntos o verificaciones de consistencia. Los métodos recientes de inspiración causal utilizan la regularización de MMD contra factores espurios preespecificados o estiman los efectos causales a través de reescrituras corregidas. Sin embargo, estos métodos se dirigen solo a factores espurios predeterminados, faltando correlatos desconocidos. Si bien las estrategias de aumento se mantienen gruesas, y los métodos centrados en la evaluación no pueden equipar modelos de recompensa con mecanismos de entrenamiento robustos contra diversas variaciones espurias.
Introducción de Crome: modelado de recompensa causalmente robusto para LLMS
Investigadores de Google Deepmind, McGill University y Mila – Quebec AI Institute han propuesto Crome (modelado de recompensas causalmente robusto), un marco basado en un modelo causal explícito de generación de respuestas. Crome entrena a RMS para diferenciar los impulsores de calidad genuinos de las señales superficiales al agregar conjuntos de datos de preferencias con ejemplos contrafactuales específicos y generados por LLM. Además, crea dos tipos de pares de entrenamiento sintético: (a) aumentos causales, que introducen cambios a lo largo de atributos causales específicos, como la facturidad para hacer cumplir la sensibilidad a los verdaderos cambios de calidad, y (b) aumentos neutrales que imponen la invariancia a lo largo de atributos espurios como el estilo de lazos. Crome mejora la robustez, aumentando la precisión del banco de recompensas hasta en un 4.5%, mejorando la seguridad y el razonamiento.
Enfoque técnico: aumento contrafactual y optimización de pérdidas compuestas
El Crome opera a través de dos fases principales: generar datos contrafactuales conscientes de atributos basados en un modelo causal y capacitar al modelo de recompensa con una pérdida especializada en datos combinados. Proporciona un análisis teórico sobre cómo el aumento causal aísla los verdaderos impulsores de recompensas de los correlatos espurios bajo un modelo idealizado. Crome utiliza el conjunto de datos UltraRageedback con contrafactuales generados con Gemini 2.0 Flash, y evalúa el rendimiento en Recompensar Bench y RewordBench. Los investigadores utilizan diversos LLM de base en sus experimentos, incluidos Gemma-2-9B-IT, Qwen2.5-7b y Gemma-2-2B para los modelos de preferencia por pares y de recompensa Bradley-Terry, con un impacto de alineación posterior a través de la mejor selección de las tareas múltiples.
Ganancias de rendimiento: de Recompensar Bench a WildGuardTest
En Recompt Bench, Crome logra mejoras en la precisión de clasificación sobre RRM en diversos modelos base, con ganancias significativas en la seguridad (hasta 13.18%) y las categorías de razonamiento (hasta 7.19%). Crome muestra ganancias de precisión agregadas de hasta 9.1% en RewordBench con Gemma-2-9B-IT en la configuración de emparratos y un rendimiento superior en 21 de 23 transformaciones. Además, muestra una disminución menor en la precisión de clasificación desde recompensar el banco a la reducción de la red en comparación con RRM (19.78% versus 21.54%). Crome muestra excelentes mejoras de seguridad en WildGuardTest con la mejor selección de N, logrando relaciones de éxito de ataque más bajas en indicaciones nocivas mientras se mantiene tasas de rechazo similares en las indicaciones benignas.
Conclusión y direcciones futuras en el aumento de datos causales
En conclusión, los investigadores introdujeron Crome, un marco causal que resuelve problemas de piratería de recompensas durante la capacitación de RM. Emplea dos estrategias de aumento de datos sintéticos específicos: aumentos causales y aumentos neutrales. Crome supera a las líneas de base fuertes en múltiples modelos base y técnicas de modelado de recompensas en Recomptsbench, y una robustez superior en RewordBench contra correlaciones espurias. Este método de entrenamiento centrado en la curación del conjunto de datos (es decir, Crome) abre nuevas direcciones de investigación en la generación de datos sintéticos para la capacitación del modelo base, donde la verificación causal de los atributos podría resultar altamente beneficioso para desarrollos futuros en la alineación de modelos de lenguaje robusto.
Mira el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro Subreddit de 100k+ ml y suscribirse a Nuestro boletín.
Sajjad Ansari es un pregrado de último año de IIT Kharagpur. Como entusiasta de la tecnología, profundiza en las aplicaciones prácticas de la IA con un enfoque en comprender el impacto de las tecnologías de IA y sus implicaciones del mundo real. Su objetivo es articular conceptos complejos de IA de manera clara y accesible.
