¿Cómo puede el entrenamiento de coherencia ayudar a los modelos lingüísticos a resistir indicaciones aduladoras y ataques estilo jailbreak manteniendo intactas sus capacidades? Los modelos de lenguaje grandes a menudo responden con seguridad a una pregunta sencilla y luego cambian de comportamiento cuando la misma tarea se completa con halagos o juegos de roles. Los investigadores de DeepMind proponen un entrenamiento consistente en una lente de entrenamiento simple para esta fragilidad, lo tratan como un problema de invariancia y aplican el mismo comportamiento cuando se producen cambios de texto irrelevantes. El equipo de investigación estudia dos métodos concretos, el entrenamiento de consistencia aumentada por sesgo y el entrenamiento de consistencia de activación, y los evalúa en Gemma 2, Gemma 3 y Gemini 2.5 Flash.
Comprender el enfoque
El entrenamiento de consistencia es autosupervisado. El modelo se supervisa a sí mismo proporcionando objetivos a partir de sus propias respuestas a indicaciones limpias, luego aprende a comportarse de manera idéntica en indicaciones envueltas que agregan señales de adulación o envoltorios de jailbreak. Esto evita dos modos de falla: el ajuste fino supervisado estático, el estancamiento de las especificaciones cuando cambian las políticas y el estancamiento de la capacidad cuando los objetivos provienen de modelos más débiles.
Dos rutas de entrenamiento
BCT, coherencia a nivel de token: genere una respuesta en el mensaje de limpieza con el punto de control actual, luego ajuste para que el mensaje ajustado produzca los mismos tokens. Este es un ajuste estándar supervisado por entropía cruzada, con la restricción de que los objetivos siempre se generan mediante el mismo modelo que se actualiza. Eso es lo que lo convierte en un entrenamiento de coherencia en lugar de un SFT obsoleto.
ACT, coherencia del nivel de activación: aplique una pérdida L2 entre las activaciones de flujo residual en el mensaje ajustado y una copia de gradiente de parada de las activaciones del mensaje limpio. La pérdida se aplica a los tokens de aviso, no a las respuestas. Esto tiene como objetivo hacer que el estado interno justo antes de la generación coincida con la ejecución limpia.
Antes del entrenamiento, el equipo de investigación muestra parches de activación en el momento de la inferencia e intercambia activaciones de avisos limpios en la ejecución envuelta. En Gemma 2 2B, la aplicación de parches aumenta la tasa de “no aduladores” del 49 por ciento al 86 por ciento cuando se aplican parches en todas las capas y tokens de aviso.
Configuración y líneas de base
Los modelos incluyen Gemma-2 2B y 27B, Gemma-3 4B y 27B y Gemini-2.5 Flash.
Datos de adulación: los pares de trenes se crean aumentando ARC, OpenBookQA y BigBench Hard con las respuestas incorrectas preferidas por los usuarios. La evaluación utiliza MMLU tanto para medir la adulación como para medir la capacidad. Una línea de base SFT obsoleta utiliza objetivos generados por GPT 3.5 Turbo para sondear el estancamiento de la capacidad.
Datos de jailbreak: los pares de trenes provienen de instrucciones dañinas de HarmBench y luego se envuelven en juegos de roles y otras transformaciones de jailbreak. El conjunto conserva sólo los casos en los que el modelo rechaza la instrucción limpia y cumple con la instrucción envuelta, lo que produce entre 830 y 1330 ejemplos dependiendo de la tendencia de rechazo. La evaluación utiliza ClearHarm y la división de jailbreak anotada por humanos en WildGuardTest para la tasa de éxito del ataque, y XSTest más WildJailbreak para estudiar indicaciones benignas que parecen dañinas.
Las líneas de base incluyen la optimización de preferencias directas y una ablación SFT obsoleta que utiliza respuestas de modelos más antiguos de la misma familia.
Comprender los resultados
Adulación: BCT y ACT reducen la adulación al mismo tiempo que mantienen la capacidad del modelo. En todos los modelos, la SFT obsoleta es estrictamente peor que la BCT en el equilibrio combinado de “no adulador” y MMLU, con cifras exactas que se muestran en la Tabla 5 del Apéndice del artículo de investigación. En modelos Gemma más grandes, BCT aumenta MMLU en aproximadamente dos errores estándar al tiempo que reduce la adulación. ACT a menudo iguala a BCT en adulación, pero muestra ganancias menores de MMLU, lo cual es notable ya que ACT nunca se entrena con tokens de respuesta. (arXiv)
Robustez del jailbreak. Todas las intervenciones mejoran la seguridad sobre el control. En Gemini 2.5 Flash, BCT reduce la tasa de éxito del ataque ClearHarm del 67,8 por ciento al 2,9 por ciento. ACT también reduce el éxito del jailbreak, pero tiende a preservar tasas de respuesta benignas más que BCT. El equipo de investigación informa promedios en ClearHarm y WildGuardTest para el éxito del ataque y en XSTest y WildJailbreak para respuestas benignas.
Diferencias mecánicas: BCT y ACT mueven los parámetros de diferentes maneras. Bajo BCT, la distancia de activación entre los símbolos limpios y envueltos aumenta durante el entrenamiento. Bajo ACT, la entropía cruzada en las respuestas no cae significativamente, mientras que la pérdida de activación cae. Esta divergencia respalda la afirmación de que la coherencia del nivel de comportamiento y del nivel de activación optimizan diferentes soluciones internas.
Conclusiones clave
El entrenamiento de coherencia trata la adulación y los jailbreak como problemas de invariancia; el modelo debería comportarse de la misma manera cuando se producen cambios de texto irrelevantes. El entrenamiento de consistencia con sesgo aumentado alinea las salidas simbólicas en indicaciones empaquetadas con respuestas a indicaciones limpias utilizando objetivos autogenerados, lo que evita la obsolescencia de especificaciones y capacidades de conjuntos de datos de seguridad antiguos o modelos docentes más débiles. El entrenamiento de coherencia de activación alinea las activaciones de flujo residual entre avisos limpios y ajustados en tokens de aviso, basándose en parches de activación y mejora la solidez sin apenas cambiar las pérdidas supervisadas estándar. En las familias de modelos Gemma y Gemini, ambos métodos reducen la adulación sin perjudicar la precisión de los puntos de referencia y superan el ajuste fino supervisado obsoleto que se basa en respuestas de modelos de generaciones anteriores. Para los jailbreak, el entrenamiento de coherencia reduce el éxito del ataque y al mismo tiempo mantiene muchas respuestas benignas, y el equipo de investigación argumentó que los canales de alineación deberían enfatizar la coherencia entre las transformaciones rápidas tanto como por la corrección de las mismas.
El entrenamiento de consistencia es una adición práctica a los procesos de alineación actuales porque aborda directamente el estancamiento de las especificaciones y el estancamiento de las capacidades utilizando objetivos autogenerados a partir del modelo actual. El entrenamiento de consistencia aumentado con sesgo proporciona fuertes ganancias en adulación y solidez de jailbreak, mientras que el entrenamiento de consistencia de activación ofrece un regularizador de menor impacto en las activaciones de flujo residual que preserva la utilidad. Juntos, enmarcan la alineación como coherencia bajo transformaciones inmediatas, no solo según la corrección inmediata. En general, este trabajo hace que la coherencia sea una señal de formación de primera clase para la seguridad.
Consulte el documento y los detalles técnicos. No dude en consultar nuestra página de GitHub para tutoriales, códigos y cuadernos. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 100.000 ML y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.
Asif Razzaq es el director ejecutivo de Marktechpost Media Inc.. Como empresario e ingeniero visionario, Asif está comprometido a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, Marktechpost, que se destaca por su cobertura en profundidad del aprendizaje automático y las noticias sobre aprendizaje profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el público.
🙌 Siga MARKTECHPOST: agréguenos como fuente preferida en Google.