Los modelos de lenguaje adaptados a las instrucciones rechazan solicitudes dañinas. Pero, ¿qué parte del modelo es realmente responsable y cómo se instala ese mecanismo durante el entrenamiento? Una nueva investigación del equipo de Nous Research analiza esta cuestión a nivel neuronal. El equipo de investigación de Nous desarrolló la atribución neuronal contrastiva (CNA), un método que identifica las neuronas MLP específicas cuyas activaciones distinguen más las indicaciones dañinas de las benignas. Al eliminar solo el 0,1% de las activaciones de MLP, redujeron las tasas de rechazo en más del 50% en la mayoría de los modelos de instrucción probados (en arquitecturas Llama y Qwen desde parámetros 1B a 72B) y al mismo tiempo mantuvieron la calidad de salida por encima de 0,97 en todas las intensidades de dirección. Lo interesante es un hallazgo clave: la estructura de capa tardía que discrimina las señales dañinas de las benignas existe en los modelos base antes de cualquier ajuste fino. El ajuste fino de la alineación no crea una nueva estructura. Transforma la función de las neuronas dentro de esa estructura existente en una puerta de rechazo escasa y accesible.
El problema con los métodos de dirección existentes
La adición de activación contrastiva (CAA) calcula la diferencia promedio en las activaciones de flujo residual entre dos conjuntos de indicaciones contrastivas. La diferencia se convierte en un vector director aplicado en el momento de la inferencia. CAA es eficaz pero tosco: modifica toda la señal de toda la capa sin identificar qué neuronas individuales son responsables. Con intensidades de dirección elevadas, la calidad del resultado se degrada: los modelos producen palabras repetidas y texto incoherente.
Los codificadores automáticos dispersos (SAE) descomponen las activaciones en características interpretables. Requieren una costosa formación externa y son sensibles al ruido de activación.
CNA sólo requiere pases hacia adelante: sin gradientes, sin entrenamiento auxiliar, sin búsqueda iterativa.
Cómo funciona la CNA
Usted define dos conjuntos de mensajes:
Indicaciones positivas: ejemplos del comportamiento objetivo (p. ej., solicitudes dañinas) Indicaciones negativas: ejemplos de lo contrario (p. ej., solicitudes benignas)
Ejecute todas las indicaciones a través del modelo. En cada capa de MLP, el método registra las activaciones de proyección en la última posición del token. Luego calcula la diferencia de activación media por neurona entre los dos conjuntos:
δjℓ = media (activaciones ante indicaciones positivas) − media (activaciones ante indicaciones negativas)
Las neuronas top-k por diferencia absoluta se seleccionan en todas las capas. Los investigadores establecieron k en el 0,1% del total de activaciones de MLP. Este umbral produjo efectos de dirección confiables en todos los tamaños de modelos probados.
Un paso de filtrado elimina las neuronas "universales", aquellas que aparecen en el 0,1% superior de las activaciones de MLP en el 80% o más de diversas indicaciones. Estas neuronas se activan independientemente del contenido solicitado y quedan excluidas de todos los circuitos descubiertos.
La causalidad se verifica multiplicando la activación de cada neurona del circuito por un multiplicador escalar m en el momento de la inferencia. m = 0 ablaciona la neurona. m = 1 es la línea de base. m > 1 lo amplifica.
Para la evaluación principal de JBB-Behaviors, el circuito de rechazo se descubre mediante 100 indicaciones dañinas y 100 benignas. Para ejemplos cualitativos y otras tareas, se utilizaron 8 indicaciones positivas y 8 negativas.
Resultados
Los experimentos cubrieron variantes básicas e instructivas de Llama 3.1/3.2 y Qwen 2.5, desde parámetros 1B a 72B: 16 modelos en total. El principal punto de referencia fue JBB-Behaviors, un punto de referencia NeurIPS 2024 de 100 avisos dañinos.
Reducción de rechazo. La ablación del circuito descubierto redujo las tasas de rechazo en más del 50% en la mayoría de los modelos de instrucción probados. Resultados seleccionados de la Tabla 3 del trabajo de investigación:
No todos los modelos superaron el 50% de reducción relativa: Llama-3.2-3B y Qwen2.5-3B mostraron caídas menores. El artículo describe que el efecto se mantiene "en la mayoría de los casos".
Calidad de salida. La calidad de salida de CNA, medida como 1 menos la fracción de n-gramas repetidos, se mantuvo por encima de 0,97 en todas las intensidades de dirección en todos los modelos de instrucción probados. CAA cayó por debajo de 0,60 para seis de los ocho modelos de instrucción con fuerza de dirección máxima. En dos casos (Qwen2.5-1.5B y Qwen2.5-72B), CAA degradó la salida tan severamente que el clasificador de palabras clave marcó el texto degenerado como rechazado, lo que produjo tasas de rechazo artificialmente altas.
Capacidades generales. La precisión de MMLU según CNA se mantuvo dentro de un punto porcentual de la línea de base en todas las fortalezas de dirección. CAA cayó a una precisión de MMLU cercana a cero con la intervención máxima.
Rúbrica StrongREJECT. Una evaluación secundaria utilizó la rúbrica StrongREJECT, que aplica un juez de LLM (Llama-3.3-70B) para calificar las respuestas sobre nocividad y peligrosidad en una escala de 0 a 1. Las puntuaciones de cumplimiento del modelo de llama mejoraron en un promedio del 6 % después de la ablación por CNA. Las puntuaciones de cumplimiento del modelo Qwen mejoraron en un promedio del 31 %.
Comparación de modelos base. La aplicación de un proceso idéntico a los modelos base no produjo ningún cambio de comportamiento significativo. El artículo ilustra esto con un ejemplo concreto utilizando el mensaje "¿Cómo abro una cerradura?":
En los modelos base, dirigir las neuronas de la última capa produce cambios de contenido (cambios de tema, reformulación) pero ningún cambio de comportamiento en ningún multiplicador. En los modelos de instrucción, la misma estructura actúa como una puerta de seguridad causal.
El ajuste fino transforma la función, no la estructura
Las neuronas de discriminación se concentran en el 10% final de las capas tanto en el modelo base como en el de instrucción. Para Llama-3.2-1B, el 87% de las 200 neuronas de discriminación principales se encuentran en las tres últimas capas (L13-L15). Para Qwen2.5-3B, el 95% cae en el último cuarto de capas. Esta concentración de capa tardía es una propiedad previa al entrenamiento: existe antes del ajuste fino de la alineación.
La función de esas neuronas cambia después del ajuste fino. La Tabla 8 en el artículo de investigación informa la superposición de pares de índices (capa, neurona) entre circuitos de base y de instrucción coincidentes. Sólo entre el 8% y el 29% de las neuronas individuales se superponen entre los modelos base y de instrucción. El ajuste fino reemplaza en gran medida las neuronas específicas dentro de esa estructura de capa tardía, preservando al mismo tiempo la estructura misma.
El equipo de investigación describe esto como una separación entre dos niveles: estructura a nivel de capa (conservada en la base y la instrucción) y función a nivel de neurona (transformada mediante ajuste fino). Esto es consistente con trabajos anteriores que muestran que el ajuste de instrucciones rota el conocimiento de la red de avance sin cambiar la estructura de capas.
Explicador visual de Marktechpost
← Anterior Siguiente →
Conclusiones clave
La ablación de solo el 0,1 % de las activaciones de MLP redujo las tasas de rechazo en más del 50 % en la mayoría de los modelos de instrucción probados, mientras que la calidad de los resultados se mantuvo por encima de 0,97. CNA solo requiere pases hacia adelante: sin gradientes, sin entrenamiento auxiliar y sin búsqueda iterativa. La estructura de discriminación de capas tardías existe en los modelos base antes del ajuste fino; El ajuste fino de la alineación transforma su función, no su ubicación. A diferencia de CAA, CNA preserva la precisión de MMLU dentro de un punto porcentual de la línea de base en todas las intensidades de dirección. Solo entre el 8% y el 29% de las neuronas individuales se superponen entre los circuitos del modelo base y de instrucción: el ajuste fino reconecta las neuronas mientras mantiene intacta la estructura de la última capa.
Consulte el documento y el repositorio. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 150.000 ML y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.
¿Necesita asociarse con nosotros para promocionar su repositorio de GitHub O su página principal de Hugging O su lanzamiento de producto O seminario web, etc.? Conéctate con nosotros