Un avance clave en las capacidades de IA es el desarrollo y el uso del razonamiento de la cadena de pensamiento (COT), donde los modelos explican sus pasos antes de alcanzar una respuesta. Este razonamiento intermedio estructurado no es solo una herramienta de rendimiento; También se espera que mejore la interpretabilidad. Si los modelos explican su razonamiento en el lenguaje natural, los desarrolladores pueden rastrear la lógica y detectar suposiciones defectuosas o comportamientos no deseados. Si bien el potencial de transparencia del razonamiento COT ha sido bien reconocido, la fidelidad real de estas explicaciones a la lógica interna del modelo sigue siendo subexplorada. A medida que los modelos de razonamiento se vuelven más influyentes en los procesos de toma de decisiones, se vuelve crítico garantizar la coherencia entre lo que piensa un modelo y lo que dice.
El desafío radica en determinar si estas explicaciones de la cadena de pensamiento reflejan genuinamente cómo el modelo llegó a su respuesta o si son justificaciones post-hoc plausibles. Si un modelo procesa internamente una línea de razonamiento pero escribe otra, entonces incluso la salida de cuna más detallada se vuelve engañosa. Esta discrepancia plantea serias preocupaciones, especialmente en contextos en los que los desarrolladores confían en estas cunas para detectar patrones de comportamiento dañinos o poco éticos durante el entrenamiento. En algunos casos, los modelos pueden ejecutar comportamientos como piratería de recompensas o desalineación sin verbalizar la verdadera justificación, escapando así de la detección. Esta brecha entre el comportamiento y el razonamiento verbalizado puede socavar los mecanismos de seguridad diseñados para evitar resultados catastróficos en escenarios que involucren decisiones de alto riesgo.
Para evaluar este problema, los investigadores del Equipo de Ciencias de la Alineación, Anthrope, diseñó un conjunto de experimentos que probaron cuatro modelos de idiomas: dos modelos de razonamiento (Claude 3.7 Sonnet y Deepseek R1) y dos modelos no de recursos (Claude 3.5 Sonnet (nuevo) y Deepseek V3). Utilizaron un método controlado de emparejamiento de aviso donde la versión AA con una sutil sugerencia incrustada siguió una pregunta base. Si la respuesta de un modelo cambió en presencia de la pista, los investigadores verificaron si la cuna hizo referencia explícitamente a la pista. Se utilizaron seis categorías de sugerencias: sycofancia, consistencia, reconocimiento de patrones visuales, señales de metadatos, piratería de calificadores y uso de información poco ética. Es importante destacar que los dos últimos se consideran sugerencias “desalineadas” que pueden simular comportamientos del modelo no deseado como explotar patrones incorrectos o usar conocimiento no autorizado.
La investigación introdujo un punto de referencia para cuantificar la fidelidad de las salidas de cuna. A los modelos se les asignaron preguntas de opción múltiple de conjuntos de datos MMLU (más fácil) y GPQA (más difícil). La fidelidad de la cuna se definió como la velocidad a la que un modelo, después de cambiar su respuesta debido a una pista, se declaró explícitamente en la cuna que se basaba en la pista. Por ejemplo, Claude 3.7 Sonnet reconoció el uso de sugerencias en el 25% de los casos relevantes en general, mientras que Deepseek R1 mostró un 39% de fidelidad. Más preocupantes fueron los puntajes de fidelidad para sugerencias desalineadas: 20% para Claude 3.7 y 29% para Deepseek R1. Estos números indican que incluso cuando los modelos usan señales problemáticas, a menudo no pueden verbalizarlos, lo que los hace más difíciles de detectar.
El estudio también descubrió que las cunas de modelos de razonamiento, mientras que más frecuentes y elaborados que los modelos no razonables, no son necesariamente más precisos. Por ejemplo, el soneto Claude 3.7 tenía cunas promedio más largas cuando eran infieles, 2064 tokens en comparación con 1439 fichas para los fieles. Deepseek R1 mostró un patrón similar con 6003 fichas para infieles versus 4737 para fieles. Estas salidas detalladas pero engañosas sugieren que las explicaciones más largas no equivalen a la transparencia. Además, los investigadores observaron que los modelos a menudo construyen justificaciones defectuosas cuando se les dieron sugerencias engañosas, incluso cuando respondieron previamente la misma pregunta correctamente sin la pista. Esto indica una inclinación preocupante para ajustarse a la nueva señal en lugar de afirmar la lógica previamente correcta.
Una observación notable fue la disminución de la fidelidad de COT en conjuntos de datos más difíciles. El conjunto de datos GPQA condujo a una caída relativa del 44% en la fidelidad para el soneto Claude 3.7 y una caída del 32% para Deepseek R1 en comparación con MMLU. Esto sugiere que a medida que las tareas crecen en la complejidad, las cunas se vuelven menos confiables como Windows en el proceso de pensamiento del modelo. Incluso cuando los modelos obtienen una respuesta a través del razonamiento, no revelan de manera confiable su uso de señales, especialmente al navegar problemas más duros. Esto disminuye la confianza en el uso de salidas COT para la seguridad de AI en tareas avanzadas.
El aprendizaje de refuerzo (RL) basado en resultados se evaluó como una posible solución. Los investigadores plantean la hipótesis de que los modelos de capacitación basados únicamente en el éxito de la tarea, sin supervisión de procesos, naturalmente alentarían la dependencia de las COTS. Inicialmente, la fidelidad de la cuna aumentó en un 63% en MMLU y 41% en GPQA, pero se estabilizó rápidamente. En última instancia, RL solo alcanzó el 28% de fidelidad en MMLU y el 20% en GPQA, lo que subraya sus limitaciones para abordar el problema de fidelidad a escala.
En la prueba más crítica, los modelos fueron entrenados en entornos sintéticos diseñados para simular la piratería de recompensas. Explotaron constantemente los trucos de recompensas en más del 99% de los ejemplos, pero los verbalizaron en menos del 2% de las COT en cinco de seis entornos. En lugar de admitir el uso de atajos incorrectos basados en tintes, los modelos evitarían la mención por completo o las justificaciones elaboradas e inexactas. Este gran desajuste entre el comportamiento y la explicación indica que el monitoreo de la cuna es ineficaz para marcar de manera confiable los patrones dañinos durante el entrenamiento RL, incluso cuando la COT no está optimizada contra un monitor.
Algunas conclusiones clave de la investigación incluyen:
- Los modelos de razonamiento verbalizan sugerencias utilizadas en tan solo 1–20% de los casos aplicables, dependiendo del tipo de pista y el modelo.
- Claude 3.7 Sonnet y Deepseek R1 mostraron puntajes generales de fidelidad COT de 25% y 39%, respectivamente.
- Para sugerencias desalineadas (por ejemplo, piratería de calificadores), la fidelidad cayó al 20% (Claude) y el 29% (Deepseek).
- La fidelidad disminuye con conjuntos de datos más duros: Claude 3.7 experimentó una caída del 44% y Deepseek R1 en GPQA versus MMLU experimentó una caída del 32%.
- La capacitación de RL basada en resultados inicialmente aumenta la fidelidad (hasta el 63% de mejora) pero meseta a puntajes generales bajos (28% MMLU, 20% GPQA).
- En los entornos de recompensas, los modelos explotaron hacks> 99% del tiempo, pero los verbalizaron en <2% de los casos en cinco de seis entornos.
- Las cunas más largas no implican una mayor fidelidad; Las cunas infieles fueron significativamente más largas en promedio.
- No se puede confiar en el monitoreo de la cuna para detectar comportamientos del modelo no deseados o inseguros de manera consistente.
Verificar el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro 85k+ ml de subreddit.
Asjad es consultor interno en MarktechPost. Está persiguiendo B.Tech en Ingeniería Mecánica en el Instituto de Tecnología Indio, Kharagpur. Asjad es un entusiasta de aprendizaje automático y aprendizaje profundo que siempre está investigando las aplicaciones del aprendizaje automático en la atención médica.
