Las empresas de inteligencia artificial utilizan especificaciones de modelos para definir comportamientos objetivo durante la capacitación y la evaluación. ¿Las especificaciones actuales establecen los comportamientos previstos con suficiente precisión y los modelos de frontera exhiben perfiles de comportamiento distintos bajo la misma especificación? Un equipo de investigadores de Anthropic, Thinking Machines Lab y Constellation presentan un método sistemático que prueba las especificaciones del modelo utilizando escenarios de compensación de valor y luego cuantifica el desacuerdo entre modelos como una señal de lagunas o contradicciones en la especificación. El equipo de investigación analizó 12 LLM de vanguardia de Anthropic, OpenAI, Google y xAI y vincula un alto desacuerdo con violaciones de especificaciones, falta de orientación sobre la calidad de la respuesta y ambigüedad del evaluador. El equipo también publicó un conjunto de datos públicos.
Las especificaciones del modelo son las reglas escritas que los sistemas de alineación intentan hacer cumplir. Si una especificación es completa y precisa, los modelos entrenados para seguirla no deberían divergir mucho en la misma entrada. El equipo de investigación pone en práctica esta intuición. Genera más de 300.000 escenarios que obligan a elegir entre dos valores legítimos, como la equidad social y la eficacia empresarial. Luego califica las respuestas en un espectro de 0 a 6 utilizando rúbricas de espectro de valores y mide el desacuerdo como la desviación estándar entre los modelos. Un alto desacuerdo localiza las cláusulas específicas que necesitan aclaración o ejemplos adicionales.
Entonces, ¿cuál es el método utilizado en esta investigación?
El equipo de investigación parte de una taxonomía de 3307 valores detallados observados en el tráfico natural de Claude, que es más granular que las especificaciones típicas del modelo. Para cada par de valores, generan una consulta neutral y dos variantes sesgadas que se inclinan hacia un valor. Construyen rúbricas de espectro de valores que asignan posiciones desde 0, que significa oponerse firmemente al valor, hasta 6, que significa favorecer fuertemente el valor. Clasifican las respuestas de 12 modelos según estas rúbricas y definen el desacuerdo como la desviación estándar máxima en las dos dimensiones de valores. Para eliminar casi duplicados y mantener los casos difíciles, utilizan una selección central k ponderada por desacuerdo con incrustaciones de Gemini y un algoritmo codicioso de 2 aproximaciones.
Escala y lanzamientos
El conjunto de datos de Hugging Face muestra tres subconjuntos. La división predeterminada tiene aproximadamente 132 000 filas, la división completa tiene aproximadamente 411 000 filas y la división de evaluaciones de jueces tiene aproximadamente 24 600 filas. La tarjeta enumera modalidad, formato como parquet y licencia como Apache 2.0.
Comprender los resultados
El desacuerdo predice violaciones de especificaciones: al probar cinco modelos OpenAI con la especificación del modelo público OpenAI, los escenarios de alto desacuerdo tienen entre 5 y 13 veces más incumplimientos frecuentes. El equipo de investigación interpreta el patrón como evidencia de contradicciones y ambigüedades en el texto de especificaciones en lugar de idiosincrasias de un solo modelo.
Las especificaciones carecen de granularidad en cuanto a la calidad dentro de la región segura: algunos escenarios producen respuestas que todas pasan el cumplimiento, pero difieren en su utilidad. Por ejemplo, un modelo se niega y ofrece alternativas seguras, mientras que otro simplemente se niega. La especificación acepta ambos, lo que indica que falta orientación sobre los estándares de calidad.
Los modelos de evaluación no están de acuerdo en cuanto al cumplimiento: tres jueces de LLM, Claude 4 Sonnet, o3 y Gemini 2.5 Pro, muestran solo un acuerdo moderado con Fleiss Kappa cerca de 0,42. El blog atribuye los conflictos a diferencias interpretativas, como el rechazo concienzudo frente a las excepciones de transformación.
Patrones de carácter a nivel de proveedor: la agregación de escenarios de alto desacuerdo revela preferencias de valor consistentes. Los modelos de Claude priorizan la responsabilidad ética y la integridad y objetividad intelectual. Los modelos OpenAI tienden a favorecer la eficiencia y la optimización de recursos. Gemini 2.5 Pro y Grok suelen enfatizar la profundidad emocional y la conexión auténtica. Otros valores, como la eficacia empresarial, el crecimiento y el bienestar personal, y la equidad y justicia social, muestran patrones mixtos entre los proveedores.
Rechazos y falsos positivos: el análisis muestra picos de rechazo sensibles al tema. Documenta rechazos de falsos positivos, incluidos planes de estudio legítimos de biología sintética y tipos estándar de Rust inseguros que a menudo son seguros en contexto. Los modelos de Claude son los más cautelosos en cuanto a la tasa de rechazo y a menudo brindan sugerencias alternativas, y o3 con mayor frecuencia emite rechazos directos sin mayor explicación. Todos los modelos muestran altas tasas de rechazo sobre los riesgos de manipulación infantil.
Los valores atípicos revelan desalineación y conservadurismo excesivo: Grok 4 y Claude 3.5 Sonnet producen las respuestas más atípicas, pero por diferentes razones. Grok es más permisivo con las solicitudes que otros consideran perjudiciales. Claude 3.5 a veces rechaza demasiado el contenido benigno. La minería de valores atípicos es una lente útil para localizar tanto las brechas de seguridad como el filtrado excesivo.
Conclusiones clave
Método y escala: el estudio pone a prueba las especificaciones del modelo utilizando escenarios de compensación de valor generados a partir de una taxonomía de 3307 valores, produciendo más de 300 000 escenarios y evaluando 12 LLM de frontera en Anthropic, OpenAI, Google y xAI. Desacuerdo ⇒ problemas de especificaciones: un alto desacuerdo entre modelos predice fuertemente problemas en las especificaciones, incluidas contradicciones y brechas de cobertura. En las pruebas con las especificaciones del modelo OpenAI, los elementos con alto desacuerdo muestran un incumplimiento frecuente entre 5 y 13 veces mayor. Publicación pública: el equipo publicó un conjunto de datos para auditoría y reproducción independientes. Comportamiento a nivel de proveedor: los resultados agregados revelan preferencias de valor sistemáticas; por ejemplo, Claude prioriza la responsabilidad ética, Gemini enfatiza la profundidad emocional, mientras que OpenAI y Grok optimizan la eficiencia. Algunos valores, como la eficacia empresarial y la equidad y justicia social, muestran patrones mixtos. Rechazos y valores atípicos: los sectores con alto desacuerdo exponen tanto rechazos falsos positivos sobre temas benignos como respuestas permisivas sobre temas riesgosos. El análisis de valores atípicos identifica casos en los que un modelo diverge de al menos nueve de los otros 11, lo que resulta útil para identificar desalineamientos y exceso de conservadurismo.
Esta investigación convierte el desacuerdo en un diagnóstico mensurable de la calidad de las especificaciones, no en una vibra. El equipo de investigación genera más de 300.000 escenarios de compensación de valor, califica las respuestas en una rúbrica de 0 a 6 y luego utiliza la desviación estándar cruzada del modelo para localizar brechas en las especificaciones. Un alto desacuerdo predice un incumplimiento frecuente de 5 a 13 veces según la especificación del modelo OpenAI. Los modelos de jueces muestran sólo un acuerdo moderado, Fleiss Kappa cercano a 0,42, lo que expone una ambigüedad interpretativa. Los patrones de valor a nivel de proveedor son claros, Claude favorece la responsabilidad ética, OpenAI favorece la eficiencia y la optimización de recursos, Gemini y Grok enfatizan la profundidad emocional y la conexión auténtica. El conjunto de datos permite la reproducción. Implemente esto para depurar especificaciones antes de la implementación, no después.
Consulte el documento, el conjunto de datos y los detalles técnicos. No dude en consultar nuestra página de GitHub para tutoriales, códigos y cuadernos. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 100.000 ML y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.
Asif Razzaq es el director ejecutivo de Marktechpost Media Inc.. Como emprendedor e ingeniero visionario, Asif está comprometido a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, Marktechpost, que se destaca por su cobertura en profundidad del aprendizaje automático y las noticias sobre aprendizaje profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el público.
🙌 Siga MARKTECHPOST: agréguenos como fuente preferida en Google.