Cuando los LLM se utilizan para evaluar cualidades como la corrección, precisión o relevancia de un texto, la coherencia es primordial. Si un LLM exhibe juicios inconsistentes, entonces sus evaluaciones se vuelven poco confiables y poco confiables.
Si un LLM evalúa la calidad del razonamiento de los argumentos, pero se contradice al calificar un argumento inválido como más lógicamente sólido que uno perfectamente válido, entonces falla como árbitro de la razón. Sus evaluaciones pierden credibilidad debido a la propia falta de coherencia lógica del modelo.
Cuando aparecen tales inconsistencias, no existe una base estable para comparar las evaluaciones del LLM de diferentes textos. Si el modelo se contradice arbitrariamente, entonces las oraciones no pueden clasificarse de manera confiable entre sí basándose en las puntuaciones inconsistentes del modelo.
En esencia, la inconsistencia destruye las bases de comparación que las evaluaciones pretenden proporcionar en primer lugar. Si un LLM no puede demostrar una aplicación consistente de los criterios de evaluación, entonces usarlo para evaluar un texto pierde toda efectividad y utilidad.
Por lo tanto, la coherencia en el juicio y la evaluación es obligatoria para los LLM empleados para calificar o juzgar las cualidades y características del texto. Sin un alto nivel de estabilidad en sus evaluaciones, basado en una comprensión consistente de los conceptos que se evalúan, la base de comparación se desmorona cuando se aprovechan los resultados del LLM como una forma de evaluación o puntuación.
El muestreo de múltiples soluciones revela que la coherencia entre los resultados se correlaciona fuertemente con la calidad. Sin embargo, las técnicas de coherencia existentes se basan en extraer y comparar respuestas de forma cerrada, lo que restringe su aplicabilidad. Este artículo explora métodos para mejorar la autoconsistencia sin tales limitaciones, al mismo tiempo que fundamenta las decisiones en el conocimiento del mundo real.
La necesidad de autoconsistencia
A pesar de los rápidos avances, los fallos lógicos y las falsedades siguen obstaculizando el razonamiento fiable en los modelos de última generación. Para análisis complejos de varios pasos o generación de forma libre, los modelos a menudo se contradicen o inventan hechos sin fundamento.
Esto se manifiesta de dos maneras clave: generación abierta inconsistente e inferencias incoherentes. Cuando actua…