Screenshot 2024 06 15 At 7.19.24 Pm.png

Los modelos de lenguajes grandes (LLM) enfrentan un desafío importante a la hora de representar con precisión la incertidumbre sobre la exactitud de su producción. Esta cuestión es fundamental para las aplicaciones de toma de decisiones, especialmente en campos como la atención sanitaria, donde una confianza errónea puede conducir a resultados peligrosos. La tarea se complica aún más por las variaciones lingüísticas en la generación de formas libres, que no pueden explicarse exhaustivamente durante el entrenamiento. Los profesionales de LLM deben navegar la dicotomía entre los métodos de estimación de caja negra y de caja blanca, donde los primeros ganan popularidad debido a los modelos restringidos, mientras que los segundos se vuelven más accesibles con los modelos de código abierto.

Los intentos existentes de abordar este desafío exploraron varios enfoques. Algunos métodos utilizan la expresión natural de distribución de los LLM sobre posibles resultados, utilizando probabilidades simbólicas predichas para pruebas de opción múltiple. Sin embargo, estos se vuelven menos confiables para respuestas de oraciones largas debido a la necesidad de distribuir las probabilidades entre muchas frases. Otros enfoques utilizan indicaciones para producir estimaciones de incertidumbre, aprovechando los conceptos aprendidos de «corrección» y probabilidades de los LLM. También se han utilizado sondas lineales para clasificar la corrección de un modelo basándose en representaciones ocultas. A pesar de estos esfuerzos, los métodos de caja negra a menudo no logran generar incertidumbres útiles para los modelos populares de código abierto, lo que requiere cuidadosas intervenciones de ajuste.

Para avanzar en el debate sobre las intervenciones necesarias para una buena calibración, investigadores de la Universidad de Nueva York, Abacus AI y la Universidad de Cambridge han llevado a cabo una investigación profunda sobre la calibración de incertidumbre de los LLM. Proponen ajustes para mejorar las incertidumbres, lo que proporciona estimaciones más rápidas y confiables al tiempo que utiliza relativamente pocos parámetros adicionales. Este método es prometedor a la hora de generalizar a nuevos tipos de preguntas y tareas más allá del conjunto de datos de ajuste. El enfoque implica enseñar a los modelos de lenguaje a reconocer lo que no saben utilizando un conjunto de datos de calibración, explorar la parametrización efectiva y determinar la cantidad de datos necesarios para una buena generalización.

El método propuesto implica centrarse en técnicas de caja negra para estimar la incertidumbre de un modelo de lenguaje, particularmente aquellas que requieren una muestra única o un pase directo. Para una generación abierta, donde las respuestas no se limitan a tokens individuales o posibilidades prescritas, los investigadores utilizan la perplejidad como una métrica normalizada en longitud. El enfoque también explora métodos de estimulación como alternativa a la probabilidad de secuencia, introduciendo formatos que sientan las bases para trabajos recientes. Estos incluyen clasificadores de tiro cero y declaraciones de confianza verbalizadas, que se utilizan para crear estimaciones de incertidumbre a partir de los resultados del modelo de lenguaje.

Los resultados muestran que el ajuste de las incertidumbres mejora significativamente el rendimiento en comparación con las líneas de base utilizadas comúnmente. La calidad de las estimaciones de incertidumbre de caja negra producidas por modelos de código abierto se examinó con respecto a su precisión, utilizando modelos como LLaMA-2, Mistral y LLaMA-3. La evaluación de MMLU abierta reveló que los métodos de indicación generalmente dan incertidumbres mal calibradas, y la calibración no mejora de manera inmediata a medida que mejora el modelo base. Sin embargo, AUROC mostró una ligera mejora con el poder del modelo subyacente, aunque todavía está por detrás de los modelos con ajuste fino para la incertidumbre.

Este estudio encuentra que las incertidumbres originales de los LLM no son confiables para la generación abierta, contrariamente a resultados anteriores. Los procedimientos de ajuste introducidos producen incertidumbres calibradas con propiedades prácticas de generalización. En particular, el ajuste fino demuestra ser sorprendentemente eficiente en cuanto a muestras y no depende de representaciones específicas de un modelo que evalúa sus generaciones. La investigación también demuestra la posibilidad de que las incertidumbres calibradas sean robustas ante los cambios de distribución.


Revisar la Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo.

Únete a nuestro Canal de telegramas y LinkedIn Grarriba.

Si te gusta nuestro trabajo, te encantará nuestro Boletin informativo..

No olvides unirte a nuestro SubReddit de 44k+ ML


Asjad es consultor interno en Marktechpost. Está cursando B.Tech en ingeniería mecánica en el Instituto Indio de Tecnología, Kharagpur. Asjad es un entusiasta del aprendizaje automático y el aprendizaje profundo que siempre está investigando las aplicaciones del aprendizaje automático en la atención médica.