Resolver el problema “perdido en el medio” en modelos de lenguaje grandes: un gran avance en la calibración de la atención

A pesar del avance significativo en los modelos de lenguajes grandes (LLM), los LLM a menudo necesitan ayuda con contextos extensos, especialmente cuando la información se distribuye en todo el texto. Los LLM ahora pueden manejar largos tramos de texto como entrada, pero aún enfrentan el problema de “perderse en el medio”. La capacidad de los LLM para encontrar y utilizar información con precisión dentro de ese contexto se debilita a medida que la información relevante se aleja del principio o del final. En otras palabras, tienden a centrarse en la información al principio y al final, descuidando lo que se encuentra en el medio.

Investigadores de la Universidad de Washington, el MIT, Google Cloud AI Research y Google colaboraron para abordar el problema de los “perdidos en el medio”. A pesar de estar capacitados para manejar contextos de entrada grandes, los LLM exhiben un sesgo de atención inherente que resulta en una mayor atención a los tokens al principio y al final de la entrada. Esto conduce a una precisión reducida cuando la información crítica se sitúa en el medio. El estudio tiene como objetivo mitigar el sesgo posicional permitiendo que el modelo preste atención a los contextos en función de su relevancia, independientemente de su posición dentro de la secuencia de entrada.

Los métodos actuales para abordar el problema de perderse en el medio a menudo implican reclasificar la relevancia de los documentos y reposicionar los más pertinentes al principio o al final de la secuencia de entrada. Sin embargo, estos métodos generalmente requieren supervisión o ajuste adicional y no abordan fundamentalmente la capacidad de los LLM para utilizar información a mitad de secuencia de manera efectiva. Para superar esta limitación, los investigadores proponen un nuevo mecanismo de calibración llamado “encontrado en el medio”.

Los investigadores primero establecen que el problema de perderse en el medio está relacionado con un sesgo de atención en forma de U. El sesgo inherente persiste incluso cuando el orden de los documentos es aleatorio. Para verificar su hipótesis, los autores intervienen ajustando la distribución de la atención para reflejar la relevancia más que la posición. Cuantifican este sesgo posicional midiendo los cambios en la atención a medida que varían la posición de un contexto fijo dentro del mensaje de entrada.

El mecanismo propuesto de “encontrar en el medio” desenreda el sesgo posicional de las puntuaciones de atención, permitiendo un reflejo más preciso de la relevancia de los documentos. Esta calibración implica estimar el sesgo y ajustar las puntuaciones de atención en consecuencia. Los experimentos demuestran que la atención calibrada mejora significativamente la capacidad del modelo para localizar información relevante dentro de contextos prolongados, lo que conduce a un mejor rendimiento en tareas de generación aumentada de recuperación (RAG).

Los investigadores ponen en práctica este mecanismo de calibración para mejorar el rendimiento general de RAG. El método de calibración de la atención supera consistentemente a los modelos no calibrados en diversas tareas y modelos, incluidos aquellos con diferentes longitudes de ventana de contexto. El enfoque produce mejoras de hasta 15 puntos porcentuales en el conjunto de datos de NaturalQuestions. Además, combinar la calibración de la atención con los métodos de reordenamiento existentes mejora aún más el rendimiento del modelo, lo que demuestra la eficacia y complementariedad de la solución propuesta.

En conclusión, el mecanismo propuesto identifica y aborda eficazmente el fenómeno de pérdida en el medio vinculándolo con el sesgo de atención posicional intrínseco en los LLM. El mecanismo encontrado en el medio mitiga con éxito este sesgo, permitiendo que los modelos presten atención a los contextos relevantes con mayor fidelidad y mejorando significativamente el rendimiento en tareas de utilización de contextos prolongados. Este avance abre nuevas formas de mejorar los mecanismos de atención de LLM y su aplicación en diversas aplicaciones orientadas al usuario.

Revisar la Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo.

Únete a nuestro Canal de telegramas y LinkedIn Grarriba.

Si te gusta nuestro trabajo, te encantará nuestro Boletin informativo..

No olvides unirte a nuestro SubReddit de más de 45.000 ml

🚀 Cree, edite y aumente datos tabulares con el primer sistema de IA compuesto, Gretel Navigator, ¡ahora disponible de forma generalizada! [Advertisement]