Un desafío importante en el campo de la recuperación de información (IR) utilizando modelos de lenguaje grandes (LLM) es la gran dependencia de indicaciones creadas por humanos para una clasificación de relevancia cero. Esta dependencia requiere un gran esfuerzo humano y experiencia, lo que hace que el proceso sea lento y subjetivo. Además, los métodos existentes no abordan adecuadamente las complejidades involucradas en la clasificación de relevancia, como la integración de pares de consultas y pasajes largos y la necesidad de evaluaciones integrales de relevancia. Estos desafíos obstaculizan la aplicación eficiente y escalable de los LLM en escenarios del mundo real, limitando todo su potencial para mejorar las tareas de IR.
Los métodos actuales para abordar este desafío implican principalmente ingeniería rápida manual, que, aunque efectiva, requiere mucho tiempo y es subjetiva. Los métodos manuales carecen de escalabilidad y están limitados por la variabilidad de la experiencia humana. Además, las técnicas de ingeniería automática existentes se centran más en tareas más simples como el modelado y la clasificación del lenguaje, sin abordar las complejidades únicas de la clasificación de relevancia. Estas complejidades incluyen la integración de pares de consultas y pasajes y la necesidad de una clasificación de relevancia integral, que los métodos existentes manejan de manera subóptima debido a sus procesos de optimización más simples.
Un equipo de investigadores de la Universidad de Rutgers y la Universidad de Connecticut propone APEER (Automatic Prompt Engineering Enhances LLM Reranking), que automatiza la ingeniería rápida mediante retroalimentación iterativa y optimización de preferencias. Este enfoque minimiza la participación humana al generar indicaciones refinadas basadas en comentarios sobre el desempeño y alineándolas con ejemplos de indicaciones preferidos. Al perfeccionar sistemáticamente las indicaciones, APEER aborda las limitaciones de la ingeniería de indicaciones manuales y mejora la eficiencia y precisión de los LLM en tareas de IR. Este método representa un avance significativo al proporcionar una solución escalable y eficaz para optimizar las indicaciones de LLM en escenarios complejos de clasificación de relevancia.
APEER opera generando indicaciones inicialmente y refinándolas a través de dos pasos principales de optimización. La optimización de la retroalimentación implica obtener comentarios sobre el rendimiento sobre el mensaje actual y generar una versión refinada. La optimización de preferencias mejora aún más este mensaje al aprender de conjuntos de ejemplos positivos y negativos. La capacitación y validación de APEER se llevan a cabo utilizando múltiples conjuntos de datos, incluidos MS MARCO, TREC-DL y BEIR, lo que garantiza la solidez y eficacia del método en diversas tareas de IR y arquitecturas LLM.
APEER demuestra mejoras significativas en el desempeño de LLM para tareas de clasificación de relevancia. Las métricas clave de rendimiento, como nDCG@1, nDCG@5 y nDCG@10, muestran mejoras sustanciales con respecto a las indicaciones manuales de última generación. Por ejemplo, APEER logró una mejora promedio de 5,29 nDCG@10 en ocho conjuntos de datos BEIR en comparación con las indicaciones manuales en el modelo LLaMA3. Además, las indicaciones de APEER muestran una mejor transferibilidad entre diversas tareas y arquitecturas LLM, superando constantemente los métodos de referencia en varios conjuntos de datos y modelos, incluidos GPT-4, LLaMA3 y Qwen2.
En conclusión, el método propuesto, APEER, automatiza la ingeniería de indicaciones para los LLM en IR, abordando el desafío crítico de la dependencia de indicaciones creadas por humanos. Al emplear retroalimentación iterativa y optimización de preferencias, APEER reduce el esfuerzo humano y mejora significativamente el rendimiento de LLM en varios conjuntos de datos y modelos. Esta innovación representa un avance sustancial en el campo, ya que proporciona una solución escalable y eficaz para optimizar las indicaciones de LLM en escenarios complejos de clasificación de relevancia.
Revisar la Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo.
Únete a nuestro Canal de telegramas y LinkedIn Grarriba.
Si te gusta nuestro trabajo, te encantará nuestro Boletin informativo..
No olvides unirte a nuestro SubReddit de más de 45.000 ml
Aswin AK es pasante de consultoría en MarkTechPost. Está cursando su doble titulación en el Instituto Indio de Tecnología de Kharagpur. Le apasiona la ciencia de datos y el aprendizaje automático, y aporta una sólida formación académica y experiencia práctica en la resolución de desafíos interdisciplinarios de la vida real.