Abordar los desafíos en la recuperación intensiva de razonamiento
A pesar del progreso notable en la generación de recuperación, augationada (TRAPO) Los sistemas, recuperar información relevante para tareas de razonamiento complejas de varios pasos sigue siendo un desafío significativo. La mayoría de los retrievers hoy en día están capacitados en conjuntos de datos compuestos por preguntas fácticas breves, que se alinean bien con superposiciones léxicas o semánticas a nivel de documento. Sin embargo, se quedan cortos cuando se enfrentan con consultas más largas, abstractas o de dominio cruzado que requieren sintetizar el conocimiento disperso. En tales casos, los errores de recuperación pueden propagarse a través de la tubería, lo que perjudica el razonamiento posterior de los modelos de idiomas grandes (LLM). Si bien los volviéndose a relacionar con sede en LLM pueden mejorar la relevancia, su costo computacional sustancial a menudo los hace poco prácticos en las implementaciones del mundo real.
Meta AI presenta razonirir-8B, un retriever construido para el razonamiento
Meta Ai ha lanzado Razón-8Bun modelo de recuperación diseñado explícitamente para la recuperación de información intensiva de razonamiento. Entrenado de Llama3.1-8b, el modelo establece nuevos estándares de rendimiento en el punto de referencia brillante, logrando una ganancia acumulada con descuento normalizada (NDCG@10) de 36.9 Cuando se usa con un Reranker ligero Qwen2.5. En particular, supera a los principales modelos rerantentes como Rank1-32b mientras ofrece Calculación de tiempo de inferencia 200 × menorhaciéndolo significativamente más práctico para aplicaciones de trapo escaladas.
RAZONIR-8B está capacitado utilizando una nueva tubería de generación de datos, Sintetizador de razonamientoque construye consultas sintéticas y pares de documentos que reflejan los desafíos planteados por las tareas de razonamiento del mundo real. El modelo se lanza de código abierto en Cara abrazadajunto con el código de entrenamiento y las herramientas de datos sintéticos, que permiten más investigaciones y reproducibilidad.
Arquitectura modelo, tuberías de capacitación e innovaciones clave
Razonir-8B emplea un arquitectura bi-codificadoradonde las consultas y los documentos se codifican independientemente en las embebidos y se puntúan a través de la similitud de coseno. El entrenamiento del modelo se basa en gran medida en datos generados sintéticamente Administrado a escenarios de razonamiento. La tubería de síntesis razonable produce dos tipos principales de instancias de entrenamiento:
- Consultas de longitud variada (VL): Estas son consultas largas y ricas en información (hasta 2000 tokens), combinadas con documentos correspondientes, alentando al Retriever a manejar contextos extendidos de manera efectiva.
- Consultas duras (HQ): Derivado de documentos curados con alto valor educativo, estas consultas están diseñadas para requerir una inferencia lógica. Se utilizan indicaciones múltiples para construir negativos duros—Cocumentos que parecen superficialmente relevantes pero no contienen las vías de razonamiento necesarias.
Este enfoque contrasta con los métodos de muestreo negativos convencionales, que a menudo dependen de la superposición léxica y son menos efectivas para las preguntas abstractas o de múltiples saltos.
Además, la máscara de atención del modelo se modifica desde la configuración causal de Llama a un bidireccionalpermitiendo que el codificador considere el contexto de consulta completo simétricamente, que es beneficioso para la alineación semántica no secencial.
Resultados empíricos en puntos de referencia IR y rag
Reasonir-8B logra un fuerte rendimiento en varios puntos de referencia:
- Bright Benchmark (recuperación intensiva de razonamiento):
- 24.4 NDCG@10 en consultas originales
- 29.9 con consultas reescritas GPT-4
- 36.9 con Qwen2.5 Rergukingsuperando a los más grandes LLM Rerankers a una fracción del costo
- Tareas de generación de recuperación de generación (trapo):
- +6.4% de mejora en MMLU sobre una línea de base de libro cerrado
- +22.6% de mejora en GPQA
Estas ganancias son consistentes en las consultas estándar y reescritas, con mejoras adicionales observadas al combinar razonir-8B con un receptor escaso como BM25 o un Reranker ligero.
Es importante destacar que el modelo continúa mejorando como Escala de longitudes de consultaa diferencia de otros recortes cuyo rendimiento se vienta o disminuye. Esto sugiere que Reasonir-8B puede explotar mejor las consultas ricas en información, por lo que es particularmente adecuada para técnicas de tiempo de prueba, como la reescritura de consultas.
Conclusión
ReasonIR-8B aborda un cuello de botella clave en la recuperación de información centrada en el razonamiento mediante la introducción de un retriever optimizado no solo para la relevancia sino también por la eficiencia computacional. Su diseño, arraigado en capacitación sintética adaptada para el razonamiento, junto con mejoras arquitectónicas y centradas en datos, permite ganancias consistentes en tareas de recuperación y trapo.
Al liberar la tubería de generación de datos del modelo, base de código y capacitación de datos como herramientas de código abierto, Meta AI alienta a la comunidad de investigación a extender este trabajo hacia los retrievers más robustos, multilingües y multimodales. Para las aplicaciones que requieren una recuperación rentable y de alta calidad bajo restricciones de razonamiento, Razonir-8B representa una solución convincente y práctica.
Mira el Papel, Página de Huggingface y Página de Github. Además, no olvides seguirnos Gorjeo y únete a nuestro Canal de telegrama y LinkedIn GRsalpicar. No olvides unirte a nuestro 90k+ ml de subreddit.
Asif Razzaq es el CEO de MarktechPost Media Inc .. Como empresario e ingeniero visionario, ASIF se compromete a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, MarktechPost, que se destaca por su cobertura profunda de noticias de aprendizaje automático y de aprendizaje profundo que es técnicamente sólido y fácilmente comprensible por una audiencia amplia. La plataforma cuenta con más de 2 millones de vistas mensuales, ilustrando su popularidad entre el público.
