Solicitar al LLM que autodiagnostique y autocorrija el mensaje para mejorar la calidad de la respuesta.
Retrieval Augmented Generation (RAG) es sin duda una herramienta poderosa, fácilmente diseñada utilizando marcos como LangChain o LlamaIndex. Esta facilidad de integración podría dar la impresión de que RAG es una solución mágica fácil de crear para cada caso de uso. Sin embargo, en nuestro viaje para actualizar nuestra herramienta de búsqueda de artículos editoriales para ofrecer resultados de búsqueda semánticamente más ricos y respuestas directas a las consultas, encontramos que faltaba la configuración básica de RAG y descubrimos muchos desafíos. Construir un RAG para una demostración es rápido y fácil, y a menudo produce resultados suficientemente impresionantes para un pequeño subconjunto de escenarios. Sin embargo, el tramo final para alcanzar el estado de listo para producción, donde una calidad excepcional es obligatoria, presenta desafíos importantes. Esto es particularmente cierto cuando se trata de una vasta base de conocimientos repleta de miles de artículos de dominios específicos, algo que no es tan raro.
Nuestro enfoque hacia RAG consta de dos pasos distintos:
- Recuperación de documentos relevantes Al emplear una combinación de incrustaciones densas y escasas, extraemos fragmentos de documentos relevantes de nuestra base de datos Pinecone, considerando tanto el contenido como el título. Posteriormente, estos fragmentos se reclasifican según la relevancia del título, el contenido y la antigüedad del documento. Luego se eligen los cuatro documentos principales: como posibles resultados de búsqueda y como contexto del documento para generar respuestas directas. En particular, este enfoque difiere de la configuración común de RAG y aborda nuestros desafíos únicos de recuperación de documentos de manera más efectiva.
- Generación directa de respuestas Aquí, la pregunta, la instrucción y los cuatro fragmentos principales del documento previamente recuperados (contexto del documento) se introducen en un modelo de lenguaje grande (LLM) para producir una respuesta directa.
He profundizado en mejorar la calidad de la recuperación de documentos mediante el uso de Técnicas de búsqueda híbrida y clasificación jerárquica de documentos en discusiones anteriores. En este blog, mi objetivo es compartir ideas sobre cómo perfeccionar y solucionar problemas…