Recientemente comencé a preferir los Graph RAG más que los respaldados por una tienda de vectores.
Sin ofender a las bases de datos vectoriales; Funcionan fantásticamente en la mayoría de los casos. La advertencia es que necesitas menciones explícitas en el texto para recuperar el contexto correcto.
Tenemos soluciones para eso y cubrí algunas en mis publicaciones anteriores.
Por ejemplo, ColBERT y Multi-representation son modelos de recuperación útiles que debemos considerar al crear aplicaciones RAG.
Los GraphRAG sufren menos problemas de recuperación (no dije que no sufran). Siempre que la recuperación requiere algún razonamiento, GraphRAG funciona extraordinariamente.
Proporcionar un contexto relevante resuelve un problema clave en las aplicaciones basadas en LLM: la alucinación. Sin embargo, no elimina por completo las alucinaciones.
Cuando no puedes arreglar algo, lo mides. Y ese es el enfoque de esta publicación. En otras palabras, ¿Cómo evaluamos las aplicaciones RAG??