Un LLM puede manejar el enrutamiento general. La búsqueda semántica puede manejar mejor los datos privados. ¿Cuál elegirías?
Un único mensaje no puede manejar todo y una única fuente de datos puede no ser adecuada para todos los datos.
Esto es algo que se ve a menudo en producción pero no en demostraciones:
Necesita más de una fuente de datos para recuperar información: más de un almacén de vectores, una base de datos gráfica o incluso una base de datos SQL. Y también necesita diferentes indicaciones para gestionar distintas tareas.
Si es así, tenemos un problema. Dado que la entrada del usuario no está estructurada, a menudo es ambigua y está mal formateada, ¿cómo decidimos de qué base de datos recuperar los datos?
Si por alguna razón todavía piensas que es demasiado fácil, aquí tienes un ejemplo.
Supongamos que tienes un chatbot de guías turísticos y un viajero le pide un cronograma de viaje óptimo entre cinco lugares. Dejar que el LLM responda puede ser una alucinación, ya que los LLM no son buenos con los cálculos basados en la ubicación.
En cambio, si almacena esta información en una base de datos gráfica, el LLM puede generar una consulta para obtener la ruta de viaje más corta entre los puntos…