Comparación sistemática de Instructor, Fructose y Langchain para tres tareas complejas de análisis de datos estructurados del mundo real.
Analizar datos estructurados de modelos de lenguajes grandes (LLM) puede resultar frustrante para cualquier cosa más allá de los problemas de los juguetes. Sin embargo, analizar de manera confiable los resultados de los LLM en estructuras predefinidas es crucial para integrar los LLM en otros sistemas de software y aplicaciones de IA generativa. OpenAI ha tomado la iniciativa al lanzar la llamada a la función GPT (Enlace) y modo JSON (Enlace). Aún así, estos requieren ingeniería rápida e intensiva, análisis sólido, reintentos y manejo elegante de errores para funcionar de manera confiable en problemas de producción del mundo real.
A continuación se detallan algunos problemas que he enfrentado al analizar datos estructurados con LLM. Este artículo fue escrito íntegramente por un humano con la ayuda del corrector gramatical de Grammarly, que ha sido mi método de escritura desde 2019.
- Clasificación: El LLM debe cumplir estrictamente con una lista de clases permitidas, que pueden ser de decenas a cientos en problemas del mundo real. Los LLM comienzan a alucinar con clases no permitidas en tareas con más de un puñado de clases.
- Reconocimiento de entidad nombrada (NER): El LLM solo debe seleccionar entidades presentes explícitamente en el texto. Estas entidades podrían estar en un 2…
