No ha pasado más de un año desde que GPT polvo de estrellas ✨ cubrimos casi cualquier sector a nivel global. Cada vez más expertos, de cualquier campo, anhelan utilizar modelos de lenguaje grande (LLM) para optimizar su flujo de trabajo. Evidentemente, el mundo empresarial no podía faltar en el safari de esta nueva tendencia. El futuro promete posibilidades sin precedentes, pero envueltas en el costo adecuado.
El alcance de este proyecto es demostrar una solución de extremo a extremo para aprovechar los LLM, de una manera que mitigue las preocupaciones de privacidad y costos. utilizaremos LLMwareun marco de código abierto para el desarrollo de aplicaciones LLM empresariales de nivel industrial, Retrieval Augmented Generation (TRAPO) método [1]y el COSTOSO – una colección recientemente presentada de modelos pequeños de código abierto, que se ejecutan únicamente en la CPU.
Concepto
Después de predecir con éxito el 🏀 de Jrue Holiday transferir Para Milwaukee Bucks, Data Corp asumió un nuevo proyecto: ayudar a una PYME FinTech a optimizar su toma de decisiones con IA. Es decir, crear una herramienta que manipule millones (!) de documentos propietarios, consulte modelos tipo GPT de última generación y proporcione a los gerentes información concisa y óptima. Todo eso está muy bien, pero conlleva dos inconvenientes importantes:
- Seguridad: Consultar un modelo LLM comercial (es decir, GPT-4) significa esencialmente compartir información patentada a través de Internet (¿Qué tal todos esos millones de documentos?). Una violación de datos seguramente comprometería la integridad de la empresa.
- Costo: Una herramienta automatizada como la anterior fomentará la productividad de los Gerentes, pero no hay almuerzo gratis. Las consultas diarias previstas podrían llegar a cientos y, dados los LLM “sedientos de GPU”, el costo agregado podría fácilmente salirse de control.
Las limitaciones anteriores me llevaron a una alternativa complicada:
¿Qué tal desarrollar una herramienta personalizada que consuma conocimiento propietario y…