Un ejemplo integral de cómo ver qué tan bien un modelo LLM puede responder preguntas relacionadas con Amazon SageMaker
He escrito bastantes blogs en Medium sobre diferentes temas técnicos y más sobre Alojamiento de modelos de aprendizaje automático (ML) en Amazon SageMaker. Últimamente también he desarrollado un interés por el creciente ecosistema de IA generativa/modelo de lenguaje grande (como todos los demás en la industria jajaja).
Estas dos verticales diferentes me llevaron a una pregunta interesante. ¿Qué tan buenos son mis artículos de Medium para enseñar Amazon SageMaker? Para responder a esto, decidí implementar una solución de IA generativa que utiliza Recuperación de Generación Aumentada (RAG) con acceso a algunos de mis artículos para ver qué tan bien podría responder algunas preguntas relacionadas con SageMaker.
En este artículo, veremos cómo crear una solución de IA generativa de extremo a extremo y utilizaremos algunas herramientas populares diferentes para poner en práctica este flujo de trabajo:
- LangChain: LangChain es un marco de Python popular que ayuda a simplificar las aplicaciones de IA generativa al proporcionar módulos listos para usar que ayudan con la ingeniería rápida, la implementación de RAG y la orquestación del flujo de trabajo de LLM.
- Abierto AI: LangChain se encargará de la orquestación de nuestra aplicación de IA generativa; sin embargo, el cerebro sigue siendo el modelo. En este caso utilizamos un LLM proporcionado por OpenAI, pero LangChain también se integra con diferentes fuentes de modelos como SageMaker Endpoints, Cohere, etc.
NOTA: Este artículo asume una comprensión intermedia de Python y una comprensión básica de LangChain en específico. Yo sugeriría seguir esto. artículo para comprender LangChain y crear mejor aplicaciones de IA generativa.
DESCARGO DE RESPONSABILIDAD: Soy arquitecto de aprendizaje automático en AWS y mis opiniones son mías.
Los modelos de lenguajes grandes (LLM, por sus siglas en inglés) por sí solos son increíblemente poderosos y, a menudo, pueden responder muchas preguntas sin la ayuda de ajustes o conocimientos/contexto adicionales.
Sin embargo, esto puede convertirse en un cuello de botella cuando se necesita acceder a otras fuentes de datos específicas y, especialmente, a datos recientes. Por ejemplo, aunque OpenAI ha sido entrenado con un gran corpus de datos, no tiene conocimiento de mi reciente…