Esta publicación está coescrita con Tatia Tsmindashvili, Ana Kolkhidashvili, Guram Dentoshvili, Dachi Choladze de Impel.
Impulsar Transforma el comercio minorista automotriz a través de una solución de gestión del ciclo de vida del cliente con IA que impulsa las operaciones de concesionarios y las interacciones del cliente. Su producto principal, la IA de ventas, proporciona compromiso personalizado de clientes personalizado, manejo de preguntas específicas para vehículos y consultas de intercambio y financiamiento automotriz. Reemplazando su modelo de lenguaje grande de terceros (LLM) existente con un ajustado Metalama modelo desplegado en Amazon Sagemaker AIImpel logró un 20% de precisión mejorada y mayores controles de costos. La implementación utilizando el conjunto de características integrales de Amazon Sagemakerincluyendo entrenamiento modelo, cuantización de peso consciente de activación (AWQ) y contenedores de inferencia de modelos grandes (LMI). Este enfoque específico del dominio no solo mejoró la calidad de la salida sino que también mejoró la seguridad y la sobrecarga operativa en comparación con las LLM de uso general.
En esta publicación, compartimos cómo Impel mejora la experiencia del cliente del concesionario automotriz con LLMS ajustados en Sagemaker.
Impel’s Sales AI
Impel optimiza cómo los minoristas automotrices se conectan con los clientes mediante la entrega de experiencias personalizadas en cada punto de contacto, desde la investigación inicial hasta la compra, el servicio y la repetición de negocios, actuando como un conserje digital para los propietarios de vehículos, al tiempo que brinda capacidades de personalización de los minoristas para las interacciones de los clientes. Sales AI utiliza IA generativa para proporcionar respuestas instantáneas durante todo el día a los posibles clientes a través del correo electrónico y el texto. Esto mantuvo el compromiso durante las primeras etapas del viaje de compra de automóviles de un cliente conduce a citas en la sala de exposición o conexiones directas con equipos de ventas. Sales AI tiene tres características principales para proporcionar esta participación constante del cliente:
- Resumen – resume los compromisos de clientes pasados para obtener la intención del cliente
- Generación de seguimiento -Proporciona un seguimiento constante a los clientes comprometidos para ayudar a prevenir viajes de compra de clientes estancados
- Personalización de respuesta – Personaliza las respuestas para alinearse con la mensajería minorista y las especificaciones de compra del cliente
Dos factores clave impulsaron la transición de su proveedor de LLM existente: la necesidad de personalización del modelo y optimización de costos a escala. El modelo de fijación de precios por parte de su solución anterior se volvió prohibitiva en costo a medida que crecieron los volúmenes de transacciones, y las limitaciones en el ajuste les impidieron usar completamente sus datos patentados para la mejora del modelo. Al desplegar un modelo de metalama meta ajustado en Sagemaker, Impel logró lo siguiente:
- La previsibilidad de los costos a través de precios alojados, mitigando los cargos por juicio
- Mayor control de la capacitación y personalización del modelo, lo que lleva a una mejora del 20% entre las características centrales
- Procesamiento seguro de datos propietarios dentro de su cuenta AWS
- Escalado automático para satisfacer el pico en la demanda de inferencia
Descripción general de la solución
Impel elige Sagemaker AI, un servicio en la nube totalmente administrado que construye, capacita e implementa modelos de aprendizaje automático (ML) utilizando infraestructura, herramientas y flujos de trabajo de AWS para ajustar un modelo metalama para la IA de ventas. MetaLlama es un modelo poderoso, bien adecuado para tareas específicas de la industria debido a sus fuertes capacidades de seguimiento de instrucciones, soporte para ventanas de contexto extendidas y manejo eficiente del conocimiento del dominio.
Impel utilizado Contenedores de sagemaker lmi implementar la inferencia LLM en los puntos finales de Sagemaker. Estos contenedores Docker especialmente diseñados ofrecen un rendimiento optimizado para modelos como Meta Llama con soporte para los modelos finos de Lora y AWQ. Impel Utilizó el ajuste fino de Lora, una técnica eficiente y rentable para adaptar LLM para aplicaciones especializadas, a través de Amazon Sagemaker Studio cuadernos que se ejecutan en ML.P4DE.24xLarge instancias. Este entorno administrado simplificó el proceso de desarrollo, permitiendo al equipo de Impel integrar sin problemas herramientas populares de código abierto como Pytorch y Torchtune para la capacitación de modelos. Para la optimización del modelo, impulga las técnicas AWQ aplicadas para reducir el tamaño del modelo y mejorar el rendimiento de la inferencia.
En la producción, impulse los puntos finales de inferencia desplegados en ML.G6E.12xLarge Instancias, impulsadas por cuatro GPU NVIDIA y alta capacidad de memoria, adecuada para servir modelos grandes como MetaLlama de manera eficiente. Impel usó el sagemaker Característica de escala automática incorporada Para escalar automáticamente los contenedores de servicio basados en solicitudes concurrentes, que ayudaron a satisfacer las demandas de tráfico de producción variables mientras optimizan el costo.
El siguiente diagrama ilustra la arquitectura de la solución, que muestra el modelo ajustado e inferencia del cliente.
El equipo de I + D de Impel se asoció estrechamente con varios equipos de AWS, incluido su equipo de cuentas, equipo de estrategia de Genai y equipo de servicio de Sagemaker. Este equipo virtual colaboró en múltiples sprints que condujeron a la fecha de lanzamiento de IA de ventas ajustada para revisar las evaluaciones de modelos, el rendimiento de la sagmaker de referencia, optimizar las estrategias de escala e identificar las instancias óptimas de Sagemaker. Esta asociación abarcó sesiones técnicas, reuniones de alineación estratégica y discusiones operativas y de costos para después de implementación. La estrecha colaboración entre Impel y AWS fue fundamental para realizar el máximo potencial del modelo de impel-ajustado alojado en Sagemaker AI.
Proceso de evaluación del modelo sintonizado
La transición de Impel a su modelo de metalama ajustado entregó mejoras a través de métricas clave de rendimiento con mejoras notables en la comprensión de la terminología específica del automóvil y la generación de respuestas personalizadas. Las evaluaciones humanas estructuradas revelaron mejoras en las áreas críticas de interacción con el cliente: las respuestas personalizadas mejoraron del 73% al 86% de precisión, el resumen de la conversación aumentó del 70% al 83%, y la generación de mensajes de seguimiento mostró la ganancia más significativa, saltando del 59% al 92% de precisión. La siguiente captura de pantalla muestra cómo los clientes interactúan con la IA de ventas. El proceso de evaluación del modelo incluyó el equipo de I + D de Impel que califica varios casos de uso atendidos por el proveedor de LLM titular y los modelos ajustados de Impel.
Ejemplo de una interacción con el cliente con AI de ventas.
Además de la calidad de la salida, impulga la latencia y el rendimiento medidos para validar la preparación de producción del modelo. Utilizando AWSCURL para solicitudes HTTP firmadas con SIGV4, el equipo confirmó estas mejoras en las métricas de rendimiento del mundo real, asegurando una experiencia óptima del cliente en entornos de producción.
Uso de modelos específicos de dominio para un mejor rendimiento
La evolución de la IA de ventas de Impel progresó de un LLM de propósito general a un modelo específico de dominio y ajustado. Utilizando datos anónimos de interacción con el cliente, impulga un modelo de base disponible públicamente disponible, lo que resulta en varias mejoras clave. El nuevo modelo exhibió un aumento del 20% en la precisión entre las características centrales, mostrando una comprensión mejorada de la industria automotriz y una utilización de ventanas de contexto más eficiente. Al hacer la transición a este enfoque, Impel logró tres beneficios principales:
- La seguridad de los datos mejorada a través del procesamiento interno dentro de sus cuentas de AWS
- Reducción de la dependencia de las API externas y los proveedores de terceros
- Mayor control operativo para el escala y la personalización
Estos avances, junto con la mejora significativa de la calidad de la salida, validaron el cambio estratégico de Impel hacia un modelo de IA específico de dominio para la IA de ventas.
Expandir la innovación de IA en el comercio minorista automotriz
El éxito de Impel implementa modelos ajustados en Sagemaker ha establecido una base para extender sus capacidades de IA para apoyar una gama más amplia de casos de uso adaptados a la industria automotriz. Impel planea hacer la transición a modelos internos y específicos de dominio para extender los beneficios de una precisión y rendimiento mejorados en todo el conjunto de productos de participación del cliente. Con la vista, el equipo de I + D de Impel está avanzando sus capacidades de IA al incorporar flujos de trabajo de generación aumentada (RAG) de recuperación, llamadas de funciones avanzadas y flujos de trabajo agente. Estas innovaciones pueden ayudar a ofrecer sistemas adaptativos y conscientes del contexto diseñados para interactuar, razonar y actuar en tareas minoristas automotrices complejas.
Conclusión
En esta publicación, discutimos cómo Impel ha mejorado la experiencia del cliente del concesionario automotriz con LLMS ajustados en Sagemaker.
Para las organizaciones que consideran transiciones similares a modelos ajustados, la experiencia de Impel demuestra cómo trabajar con AWS puede ayudar a lograr mejoras de precisión y oportunidades de personalización del modelo mientras se crea capacidades de IA a largo plazo adaptadas a las necesidades específicas de la industria. Conéctese con su equipo de cuenta o visite Amazon Sagemaker AI Para aprender cómo Sagemaker puede ayudarlo a implementar y administrar modelos ajustados.
Sobre los autores
Nicholas scozzafava es un arquitecto de soluciones senior en AWS, centrado en los clientes de inicio. Antes de su rol actual, ayudó a los clientes empresariales a navegar sus viajes en la nube. Le apasiona la infraestructura en la nube, la automatización, las devops y ayuda a los clientes a construir y escalar en AWS.
Sam Sudakoff es un gerente de cuentas senior en AWS, centrado en la startup estratégica ISVS. SAM se especializa en paisajes tecnológicos, AI/ML y soluciones de AWS. La pasión de Sam radica en escalar startups y conducir transformaciones SaaS y IA. En particular, su trabajo con la nueva startup de AWS ISVS se ha centrado en construir asociaciones estratégicas e implementar iniciativas de ir al mercado que cierran la tecnología empresarial con soluciones de inicio innovadoras, al tiempo que mantienen una estricta adherencia con la seguridad de los datos y los requisitos de privacidad.
Vivek Gangasani es un arquitecto de soluciones especializadas principales para la inferencia en AWS. Ayuda a las empresas de IA generativas emergentes a construir soluciones innovadoras utilizando servicios de AWS y cómputo acelerado. Actualmente, se centra en desarrollar estrategias para ajustar y optimizar el rendimiento de inferencia de modelos de idiomas grandes. En su tiempo libre, Vivek disfruta de caminar, ver películas y probar diferentes cocinas.
Dmitry Soldatkin es un arquitecto senior de soluciones de IA/ML en AWS, que ayuda a los clientes a diseñar y construir soluciones de IA/ML. El trabajo de Dmitry cubre una amplia gama de casos de uso de ML, con un interés principal en la IA generativa, el aprendizaje profundo y la escala de ML en toda la empresa. Ha ayudado a empresas en muchas industrias, incluidos seguros, servicios financieros, servicios públicos y telecomunicaciones. Antes de unirse a AWS, Dmitry era un arquitecto, desarrollador y líder de tecnología en análisis de datos y campos de aprendizaje automático en la industria de servicios financieros.
Tatia tsmindashvili es un investigador senior de aprendizaje profundo en Impel con una MSC en ingeniería biomédica e informática médica. Tiene más de 5 años de experiencia en IA, con intereses que abarcan agentes de LLM, simulaciones y neurociencia. Puedes encontrarla en LinkedIn.
Ana Kolkhidashvili es la directora de I + D en Impel, donde dirige iniciativas de IA centradas en modelos de idiomas grandes y sistemas de conversación automatizados. Tiene más de 8 años de experiencia en IA, especializada en grandes modelos de idiomas, sistemas de conversación automatizados y PNL. Puedes encontrarla en LinkedIn.
Guram dentoshvili es el director de ingeniería e I + D en Impel, donde lidera el desarrollo de soluciones de IA escalables e impulsa la innovación en los productos de IA conversacionales de la compañía. Comenzó su carrera en Pulsar AI como ingeniero de aprendizaje automático y jugó un papel clave en la construcción de tecnologías de IA adaptadas a la industria automotriz. Puedes encontrarlo en LinkedIn.
Dachi Choladze es el director de innovación de Impel, donde dirige iniciativas en estrategia de IA, innovación y desarrollo de productos. Tiene más de 10 años de experiencia en emprendimiento tecnológico e inteligencia artificial. Dachi es el cofundador de Pulsar AI, la primera startup de IA exitosa a nivel mundial de Georgia, que luego se fusionó con Impel. Puedes encontrarlo en LinkedIn.
Deepam Mishra es asesor de SR de nuevas empresas en AWS y asesora a las nuevas empresas sobre ML, IA generativa y seguridad y responsabilidad de IA. Antes de unirse a AWS, Deepam cofundó y dirigió un negocio de IA en Microsoft Corporation y Wipro Technologies. Deepam ha sido un empresario e inversor en serie, ya que fundó 4 nuevas empresas de IA/ML. Deepam se basa en el área metropolitana de Nueva York y disfruta de conocer a los fundadores de IA.