Desde su lanzamiento en 2018, Tecnología Just Walk Out de Amazon Just Walk Out ha transformado la experiencia de compra al permitir a los clientes entrar en una tienda, recoger artículos y salir sin tener que hacer cola para pagar. Puedes encontrar esta tecnología sin caja en más de 180 establecimientos de terceros en todo el mundo, incluidos minoristas de viajes, estadios deportivos, lugares de entretenimiento, centros de conferencias, parques temáticos, tiendas de conveniencia, hospitales y campus universitarios. El sistema integral de la tecnología Just Walk Out determina automáticamente qué productos eligió cada cliente en la tienda y proporciona recibos digitales, lo que elimina la necesidad de hacer cola en la caja.
En esta publicación, mostramos la última generación de la tecnología Just Walk Out de Amazon, impulsada por un modelo de base multimodal (FM). Diseñamos este FM multimodal para tiendas físicas utilizando una arquitectura basada en transformadores similar a la que sustenta muchas aplicaciones de inteligencia artificial (IA) generativa. El modelo ayudará a los minoristas a generar recibos de compra altamente precisos utilizando datos de múltiples entradas, incluida una red de cámaras de video elevadas, sensores de peso especializados en los estantes, planos de planta digitales e imágenes de catálogo de productos. Para decirlo en términos simples, un modelo multimodal significa utilizar datos de múltiples entradas.
Nuestras inversiones en investigación y desarrollo (I+D) en FM multimodales de última generación permiten que el sistema Just Walk Out se implemente en una amplia gama de situaciones de compra con mayor precisión y a un menor costo. De manera similar a los modelos de lenguaje extenso (LLM) que generan texto, el nuevo sistema Just Walk Out está diseñado para generar un recibo de venta preciso para cada comprador que visita la tienda.
El desafío: abordar escenarios complejos de compras de cola larga
Debido a su innovador entorno sin caja, las tiendas Just Walk Out nos plantearon un desafío técnico único. Los minoristas y los compradores, así como Amazon, exigen una precisión de casi el 100 por ciento en la caja, incluso en las situaciones de compra más complejas. Estas incluyen comportamientos de compra inusuales que pueden crear una secuencia larga y complicada de actividades que requieren un esfuerzo adicional para analizar lo que sucedió.
Las generaciones anteriores del sistema Just Walk Out utilizaban una arquitectura modular; abordaban situaciones de compra complejas dividiendo la visita del comprador en tareas discretas, como detectar interacciones con el comprador, hacer un seguimiento de los artículos, identificar productos y contar lo que se selecciona. Estos componentes individuales se integraban luego en canales secuenciales para permitir la funcionalidad general del sistema. Si bien este enfoque produjo recibos de alta precisión, se requieren importantes esfuerzos de ingeniería para abordar los desafíos en situaciones nuevas y nunca antes vistas y escenarios de compra complejos. Esta limitación restringió la escalabilidad de este enfoque.
La solución: la IA multimodal Just Walk Out
Para afrontar estos desafíos, presentamos un nuevo FM multimodal que diseñamos específicamente para entornos de tiendas minoristas, lo que permite que la tecnología Just Walk Out maneje escenarios de compras reales y complejos. El nuevo FM multimodal mejora aún más las capacidades del sistema Just Walk Out al generalizarse de manera más efectiva a nuevos formatos de tiendas, productos y comportamientos de los clientes, lo que es crucial para ampliar la tecnología Just Walk Out.
La incorporación del aprendizaje continuo permite que el modelo de entrenamiento se adapte automáticamente y aprenda de los nuevos escenarios desafiantes a medida que surgen. Esta capacidad de automejora ayuda a garantizar que el sistema mantenga un alto rendimiento, incluso cuando los entornos de compra continúan evolucionando.
Gracias a esta combinación de aprendizaje de principio a fin y generalización mejorada, el sistema Just Walk Out puede abordar una gama más amplia de entornos minoristas dinámicos y complejos. Los minoristas pueden implementar esta tecnología con confianza, sabiendo que les brindará a sus clientes una experiencia de pago sin inconvenientes.
El siguiente vídeo muestra la arquitectura de nuestro sistema en acción.
Los elementos clave de nuestro modelo de IA multimodal Just Walk Out incluyen:
- Entradas de datos flexibles –El sistema rastrea la interacción de los usuarios con los productos y los elementos fijos, como estanterías o frigoríficos. Se basa principalmente en transmisiones de vídeo de múltiples vistas como entradas, utilizando sensores de peso únicamente para rastrear artículos pequeños. El modelo mantiene una representación digital en 3D de la tienda y puede acceder a imágenes del catálogo para identificar productos, incluso si el comprador devuelve artículos al estante de forma incorrecta.
- Tokens de IA multimodales para representar los recorridos de los compradores – Los datos de entrada multimodales son procesados por los codificadores, que los comprimen en tokens de transformador, la unidad básica de entrada para el modelo de recibo. Esto permite que el modelo interprete los movimientos de la mano, diferencie entre artículos y cuente con precisión y rapidez la cantidad de artículos recogidos o devueltos al estante.
- Actualización continua de recibos – El sistema utiliza tokens para crear recibos digitales para cada comprador. Puede diferenciar entre distintas sesiones de compra y actualiza dinámicamente cada recibo a medida que los clientes retiran o devuelven artículos.
Capacitación de Just Walk Out FM
Al introducir grandes cantidades de datos multimodales en Just Walk Out FM, descubrimos que podía generar constantemente (o, técnicamente, “predecir”) recibos precisos para los compradores. Para mejorar la precisión, diseñamos más de 10 tareas auxiliares, como detección, seguimiento, segmentación de imágenes, conexión a tierra (vinculación de conceptos abstractos con objetos del mundo real) y reconocimiento de actividades. Todas estas tareas se aprenden dentro de un único modelo, lo que mejora la capacidad del modelo para manejar formatos de tienda, productos y comportamientos de los clientes nuevos y nunca antes vistos. Esto es crucial para llevar la tecnología Just Walk Out a nuevas ubicaciones.
El entrenamiento del modelo de IA, en el que se introducen datos seleccionados en algoritmos seleccionados, ayuda al sistema a perfeccionarse para producir resultados precisos. Descubrimos rápidamente que podíamos acelerar el entrenamiento de nuestro modelo utilizando un volante de datos que extrae y etiqueta continuamente datos de alta calidad en un ciclo que se refuerza a sí mismo. El sistema está diseñado para integrar estas mejoras progresivas con una mínima intervención manual. El siguiente diagrama ilustra el proceso.
Para entrenar un FM de manera eficaz, invertimos en una infraestructura robusta que pueda procesar de manera eficiente las enormes cantidades de datos necesarios para entrenar redes neuronales de alta capacidad que imitan la toma de decisiones humana. Construimos la infraestructura para nuestro modelo Just Walk Out con la ayuda de varios Servicios web de Amazon (AWS) servicios, incluidos Servicio de almacenamiento simple de Amazon (Amazon S3) para el almacenamiento de datos y Amazon SageMaker para entrenamiento.
Para entrenar un FM de manera eficaz, invertimos en una infraestructura robusta que pueda procesar de manera eficiente las enormes cantidades de datos necesarios para entrenar redes neuronales de alta capacidad que imitan la toma de decisiones humana. Construimos la infraestructura para nuestro modelo Just Walk Out con la ayuda de varios Servicios web de Amazon (AWS) servicios, incluidos Servicio de almacenamiento simple de Amazon (Amazon S3) para el almacenamiento de datos y Amazon SageMaker para entrenamiento.
A continuación se muestran algunos pasos clave que seguimos en la capacitación de nuestro FM:
- Selección de fuentes de datos desafiantes – Para entrenar nuestro modelo de IA para la tecnología Just Walk Out, nos centramos en los datos de entrenamiento de escenarios de compra especialmente difíciles que ponen a prueba los límites de nuestro modelo. Aunque estos casos complejos constituyen solo una pequeña fracción de los datos de compra, son los más valiosos para ayudar al modelo a aprender de sus errores.
- Aprovechar el etiquetado automático – Para aumentar la eficiencia operativa, desarrollamos algoritmos y modelos que asignan automáticamente etiquetas significativas a los datos. Además de la predicción de recibos, nuestros algoritmos de etiquetado automatizados cubren las tareas auxiliares, lo que garantiza que el modelo adquiera capacidades integrales de comprensión y razonamiento multimodal.
- Preentrenamiento del modelo – Nuestro FM está entrenado previamente en una amplia colección de datos multimodales en una amplia gama de tareas, lo que mejora la capacidad del modelo para generalizarse a nuevos entornos de tiendas nunca antes vistos.
- Ajuste fino del modelo – Finalmente, refinamos aún más el modelo y utilizamos técnicas de cuantificación para crear un modelo más pequeño y más eficiente que utiliza computación de borde.
A medida que el modelo de datos siga funcionando, identificará e incorporará progresivamente más casos complejos y de alta calidad para probar la solidez del modelo. Estas muestras complejas adicionales se incorporan al conjunto de entrenamiento, lo que mejora aún más la precisión y la aplicabilidad del modelo en nuevos entornos de tiendas físicas.
Conclusión
En esta publicación, mostramos cómo nuestro sistema de IA multimodal representa nuevas posibilidades significativas para la tecnología Just Walk Out. Con nuestro enfoque innovador, nos estamos alejando de los sistemas de IA modulares que dependen de subcomponentes e interfaces definidos por humanos. En cambio, estamos construyendo sistemas de IA más simples y escalables que se pueden entrenar de principio a fin. Aunque apenas estamos empezando, la IA multimodal ha elevado el nivel de nuestro sistema de recibos, que ya es muy preciso, y nos permitirá mejorar la experiencia de compra en más tiendas de tecnología Just Walk Out en todo el mundo.
Visita Acerca de Amazon para leer el anuncio oficial sobre el nuevo sistema de IA multimodal y obtener más información sobre las últimas mejoras en la tecnología Just Walk Out.
Para saber dónde puede encontrar las ubicaciones de tecnología Just Walk Out, visite Ubicaciones de tecnología Just Walk Out cerca de ustedObtenga más información sobre cómo impulsar su tienda o local con la tecnología Just Walk Out de Amazon en Tecnología Just Walk Out Página del producto.
Visita Cree y escale la próxima ola de innovación en IA en AWS para obtener más información sobre cómo AWS puede reinventar las experiencias de los clientes con el conjunto más completo de servicios de IA y ML.
Acerca de los autores
Tian Lan es un científico principal en AWS. Actualmente, lidera los esfuerzos de investigación para desarrollar la tecnología Just Walk Out 2.0 de próxima generación, transformándola en un modelo de base multimodal, centrado en el dominio de almacenamiento y con aprendizaje de extremo a extremo.
Chris Broaddus es gerente sénior en AWS. Actualmente, gestiona todos los esfuerzos de investigación para la tecnología Just Walk Out, incluido el modelo de IA multimodal y otros proyectos, como el aprendizaje profundo para la estimación de la postura humana y la predicción de recibos mediante identificación por radiofrecuencia (RFID).