Handmade.com es un mercado líder de productos de artesanías de mano, que ofrece artículos únicos que contienen vendedores a clientes de todo el mundo. Con más de 60,000 productos en el catálogo y cierto porcentaje de listados que contienen descripciones básicas que podrían mejorarse para un mejor rendimiento de la optimización de motores de búsqueda (SEO), la necesidad de automatización se hizo evidente. El procesamiento manual, que consumía en promedio 10 horas por semana, requería un equipo de varias personas para mantener la calidad de referencia. A medida que su mercado escalaba, también lo hizo la necesidad de automatizar y mejorar la calidad de las descripciones de productos y los metadatos a escala.
Handmade.com admite una amplia gama de productos hechos a mano, cada uno con distintos atributos y necesidades de presentación, lo que hace que sea esencial ir más allá de las descripciones de talla única. La diversidad de los tipos de productos, desde los textiles hasta la escultura, requiere contenido que refleje las características únicas de cada elemento. Además, minimizar el tiempo de la presentación del vendedor a la publicación del producto es fundamental, especialmente porque los vendedores esperan comentarios en tiempo real y plazos de vida de menos de una hora. Para apoyar el crecimiento internacional, Handmade.com también necesita generar contenido de alta calidad en múltiples idiomas y regiones, facilitando la capacidad de descubrimiento y relevancia para una audiencia global.
Esta publicación se centra en el desafío de generar descripciones de productos ricos y escalables para bienes hechos a mano cargados por una base de vendedores distribuidos. Exploramos cómo handmade.com diseñó e implementó una solución de búsqueda híbrida de IA y vectores utilizando Roca madre de Amazon y Servicio de Amazon OpenSearch para recuperación de contenido semántico.
Descripción general de la solución
Handmade.com implementó una tubería impulsada por la IA de extremo a extremo para automatizar y enriquecer las descripciones de los productos. El proceso comienza con la ingestión de imágenes y metadatos, seguido de la generación de descripción inicial utilizando el modelo de lenguaje grande (LLM) de Claude 3.7 soneto (LLM) de Anthrope. Estas descripciones están integradas con el modelo V2 de integración de texto de Amazon Titan y se almacenan en el servicio Amazon OpenSearch, lo que permite la búsqueda semántica basada en vectores. La generación aumentada de recuperación (RAG) luego contextualiza los resultados para producir salidas refinadas y optimizadas de SEO adaptadas a cada producto.
El siguiente diagrama ilustra la arquitectura de alto nivel.
La solución incluye los siguientes componentes:
Carga de imagen del producto y procesamiento inicial:
- Las imágenes y los metadatos del producto se obtienen del repositorio de datos de productos Handmade.com y el índice Elasticsearch
- Claude en Amazon Bedrock se usa para generar una descripción inicial para cada imagen cargada
Incrustación y almacenamiento de vectores:
- La descripción generada está integrada con Amazon Titan Text Increddings V2
- Los incrustaciones se almacenan en un índice de vector de servicio de OpenSearch, habilitando capacidades de búsqueda semántica
Enriquecimiento del producto con supuesta de usuario:
- Cuando un usuario carga una imagen de producto, Claude de Anthrope genera un borrador de descripción
- El borrador de la descripción está integrada con Amazon Titan y se compara con las entradas existentes en la tienda Vector de servicio OpenSearch
Recuperación de generación aumentada:
- El contexto recuperado del servicio OpenSearch se envía junto con la nueva imagen a Claude de Anthrope en Amazon Bedrock
- Se genera una descripción refinada del producto enriquecida utilizando el patrón de trapo
Optimización de motores de búsqueda:
- El soneto antrópico Claude 3.7 se utiliza para generar metadatos de SEO, incluidos términos y narraciones de productos mejoradas
- Las indicaciones al modelo siguen el patrón: “Analice esta imagen del producto y proporcione una respuesta de SEO detallada que contenga SEOTERMS, Descripción del producto, etc.”
Interacción de usuario y manejo de API:
- Los vendedores interactúan a través de la interfaz Handmade.com
- A Node.js API maneja la ingestión de imágenes, la invocación del modelo y los flujos de trabajo de búsqueda utilizando los paquetes de AWS SDK y OpenSearch
Manejo de datos e integración del sistema:
- Los datos de productos e imágenes se ingieren continuamente desde el índice Handmade.com
- Amazon Bedrock, OpenSearch Service y API personalizadas Coordinar la incrustación, búsqueda de vectores e inferencia contextual
La solución también incorpora datos de interacción del cliente para mejorar continuamente la generación de descripción y el descubrimiento de productos. El sistema analiza las métricas de participación del usuario, incluidas las tasas de clics, el tiempo en la página y los eventos de conversión. Estas señales de comportamiento se utilizan para refinar la ingeniería rápida para la generación de descripción de Claude de Anthrope, optimizando la generación para una mayor participación del cliente.
Además, el sistema utiliza datos de revisión del cliente como una entrada valiosa para la tubería RAG. El procesamiento del lenguaje natural extrae atributos específicos del producto y detalles de artesanía del texto de revisión (por ejemplo, “técnica de acristalamiento única” o “características de variación de color”). Estas ideas están integradas junto con descripciones de productos en la tienda Vector de servicio OpenSearch, lo que permite capacidades de búsqueda semántica más matizadas. Al combinar el contexto derivado de la revisión con los datos de comportamiento, el sistema puede igualar de manera más efectiva a los clientes con productos artesanales relevantes basados en atributos visuales y cualitativos.
Descripción y indicaciones de muestra de metadatos
Para generar resultados consistentes y de alta calidad, Handmade.com las indicaciones estructuradas creadas para el Claude de Anthrope procesan imágenes y metadatos. Estas indicaciones guían el modelo para generar descripciones de productos, mejoras contextuales y metadatos. Los siguientes son roles de muestra otorgados a Claude de Anthrope para producir una variedad de texto de salida:
[
{ "role": "Material Enthusiast" },
{ "role": "Sustainability Advocate" },
{ "role": "Heritage Historian" },
{ "role": "Functionality Reviewer" },
{ "role": "Maker Advocate" },
{ "role": "Visual Poet" }
]Luego, el proceso utiliza AI y una tienda vectorial para mejorar las descripciones de productos para SEO y la participación del usuario. Discutimos los pasos clave en la siguiente sección.
Análisis de imágenes
El flujo de trabajo de análisis de imágenes consta de los siguientes pasos:
- Un usuario carga una imagen de producto.
- Anthrope Claude procesa la imagen y genera una descripción estructurada, identificando detalles y usos potenciales:
"AI Request": [
{
"type": "image",
"source": {
"type": "uploaded_file",
"data": "user_image"
}
},
{
"type": "text",
"text": "Create a simple title and description for this product."
}
]Búsqueda vectorial de productos similares
El proceso de búsqueda de vectores consta de los siguientes pasos:
- La imagen cargada se compara con un conjunto de datos curado que contiene descripciones de aproximadamente 1 millón de productos hechos a mano que se han adquirido durante más de 20 años.
- Este conjunto de datos se almacena en un índice de servicio OpenSearch, estructurado como vectores almacenados, un sistema digital donde las descripciones de productos se codifican como representaciones numéricas del texto y sus relaciones en lugar de texto sin formato.
- La descripción de la imagen del Claude de Anthrope se convierte en un vector utilizando Amazon Titan Text Increddings V2, lo que permite una búsqueda de similitud eficiente dentro del índice:
const aiResponse = "AI-generated text from Claude";
// The product description generated by Claude AI
const requestParams = {
modelId: "amazon.titan-embed-text-v2:0",
// AI model used to process the text
body: {{aiResponse }}
// Formatting Claude's response for Amazon Titan
};Generación de descripción enriquecida con contexto
El proceso de generación de descripción consta de los siguientes pasos:
- El sistema recupera productos con descripciones que se parecen mucho a la imagen cargada. Estas descripciones, creadas por expertos, sirven como referencias contextuales.
- Anthrope Claude incorpora estos datos contextuales, como el estilo, los conocimientos de los materiales y la relevancia histórica, para generar una descripción de producto mejorada y optimizada adaptada para el compromiso y la descubribilidad.
El siguiente código es la solicitud de trapo final de muestra a AI, en la que pasamos el contextDocs Como registros del producto del aviso de nuestro producto existente:
const productAnalysisRequest = `
Analyze the uploaded product image.
Use the provided context below to improve your response:
${contextDocs}
Generate a clear and structured response in JSON format:
{
"title": "A short product title",
"productDescription": "Describe the product, including details about materials used and unique features."
}
`;Este enfoque estructurado asegura que las descripciones de productos generadas por IA no solo sean precisas y conscientes del contexto, sino también optimizadas para la visibilidad de búsqueda, mejorando la experiencia del usuario y las tasas de conversión.
Conclusión
Handmade.com modernizó con éxito su flujo de trabajo de generación de contenido mediante el uso de componentes con IA para automatizar las descripciones de productos y optimizar la búsqueda. Eligieron la roca madre de Amazon porque era rápido y sencillo integrarse con su arquitectura actual y proporcionaron múltiples opciones para el modelo y las integridades utilizadas en el back-end para un precio respetable. La arquitectura incorpora modelos fundamentales de Amazon Bedrock, recuperación semántica con el servicio de Amazon OpenSearch y una capa de API liviana que usa Puerta de entrada de la API de Amazon para una orquestación perfecta. Estas innovaciones han simplificado las interacciones del vendedor y habilitaron la calidad de contenido consistente en un catálogo grande y creciente:
- Orquestación modular: el diseño de Handmade.com integra Claude antrópico para la generación y Amazon Titan para la incrustación, permitiendo un enriquecimiento flexible y una búsqueda contextual en tiempo real
- Inferencia escalable: Amazon Bedrock maneja las indicaciones multimodales concurrentes y las solicitudes de SEO sin sobrevaloración de infraestructura
- Optimización de búsqueda: la búsqueda basada en vectores mejora la capacidad de descubrimiento del producto y reduce la fricción en los flujos de trabajo de contenido del vendedor
El sistema ha sentado las bases para futuras capacidades como SEO multilingüe, ajuste rápido basado en la retroalimentación y la inclusión de nuevos tipos de contenido. Como siguiente paso, Handmade.com planea extender su uso de Agentes de roca madre de Amazon para flujos de trabajo rápido estructurado y para simplificar aún más el proceso de incorporación para los vendedores. El equipo también está explorando formas de incorporar señales de participación del usuario y revisar los datos para continuar refinando el contenido generado y mejorar la calidad de la recomendación.
¿Listo para transformar sus propios flujos de trabajo de gestión de contenido con AI? El viaje Handmade.com tomó para modernizar sus descripciones de productos, demuestra las poderosas posibilidades al combinar los modelos de Fundación de Amazon Bedrock con las capacidades de búsqueda semántica del Servicio de OpenSearch de Amazon. Ya sea que esté administrando una plataforma de comercio electrónico, repositorio de contenido o mercado digital, estas herramientas pueden ayudarlo a lograr resultados similares en automatización, escalabilidad y experiencia mejorada del usuario. Comience a explorar el servicio de Amazon Bedrock y Amazon OpenSearch hoy para construir su propia solución de contenido con AI. Visite la documentación de AWS para obtener más información sobre cómo comenzar con estos servicios o conectarse con un arquitecto de soluciones de AWS para discutir sus necesidades específicas.
Sobre los autores
Obadías ndhaye es un arquitecto de soluciones en AWS con un enfoque en la resiliencia en la nube y ayuda a los clientes a implementar arquitecturas robustas y escalables después de las mejores prácticas. Obadías es un apasionado de las tecnologías emergentes, particularmente la IA generativa, y permite a los clientes innovar eficientemente en la nube. Además de sus intereses tecnológicos, Obadiah disfruta de actividades recreativas al aire libre.
Hardik Vasa es un arquitecto de soluciones senior en AWS. Se centra en las tecnologías generativas de IA y sin servidor, lo que ayuda a los clientes a aprovechar al máximo los servicios de AWS. Hardik comparte su conocimiento en varias conferencias y talleres. En su tiempo libre, le gusta aprender sobre la nueva tecnología, jugar videojuegos y pasar tiempo con su familia.
Richard Handley Sirve como ingeniero técnico que apoya a Novica.com y Handmade.com. A lo largo de su carrera, ha trabajado con todo, desde compañías de medios digitales hasta plataformas de comercio electrónico y sitios de contenido, ayudando tanto a las marcas establecidas como a las startups a descubrir su estrategia tecnológica y la arquitectura del sistema. Con los años, ha desarrollado una habilidad especial para detectar dónde la tecnología puede resolver problemas reales y convertir esas ideas en productos que las personas quieren usar.
Akhil raj es un profesional de control de calidad, que trabaja con novica.com y handmade.com, con una sólida experiencia en pruebas de software e ingeniería de calidad. Con experiencia práctica en automatización de pruebas, integración de CI/CD y estrategias de prueba basadas en la nube. Integra los servicios de AWS para optimizar los flujos de trabajo de control de calidad y garantizar la entrega de software de alta calidad.
Shankar Sivan es ingeniero de software senior, tanto en Novica.com como en Handmade.com, especializado en desarrollo de backend y DevOps. Tiene experiencia en soluciones impulsadas por IA, incluidos los sistemas de construcción con aprendizaje automático. Su trabajo se centra en la automatización, la infraestructura escalable y las mejores prácticas de seguridad para mejorar la confiabilidad y eficiencia del sistema.