Las organizaciones suelen confiar en las pruebas A/B para optimizar la experiencia del usuario, la mensajería y los flujos de conversión. Sin embargo, las pruebas A/B tradicionales asignan usuarios de forma aleatoria y requieren semanas de tráfico para alcanzar significación estadística. Si bien es eficaz, este proceso puede ser lento y es posible que no aproveche plenamente las señales tempranas en el comportamiento del usuario.
Esta publicación le muestra cómo crear un motor de pruebas A/B impulsado por IA utilizando Amazon Bedrock, Amazon Elastic Container Service, Amazon DynamoDB y Model Context Protocol (MCP). El sistema mejora las pruebas A/B tradicionales al analizar el contexto del usuario para tomar decisiones de asignación de variantes más inteligentes durante el experimento. Esto le ayuda a reducir el ruido, identificar patrones de comportamiento antes y llegar más rápido a un ganador seguro.
Al final de esta publicación, tendrá una arquitectura y una implementación de referencia que ofrece experimentación escalable, adaptable y personalizada utilizando servicios de AWS sin servidor.
El desafío de las pruebas A/B tradicionales
Las pruebas A/B tradicionales siguen un patrón familiar: asignar aleatoriamente a los usuarios a variantes, recopilar datos y seleccionar al ganador.
Este enfoque tiene limitaciones:
Solo asignación aleatoria: incluso cuando las primeras señales indican diferencias significativas. Convergencia lenta: esperará semanas para recopilar suficientes datos. Ruido alto: el sistema podría asignar a algunos usuarios variantes que claramente no coinciden con sus necesidades. Optimización manual: a menudo necesitará segmentar los datos después del hecho.
Un escenario real: por qué la asignación aleatoria te ralentiza
Considere un minorista que prueba dos botones de llamado a la acción (CTA) en las páginas de sus productos:
Variante A: “Compre ahora” Variante B: “Compre ahora – Envío gratis”
Los primeros días muestran que la Variante B funciona bien, por lo que podría considerar implementarla. Sin embargo, un análisis más profundo de la sesión revela algo interesante:
Los miembros premium leales, que ya disfrutan del envío gratuito, dudan cuando ven el mensaje "Envío gratuito". Algunos incluso navegan a la página de su cuenta para verificar sus beneficios. Los visitantes orientados a ofertas que llegan desde sitios web de cupones y descuentos interactúan mucho más con la Variante B. Los usuarios de dispositivos móviles prefieren la Variante A porque la CTA más corta se adapta mejor a pantallas más pequeñas.
Si bien la variante B parece ganar temprano, diferentes grupos de comportamiento de los usuarios influyen en este desempeño, no necesariamente la preferencia universal.
La asignación es aleatoria, por lo tanto, el experimento necesita una ventana larga para promediar estos efectos y hay que analizar manualmente varios segmentos para darle sentido. Aquí es donde la asignación asistida por IA puede ayudar a mejorar el experimento.
Descripción general de la solución: asignación de variantes asistida por IA
El motor de pruebas A/B asistido por IA actualiza la experimentación clásica mediante el uso del contexto del usuario en tiempo real y patrones de comportamiento tempranos para realizar asignaciones de variantes más inteligentes.
La solución presenta un motor de pruebas A/B adaptativo creado con Amazon Bedrock. En lugar de comprometer a todos los usuarios con la misma variante, el motor evalúa el contexto del usuario en tiempo real, recupera datos de comportamiento anteriores y selecciona una variante óptima para ese individuo.
Figura 1: Arquitectura del motor de pruebas A/B
La arquitectura incluye los siguientes componentes de AWS:
Amazon CloudFront + AWS WAF: Red de entrega de contenido global (CDN) con protección distribuida de denegación de servicio (DDoS), disuasión de inyección SQL y limitación de velocidad Origen de VPC: conexión privada desde Amazon CloudFront al balanceador de carga de aplicaciones interno (sin exposición pública a Internet) Amazon ECS con AWS Fargate: orquestación de contenedores sin servidor que ejecuta la aplicación FastAPI Amazon Bedrock: motor de decisiones de IA que utiliza Claude Sonnet con uso de herramientas nativas Protocolo de contexto modelo (MCP): proporciona acceso estructurado a datos de comportamiento y experimentos Puntos finales de VPC: conectividad privada a Amazon Bedrock, Amazon DynamoDB, Amazon S3, Amazon Elastic Container Registry (Amazon ECR) y Amazon CloudWatch Amazon DynamoDB: cinco tablas para experimentos, eventos, asignaciones, perfiles y trabajos por lotes Amazon Simple Storage Service (Amazon S3): alojamiento frontend estático y almacenamiento de registros de eventos
Cómo Amazon Bedrock mejora las decisiones sobre variantes
La innovación central radica en combinar el contexto del usuario, el historial de comportamiento, los patrones de usuarios similares y los datos de rendimiento en tiempo real para seleccionar la variante óptima. Esta sección revela cómo funciona el proceso de decisión de la IA.
El mensaje de decisión de la IA: lo que ve Amazon Bedrock
Cuando un usuario activa una solicitud de variante, el sistema crea un mensaje integral que le brinda a Amazon Bedrock el contenido completo necesario para tomar una decisión informada. Así es como se ve la estructura del mensaje real:
Elementos clave de la estructura del mensaje:
La estructura de avisos de dos niveles combina un aviso del sistema y un aviso del usuario.
El mensaje del sistema define a Amazon Bedrock como un “especialista experto en optimización de pruebas A/B” con acceso a 11 herramientas MCP (verificación de tareas, análisis de perfiles, filtrado colaborativo, métricas de rendimiento, análisis de sesiones) y reglas críticas (verifique primero las tareas existentes, umbral del 30 % para cambios, respuestas solo JSON).
El mensaje del usuario proporciona un contexto de decisión completo que incluye atributos del usuario (dispositivo, página, referencia, variantes anteriores), datos de personalización (puntuación de participación, probabilidad de conversión, estilo de interacción), configuraciones de variantes formateadas dinámicamente, métricas de rendimiento en tiempo real y un marco de decisión de cinco pasos.
Juntas, ambas indicaciones ayudan a Amazon Bedrock a organizar de manera inteligente llamadas a herramientas y realizar selecciones de variantes basadas en datos con total transparencia.
Por qué Amazon Bedrock frente al aprendizaje automático tradicional
Los modelos tradicionales de aprendizaje automático (ML) (por ejemplo, árboles de decisión, regresión logística, redes neuronales) han impulsado la segmentación de usuarios durante años. Entonces, ¿por qué utilizar Amazon Bedrock para la asignación de variantes? La respuesta está en cuatro capacidades clave:
Orquestación inteligente de herramientas
El aprendizaje automático tradicional requiere ingeniería de funciones codificada. Debes decidir de antemano qué datos recuperar y cómo combinarlos. Amazon Bedrock, a través del protocolo de contexto modelo, decide de manera inteligente a qué herramientas llamar en función de la situación.
Amazon Bedrock adapta su recopilación de datos a la situación única de cada usuario. Un nuevo usuario desencadena un análisis de similitud, mientras que un usuario que regresa desencadena un análisis de perfil. Un caso límite podría activar todas las herramientas. Esta lógica no se programa: Amazon Bedrock razona a través de ella.
Síntesis de razonamiento multifactorial
Los modelos de ML tradicionales producen predicciones sin explicación. Amazon Bedrock proporciona un razonamiento que sintetiza múltiples factores.
{ "variant_id": "B", "confidence": 0.86, "reasoning": "El dispositivo móvil del usuario (pantalla pequeña) favorece fuertemente la CTA más corta de la variante B. Usuarios móviles similares muestran una conversión un 23% mayor con B. La alta puntuación de participación del usuario (0,83) sugiere receptividad a los mensajes de incentivo. Las limitaciones del dispositivo y la alineación del comportamiento crean una fuerte señal para la variante B a pesar del liderazgo histórico de A en computadoras de escritorio". }
Este razonamiento combina:
Restricciones del dispositivo (factor técnico) Patrones de usuario similares (filtrado colaborativo) Métricas de participación personal (factor de comportamiento) Rendimiento histórico (factor estadístico)
Un modelo de aprendizaje automático tradicional podría predecir la “Variante B: 78 % de probabilidad”, pero no puede explicar cómo las restricciones del dispositivo interactúan con patrones de usuario similares para informar esa predicción.
Manejo de casos extremos y señales conflictivas
Cuando las señales entran en conflicto, Amazon Bedrock razona mediante compensaciones:
Entrenamiento cero, adaptación instantánea
El aprendizaje automático tradicional requiere:
Recopilación de datos de entrenamiento históricos (semanas/meses) Ingeniería de funciones y entrenamiento de modelos Reentrenamiento periódico a medida que cambian los patrones Pruebas A/B del propio modelo de ML
Amazon Bedrock funciona de inmediato:
Día 1: utiliza patrones de usuario similares a partir de datos existentes Día 2: aprende de los resultados de ayer Día 30: personalización sofisticada basada en conocimientos acumulados No necesita un proceso de reentrenamiento
Implementación profunda
Las siguientes secciones describen cómo funciona el motor asistido por IA entre bastidores.
Estrategia de asignación híbrida
Nuevos usuarios → Basado en hash (rentable)
Usuarios recurrentes → Impulsado por IA (alto valor)
Nuevos usuarios: asignación basada en hash (rápida, sin coste de IA)
si is_new_user: user_hash = int(hashlib.sha256(user_id.encode()).hexdigest(), 16) devolver variantes[índice]
Este enfoque híbrido es crucial. Los nuevos usuarios no tienen datos de comportamiento, por lo que el análisis de IA proporciona un valor mínimo. La asignación basada en hash les brinda una experiencia consistente mientras recopilamos datos. Una vez que tenemos señales de comportamiento, la selección de IA proporciona un impulso significativo.
Marco y ejecución de la herramienta MCP
El protocolo de contexto modelo (MCP) proporciona a Amazon Bedrock acceso estructurado a sus datos de comportamiento a través de un sistema de orquestación de herramientas inteligente. En lugar de volcar todos los datos en el mensaje (caro y lento), Amazon Bedrock llama selectivamente a herramientas para recopilar exactamente la información necesaria. Esto crea una conversación de varios turnos donde solicita datos, los analiza y toma decisiones.
Cómo funciona la ejecución de herramientas
Cada respuesta de Amazon Bedrock puede incluir una llamada a una herramienta. El backend de FastAPI ejecuta la herramienta, devuelve el resultado y continúa la conversación:
if respuesta.stopReason == "tool_use": nombre_herramienta = llamada_herramienta["nombre"] carga útil = llamada_herramienta["entrada"] resultado = espera mcp.execute(nombre_herramienta, carga útil) mensajes.append( { "role": "usuario", "contenido": [{"toolResult": resultado}] } )
Este ciclo continúa hasta que el modelo produce el JSON de decisión final. Esta conversación de varios turnos permite a Amazon Bedrock reunir exactamente el contexto que necesita, analizarlo y tomar una decisión.
Herramientas clave de MCP
Herramienta 1: get_similar_users() – Filtrado colaborativo
Encuentra usuarios con patrones de comportamiento similares mediante coincidencias basadas en clústeres:
Herramienta 2: get_user_profile() – Huella digital de comportamiento
Recupera un perfil de comportamiento completo de la tablaPersonalización de DynamoDB:
Herramienta 3: get_variant_performance() – Métricas en tiempo real
Recupera datos de rendimiento del objeto anidado VariantPerformance de la tabla Experimento:
Almacenamiento de información de IA en perfiles
Después de cada selección de variante, el sistema registra el resultado para mejorar decisiones futuras:
perfil.update( { "last_selected_variant": decisión.variant_id, "confidence_score": decisión.confidence, "behavior_tags": señales_extraídas } ) dynamodb.put_item( TableName="user_profile", Item=profile.to_item() )
Con el tiempo, a medida que el sistema registra más resultados, los perfiles de usuario se convierten en representaciones más precisas de las preferencias individuales, lo que permite a Amazon Bedrock realizar selecciones de variantes mejor informadas.
Comprender las puntuaciones de confianza
Cada decisión de IA incluye puntuaciones de confianza (0,0-1,0) que genera Amazon Bedrock como parte de su proceso de razonamiento. Esta puntuación refleja la evaluación que hace el sistema de su certeza sobre la selección de variante según los datos disponibles.
Cómo Amazon Bedrock determina la confianza:
Amazon Bedrock evalúa múltiples factores al asignar confianza: –
Disponibilidad de datos: más datos de comportamiento y rendimiento histórico → mayor confianza Coherencia de la señal Señales alineadas en todos los perfiles de usuario, usuarios similares y datos de rendimiento → mayor confianza Evidencia de usuario similar: grupo más grande de usuarios similares con preferencias consistentes → mayor confianza Significancia estadística: datos de rendimiento que cumplen con los umbrales de significancia → mayor confianza Madurez del perfil: perfiles de usuario establecidos con un historial extenso → mayor confianza
La puntuación de confianza es una evaluación holística en lugar de una métrica calculada, lo que le permite sopesar los factores de manera flexible según el contexto.
Interpretación de puntuaciones de confianza: –
0,9–1,0: Extremadamente confiable – Evidencia sólida en todos los factores 0,7–0,89: Confianza alta – Buena calidad de los datos con señales alineadas 0,5–0,69: Moderado – Datos razonables pero cierta incertidumbre 0,3–0,49: Bajo – Datos limitados o señales contradictorias < 0,3: Muy bajo – Datos insuficientes para una predicción confiable
Middleware de enriquecimiento de contexto
El middleware mejora automáticamente cada solicitud con el contexto del dispositivo y de la sesión:
user_agent = request.headers["user-agent"] dispositivo = detect_device(user_agent) referrer = classify_referrer(request.headers.get("referrer", "")) user_context.device_type = dispositivo.type user_context.referrer_type = referente
Esto ayuda a verificar que Amazon Bedrock tenga un contexto enriquecido sin necesidad de que la interfaz lo envíe explícitamente.
Un ejemplo real basado en el escenario del retail
Repasemos la prueba de CTA del minorista, esta vez mostrando el proceso de decisión completo de Amazon Bedrock, incluidas las llamadas a herramientas reales.
Usuario 1: miembro de fidelidad en el móvil
Contexto inicial
Dispositivo: iPhone Fidelidad: Miembro premium de fidelidad Patrón de navegación: Rápido, orientado a objetivos Referidor: Navegación directa Compras anteriores: Frecuente
Proceso de decisión
Llamada de herramienta 1: get_user_assignment(user_id="user_001", experiment_id="cta_test_2024") Respuesta: No existe ninguna asignación Llamada de herramienta 2: get_user_profile(user_id="user_001") Respuesta: { "engagement_score": 0,89, "conversion_likelihood": 0,24, "interaction_style": "focused", "attention_span": "short", "successful_variants": ["A", "simple_design"], "confidence_score": 0,87 } Llamada a la herramienta 3: get_similar_users(user_id="user_001", limit=5) Respuesta: { "count": 52, "avg_conversion_rate": 0,21, "preferred_variants": ["A"], "shared_characteristics": ["mobile", "loyalty_member", "focused_buyer"] } Llamada a la herramienta 4: get_variant_performance(experiment_id="cta_test_2024", variante_id="A") Respuesta: { "current_rendimiento": { "impresiones": 3900, "clics": 312, "conversiones": 125, "conversion_rate": 0,032, "confianza": 0,89 }, "has_rendimiento_data": verdadero}
Amazon Bedrock evalúa los datos y devuelve:
Usuario 2: visitante nuevo que llega desde un sitio de cuponesContexto inicial
Dispositivo: Android Sin estado de fidelidad Patrón de navegación: Lento, centrado en la comparación Referente: Sitio web de agregación de ofertas
Proceso de decisión
Amazon Bedrock selecciona:
Diferencias clave
Usuario 1 (perfil establecido)
Depende en gran medida del historial de comportamiento personal (confianza del 0,87) Usuarios similares confirmaron pero no impulsaron la decisión Dispositivo + estado de fidelidad se consideran factores clave
Usuario 2 (nuevo usuario)
Datos personales mínimos (0,12 de confianza) Se basó en gran medida en patrones de usuario similares (39 usuarios similares) El contexto del referente fue una señal decisiva Aún así se logró un 0,91 de confianza en la decisión a través de fuertes señales contextuales
Esto demuestra cómo el sistema adapta su estrategia de recopilación de datos en función de la información disponible: utilizando el historial personal cuando está disponible y patrones de usuario similares cuando no.
Mejoras futuras
Este sistema proporciona una base para una personalización avanzada:
Generación dinámica de variantes: en lugar de seleccionar entre variantes predefinidas, utilice Amazon Bedrock para generar contenido personalizado para cada usuario. Imagine CTA que adapten su mensaje, color y urgencia en función del comportamiento individual. Bandidos con múltiples brazos: combine la personalización de la IA con algoritmos de bandidos para la asignación automática del tráfico. Dirija el tráfico hacia variantes ganadoras mientras sigue explorando nuevas opciones. Aprendizaje entre experimentos: comparta conocimientos entre experimentos. Si un usuario responde bien a los mensajes de urgencia en una prueba, aplique ese conocimiento a otras pruebas automáticamente. Optimización en tiempo real: utilice datos de transmisión de Amazon Kinesis para actualizar perfiles en tiempo real. Reaccione al comportamiento del usuario en segundos, no en minutos. Segmentación avanzada: permita que la IA descubra segmentos de usuarios automáticamente a través de la agrupación. No más creación manual de segmentos: el sistema encuentra patrones que usted no sabía que existían.
Conclusión
En esta publicación, aprendió cómo crear un motor de pruebas A/B adaptativo utilizando Amazon Bedrock y el protocolo Model Context. Esta solución hace que la experimentación pase de una asignación estática y aleatoria a un motor de personalización inteligente y en continuo aprendizaje. Los beneficios clave incluyen:
Decisiones de variantes personalizadas Aprendizaje casi continuo del comportamiento del usuario Arquitectura sin servidor con gastos operativos mínimos Costos predecibles a través de la asignación híbrida Integración profunda con los servicios de AWS
Para comenzar, implemente la arquitectura de referencia y habilite gradualmente decisiones basadas en IA a medida que los datos del usuario maduren.
Para implementar esta solución en su entorno:
Comience con lo básico: implemente la infraestructura utilizando las plantillas de AWS CloudFormation proporcionadas. Comience con una asignación basada en hash para que todos los usuarios establezcan una línea de base. Agregue personalización gradualmente: habilite la selección basada en IA para los usuarios que regresan después de tener datos de comportamiento. Comience con un pequeño porcentaje de tráfico y controle los resultados. Amplíe las herramientas MCP: agregue herramientas personalizadas al servidor MCP según sus necesidades comerciales específicas. Considere herramientas para datos de inventario, información de precios o historial de servicio al cliente. Supervise y optimice: utilice los paneles de Amazon CloudWatch para realizar un seguimiento de la latencia de asignación de variantes, los costos de la API de Amazon Bedrock y las métricas de conversión. Configurar alarmas por anomalías. Explore funciones avanzadas: implemente generación de variantes dinámicas, bandidos con múltiples brazos o aprendizaje mediante experimentos cruzados a medida que su sistema madure.
Puede encontrar el código completo de esta solución, incluido el backend FastAPI, el frontend React, las plantillas de CloudFormation y la implementación del servidor MCP, en GitHub – A/B Testing Engine.
Para evitar incurrir en cargos continuos, elimine los recursos que creó durante este tutorial. Para obtener instrucciones de limpieza detalladas, incluidos comandos paso a paso y pasos de verificación, consulte la Guía de limpieza de infraestructura.
Sobre los autores
Vijit Vashishtha
Vijit trabaja en Professional Services GCC, lidera y trabaja en iniciativas de arquitectura e ingeniería de backend para plataformas empresariales que ejecutan cargas de trabajo de producción. Centrándose en construir sistemas confiables y tolerantes a fallas que se escalen de manera eficiente mientras mantienen la excelencia operativa y la disciplina de costos.
Koshal Agrawal
Koshal trabaja en Professional Services GCC y ayuda a las organizaciones a crear y ofrecer soluciones nativas de la nube en AWS. Apasionado por la arquitectura de la nube y las herramientas para desarrolladores, y le encanta convertir problemas técnicos complicados en soluciones limpias y listas para producción.