Las pruebas de experiencia de usuario (UX) enfrentan múltiples desafíos que limitan la capacidad de una organización para mejorar la forma en que los usuarios interactúan con sus plataformas. Las pruebas de UX evalúan con qué facilidad y eficacia los usuarios pueden navegar por las interfaces digitales para completar las tareas previstas, como buscar productos, crear cuentas o completar compras. A diferencia de las pruebas tradicionales de control de calidad (QA) que se centran en errores funcionales, las pruebas de UX examinan los flujos de trabajo del usuario para identificar la fricción de navegación y los elementos de la interfaz que afectan la satisfacción del usuario. Las pruebas manuales no escalan. Los evaluadores solo pueden evaluar un número limitado de recorridos de los usuarios y, a menudo, se centran en rutas críticas mientras los casos extremos permanecen sin explorar. Además, las herramientas de automatización tradicionales requieren scripts codificados que se rompen cada vez que cambian las interfaces, lo que genera una sobrecarga de mantenimiento que limita la cobertura de las pruebas. Mientras tanto, las pruebas exhaustivas en diversos recorridos de usuarios, tipos de dispositivos y patrones de interacción siguen siendo prohibitivamente costosas y requieren mucho tiempo para la mayoría de las organizaciones.
Amazon Nova Act ofrece un enfoque diferente a estos desafíos. Nova Act es un modelo básico multimodal que puede comprender e interactuar con las interfaces del navegador web a través de la visión y la acción. A diferencia de las herramientas de secuencias de comandos que se basan en selectores de elementos predefinidos, Nova Act navega por sitios web de manera inteligente procesando información visual. Analiza capturas de pantalla de páginas web tal como lo haría un evaluador humano. Esto convierte a Nova Act en una herramienta poderosa para pruebas automatizadas de UX porque imita el razonamiento humano al navegar por interfaces. El modelo examina capturas de pantalla para comprender el diseño de la página, identifica elementos interactivos a través de señales visuales y toma decisiones contextuales sobre qué acciones tomar a continuación. Esta comprensión visual permite a Nova Act adaptarse a los cambios de la interfaz y manejar contenido dinámico que rompería las herramientas de automatización tradicionales como Selenium o Playwright. Los registros de razonamiento y cadena de pensamiento de Amazon Nova Act brindan información valiosa sobre el diseño y la intuición del sitio web.
El uso de IA generativa permite la ejecución paralela de pruebas integrales de flujo de usuarios a escala. Esta solución demuestra cómo construir una plataforma de prueba de UX implementada en la nube que genera automáticamente escenarios de prueba a partir de la documentación, ejecuta flujos de usuarios a escala utilizando las capacidades de navegación inteligente de Nova Act y proporciona información procesable a través de análisis automatizados.
Descripción general de la solución
El siguiente diagrama destaca una solución de cuatro partes, que comienza con el procesamiento de la documentación y el descubrimiento de flujo y termina con el análisis final.
La solución se compone de las siguientes capas:
Capa de procesamiento de documentación: la capa base maneja la generación de escenarios de prueba:
Amazon Simple Storage Service (Amazon S3) almacena la documentación de su sitio, guías de usuario y especificaciones de pruebas de flujo. Este contenido no estructurado proporciona al motor generativo de descubrimiento de flujo impulsado por IA contexto sobre su sitio y cómo espera que los usuarios interactúen con él. Esta documentación se incorpora a una base de conocimientos de Amazon Bedrock para realizar búsquedas de similitudes semánticas. AWS Lambda utiliza Claude 4.5 Sonnet en Amazon Bedrock para transformar los flujos de usuarios en escenarios de prueba integrales. El sistema toma una lista de tareas, como comprar una cafetera mediante la búsqueda o agregar una nueva tarjeta de crédito a su cuenta a través del menú de configuración. Para cada tarea, recupera información relevante de la base de conocimientos para comprender cómo realizarla en su sitio. Luego, Claude genera instrucciones de prueba detalladas en múltiples niveles de granularidad, creando las rutas de interacción paso a paso para que Amazon Nova Act las pruebe.
Capa de orquestación: la capa de orquestación gestiona la ejecución de pruebas a escala:
Amazon DynamoDB almacena flujos de prueba generados con metadatos y parámetros de ejecución. Amazon DynamoDB Streams activa el procesamiento por lotes cuando hay nuevos flujos disponibles. Las funciones de AWS Lambda coordinan la ejecución de pruebas y ponen en marcha las tareas de Amazon Elastic Container Service (Amazon ECS) para su procesamiento en paralelo.
Capa de ejecución: la capa de ejecución ejecuta pruebas de flujo de usuarios inteligentes:
Amazon ECS con AWS Fargate proporciona computación escalable y sin servidor para la ejecución de pruebas en paralelo. Los agentes de Amazon Nova Act ejecutan flujos de usuarios en sesiones de navegador paralelas. El registro de interacciones en tiempo real captura datos de comportamiento detallados para su análisis.
Capa de análisis: la capa de análisis transforma los resultados de las pruebas en métricas:
Amazon S3 almacena la cadena de ejecución detallada de registros de razonamiento, capturas de pantalla y datos de comportamiento. AWS Lambda procesa los resultados utilizando Amazon Bedrock para analizar patrones de ejecución de flujo, calcular puntuaciones de usabilidad e identificar puntos de fricción en diferentes niveles de granularidad de instrucciones. Amazon DynamoDB almacena los resultados del análisis. El panel se presenta en una aplicación React.
Esta arquitectura presenta tres capacidades críticas impulsadas por IA generativa: un descubrimiento de flujo inteligente opcional a partir de documentación no estructurada utilizando Amazon Bedrock Knowledge Base, uso de computadoras Nova Act para pruebas de sitios web y análisis de resultados automatizado que identifica patrones de UX y puntos de fricción para informar decisiones estratégicas.
Guía de configuración
Antes de implementar la solución, verifique que tenga lo siguiente:
Proceso de implementación
La solución completa y las instrucciones de implementación están disponibles en el repositorio de GitHub de aws-samples.
La solución utiliza AWS CDK para automatizar la implementación de la infraestructura:
Tome nota de los resultados impresos cuando se complete la implementación de la pila. Los necesitará en los siguientes pasos.
Usando la solución
Después de la implementación, tiene algunas opciones para crear flujos de prueba: generación automática a partir de documentación, definición de flujo manual o un enfoque híbrido. Sugerimos el enfoque híbrido que combina los dos enfoques que cubrimos: usar la generación automática para establecer una cobertura de referencia a partir de la documentación existente y luego complementar con flujos definidos manualmente para casos de prueba específicos, nuevas características o escenarios de borde que requieren un control preciso.
Opción 1: generación automática de flujo a partir de la documentación
La solución utiliza una función Lambda integrada con Claude 4.5 Sonnet para convertir las tareas del usuario en flujos de trabajo de prueba detallados. Para utilizar este sistema de forma eficaz, identifique sus principales flujos de usuarios y proporciónelos como entrada, asegurándose de incluir múltiples formas de lograr el mismo objetivo. Por ejemplo, si comprar una cafetera es un proceso clave para el usuario, incluya tanto el enfoque basado en búsquedas como el método de navegación por menús como tareas separadas. El sistema procesa cada tarea consultando la base de conocimientos para conocer los detalles de implementación específicos de su sitio web y comprender cómo se realizan estas acciones dentro de la arquitectura única de su sitio.
Luego, el sistema produce instrucciones de prueba en tres niveles de detalle, que van desde objetivos de usuario de alto nivel hasta procedimientos granulares paso a paso. Mientras que una instrucción básica podría decir "compre una cafetera de acero inoxidable de alta calificación", la versión detallada lo expande a acciones precisas como seleccionar electrodomésticos de cocina del menú, aplicar filtros de materiales y calificaciones y completar la secuencia de pago. Para obtener más información, consulte lambda/flow_discovery/index.py.
Cargue documentación: coloque la documentación de su aplicación, guías de usuario y especificaciones de flujo en el depósito S3 designado. Puede encontrar la URL del depósito S3 utilizando los resultados de implementación de la pila CDK. El sistema admite varios formatos de documentos, incluidos manuales y guías de usuario, especificaciones de funciones, documentos comunes sobre el recorrido del usuario y documentación de casos de prueba existentes. Cargue la especificación de la tarea: coloque su archivo task.json en el depósito S3 comenzando con uxflowteststack-tasksbucket. Consulte el archivo README del proyecto para conocer el formato JSON esperado. Esto desencadenará el descubrimiento de flujo. Esperar procesamiento: el procesamiento se realiza de forma asincrónica después de la carga. El componente de descubrimiento de flujos analiza su documentación para identificar flujos de usuarios potenciales y los convierte en escenarios de prueba ejecutables. Para realizar un seguimiento del estado del procesamiento, puede revisar los registros de procesamiento de Lambda. Revisar los flujos generados: los flujos generados aparecen en la tabla de DynamoDB y quedan disponibles para su ejecución una vez que se completa el procesamiento.
Opción 2: Definición de flujo manual
Para un control preciso sobre los escenarios de prueba o cuando tenga flujos específicos que no estén cubiertos en la documentación, puede definir manualmente flujos personalizados insertándolos directamente en la tabla de DynamoDB. Puede encontrar el nombre de la tabla en las salidas de la pila. Este enfoque es ideal para probar casos extremos específicos, validar nuevas características antes de que exista documentación y probar flujos que requieren datos o contexto de usuario específicos. Consulte el archivo README para conocer el esquema JSON requerido.
Componentes clave:
flow_id: Identificador único para seguimiento y correlación de resultados. Starting_url: la página web donde comienza el flujo de prueba. instrucciones: Conjunto de pasos en lenguaje natural para que Nova Act los ejecute. nombre_método: representa un método diferente para completar una tarea, como usar la búsqueda versus la navegación. gran_n: representa un nivel diferente de granularidad de instrucciones, que va desde instrucciones de alto nivel como "compre una tostadora de acero inoxidable con buenas calificaciones a través de la búsqueda" hasta versiones paso a paso.
Personalizando la solución
Para las aplicaciones que requieren autenticación de usuario, puede configurar sesiones de navegador persistentes para mantener los estados de inicio de sesión durante las ejecuciones de prueba. Esto elimina la necesidad de volver a autenticarse para cada ejecución de prueba y permite probar flujos de usuarios autenticados. Cuando sus pruebas necesitan extraer datos estructurados de páginas web, como validar envíos de formularios o capturar contenido dinámico, Nova Act admite esquemas Pydantic para una extracción de datos confiable. Nova Act también maneja operaciones de archivos, por lo que puede probar los flujos de trabajo de carga y validar el contenido descargado.
A continuación se muestra un ejemplo de configuración de autenticación persistente. Puede encontrar y modificar el código Python que ejecuta los flujos de Nova Act en Amazon ECS en ecs/ecs_act_headless/app.py.
Para una implementación detallada de la extracción de datos estructurados con esquemas Pydantic, manejo de carga/descarga de archivos y configuración de autenticación, consulte la documentación del SDK de Nova Act.
Resultados de ejecución
La solución genera los siguientes resultados para cada ejecución de prueba y los almacena en Amazon S3. Puede encontrar los resultados sin procesar en el depósito de resultados de pruebas de flujo.
Métricas de resumen (results_summary.json):
Cada ejecución de prueba genera un archivo de resumen que contiene métricas de alto nivel sobre la ejecución del flujo. El resumen incluye la duración de cada paso, la cantidad de acciones requeridas, el estado de éxito/fracaso y cualquier dato extraído.
Registros de interacción detallados: el SDK de Amazon Nova Act genera informes HTML detallados que muestran capturas de pantalla de lo que observó Nova Act, el proceso y el razonamiento de toma de decisiones, y las acciones específicas tomadas (clics, desplazamientos, entradas de formulario).
Métodos de análisis
La función Lambda procesa resultados de ejecución sin procesar y calcula métricas en diferentes capas de abstracción para calcular recuentos sin procesar, señales ajustadas a la infraestructura y puntuaciones de calidad compuestas. Estas métricas impulsan un panel de React creado para múltiples audiencias y casos de uso.
El panel está organizado en diferentes pestañas. Por ejemplo, la pestaña Descripción general presenta el estado general de la ejecución de prueba, con un panel dedicado ajustado a errores que separa las fallas de infraestructura de las fallas reales del agente. La pestaña Rendimiento y eficiencia desglosa el tiempo de paso y flujo por nivel de granularidad, mostrando cómo el nivel de detalle de las instrucciones afecta la calidad de la experiencia del usuario que se está probando.
Las siguientes capturas de pantalla muestran algunas métricas clave.
Limpiar
Para limpiar la solución, ejecute el siguiente comando:
Conclusión
Las pruebas de UX tradicionalmente requieren mucho tiempo y recursos, lo que a menudo limita la precisión con la que los equipos pueden validar sus interfaces. Esta solución Amazon Nova Act aborda estas limitaciones al automatizar la ejecución de pruebas a escala.
La combinación de las capacidades de interacción inteligente del navegador Nova Act y la infraestructura de nube escalable crea un nuevo patrón para las pruebas de UX. Con este patrón, las pruebas de flujo integrales, la validación de interfaces y las decisiones de UX basadas en datos se vuelven prácticas a escala. Los equipos ahora pueden probar más recorridos de los usuarios, detectar problemas antes e iterar más rápido en sus experiencias de usuario.
Los equipos pueden utilizar la automatización de Nova Act para probar minuciosamente cada nueva característica y cambio de interfaz antes del lanzamiento. En lugar de pruebas de muestra limitadas, los equipos pueden validar recorridos completos de usuarios en diferentes dispositivos y escenarios. Este enfoque de prueba integral ayuda a detectar problemas de UX de manera temprana y, al mismo tiempo, reduce los costos de prueba y el tiempo dedicado a validar cambios manualmente.
Más información
Para obtener más información, consulte los siguientes recursos:
Sobre los autores
Reilly Mantón
Reilly es arquitecto de soluciones en AWS Telecoms con sede en Nueva York y se especializa en inteligencia artificial generativa multimodal y sistemas agentes. Se centra en ayudar a los clientes a poner en producción capacidades de IA emergentes, con especial interés en protocolos de interoperabilidad y arquitecturas de agente a gran escala. Fuera del trabajo, Reilly es un ávido corredor y le gusta contribuir a proyectos de código abierto.
Pablo Forero
Pablo es Arquitecto de Soluciones en Telco IBU en AWS, especializado en GenAI/ML y aplicaciones y casos de uso de análisis de datos. Con una formación diversa en música, psicología y filosofía, Pablo aporta una perspectiva única a su trabajo. Cuando no está ayudando a los clientes a diseñar soluciones innovadoras, puede encontrarlo jugando con la robótica doméstica, la impresión 3D y tocando la guitarra.
Wesley Petry
Wesley es arquitecto de soluciones en AWS Telecoms con sede en el área de Nueva York. Se especializa en la construcción y el diseño de IA generativa y sistemas agentes, con experiencia en informática de vanguardia y sin servidor. Wesley trabaja en estrecha colaboración con los clientes para diseñar soluciones basadas en IA y le apasiona convertir la tecnología emergente en arquitecturas listas para producción. Fuera de la interacción con los clientes, le gusta hablar en eventos de la industria y contribuir con implementaciones de referencia que ayudan a otros constructores a comenzar.
vanita
Vanitha es una arquitecta de soluciones especializada sénior con sede en Chicago y se especializa en soluciones innovadoras de análisis de datos y IA generativa. Se centra en ayudar a las organizaciones del sector minorista y de telecomunicaciones a aprovechar el poder de las tecnologías avanzadas de inteligencia artificial para transformar sus operaciones. Cuando no está ayudando a los clientes a diseñar soluciones innovadoras, puede encontrarla enseñando o creando proyectos personales creando soluciones de interfaz de usuario para las operaciones diarias. Tiene más de 28 años de experiencia en tecnología y arquitectura de nube, y ha liderado diversos esfuerzos de migración y modernización a lo largo de su carrera. Su enfoque actual es crear soluciones analíticas y de inteligencia artificial generativa de nivel de producción, lo que permite a los clientes adoptar estas tecnologías a través de pruebas de concepto prácticas y orientación estratégica.