Cuando cientos o miles de usuarios se incorporan a una plataforma de IA empresarial, los líderes empresariales y los propietarios de plataformas necesitan visibilidad sobre quién está utilizando la plataforma, si los usuarios están satisfechos con las respuestas que reciben y qué capacidades generan la mayor participación. Sin una solución de observabilidad centralizada, estos datos están dispersos en múltiples servicios de AWS y son difíciles de analizar a escala.
Amazon Quick es una plataforma generativa impulsada por IA que reúne capacidades de inteligencia empresarial de Spaces, agentes de chat, flujos, automatización, investigación y Amazon Quick Sight en un solo lugar. A medida que las organizaciones escalan sus implementaciones de Amazon Quick, necesitan una forma confiable de realizar un seguimiento de la adopción, medir la satisfacción, monitorear los costos y auditar la gobernanza desde un único panel.
En esta publicación, le mostramos cómo implementar una solución que consolida los datos operativos de Amazon Quick de los registros vendidos de Amazon CloudWatch y los eventos de AWS CloudTrail en un lago de datos seguro en Amazon Simple Storage Service (Amazon S3) que se puede consultar mediante Amazon Athena, un panel de Quick Sight y un agente de chat personalizado de Quick.
Descripción general de la solución
Amazon Quick publica datos de uso e interacción a través de registros vendidos para ofrecer conversaciones de chat, comentarios de los usuarios, uso de horas de agente/investigación y uso de almacenamiento de índices en Amazon Quick. Amazon Quick está integrado con AWS CloudTrail, que proporciona un registro de las acciones realizadas por un usuario, un rol o un servicio de AWS en Amazon Quick.
Figura 1: Arquitectura de la solución de observabilidad empresarial Amazon Quick
El flujo de trabajo consta de los siguientes pasos:
Los usuarios empresariales interactúan con Amazon Quick. Amazon Quick publica los registros de interacción en registros vendidos de Amazon CloudWatch. Puede proteger estos registros con políticas de protección de datos para enmascarar datos confidenciales, como credenciales (claves privadas, claves de acceso secretas de AWS), información financiera, información de identificación personal, información de salud protegida e identificadores de dispositivos. Los filtros de suscripción de CloudWatch reenvían los eventos de registro a los flujos de entrega de Amazon Data Firehose. Los flujos de entrega de Firehose transforman los datos mediante una función AWS Lambda y los escriben en un lago de datos en Amazon S3. Una regla de Amazon EventBridge enruta las llamadas de Amazon Quick API desde AWS CloudTrail y las envía a un flujo de entrega dedicado de Firehose. El flujo de entrega de Firehose transforma los datos mediante una función AWS Lambda y los escribe en el lago de datos. AWS Glue Data Catalog mantiene metadatos del lago de datos para tablas externas y vistas analíticas de Amazon Athena. Los administradores pueden utilizar Amazon Athena para consultar los datos. AWS Lake Formation proporciona permisos detallados del lago de datos a nivel de tabla y columna. Los líderes empresariales y las partes interesadas pueden ver los datos en un panel Quick Sight para una exploración interactiva de los datos de adopción, satisfacción, costos y gobernanza. También pueden utilizar un agente de chat personalizado rápido con preguntas en lenguaje natural para recibir respuestas visuales instantáneas.
La solución cifra los datos en reposo utilizando una clave AWS Key Management System (AWS KMS) administrada por el cliente con rotación automática de claves. La solución cifra los grupos de registros de Amazon CloudWatch, los flujos de entrega de Amazon Data Firehose, las variables de entorno de funciones de AWS Lambda y el lago de datos de Amazon S3. Esto proporciona una estrategia de cifrado unificada en todo el proceso.
Requisitos previos
Para implementar esta solución, necesita:
Implementar la solución
El despliegue se organiza en pasos, cada uno de los cuales se basa en el anterior. Puede detenerse después de cualquier paso y tener una solución funcional en ese nivel. Las configuraciones como el perfil de AWS CLI, el prefijo de recursos, el nombre de la base de datos y el nombre del grupo de trabajo se guardan localmente después de cada paso, por lo que los pasos posteriores se completan automáticamente.
Clonar el repositorio
Clona el repositorio de GitHub y navega hasta el directorio del proyecto:
Configurar registros vendidos
Implemente la infraestructura de Amazon CloudWatch Logs:
El script detecta automáticamente su región de suscripción Quick, crea la clave AWS KMS y configura la entrega de registros vendidos para chat, comentarios, horas de agente y datos de uso de índice.
La implementación solicita la creación de grupos de registros de CloudWatch (/aws/vendedlogs/quick/chat, /aws/vendedlogs/quick/feedback, /aws/vendedlogs/quick/agent-hours, /aws/vendedlogs/quick/index-usage). También solicita un prefijo (quickobserve) para que se creen otros recursos de AWS.
El contenido de los mensajes de chat (user_message y system_text_message) puede contener datos confidenciales o regulados de fuentes empresariales conectadas, como bases de datos, depósitos de Amazon S3 o integraciones de terceros. Antes de habilitar el registro del contenido de los mensajes, revise las políticas de privacidad, cumplimiento y retención de datos de su organización. El contenido del mensaje de chat se omite de forma predeterminada para que ningún dato de la conversación del usuario llegue a CloudWatch Logs. La implementación le preguntará si desea registrar el contenido del mensaje de chat.
Verifique los grupos de registros vendidos de CloudWatch en la consola de AWS:
Implementar canalización de datos
Utilice el siguiente comando para implementar la canalización:
Esto implementa el lago de datos de Amazon S3, los filtros de suscripción de Amazon CloudWatch Logs, los flujos de entrega de Amazon Data Firehose, las funciones de AWS Lambda y una regla de Amazon EventBridge.
Puede ver los datos de los registros en el lago de datos de Amazon S3 (quickobserve-pipeline-datalake-).
Configurar el catálogo de datos
Utilice el siguiente comando para ejecutar la configuración del catálogo de datos:
El script solicita un nombre de base de datos (quickobserve_db) y verifica que no exista en el catálogo de datos de AWS Glue, lo que evita cambios accidentales en tablas que pertenecen a otras cargas de trabajo. Luego le solicita que elija cómo se administra el acceso al lago de datos:
Lake Formation (predeterminado): registra la ubicación del lago de datos y otorga permisos específicos al rol de servicio Amazon Quick a nivel de tabla y columna. Cuando el registro del contenido del mensaje está habilitado, la exclusión a nivel de columna evita que el contenido del mensaje fluya hacia el panel y el tema de Quick Sight. Políticas de IAM: omite la configuración de AWS Lake Formation y depende de las políticas de IAM para el control de acceso. Úselo si su cuenta no usa Lake Formation.
El script crea una base de datos del catálogo de datos de AWS Glue, tablas de Athena y vistas para registros vendidos de CloudWatch y eventos de CloudTrail. Puede ver el catálogo de datos en AWS Glue:
Verifique que los datos fluyan ejecutando las siguientes consultas en el editor de consultas de Amazon Athena:
Implementar el panel Quick Sight
Implemente el panel Quick Sight:
Esto implementa recursos de Quick Sight: un tema personalizado, una fuente de datos, conjuntos de datos con programas de actualización diaria, un análisis y un panel para ver las métricas de observabilidad de Amazon Quick.
Puede ver las métricas de observabilidad en el panel Quick Sight:
Inicie sesión en la consola de Amazon Quick. En el menú de navegación de la izquierda, seleccione Paneles y luego seleccione Panel de observabilidad rápida.
Cada hoja del panel incluye controles de parámetros de rango de fechas y una tabla de detalles en la parte inferior. Al seleccionar cualquier gráfico, sector circular o KPI, se filtra la tabla de detalles para mostrar los registros coincidentes.
Crear tema de vista rápida
Utilice el siguiente comando para crear el tema Quick Sight:
El script verifica que cada conjunto de datos contenga datos de una ingesta exitosa y luego crea un tema Quick Sight con instrucciones personalizadas que dirigen las preguntas al conjunto de datos correcto. Puede ver el tema Quick Sight en la consola de Amazon Quick.
Inicie sesión en la consola de Amazon Quick. En el menú de navegación de la izquierda, seleccione Temas y luego seleccione Tema de observabilidad rápida.
Crear agente de chat personalizado rápido
Este paso se realiza a través de la consola de Amazon Quick.
En el menú de navegación de la izquierda, seleccione Espacios y luego seleccione Crear espacio. En la página de creación de espacio que se abre, ingrese un nombre y una descripción para su espacio. Seleccione Agregar conocimiento para comenzar a agregar contenido a su espacio. En el menú, elija Temas. En Agregar tema, seleccione Tema de observabilidad rápida.
Cree un agente de chat personalizado rápido:
En el menú de navegación de la izquierda, seleccione Agentes de chat y luego seleccione Crear agente de chat. En la página de creación de agente que se abre, ingrese un nombre y una descripción para su agente. En Instrucciones, pegue el mensaje del repositorio de GitHub. En Fuentes de conocimiento, elija Vincular espacios y seleccione Espacio de observabilidad rápida. Seleccione Iniciar agente de chat para publicar el agente en la biblioteca de agentes de chat y utilizarlo en el chat.
Los líderes empresariales pueden hacer preguntas como “¿Qué funciones de Amazon Quick se han utilizado más en los últimos 30 días?”
Recibirán respuestas visuales instantáneas con métricas, gráficos y recomendaciones prácticas.
Limpiar
Para limpiar los recursos implementados, ejecute el script de limpieza:
limpieza de python3.py
Conclusión
En esta publicación, mostramos cómo implementar una solución de observabilidad que consolida los datos operativos de Amazon Quick en un lago de datos seguro. La solución hace que las métricas de interacción del chat, los comentarios de los usuarios, el uso de las horas de los agentes, el uso del almacenamiento de índices y los eventos de gobernanza sean accesibles a través de Amazon Athena, un panel de Amazon Quick Sight y un agente de chat personalizado de Amazon Quick. Puede ampliar la solución de varias maneras: agregue vistas personalizadas de Athena para las métricas específicas de su organización, cree hojas adicionales en el panel, cree nuevos agentes de chat adaptados a diferentes equipos o integre el lago de datos con otras herramientas de análisis.
Para comenzar, puedes clonar el repositorio de GitHub e implementar la solución.
Sobre los autores
Satyanarayana Adimula es constructor sénior en el Centro de innovación de IA generativa de AWS. Aprovechando más de 20 años de experiencia en análisis y datos, se especializa en la creación de sistemas de IA agentes que permiten a las grandes empresas automatizar flujos de trabajo complejos, acelerar la toma de decisiones y lograr resultados comerciales mensurables.