Las organizaciones manejan grandes cantidades de información confidencial de los clientes a través de diversos canales de comunicación. La protección de la información de identificación personal (PII), como los números de seguridad social (SSN), los números de licencia de conducir y los números de teléfono, se ha vuelto cada vez más crítica para mantener el cumplimiento de las regulaciones de privacidad de datos y generar confianza en los clientes. Sin embargo, revisar y redactar manualmente la PII requiere mucho tiempo, es propenso a errores y no escala adecuadamente a medida que crecen los volúmenes de datos.
Las organizaciones enfrentan desafíos cuando tratan con PII distribuida en diferentes tipos de contenido, desde textos hasta imágenes. Los enfoques tradicionales a menudo requieren herramientas y flujos de trabajo separados para manejar contenido de texto e imágenes, lo que genera prácticas de redacción inconsistentes y posibles brechas de seguridad. Este enfoque fragmentado no sólo aumenta los gastos operativos sino que también aumenta el riesgo de exposición accidental a la PII.
Esta publicación muestra una solución automatizada de detección y redacción de PII que utiliza Amazon Bedrock Data Automation y Amazon Bedrock Guardrails a través de un caso de uso de procesamiento de contenido de texto e imágenes en grandes volúmenes de correos electrónicos entrantes y archivos adjuntos. La solución presenta un flujo de trabajo de procesamiento de correo electrónico completo con una interfaz de usuario basada en React para que el personal autorizado administre y revise de manera más segura las comunicaciones y los archivos adjuntos de correo electrónico redactados. Recorremos los procedimientos de implementación de la solución paso a paso utilizados para implementar esta solución. Finalmente, analizamos los beneficios de la solución, incluida la eficiencia operativa, la escalabilidad, la seguridad y el cumplimiento, y la adaptabilidad.
Descripción general de la solución
La solución proporciona un sistema automatizado para proteger información confidencial en las comunicaciones empresariales a través de tres capacidades principales:
Detección y redacción automatizadas de PII para contenido de correo electrónico y archivos adjuntos mediante Amazon Bedrock Data Automation y Guardrails, lo que garantiza que los datos confidenciales estén protegidos de manera consistente en diferentes tipos de contenido. Flujos de trabajo de gestión de datos más seguros donde las comunicaciones procesadas se cifran y almacenan con controles de acceso adecuados, al tiempo que se mantiene un seguimiento de auditoría completo de las operaciones. Opciones de interfaz basadas en web para que los agentes autorizados administren de manera eficiente las comunicaciones redactadas, respaldadas por características como la categorización automatizada del correo electrónico y la administración de carpetas personalizables.
Este enfoque unificado ayuda a las organizaciones a mantener el cumplimiento de los requisitos de privacidad de datos mientras optimiza sus flujos de trabajo de comunicación.
El siguiente diagrama describe la arquitectura de la solución.
El diagrama ilustra el flujo de trabajo de redacción y detección de PII del backend y la interfaz de usuario de la aplicación frontend orquestada por AWS Lambda y Amazon EventBridge. El proceso sigue estos pasos:
El flujo de trabajo comienza cuando el usuario envía un correo electrónico al servidor de correo electrónico entrante alojado en Amazon Simple Email Service (Amazon SES). Este es un paso opcional. Alternativamente, los usuarios pueden cargar los correos electrónicos y los archivos adjuntos directamente en un depósito de destino de Amazon Simple Storage Service (S3). Una notificación de evento de S3 activa la función de procesamiento inicial de AWS Lambda que genera un ID de caso único y crea un registro de seguimiento en Amazon DynamoDB. Lambda organiza el flujo de trabajo de detección y redacción de PII extrayendo el cuerpo del correo electrónico y los archivos adjuntos del correo electrónico y guardándolos en un depósito de correo electrónico sin formato, seguido de invocar Amazon Bedrock Data Automation y Guardrails para detectar y redactar PII. Amazon Bedrock Data Automation procesa los archivos adjuntos para extraer texto de los archivos. Amazon Bedrock Guardrails detecta y redacta la PII tanto del cuerpo del correo electrónico como del texto de los archivos adjuntos y almacena el contenido redactado en otro depósito de S3. Las tablas de DynamoDB se actualizan con mensajes de correo electrónico, metadatos de carpetas y reglas de filtrado de correo electrónico. Se utiliza un programador de Amazon EventBridge para ejecutar Rules Engine Lambda en una programación que procesa nuevos correos electrónicos que aún no se han categorizado en carpetas según los criterios de reglas de filtrado de correo electrónico habilitados. Rules Engine Lambda también se comunica con DynamoDB para acceder a la tabla de mensajes y a la tabla de reglas. Los usuarios pueden acceder a la interfaz de usuario de la aplicación opcional a través de Amazon API Gateway, que administra las solicitudes de API de los usuarios y enruta las solicitudes para representar la interfaz de usuario a través del alojamiento estático S3. Los usuarios pueden optar por habilitar la autenticación para la interfaz de usuario según sus requisitos de seguridad. Alternativamente, los usuarios pueden verificar el estado de su procesamiento de correo electrónico en la tabla de DynamoDB y en el depósito de S3 con contenido redactado de PII. Un Portal API Lambda recupera los detalles del caso en función de las solicitudes de los usuarios. Los activos estáticos atendidos por API Gateway se almacenan en un depósito privado de S3. Opcionalmente, los usuarios pueden habilitar Amazon CloudWatch y AWS CloudTrail para brindar visibilidad del proceso de detección y redacción de PII, mientras usan Amazon Simple Notification Service para entregar alertas en tiempo real ante cualquier falla, lo que facilita la atención inmediata a los problemas.
En las siguientes secciones, analizamos los procedimientos para implementar esta solución.
Tutorial
La implementación de la solución implica infraestructura y configuración del portal opcional.
Requisitos previos
Antes de comenzar la implementación, asegúrese de tener instalados y configurados los siguientes componentes.
Proceso de configuración e implementación de infraestructura
Verifique que en su cuenta de AWS se haya creado una VPC de nube privada virtual existente que contenga tres subredes privadas sin acceso a Internet. Todas las pilas de AWS CloudFormation deben implementarse en la misma cuenta de AWS.
Pilas de CloudFormation
La solución contiene tres pilas (dos obligatorias y una opcional) que se implementan en su cuenta de AWS:
S3Stack: proporciona la infraestructura central, incluidos depósitos S3 para el almacenamiento de correo electrónico sin editar y redactado con políticas de ciclo de vida automáticas, una tabla de DynamoDB para el seguimiento de metadatos de correo electrónico con índices secundarios globales y de tiempo de vida (TTL), y grupos de seguridad de VPC para un acceso más seguro a la función Lambda. También crea roles de Amazon Identity and Access Management (IAM) con permisos integrales para los servicios S3, DynamoDB y Bedrock, formando una base más segura para todo el flujo de trabajo de detección y redacción de PII. ConsumerStack: proporciona la infraestructura de procesamiento central, incluidos proyectos de Amazon Bedrock Data Automation para la extracción de texto de documentos y Bedrock Guardrails configurados para anonimizar entidades PII integrales, junto con funciones Lambda para el procesamiento de correos electrónicos y archivos adjuntos con temas de Amazon Simple Notification Service (SNS) para notificaciones de éxito/fracaso. También crea reglas de recepción de Amazon Simple Email Service (SES) para el manejo del correo electrónico entrante cuando se configura un dominio y notificaciones de eventos de S3 para activar el flujo de trabajo de procesamiento de correo electrónico automáticamente. PortalStack (opcional): esto solo es necesario cuando los usuarios desean utilizar una interfaz de usuario basada en web para administrar correos electrónicos. Proporciona la interfaz web opcional que incluye una puerta de enlace API regional, tablas de DynamoDB para el almacenamiento de mensajes redactados y depósitos S3 para activos web estáticos.
Amazon SES (opcional)
Vaya directamente a la sección Implementación de soluciones que aparece a continuación si no se utiliza Amazon SES.
La siguiente configuración de Amazon SES es opcional. El código también se puede probar sin esta configuración. Los pasos para probar la aplicación con o sin Amazon SES se tratan en la sección Pruebas.
Configure Amazon SES con acceso de producción y verifique las identidades de dominio/correo electrónico para las que funcionará la solución. También necesitamos agregar los registros MX en el proveedor de DNS que mantiene el dominio. Consulte los siguientes enlaces:
Cree credenciales para SMTP y guárdelas en el secreto de AWS Secrets Manager con el nombre SmtpCredentials. Se crea un usuario de IAM para este proceso.
Si se utiliza cualquier otro nombre para el secreto, actualice la línea context.json nombre_secreto con el nombre del secreto creado.
La clave para el nombre de usuario en el secreto debe ser smtp_username y la clave para la contraseña debe ser smtp_password al almacenar la misma en AWS Secrets Manager.
Implementación de soluciones
Ejecute los siguientes comandos desde un entorno de terminal/CLI.
Clonar el repositorio
El archivo infra/cdk.json le indica al CDK Toolkit cómo ejecutar su aplicación.
Opcional: cree y active un nuevo entorno virtual de Python (asegúrese de usar Python 3.12, ya que Lambda está configurado en CDK para el mismo. Si usa alguna otra versión de Python, actualice el código CDK para reflejar lo mismo en el tiempo de ejecución de Lambda).
pipa de actualización
Instalar paquetes de Python
Crear archivo context.json
Actualice el archivo context.json con las opciones de configuración correctas para el entorno. Nombre de propiedad Descripción predeterminada Cuándo crear vpc_id “” ID de VPC donde se implementan los recursos La VPC debe crearse antes de la ejecución raw_bucket “” Depósito S3 que almacena mensajes sin procesar y archivos adjuntos Creado durante la implementación de CDK redacted_bucket_name “” Depósito S3 que almacena mensajes y archivos adjuntos redactados Creado durante la implementación de CDK inventario_table_name “” Nombre de tabla de DynamoDB que almacena detalles de mensajes redactados Creado durante la implementación de CDK nombre_recurso_prefijo “” Prefijo utilizado al nombrar recursos durante la creación de la pila Durante la creación de la pila retención 90 Número de días para la retención de los mensajes en los depósitos S3 redactados y sin procesar Durante la creación de la pila Las siguientes propiedades solo son necesarias cuando se está aprovisionando el portal. Nombre de propiedad Descripción predeterminada desarrollo del entorno El tipo de entorno donde se aprovisionan los recursos. Los valores son desarrollo o producción. Los casos de uso que requieren el uso de Amazon SES para administrar mensajes de correo electrónico redactados deben establecer las siguientes variables de configuración. De lo contrario, son opcionales. Nombre de propiedad Descripción Dominio de comentario El dominio verificado o nombre de correo electrónico que se utiliza para Amazon SES. Puede dejarse en blanco si no se configura Amazon SES auto_reply_from_email Dirección de correo electrónico del campo "de" del mensaje de correo electrónico. También se utiliza como la dirección de correo electrónico a la que se reenvían los correos electrónicos desde la aplicación del portal. Esto se puede dejar en blanco si no se configura el secreto de AWS Secrets Manager del portal secret_name que contiene las credenciales SMTP para la funcionalidad de reenvío de correo electrónico desde el portal. Implemente la infraestructura ejecutando los siguientes comandos desde la raíz del directorio de infraestructura. Arranque la cuenta de AWS para usar AWS CDK. Los usuarios ahora pueden sintetizar la plantilla de CloudFormation para este código. Las variables de entorno adicionales antes de que el sintetizador cdk supriman las advertencias. El proceso de implementación debería tardar aproximadamente 10 minutos en completarse en una implementación por primera vez.
Reemplace <> con el valor elegido y luego ejecute:
Pruebas
Probando la aplicación con Amazon SES
Antes de comenzar la prueba, asegúrese de que el conjunto de reglas de recepción de correo electrónico de Amazon SES creado por la pila <>-ConsumerStack esté activo. Podemos verificar ejecutando el siguiente comando y asegurarnos de que el nombre en la salida sea <>-rule-setaws ses describe-active-receipt-rule-set. Si el nombre no coincide o la salida está en blanco, ejecute lo siguiente para activar el mismo:
Una vez que tengamos activa la regla correcta, podemos probar la aplicación usando Amazon SES enviando un correo electrónico al correo electrónico o dominio verificado en Amazon SES, lo que activa automáticamente el proceso de redacción. Se puede realizar un seguimiento del progreso en la tabla de DynamoDB <>. El nombre de la tabla de inventario se puede encontrar en la pestaña de recursos de la consola de AWS CloudFormation para la pila <>-S3Stack y el ID lógico EmailInventoryTable. Se genera y utiliza un <> único en la tabla de inventario de DynamoDB para cada correo electrónico que se procesa. Una vez que se completa la redacción, el cuerpo del correo electrónico redactado se puede encontrar en <>/redacted/<>/<>/email_body/ y los archivos adjuntos redactados en <>/redacted/<>/<>/attachments/.
Probando la aplicación sin Amazon SES
Como se describió anteriormente, la solución se utiliza para redactar cualquier dato PII en el cuerpo del correo electrónico y los archivos adjuntos. Por lo tanto, para probar la aplicación, debemos proporcionar un archivo de correo electrónico que debe redactarse. Podemos hacerlo sin Amazon SES cargando directamente un archivo de correo electrónico en el depósito S3 sin formato. El nombre del depósito sin formato se puede encontrar en la pestaña de salida en la consola de AWS CloudFormation para la pila <>-S3Stack y el nombre de exportación RawBucket. Esto activa el flujo de trabajo de redacción del cuerpo del correo electrónico y los archivos adjuntos mediante una notificación de evento de S3 que activa Lambda. Para su comodidad, hay un correo electrónico de muestra disponible en el directorio infra/pii_redaction/sample_email del repositorio. A continuación se detallan los pasos para probar la aplicación sin Amazon SES utilizando el mismo archivo de correo electrónico.
Lo anterior desencadena la redacción del proceso de correo electrónico. Puede realizar un seguimiento del progreso en la tabla de DynamoDB <>. Se genera y utiliza un <> único en la tabla de inventario de DynamoDB para cada correo electrónico que se procesa. El nombre de la tabla de inventario se puede encontrar en la pestaña de recursos de la consola de AWS CloudFormation para la pila <>-S3Stack y el ID lógico EmailInventoryTable. Una vez que se completa la redacción, el cuerpo del correo electrónico redactado se puede encontrar en <>/redacted/<>/<>/email_body/ y los archivos adjuntos redactados en <>/redacted/<>/<>/attachments/.
Configuración del portal
La instalación del portal es completamente opcional. Esta sección se puede omitir; consulte la consola de la cuenta de AWS donde está implementada la solución para ver los recursos creados. El portal sirve como una interfaz web para administrar los correos electrónicos redactados con PII procesados por la infraestructura backend de AWS, lo que permite a los usuarios ver contenido de correo electrónico desinfectado. El Portal se puede utilizar para:
Listar mensajes: ver correos electrónicos procesados con contenido redactado Detalles del mensaje: ver contenido de correo electrónico individual y archivos adjuntos
Requisitos previos del portal: este portal requiere la instalación de las siguientes herramientas de software:
Despliegue de infraestructura
Sintetice la plantilla de CloudFormation para este código yendo al directorio raíz de la solución. Ahora ejecute el siguiente comando:
Opcional: cree y active un nuevo entorno virtual Python (si el entorno virtual no se ha creado previamente):
Los usuarios ahora pueden sintetizar la plantilla de CloudFormation para este código.
Implemente el portal basado en React. Reemplace <> con su valor elegido:
La primera implementación debería tardar aproximadamente 10 minutos en completarse.
Variables de entorno
Cree un nuevo archivo de entorno yendo a la raíz del directorio de la aplicación y actualice las siguientes variables en el archivo .env (copiando el archivo .env.example a .env) usando el siguiente comando para crear el archivo .env usando un entorno de terminal/CLI. El archivo también se puede crear utilizando su editor de texto preferido. Nombre de variable de entorno Descripción predeterminada Requerido VITE_APIGW La URL “” de API Gateway invoca la URL (incluido el protocolo) sin la ruta (elimine /portal del valor). Este valor se puede encontrar en la salida de PortalStack después de la implementación a través de AWS CDK. También se puede encontrar en la pestaña Salidas de la pila PortalStack CloudFormation bajo el nombre de exportación de PiiPortalApiGatewayInvokeUrl Sí VITE_BASE /portal Especifica la ruta utilizada para solicitar los archivos estáticos necesarios para representar el portal Sí VITE_API_PATH /api Especifica la ruta necesaria para enviar solicitudes a API Gateway Sí
Implementación del portal
Ejecute los siguientes comandos desde un entorno de terminal/CLI.
Antes de ejecutar cualquiera de los siguientes comandos, vaya a la raíz del directorio de la aplicación para compilar esta aplicación para producción ejecutando los siguientes comandos: Instalar paquetes NPM Construir los archivos Después de que la compilación se realice correctamente, transfiera todos los archivos dentro del directorio dist/ al depósito de Amazon S3 designado para estos activos (especificado en PortalStack aprovisionado mediante CDK). Ejemplo: aws s3 sync dist/ s3://<> –delete<> es el depósito S3 que se creó en la pila <>-PortalStack CloudFormation con el ID lógico de PrivateWebHostingAssets. Este valor se puede obtener en la pestaña Recursos de la pila de CloudFormation en la consola de AWS. Este valor también se genera durante el proceso de implementación de cdk cuando PortalStack se ha completado correctamente.
Accediendo al portal
Utilice la URL de invocación de API Gateway desde API Gateway que se creó durante el proceso de implementación de cdk para acceder al portal desde un navegador web. Esta URL se puede encontrar siguiendo estos pasos:
Visite la consola de AWS. Vaya a API Gateway y busque la API Gateway que se creó durante el proceso de implementación de cdk. El nombre de API Gateway se puede encontrar en la sección Recursos de la pila <>-PortalStack CloudFormation. Haga clic en el enlace Etapas en el menú de la izquierda. Asegúrese de que la etapa del portal esté seleccionada. Busque la URL de invocación y copie ese valor. Ingrese ese valor en la barra de direcciones de su navegador web.
La interfaz de usuario del portal ahora es visible en el navegador web. Si se ha procesado algún correo electrónico, aparece en la página de inicio del portal.
Control de acceso (opcional)
Para la implementación de producción, recomendamos estos enfoques para controlar y administrar el acceso al Portal.
Limpiar
Para evitar incurrir en cargos futuros, siga estos pasos para eliminar los recursos creados por esta solución:
Elimine el contenido de los depósitos de S3 creados por la solución: Depósito de correo electrónico sin procesar Depósito de correo electrónico redactado Depósito de activos estáticos del portal (si se implementó el portal) Elimine o deshabilite el paso de regla de Amazon SES creado por la solución utilizando el siguiente comando cli:
Elimine las pilas de CloudFormation en el siguiente orden:
CDK Destroy no elimina el registro de acceso al depósito de Amazon S3 creado como parte de la implementación. Los usuarios pueden obtener acceso al nombre del depósito de registros en la pestaña de salida de la pila <>-S3Stack con el nombre de exportación AccessLogsBucket. Ejecute los pasos a continuación para eliminar el depósito de registro de acceso: Para eliminar el contenido del depósito de registro de acceso, siga las instrucciones sobre cómo eliminar el depósito de S3. El acceso al depósito de registro está habilitado para la versión y eliminar el contenido del depósito en el paso anterior no elimina los objetos versionados en el depósito. Eso debe eliminarse por separado utilizando los siguientes comandos de AWS CLI:
Elimine el registro de acceso al depósito de Amazon S3 utilizando el siguiente comando aws cli:
Si Amazon SES está configurado: Elimine las identidades de dominio/correo electrónico verificadas. Elimine los registros MX de su proveedor de DNS. Elimine las credenciales SMTP de AWS Secrets Manager. Elimine cualquier grupo de CloudWatch Log creado por las funciones Lambda.
La VPC y sus recursos asociados como requisitos previos para esta solución no se pueden eliminar si pueden ser utilizados por otras aplicaciones.
Conclusión
En esta publicación, demostramos cómo automatizar la detección y redacción de PII en contenido de texto e imagen utilizando Amazon Bedrock Data Automation y Amazon Bedrock Guardrails. Al centralizar y optimizar el proceso de redacción, las organizaciones pueden fortalecer la alineación con los requisitos de privacidad de datos, mejorar las prácticas de seguridad y minimizar los gastos operativos.
Sin embargo, es igualmente importante asegurarse de que su solución esté diseñada teniendo en cuenta las limitaciones de procesamiento de documentos de Amazon Bedrock Data Automation. Amazon Bedrock Data Automation admite formatos de archivos PDF, JPEG y PNG con un tamaño máximo de procesamiento de consola de 200 MB (500 MB a través de API) y los documentos individuales no pueden exceder las 20 páginas a menos que esté habilitada la división de documentos.
Al utilizar las capacidades de redacción centralizada de Amazon Bedrock Data Automation y Amazon Bedrock Guardrails, las organizaciones pueden impulsar la gestión del cumplimiento de la privacidad de los datos, reducir los gastos operativos y mantener una seguridad estricta en diversas cargas de trabajo. La extensibilidad de esta solución permite aún más la integración con otros servicios de AWS, ajustar la lógica de detección para patrones de PII más avanzados y ampliar el soporte para tipos de archivos o idiomas adicionales en el futuro, evolucionando así hacia un marco de protección de datos de escala empresarial más sólido.
Alentamos la exploración del repositorio de GitHub proporcionado para implementar esta solución dentro de su organización. Además de ofrecer eficiencia operativa, escalabilidad, seguridad y adaptabilidad, la solución también proporciona una interfaz unificada y un seguimiento de auditoría sólido que simplifica la gestión de datos. Al perfeccionar las reglas de detección, los usuarios pueden integrar formatos de archivos adicionales cuando sea posible y utilizar el marco modular de Amazon Bedrock Data Automation y Amazon Bedrock Guardrails.
Lo invitamos a implementar esta solución de detección y redacción de PII en el siguiente repositorio de GitHub para crear una solución de protección de datos más segura, alineada con el cumplimiento y altamente adaptable en Amazon Bedrock que aborde los requisitos regulatorios y comerciales en evolución.
Acerca de los autores
Himanshu Dixit es consultor de entrega en AWS Professional Services y se especializa en bases de datos y análisis, y aporta más de 18 años de experiencia en tecnología. Le apasiona la inteligencia artificial, el aprendizaje automático y la IA generativa, aprovechando estas tecnologías de vanguardia para crear soluciones innovadoras que aborden los desafíos del mundo real que enfrentan los clientes. Fuera del trabajo, le gusta jugar bádminton, tenis, cricket, tenis de mesa y pasar tiempo con sus dos hijas.
David Zhang es gerente de participación en AWS Professional Services, donde dirige iniciativas de transformación de la nube e IA/ML a escala empresarial para clientes de Fortune 100 en telecomunicaciones, finanzas, medios y entretenimiento. Fuera del trabajo, le gusta experimentar con nuevas recetas en su cocina, tocar el saxofón tenor y capturar momentos de la vida a través de su cámara.
Richard Session es desarrollador líder de interfaces de usuario para AWS ProServe y aporta más de 15 años de experiencia como desarrollador completo en las industrias de marketing/publicidad, tecnología empresarial, automoción y comercio electrónico. Con una pasión por crear experiencias de usuario intuitivas y atractivas, utiliza su amplia experiencia para crear interfaces excepcionales para los clientes empresariales de AWS. Cuando no está diseñando experiencias de usuario innovadoras, se puede encontrar a Richard dedicado a su amor por el café, pinchando temas como DJ o explorando nuevos destinos en todo el mundo.
Viyoma Sachdeva es especialista principal de la industria en AWS. Está especializada en AWS DevOps, contenerización e IoT y ayuda a los clientes a acelerar su viaje a la nube de AWS.