Cómo Logikcull de Reveal utilizó Amazon Comprehend para detectar y redactar PII de documentos legales a escala

Hoy, información de identificación personal (PII) está en todas partes. La PII se encuentra en correos electrónicos, mensajes flojos, videos, archivos PDF, etc. Se refiere a cualquier dato o información que pueda utilizarse para identificar a un individuo específico. La PII es de naturaleza sensible e incluye varios tipos de datos personales, como nombre, información de contacto, números de identificación, información financiera, información médica, datos biométricos, fecha de nacimiento, etc.

Encontrar y redactar PII es esencial para salvaguardar la privacidad, garantizar la seguridad de los datos, cumplir con las leyes y regulaciones y mantener la confianza con los clientes y partes interesadas. Es un componente crítico de las prácticas modernas de gestión de datos y ciberseguridad. Pero encontrar PII entre la maraña de datos electrónicos puede presentar desafíos para una organización. Estos desafíos surgen debido al gran volumen y variedad de datos, la fragmentación de datos, el cifrado, el intercambio de datos, el contenido dinámico, los falsos positivos y negativos, la comprensión contextual, las complejidades legales, las limitaciones de recursos, los datos en evolución, el contenido generado por el usuario y las amenazas adaptativas. Sin embargo, no detectar y redactar con precisión la PII puede tener graves consecuencias para las organizaciones. Las consecuencias pueden abarcar sanciones legales, demandas, daños a la reputación, costos de violación de datos, investigaciones regulatorias, interrupciones operativas, erosión de la confianza y sanciones.

En el sistema legal, el descubrimiento es el proceso legal que rige el derecho a obtener y la obligación de producir materia no privilegiada relevante para las reclamaciones o defensas de cualquier parte en un litigio. El descubrimiento electrónico, también conocido como eDiscovery, es el aspecto electrónico de identificar, recopilar y producir información almacenada electrónicamente (ESI) en respuesta a una solicitud de producción en una demanda o investigación. En el ámbito legal, a menudo es necesario identificar, recopilar y presentar ESI durante una demanda o investigación. Si las organizaciones están lidiando con eDiscovery para litigios sobre respuestas a citaciones, probablemente les preocupe compartir PII accidentalmente. Muchas organizaciones, incluidas agencias gubernamentales, distritos escolares y profesionales del derecho, enfrentan el desafío de detectar y redactar PII con precisión a escala. Especialmente si son parte de un grupo gubernamental, redactar la PII a través de la Ley de Libertad de Información y la Ley de Servicios Digitales es crucial para proteger la privacidad individual, garantizar el cumplimiento de las leyes de protección de datos, prevenir el robo de identidad y mantener la confianza y la transparencia en el gobierno y en el sector digital. servicios. Logra un equilibrio entre transparencia y privacidad al tiempo que mitiga los riesgos legales y de seguridad.

Las organizaciones pueden buscar PII utilizando métodos como búsquedas de palabras clave, coincidencia de patrones, herramientas de prevención de pérdida de datos, aprendizaje automático (ML), análisis de metadatos, software de clasificación de datos, reconocimiento óptico de caracteres (OCR), toma de huellas digitales de documentos y cifrado.

Ahora forma parte de la plataforma eDiscovery impulsada por IA de Reveal, lógicacull es una solución de autoservicio que permite a los profesionales legales procesar, revisar, etiquetar y producir documentos electrónicos como parte de una demanda o investigación. Esta oferta única ayuda a los abogados a descubrir información valiosa relacionada con el asunto en cuestión mientras reduce costos, acelera las resoluciones y mitiga riesgos.

En esta publicación, los expertos de Reveal muestran cómo usaron Amazon comprender en su proceso de procesamiento de documentos para detectar y redactar piezas individuales de PII. Amazon Comprehend es un servicio de procesamiento de lenguaje natural (NLP) totalmente administrado y capacitado continuamente que puede extraer información sobre el contenido de un documento o texto. Puede utilizar las capacidades de Amazon Comprehend ML para detectar y redactar PII en correos electrónicos de clientes, tickets de soporte, reseñas de productos, redes sociales y más.

Descripción general de la solución

El objetivo general del equipo de ingeniería es detectar y redactar PII de millones de documentos legales para sus clientes. Utilizando la solución Logikcull de Reveal, el equipo de ingeniería implementó dos procesos: la detección de PII de primer paso y la detección y redacción de PII de segundo paso. Esta solución de dos pasos fue posible gracias al uso de ContienePiiEntidades y Detectar entidades Pii API.

Detección de PII de primer paso

El objetivo de la detección de PII de primer paso es encontrar los documentos que puedan contener PII.

1. Los usuarios cargan los archivos en los que les gustaría realizar la detección y redacción de PII a través del sitio web público de Logikcull en una carpeta de proyecto. Estos archivos pueden tener la forma de documentos de Office, archivos .pdf, correos electrónicos o un archivo .zip que contenga todos los tipos de archivos admitidos.
2. Logikcull almacena estas carpetas de proyectos de forma segura dentro de un Servicio de almacenamiento simple de Amazon (Amazon S3) balde. Luego, los archivos pasan a través del proceso de procesamiento paralelo masivo de Logikcull alojado en Nube de computación elástica de Amazon (Amazon EC2), que procesa los archivos, extrae los metadatos y genera artefactos en formato de texto para la revisión de datos. El proceso de procesamiento de Logikcull admite la extracción de texto para una amplia variedad de formularios y archivos, incluidos archivos de audio y video.
3. Una vez que los archivos están disponibles en formato de texto, Logikcull pasa el texto de entrada junto con el modelo de idioma, que es el inglés, a través de Amazon Comprehend haciendo que ContienePiiEntidades Llamada API. Los servidores de canalización de procesamiento alojados en Amazon EC2 hacen que Amazon Comprehend ContainsPiiEntities Llamada API pasando los parámetros de solicitud como texto y código de idioma. El ContainsPiiEntities La llamada API analiza el texto de entrada para detectar la presencia de PII y devuelve las etiquetas de los tipos de entidades de PII identificados, como nombre, dirección, número de cuenta bancaria o número de teléfono. La respuesta de la API también incluye una puntuación de confianza que indica el nivel de confianza que Amazon Comprehend ha asignado a la precisión de la detección. La puntuación de confianza tiene un valor entre 0 y 1, donde 1 significa 100 por ciento de confianza. Logikcull utiliza esta puntuación de confianza para asignar la etiqueta PII detectada a los documentos. Logikcull solo asigna esta etiqueta a documentos que tienen una puntuación de confianza superior a 0,75.
4. Los documentos etiquetados PII detectados se introducen en el grupo de índice de búsqueda de Logikcull para que sus usuarios identifiquen rápidamente documentos que contienen entidades PII.

Detección y redacción de PII de segundo paso

El proceso de detección de PII del primer paso reduce el alcance del conjunto de datos al identificar qué documentos contienen información PII. Esto acelera el proceso de detección de PII y también reduce el costo general. El objetivo de la detección de PII del segundo paso es identificar las instancias individuales de PII y eliminarlas de los documentos etiquetados en el primer paso.

1. Los usuarios buscan documentos a través del sitio web de Logikcull que contienen PII utilizando la función de filtros de búsqueda avanzada de Logikcull.
2. La solicitud es manejada por los servidores de aplicaciones de Logikcull alojados en AmazonEC2 y los servidores se comunican con el clúster de índice de búsqueda para encontrar los documentos.
3. Los servidores de aplicaciones Logikcull pueden identificar las instancias individuales de PII haciendo la Detectar entidades Pii Llamada API. Los servidores realizan la llamada API pasando el texto y el idioma de los documentos de entrada. El DetectPiiEntities La acción API inspecciona el texto de entrada en busca de entidades que contengan PII. Para cada entidad, la respuesta proporciona el tipo de entidad, dónde comienza y termina el texto de la entidad y el nivel de confianza que Amazon Comprehend tiene en su detección.
4. Luego, los usuarios seleccionan las entidades específicas que desean redactar utilizando la interfaz web de Logikcull. El servidor de aplicaciones envía estas solicitudes al proceso de procesamiento de Logikcull. La siguiente es una captura de pantalla de un PDF que se cargó en la aplicación de Logikcull. En la siguiente captura de pantalla, puede ver que se han resaltado diferentes entidades de PII, como nombre, dirección, número de teléfono, dirección de correo electrónico, etc.

5. La redacción de PII se aplica de forma segura dentro del proceso de procesamiento de Logikcull utilizando una lógica empresarial personalizada. En la captura de pantalla siguiente, puede ver que los usuarios pueden seleccionar tipos de entidades de PII específicos o todos los tipos de entidades de PII que desean redactar y luego, con solo hacer clic en un botón, redactar toda la información de PII.

Resultados

Logikcull, una tecnología de Reveal, procesa actualmente más de 20 millones de documentos cada semana y pudo reducir el alcance de la detección utilizando el ContainsPiiEntities API y mostrar instancias individuales de entidades PII a sus clientes mediante el uso de DetectPiiEntities API.

“Con Amazon Comprehend, Logikcull ha podido implementar rápidamente potentes capacidades de PNL en una fracción del tiempo que habría requerido una solución personalizada”.

– Steve Newhouse, vicepresidente de producto de Logikcull.

Conclusión

Amazon comprender permite que la tecnología Logikcull de Reveal ejecute la detección de PII a gran escala por un costo relativamente bajo utilizando Amazon Comprehend. El ContainsPiiEntities La API se utiliza para realizar un escaneo inicial de millones de documentos. El DetectPiiEntities La API se utiliza para ejecutar un análisis detallado de miles de documentos e identificar piezas individuales de PII en sus documentos.

Échale un vistazo a todos los Funciones de comprensión de Amazon. Pruebe las funciones y envíenos sus comentarios a través del Foro de AWS para Amazon Comprehend o a través de sus contactos habituales de soporte de AWS.

Sobre los autores

Aman Tiwari es un arquitecto de soluciones generales que trabaja con ventas comerciales mundiales en AWS. Trabaja con clientes en el segmento de negocios nativos digitales y los ayuda a diseñar soluciones innovadoras, resistentes y rentables utilizando los servicios de AWS. Tiene una maestría en Redes de Telecomunicaciones de la Universidad Northeastern. Fuera del trabajo, le gusta jugar tenis sobre hierba y leer libros.

Jeff Newburn es un gerente senior de ingeniería de software que lidera el equipo de ingeniería de datos en Logikcull – A Reveal Technology. Supervisa las iniciativas de datos de la empresa, incluidos almacenes de datos, visualizaciones, análisis y aprendizaje automático. Con experiencia que abarca el desarrollo y la gestión en áreas que van desde viajes compartidos hasta sistemas de datos, le gusta liderar equipos de ingenieros brillantes y productos interesantes.

Søren Rubio Daugaard es ingeniero de personal en el equipo de ingeniería de datos de Logikcull – A Reveal Technology. Implementa soluciones de inteligencia artificial y aprendizaje automático altamente escalables en el producto Logikcull, lo que permite a nuestros clientes hacer su trabajo de manera más eficiente y con mayor precisión. Su experiencia abarca canalizaciones de datos, sistemas basados ​​en web y sistemas de aprendizaje automático.

Kevin Lufkin es ingeniero de software sénior en el equipo de ingeniería de búsqueda de Logikcull – A Reveal Technology, donde se centra en el desarrollo de funciones orientadas al cliente y relacionadas con la búsqueda. Su amplia experiencia en UI/UX se complementa con experiencia en desarrollo web completo, con un fuerte enfoque en hacer realidad las visiones de los productos.