eSentire es un proveedor líder en la industria de servicios de detección y respuesta administradas (MDR) que protegen a los usuarios, los datos y las aplicaciones de más de 2000 organizaciones en todo el mundo en más de 35 industrias. Estos servicios de seguridad ayudan a sus clientes a anticipar, resistir y recuperarse de amenazas cibernéticas sofisticadas, evitar interrupciones por ataques maliciosos y mejorar su postura de seguridad.

En 2023, eSentire buscaba formas de ofrecer experiencias diferenciadas a los clientes continuando mejorando la calidad de sus investigaciones de seguridad y comunicaciones con los clientes. Para lograr esto, eSentire creó AI Investigator, una herramienta de consulta en lenguaje natural para que sus clientes accedan a los datos de la plataforma de seguridad mediante el uso de AWS. inteligencia artificial generativa (IA) capacidades.

En esta publicación, compartimos cómo eSentire creó AI Investigator usando Amazon SageMaker para proporcionar interacciones de IA generativa privadas y seguras a sus clientes.

Beneficios del investigador de IA

Antes de AI Investigator, los clientes contratarían a los analistas del Centro de operaciones de seguridad (SOC) de eSentire para comprender e investigar más a fondo los datos de sus activos y los casos de amenazas asociados. Esto implicó un esfuerzo manual para los clientes y analistas de eSentire, formulando preguntas y buscando datos en múltiples herramientas para formular respuestas.

AI Investigator de eSentire permite a los usuarios completar consultas complejas utilizando lenguaje natural uniendo múltiples fuentes de datos de la propia telemetría de seguridad de cada cliente y la malla de datos de activos, vulnerabilidades y amenazas de eSentire. Esto ayuda a los clientes a explorar rápida y fácilmente sus datos de seguridad y acelerar las investigaciones internas.

Proporcionar AI Investigator internamente al banco de trabajo de eSentire SOC también ha acelerado el proceso de investigación de eSentire al mejorar la escala y la eficacia de las investigaciones de telemetría múltiple. Los modelos LLM aumentan las investigaciones de SOC con el conocimiento de los expertos en seguridad y los datos de seguridad de eSentire, lo que permite resultados de investigación de mayor calidad y al mismo tiempo reduce el tiempo de investigación. Más de 100 analistas de SOC están utilizando ahora modelos de AI Investigator para analizar datos de seguridad y proporcionar conclusiones de investigación rápidas.

Descripción general de la solución

Los clientes de eSentire esperan controles rigurosos de seguridad y privacidad para sus datos confidenciales, lo que requiere una arquitectura que no comparta datos con proveedores externos de modelos de lenguaje grande (LLM). Por lo tanto, eSentire decidió construir su propio LLM utilizando los modelos fundamentales Llama 1 y Llama 2. Un modelo básico (FM) es un LLM que se ha sometido a una capacitación previa no supervisada en un corpus de texto. eSentire probó varios FM disponibles en AWS para su prueba de concepto; sin embargo, el acceso directo a Meta’s Llama 2 FM a través de abrazando la cara en SageMaker para entrenamiento e inferencia (y su estructura de licencia) hicieron de Llama 2 una elección obvia.

eSentire tiene más de 2 TB de datos de señal almacenados en su Servicio de almacenamiento simple de Amazon (Amazon S3) lago de datos. eSentire utilizó gigabytes de metadatos de investigación humana adicionales para realizar ajustes supervisados ​​en Llama 2. Este paso adicional actualiza el FM entrenándolo con datos etiquetados por expertos en seguridad (como pares de preguntas y respuestas y conclusiones de investigación).

eSentire utilizó SageMaker en varios niveles, lo que en última instancia facilitó su proceso de un extremo a otro:

• Utilizaron ampliamente instancias de portátiles SageMaker para activar instancias de GPU, lo que les brindó la flexibilidad de intercambiar computación de alta potencia cuando fuera necesario. eSentire utilizó instancias con CPU para el preprocesamiento de datos y análisis posterior a la inferencia y GPU para el entrenamiento del modelo real (LLM).
• El beneficio adicional de las instancias de portátiles de SageMaker es su integración optimizada con el entorno AWS de eSentire. Porque tienen grandes cantidades de datos (escala de terabytes, más de mil millones de filas totales de datos relevantes en entradas de preprocesamiento) almacenados en AWS, en Amazon S3 y Servicio de base de datos relacional de Amazon (Amazon RDS) para PostgreSQL Clústeres: las instancias de notebook de SageMaker permitieron el movimiento seguro de este volumen de datos directamente desde la fuente de AWS (Amazon S3 o Amazon RDS) al notebook de SageMaker. No necesitaban infraestructura adicional para la integración de datos.
• Los puntos finales de inferencia en tiempo real de SageMaker proporcionan la infraestructura necesaria para alojar sus LLM personalizados y autodidactas. Esto fue muy útil en combinación con la integración de SageMaker con Registro de contenedores elásticos de Amazon (Amazon ECR), configuración de endpoints de SageMaker y modelos de SageMaker para proporcionar la configuración completa necesaria para poner en marcha sus LLM según sea necesario. La capacidad de implementación de un extremo a otro con todas las funciones proporcionada por SageMaker permitió a eSentire actualizar sin esfuerzo y de manera consistente su registro de modelos a medida que iteran y actualizan sus LLM. Todo esto fue completamente automatizado con el ciclo de vida de desarrollo de software (SDLC) usando Terraform y GitHub, lo cual solo es posible a través del ecosistema SageMaker.

El siguiente diagrama visualiza el diagrama de arquitectura y el flujo de trabajo.

Se puede acceder a la interfaz de la aplicación a través de Puerta de enlace API de Amazon, utilizando puertas de enlace privadas y de borde. Para emular procesos de pensamiento intrincados similares a los de un investigador humano, eSentire diseñó un sistema de acciones de agentes encadenadas. Este sistema utiliza AWS Lambda y AmazonDynamoDB para orquestar una serie de invocaciones de LLM. Cada convocatoria de LLM se basa en la anterior, creando una cascada de interacciones que en conjunto producen respuestas de alta calidad. Esta compleja configuración garantiza que las fuentes de datos backend de la aplicación se integren perfectamente, proporcionando así respuestas personalizadas a las consultas de los clientes.

Cuando se construye un punto final de SageMaker, se comparte un URI de S3 para el depósito que contiene el artefacto del modelo y la imagen de Docker mediante Amazon ECR.

Para su prueba de concepto, eSentire seleccionó la GPU Nvidia A10G Tensor Core alojada en una instancia MLG5 2XL por su equilibrio entre rendimiento y costo. Para los LLM con un número significativamente mayor de parámetros, que exigen una mayor potencia computacional tanto para las tareas de entrenamiento como de inferencia, eSentire utilizó instancias 12XL equipadas con cuatro GPU. Esto era necesario porque la complejidad computacional y la cantidad de memoria requerida para los LLM pueden aumentar exponencialmente con la cantidad de parámetros. eSentire planea aprovechar los tipos de instancias P4 y P5 para escalar sus cargas de trabajo de producción.

Además, era necesario un marco de monitoreo que capturara las entradas y salidas de AI Investigator para permitir la visibilidad de la búsqueda de amenazas en las interacciones de LLM. Para lograr esto, la aplicación se integra con un código abierto Proyecto eSentire LLM Gateway para monitorear las interacciones con las consultas de los clientes, las acciones de los agentes backend y las respuestas de las aplicaciones. Este marco permite la confianza en aplicaciones LLM complejas al proporcionar una capa de monitoreo de seguridad para detectar envenenamiento malicioso y ataques de inyección, al mismo tiempo que brinda gobernanza y soporte para el cumplimiento mediante el registro de la actividad del usuario. La puerta de enlace LLM también se puede integrar con otros servicios LLM, como Roca Amazónica.

Amazon Bedrock le permite personalizar FM de forma privada e interactiva, sin necesidad de codificación. Inicialmente, el objetivo de eSentire era entrenar modelos personalizados utilizando SageMaker. A medida que su estrategia evolucionó, comenzaron a explorar una gama más amplia de FM, evaluando sus modelos entrenados internamente con los proporcionados por Amazon Bedrock. Amazon Bedrock ofrece un entorno práctico para realizar evaluaciones comparativas y una solución rentable para administrar cargas de trabajo debido a su funcionamiento sin servidor. Esto sirve bien a eSentire, especialmente cuando las consultas de los clientes son esporádicas, lo que hace que la tecnología sin servidor sea una alternativa económica a la ejecución persistente de instancias de SageMaker.

También desde una perspectiva de seguridad, Amazon Bedrock no comparte las entradas de los usuarios ni las salidas del modelo con ningún proveedor de modelos. Además, eSentire tiene barreras de seguridad personalizadas para NL2SQL aplicadas a sus modelos.

Resultados

La siguiente captura de pantalla muestra un ejemplo del resultado del AI Investigator de eSentire. Como se ilustra, se plantea una consulta en lenguaje natural a la aplicación. La herramienta puede correlacionar múltiples conjuntos de datos y presentar una respuesta.

Dustin Hillard, CTO de eSentire, comparte: “Los clientes y analistas de eSentire hacen cientos de preguntas de exploración de datos de seguridad por mes, que normalmente tardan horas en completarse. AI Investigator se encuentra ahora en una implementación inicial para más de 100 clientes y más de 100 analistas de SOC, brindando una respuesta inmediata de autoservicio a preguntas complejas sobre sus datos de seguridad. Los modelos eSentire LLM están ahorrando miles de horas de tiempo a clientes y analistas”.

Conclusión

En esta publicación, compartimos cómo eSentire creó AI Investigator, una solución de inteligencia artificial generativa que brinda interacciones de autoservicio privadas y seguras con los clientes. Los clientes pueden obtener respuestas casi en tiempo real a preguntas complejas sobre sus datos. AI Investigator también ha ahorrado mucho tiempo a los analistas de eSentire.

El proyecto de puerta de enlace LLM antes mencionado es un producto propio de eSentire y AWS no asume ninguna responsabilidad.

Si tiene algún comentario o pregunta, compártala en la sección de comentarios.

Sobre los autores

Aishwarya Subramaniam es arquitecto sénior de soluciones en AWS. Trabaja con clientes comerciales y socios de AWS para acelerar los resultados comerciales de los clientes brindándoles experiencia en análisis y servicios de AWS.

Ilia Zenkov es un desarrollador senior de IA especializado en IA generativa en eSentire. Se centra en el avance de la ciberseguridad con experiencia en aprendizaje automático e ingeniería de datos. Su experiencia incluye roles fundamentales en el desarrollo de plataformas de descubrimiento de fármacos y ciberseguridad impulsadas por ML.

David Hillard es responsable de liderar el desarrollo de productos y la innovación tecnológica, los equipos de sistemas y la TI corporativa en eSentire. Tiene una amplia experiencia en aprendizaje automático en reconocimiento de voz, traducción, procesamiento del lenguaje natural y publicidad, y ha publicado más de 30 artículos en estas áreas.