New Relic Inc. es una empresa de tecnología con sede en San Francisco que fue pionera en el monitoreo del rendimiento de aplicaciones (APM) y ofrece soluciones integrales de observabilidad. New Relic, que presta servicios a clientes líderes en todo el mundo, incluidas marcas importantes como Ryanair, ayuda a las organizaciones a monitorear y optimizar sus sistemas digitales para brindar mejores experiencias a los clientes.
New Relic enfrentó un desafío común a muchas empresas de rápido crecimiento. Sus ingenieros dedicaban un tiempo valioso a buscar documentación fragmentada en múltiples sistemas, y las consultas internas del sistema consumían mucho tiempo y, en algunos casos, tomaban más de un día. Como plataforma de observabilidad líder que brinda soporte a miles de clientes en todo el mundo, New Relic sabía que se necesitaba una forma más eficiente de acceder y utilizar el conocimiento organizacional.
Este desafío llevó a la creación de New Relic NOVA (New Relic Omnipresence Virtual Assistant): una innovadora herramienta de inteligencia artificial (IA) construida sobre Amazon Web Services (AWS). New Relic NOVA ha transformado la forma en que los empleados de New Relic acceden e interactúan con el conocimiento y los sistemas de la empresa.
En colaboración con el Centro de innovación de IA generativa, New Relic NOVA evolucionó de un asistente de conocimiento a un motor de productividad integral. New Relic NOVA se basa en servicios de AWS, incluidos Amazon Bedrock, Amazon Kendra, Amazon Simple Storage Service (Amazon S3) y Amazon DynamoDB. A través de Strands Agents, New Relic NOVA proporciona revisiones de código inteligentes, gobernanza de IA y servicios gestionados de protocolo de contexto modelo (MCP).
Amazon Bedrock es un servicio totalmente administrado que brinda acceso a modelos básicos líderes para crear aplicaciones de IA generativa, lo que elimina la necesidad de administrar infraestructura y al mismo tiempo permite a los equipos personalizar modelos para sus casos de uso específicos. A través de una única API, los desarrolladores pueden experimentar y evaluar diferentes modelos básicos, integrarlos con sistemas empresariales y crear aplicaciones seguras de IA a escala.
La solución ha reducido el tiempo de búsqueda de información y al mismo tiempo ha automatizado flujos de trabajo operativos complejos. A través de la colaboración con el Centro de Innovación de IA Generativa, New Relic NOVA se desarrolló hasta convertirse en una solución que ahora procesa más de 1000 consultas diarias en toda su organización. New Relic NOVA se integra perfectamente con Confluence, GitHub, Salesforce, Slack y varios sistemas internos, manteniendo una precisión del 80 % en sus respuestas tanto para consultas basadas en conocimientos como para tareas transaccionales.
Mostraremos cómo se diseña New Relic NOVA utilizando los servicios de AWS para crear un asistente inteligente y escalable que va más allá de la recuperación de documentos para manejar tareas complejas como solicitudes automatizadas de permisos de equipo y administración de límites de velocidad. Exploramos la arquitectura técnica, el recorrido de desarrollo y las lecciones clave aprendidas en la creación de una solución de IA de nivel empresarial que ofrece ganancias de productividad mensurables a escala.
Descripción general de la solución
Al diseñar New Relic NOVA, New Relic estableció varios objetivos críticos más allá del objetivo inicial de mejorar la búsqueda de documentación. Estos incluyeron mantener la seguridad de los datos durante la recuperación de conocimientos y lograr una calidad de respuesta consistente en diferentes fuentes de datos. Como se muestra en la Figura 1, la arquitectura AWS de New Relic NOVA permite una interacción perfecta entre los usuarios y varios servicios de AWS mientras mantiene la seguridad y la escalabilidad. La solución requería un marco flexible que pudiera evolucionar con las necesidades de la organización tanto para la recuperación de conocimientos como para las tareas transaccionales. Un desafío clave fue equilibrar estos requisitos y al mismo tiempo mantener tiempos de respuesta inferiores a 20 segundos para mantener la participación de los usuarios.
Figura 1: Arquitectura de la solución del marco New Relic NOVA
El equipo de desarrollo identificó varios riesgos potenciales al principio del proyecto. Estas incluían la posibilidad de exponer información confidencial a través de respuestas de IA, mantener la precisión al recuperar datos de múltiples fuentes y garantizar la confiabilidad del sistema a escala empresarial. La Figura 2 ilustra el flujo de trabajo detallado del agente de New Relic NOVA, demostrando cómo se procesan y enrutan las consultas a través de varios agentes especializados para abordar las intenciones del usuario. Además, el equipo implementó controles de seguridad integrales que incluyeron detección y enmascaramiento de información de identificación personal (PII), junto con un marco de evaluación sólido para monitorear y mantener la calidad de la respuesta.
Figura 2: Arquitectura de flujo de trabajo del agente New Relic NOVA
El proyecto también reveló oportunidades para una futura optimización. Estos incluyen la expansión de una arquitectura de jerarquía de agentes para admitir flujos de trabajo automatizados adicionales y el desarrollo de análisis más sofisticados para rastrear los patrones de interacción del usuario. La experiencia del equipo sugiere que las organizaciones que emprenden proyectos similares deberían centrarse en establecer métricas de evaluación claras desde el principio y construir arquitecturas flexibles que puedan adaptarse a las necesidades empresariales en evolución.
Solución
New Relic NOVA se desarrolló durante un período de ocho semanas, lo que implicó un esfuerzo de colaboración entre los equipos internos de ingeniería, seguridad, legal y cumplimiento y el Centro de innovación de IA generativa de AWS. Esta asociación aceleró el rápido desarrollo y la iteración, aprovechando la experiencia de AWS en implementaciones de IA a gran escala.
Arquitectura del agente
La arquitectura de New Relic NOVA consta de tres capas clave:
Capa de agente principal: actúa como una orquestación controlable para ejecutar diferentes flujos de trabajo al identificar la intención del usuario y delegar esfuerzos a las siguientes capas posteriores: Recuperación de generación aumentada (RAG) con conocimiento incorporado personalizado de Amazon Bedrock Knowledge Bases o Amazon Kendra. Agentes de interacción directa con plataformas de terceros. Agentes personalizados para manejar tareas internas de New Relic. Manejo de respaldo si no se pueden determinar las respuestas de los usuarios. Capas de fuente de datos (base de datos vectorial, enriquecimiento, fuentes de datos): estas capas representan recursos donde el conocimiento interno (por ejemplo, documentación de estándares de New Relic y documentación del repositorio de código) se ingiere con fines de recuperación o RAG. El beneficio de estos recursos personalizados es mejorar la información y el rendimiento de búsqueda para solicitudes de información de uso. Capa de agentes: consta de dos tipos de agentes distintos: Agentes de Strands con MCP: manejan procesos de varios pasos para servicios de terceros, aprovechando MCP para interacciones de servicios estandarizados. Agentes de acciones personalizadas: ejecuten tareas específicas de New Relic, como solicitudes de permisos y modificaciones de límites de servicios, proporcionando un control preciso sobre los sistemas internos.
Un agente central actúa como orquestador, dirigiendo consultas a subagentes especializados en un modelo de delegación donde las respuestas fluyen directamente al usuario en lugar de requerir razonamientos o ajustes entre agentes. Mientras tanto, los Strands Agents se utilizan para gestionar de manera eficiente integraciones de servicios de terceros mediante MCP. Este enfoque le da a New Relic NOVA lo mejor de ambos mundos: el modelo de orquestación mantiene la flexibilidad para los procesos internos mientras estandariza los servicios externos a través de MCP, creando una base escalable para New Relic con respecto a las necesidades futuras de automatización.
Estrategia de integración de datos
El poder reside en la capacidad de New Relic NOVA para integrar perfectamente múltiples fuentes de datos, proporcionando una interfaz unificada para la recuperación de conocimientos. Este enfoque incluye:
Bases de conocimiento de Amazon Bedrock para Confluence: confirma la sincronización directa con los espacios de Confluence y mantiene información actualizada. Amazon Kendra para GitHub Enterprise: indexa y busca repositorios de GitHub, proporcionando acceso rápido a la documentación del código. Agentes Strands para Salesforce y Jira: los agentes personalizados ejecutan consultas SOQL y JQL, respectivamente, para obtener datos relevantes de sus respectivas plataformas (Salesforce y Jira). Amazon Q Index para Slack: utiliza las capacidades de Amazon Q Index para implementar una solución RAG para el historial del canal Slack, elegida por su rápido potencial de desarrollo.
Un aspecto único de la integración de datos de New Relic NOVA es el proceso de enriquecimiento de documentos personalizado. Durante la ingesta, los documentos se mejoran con metadatos, palabras clave y resúmenes, lo que mejora significativamente la relevancia y precisión de la recuperación.
Usando modelos de Amazon Nova
Amazon Nova es la nueva generación de modelos básicos de AWS diseñados para ofrecer inteligencia de vanguardia con un rendimiento de precios líder en la industria para casos de uso empresarial. La familia de modelos Amazon Nova puede procesar diversas entradas, incluidos texto, imágenes y videos, sobresaliendo en tareas que van desde chat interactivo hasta análisis de documentos, al tiempo que admite capacidades avanzadas como sistemas RAG y flujos de trabajo de agentes de IA.
Para optimizar el rendimiento y la rentabilidad, New Relic NOVA utiliza los modelos Amazon Nova Lite y Pro a través de Amazon Bedrock. Estos modelos se seleccionaron cuidadosamente para equilibrar la calidad de la respuesta con la latencia, lo que permitió a New Relic NOVA mantener tiempos de respuesta inferiores a 20 segundos mientras procesa consultas complejas. Amazon Bedrock brinda acceso a diversas familias de modelos de fundaciones. Su marco estandarizado y su rápida optimización permiten un cambio fluido entre modelos sin cambios de código. Esto permite a New Relic NOVA optimizar la velocidad con Amazon Nova Lite o, debido a la complejidad, cambiar a Amazon Nova Pro mientras mantiene un rendimiento constante y una rentabilidad.
Implementación avanzada de RAG
New Relic NOVA emplea un sofisticado enfoque RAG, utilizando Amazon Bedrock Knowledge Bases, Amazon Kendra y Amazon Q Index. Para maximizar la precisión de la recuperación, New Relic NOVA implementa varias técnicas de optimización clave:
Fragmentación jerárquica: Amazon Bedrock Knowledge Bases emplea fragmentación jerárquica, un método que ha demostrado ser más eficaz a través de una experimentación exhaustiva con varias metodologías de fragmentación. Enriquecimiento del contexto: una función personalizada de AWS Lambda mejora los fragmentos durante la ingesta de la base de conocimientos, incorporando palabras clave relevantes e información contextual. Este proceso es particularmente valioso para contenido relacionado con código, donde las señales estructurales y semánticas impactan significativamente el rendimiento de la recuperación. Integración de metadatos: durante la ingesta de documentos de la base de conocimientos, se agrega contexto adicional, como resúmenes, títulos, autores, fechas de creación y fechas de última modificación, como metadatos del documento. Estos metadatos enriquecidos mejoran la calidad y relevancia de la información recuperada. Procesamiento de documentos personalizado: para fuentes de datos específicas, como repositorios de GitHub, se aplican técnicas de procesamiento de documentos personalizadas para preservar la estructura del código y mejorar la relevancia de la búsqueda.
Estas técnicas funcionan en conjunto para optimizar el sistema RAG dentro de New Relic NOVA, brindando una recuperación altamente precisa en diversos tipos de documentos y minimizando el esfuerzo de desarrollo a través de los conectores existentes. La combinación de fragmentación jerárquica, enriquecimiento de contexto, integración de metadatos y procesamiento de documentos personalizado permite a New Relic NOVA proporcionar respuestas precisas y contextuales, independientemente de la fuente de datos o el formato del documento.
Marco de evaluación
New Relic NOVA implementa un marco de evaluación integral, aprovechando los modelos básicos de Amazon Bedrock para su enfoque de modelo de lenguaje grande (LLM) como juez, junto con conjuntos de datos de validación que combinan preguntas, respuestas reales y URL de documentos fuente. Este marco de evaluación, que se puede ejecutar bajo demanda en entornos de desarrollo, abarca tres métricas críticas para la validación del sistema:
La medición de la precisión de las respuestas utiliza un sistema de calificación de escala discreta del 1 al 5, donde el LLM evalúa la alineación fáctica de la respuesta generada con los datos reales establecidos. Evaluación de la relevancia del contexto en una escala del 1 al 5, analizando la relevancia del contexto recuperado para la consulta del usuario. El seguimiento de la latencia de respuesta mide el rendimiento del flujo de trabajo, desde la entrada de la consulta inicial hasta la generación de la respuesta final, garantizando una experiencia de usuario óptima a través de un análisis de tiempo integral.
Este enfoque de evaluación de triple métrica respalda la optimización detallada del rendimiento en todas las funcionalidades principales de la solución New Relic NOVA.
Observabilidad y mejoras continuas.
La solución incluye un marco de observabilidad integral que recopila métricas y analiza los comentarios de los usuarios. La recopilación de métricas y comentarios se implementa a través de las soluciones de monitoreo de IA de New Relic. Los comentarios se implementan a través de la función de reacción de Slack (respuestas emoji), los usuarios pueden proporcionar comentarios rápidamente sobre las respuestas de New Relic NOVA. Estas reacciones son capturadas por un agente Python de New Relic y enviadas a un dominio https://one.newrelic.com/. El sistema de recopilación de comentarios proporciona información valiosa para:
Medir la satisfacción del usuario con las respuestas. Identificar áreas donde se puede mejorar la precisión. Comprender los patrones de uso en diferentes equipos. Seguimiento de la efectividad de diferentes tipos de consultas. Seguimiento del rendimiento de diversas fuentes de datos. Seguimiento de cada llamada de LLM y latencia.
Los datos de comentarios recopilados se pueden analizar utilizando los servicios de análisis de AWS, como AWS Glue para procesamiento ETL, Amazon Athena para consultas y Amazon QuickSight para visualización. Este enfoque basado en datos permite la mejora continua de New Relic NOVA y ayuda a priorizar mejoras futuras basadas en interacciones reales de los usuarios.
Los equipos internos ya están experimentando las ventajas de New Relic NOVA. La Figura 3 muestra algunas de las respuestas capturadas por el proceso de retroalimentación de Slack.
Figura 3: Intercambios de mensajes de los usuarios de Slack sobre la experiencia New Relic NOVA
Consideraciones y próximos pasos
El éxito de New Relic NOVA destaca varios aprendizajes clave para las organizaciones que buscan implementar soluciones similares:
Comience con una comprensión clara de los puntos débiles del usuario y criterios de éxito mensurables. Implemente estrategias sólidas de integración de datos con enriquecimiento de documentos personalizado. Utilice los servicios de IA generativa y los modelos básicos que mejor se adapten a sus casos de uso para lograr resultados óptimos. Incorpore mecanismos de retroalimentación desde el principio para permitir la mejora continua. Céntrese tanto en la velocidad como en la precisión para garantizar la adopción por parte del usuario.
En términos de los próximos pasos, New Relic NOVA está evolucionando de una solución independiente a una plataforma integral de inteligencia artificial empresarial mediante la integración de tecnologías AWS de vanguardia y marcos de código abierto. En el futuro, New Relic prevé aprovechar Amazon S3 Vectors. Ofrece hasta un 90% de reducción de costos para consultas y almacenamiento de vectores en comparación con los enfoques convencionales, lo que permite el manejo de cargas de trabajo de IA a gran escala de manera más eficiente. New Relic busca explorar Amazon Bedrock AgentCore para lograr seguridad de nivel empresarial, administración de memoria e implementación escalable de agentes de IA, respaldando capacidades de producción sólidas.
Además, New Relic está explorando Strands Agent Workflows, un SDK de código abierto que agiliza la creación de agentes de IA desde simples asistentes conversacionales hasta complejos flujos de trabajo autónomos. Esta pila de tecnología posiciona a New Relic NOVA para ofrecer soluciones de IA listas para la empresa que escalan sin problemas mientras mantienen la eficiencia de costos y la productividad de los desarrolladores.
Conclusión
El viaje de creación de New Relic NOVA demuestra cómo las empresas pueden utilizar los servicios de IA generativa de AWS para transformar la productividad organizacional. Mediante la integración de Amazon Bedrock, Amazon Kendra y otros servicios de AWS, New Relic creó un asistente de inteligencia artificial que transforma sus operaciones internas. Al trabajar con el Centro de innovación de IA generativa de AWS, New Relic logró una reducción del 95 % en el tiempo de búsqueda de información en toda su organización y, al mismo tiempo, automatizó flujos de trabajo operativos complejos.
Obtenga más información sobre cómo transformar su negocio con IA generativa visitando el Centro de innovación de IA generativa o hable con un especialista en socios de AWS o un representante de AWS para saber cómo podemos ayudarlo a acelerar su negocio.
Lectura adicional
Sobre los autores
Yicheng Shen es ingeniero de software líder en New Relic NOVA, donde se enfoca en desarrollar IA genérica y soluciones agentes que transforman la forma en que las empresas entienden el rendimiento de sus aplicaciones. Cuando no está construyendo sistemas inteligentes, lo encontrarás explorando el aire libre con su familia y su perro.
Sarathy Varadarajan, directora senior de ingeniería de New Relic, impulsa la transformación basada en la IA y la productividad de los desarrolladores, con el objetivo de multiplicar por diez la automatización inteligente y la IA empresarial. Aumentó los equipos de ingeniería de 15 a más de 350 en Bangalore y Hyderabad. Le gusta el tiempo en familia y el voleibol.
Joe King es científico de datos senior de AWS en el Centro de innovación de IA generativa, donde ayuda a las organizaciones a diseñar e implementar soluciones de IA generativa de vanguardia. Con una profunda experiencia en ciencia, ingeniería y arquitectura de IA/ML, se especializa en transformar casos de uso complejos de IA generativa en soluciones escalables en AWS.
Priyashree Roy es científica de datos de AWS en el Centro de innovación de IA generativa, donde aplica su profunda experiencia en aprendizaje automático e IA generativa para crear soluciones de vanguardia para los clientes estratégicos de AWS. Con un doctorado en física experimental de partículas, aporta un enfoque científico riguroso para resolver problemas complejos del mundo real a través de tecnologías avanzadas de inteligencia artificial.
Gene Su es científico de datos de AWS en el Centro de innovación de IA generativa y se especializa en soluciones de IA generativa para finanzas, comercio minorista y otras industrias. Utiliza su experiencia en modelos de lenguajes grandes (LLM) para ofrecer aplicaciones de IA generativa en AWS.
Dipanshu Jain es estratega de IA generativa en AWS y ayuda a desbloquear el potencial de la IA generativa a través de asesoramiento estratégico y desarrollo de soluciones personalizadas. Especializado en identificar casos de uso de IA generativa de alto impacto, dar forma a hojas de ruta de ejecución y guiar a equipos multifuncionales a través de pruebas de concepto, desde el descubrimiento hasta la producción.
Ameer Hakme es un arquitecto de soluciones de AWS que colabora con proveedores de software independientes (ISV) en la región noreste, ayudando a diseñar y construir plataformas modernas y escalables en la nube de AWS. Ameer, experto en IA/ML e IA generativa, ayuda a los clientes a desbloquear el potencial de estas tecnologías de vanguardia. En su tiempo libre le gusta andar en motocicleta y pasar tiempo de calidad con su familia.