Esta publicación está coescrita por Shawn Tsai de TrendMicro.
Ofrecer respuestas relevantes y conscientes del contexto es importante para la satisfacción del cliente. Para los chatbots de IA de nivel empresarial, es clave comprender no solo la consulta actual sino también el contexto organizacional detrás de ella. La memoria empresarial en Amazon Bedrock, impulsada por Amazon Neptune y Mem0, proporciona a los agentes de IA un contexto persistente y específico de la empresa, lo que les permite aprender, adaptarse y responder de manera inteligente en múltiples interacciones. TrendMicro, una de las empresas de software antivirus más grandes del mundo, desarrolló el chatbot Trend’s Companion, para que sus clientes puedan explorar información a través de interacciones conversacionales naturales (obtenga más información).
TrendMicro tenía como objetivo mejorar su servicio de chatbot de IA para brindar soporte personalizado y contextual a los clientes empresariales. El chatbot necesitaba conservar el historial de conversaciones para garantizar la continuidad, hacer referencia al conocimiento específico de la empresa a escala y garantizar que la memoria se mantuviera precisa, segura y actualizada. El desafío consiste en integrar la memoria a largo plazo para el conocimiento organizacional con la memoria a corto plazo para las conversaciones en curso, al tiempo que se apoya el intercambio de conocimientos en toda la empresa. En colaboración con el equipo de AWS, incluido el Centro de innovación de IA generativa de AWS, TrendMicro abordó este desafío utilizando Amazon Neptune, Amazon OpenSearch y Amazon Bedrock, como detallamos en este blog.
Descripción general de la solución
TrendMicro implementó la memoria empresarial en Amazon Bedrock combinando múltiples servicios de AWS. Amazon Neptune almacena un gráfico de conocimiento específico de la empresa, que representa las relaciones, los procesos y los datos organizacionales para permitir una recuperación precisa y estructurada. Mem0 gestiona la memoria conversacional a corto plazo para el contexto inmediato y la memoria a largo plazo para el conocimiento persistente a lo largo de las sesiones. Amazon Bedrock organiza los flujos de trabajo de los agentes de IA, integrándose con Neptune y Mem0 para recuperar y aplicar conocimiento contextual durante la inferencia. Esta arquitectura permite que el chatbot recuerde la historia relevante, recupere conocimiento estructurado de la empresa y responda con respuestas personalizadas y ricas en contexto, lo que ayuda a mejorar significativamente la experiencia del usuario.
Creación y actualización de memoria.
La arquitectura comienza con la captura de mensajes de los usuarios y la extracción de entidades, relaciones y recuerdos potenciales a través del modelo Claude en Amazon Bedrock. Luego, estos se integran con Amazon Bedrock Titan Text Embed y se buscan en Amazon OpenSearch Service y Amazon Neptune. Las entidades y recuerdos relevantes se recuperan y actualizan a través del modelo antes de volver a incrustarlos e indexarlos en OpenSearch y Neptune. Este proceso de circuito cerrado garantiza que los recuerdos relacionados con las entidades se puedan actualizar continuamente y que el gráfico de conocimiento en Neptune se mantenga coherente con los conocimientos conversacionales.
Recuperación de memoria
Al manejar las consultas de los usuarios, el sistema aplica una canalización de incrustación similar con Bedrock Titan para buscar incrustaciones de vectores en OpenSearch Service y entidades triples en Neptune. Luego, los recuerdos relevantes se reclasifican utilizando los modelos Amazon Bedrock Rerank o Cohere Rerank para garantizar que se entregue la información más contextualmente precisa. Esta estrategia de recuperación dual proporciona flexibilidad semántica de OpenSearch y precisión estructurada de Neptune, lo que permite al chatbot ofrecer respuestas altamente relevantes y conscientes del contexto.
Mapeo de memoria de respuesta y retroalimentación humana en el circuito
Para cada respuesta de IA, el sistema asigna oraciones a los recuerdos específicos a los que se hace referencia, generando un informe de evaluación de la memoria. Luego, a los usuarios se les presenta la oportunidad de aprobar o rechazar estas asignaciones. Las memorias aprobadas siguen siendo parte de la base de conocimientos, mientras que las rechazadas se eliminan tanto de OpenSearch Service como de Neptune. Esto garantiza que solo persista el conocimiento validado y confiable. Este mecanismo humano en el circuito fortalece la confianza y ayuda a mejorar continuamente la precisión de la memoria y brinda a los clientes empresariales influencia directa sobre el refinamiento de su conocimiento de la IA.
Amazon Neptuno en acción
Para ilustrar cómo Amazon Neptune enriquece la memoria del chatbot, imaginemos que un cliente pregunta: “¿Quién reconoció a Kublai como gobernante?”. Sin el gráfico de conocimiento, la IA podría devolver una respuesta vaga como: “Kublai era un gobernante mongol que obtuvo el reconocimiento de diferentes grupos”. Este tipo de respuesta es genérica y carece de precisión.
Cuando se hace la misma pregunta pero se consulta el gráfico de entidades de Neptuno y se coloca en la ventana de contexto del modelo de lenguaje grande (LLM), el modelo puede basar su razonamiento en triples estructurados como (Ilkhans, reconocido, Kublai). El chatbot puede entonces responder con mayor precisión: “Según la base de conocimientos de la organización, los ilkhan reconocían a Kublai como gobernante”. Este ejemplo de antes y después demuestra cómo las relaciones entre entidades estructuradas en Neptune permiten que el modelo produzca respuestas que son contextualmente relevantes y verificables.
Conclusión y siguiente paso
Como se describe en el estudio de caso de AWS Trend Micro, Trend Micro utiliza AWS para ayudar a ofrecer experiencias de cliente más seguras, escalables e inteligentes. Sobre esta base, Trend Micro combina Amazon Bedrock, Amazon Neptune, Amazon OpenSearch Service y Mem0 para crear un chatbot de IA con memoria persistente específica de la organización que ofrece conversaciones inteligentes y conscientes del contexto a escala. Al integrar el conocimiento basado en gráficos con la IA generativa, se espera que Trend Micro mejore la calidad de las respuestas, brindando respuestas más claras y precisas, al tiempo que establece una base para sistemas de IA que se adaptan continuamente a la evolución del conocimiento organizacional; Este trabajo permanece bajo evaluación y ajuste para mejorar aún más la experiencia del usuario final.
De cara al futuro, TrendMicro está explorando mejoras futuras, como una cobertura de gráficos más amplia, canales de actualización adicionales y soporte multilingüe. Para los lectores que quieran profundizar más, recomendamos explorar la implementación de muestra de GitHub, que incluye el código fuente que implementamos, y la documentación de Amazon Neptune para obtener más detalles técnicos e inspiración.
Sobre los autores
Shawn Tsai
Shawn Tsai es arquitecto senior en Trend Micro y se especializa en prácticas de seguridad y desarrollo de aplicaciones de modelos de lenguaje grandes, diseño de arquitectura de nube, diseño de arquitectura de software a gran escala y prácticas de DevOps. Actualmente es el principal responsable del marco de seguridad y desarrollo de aplicaciones de modelos de lenguaje grande de Trend Micro.
Ray Wang
Ray Wang es arquitecto senior de soluciones en AWS. Con más de 12 años de experiencia en backend y consultor, Ray se dedica a crear soluciones modernas en la nube, especialmente en NoSQL, big data, aprendizaje automático e IA generativa. Como un emprendedor hambriento, aprobó los 12 certificados de AWS para aumentar la amplitud y profundidad de su conocimiento técnico. Le encanta leer y ver películas de ciencia ficción en su tiempo libre.
Zhihao Lin
Zhihao Lin es científico aplicado en el Centro de innovación de IA generativa de AWS. Con una maestría de la Universidad de Pekín y publicaciones en conferencias importantes como CVPR e IJCAI, aporta a su cargo una amplia experiencia en investigación de IA/ML. En AWS, se centra en el desarrollo de soluciones de IA generativa, aprovechando la tecnología de vanguardia para aplicaciones innovadoras. Se especializa en resolver desafíos complejos de visión por computadora y procesamiento del lenguaje natural y en promover el uso práctico de la IA generativa en los negocios.