Secure AccountantAI Chatbot: el viaje de Lili con Amazon Bedrock

Esta publicación fue escrita en colaboración con Liran Zelkha y Eyal Solnik de Lili.

Los propietarios de pequeñas empresas tienden a priorizar los aspectos operativos de sus empresas por sobre las tareas administrativas, como el mantenimiento de registros financieros y contabilidad. Si bien contratar a un contador profesional puede brindar una valiosa orientación y experiencia, puede resultar prohibitivo para muchas pequeñas empresas. Además, la disponibilidad de contadores puede no siempre estar en línea con las necesidades inmediatas de los propietarios de empresas, lo que los deja con preguntas sin respuesta o procesos de toma de decisiones demorados.

En el mundo en rápida evolución de los grandes modelos de lenguaje (LLM) y inteligencia artificial generativa (IA)), Lirio reconoció una oportunidad de utilizar esta tecnología para abordar las necesidades de asesoramiento financiero de sus clientes de pequeñas empresas. Haiku de Claude 3 de Anthropic en Amazon BedrockLili desarrolló un chatbot inteligente AccountantAI capaz de brindar asesoramiento contable a pedido adaptado al historial financiero y los requisitos comerciales únicos de cada cliente. El chatbot AccountantAI funciona como un asistente virtual que ofrece orientación financiera asequible y de fácil acceso, lo que permite a los propietarios de pequeñas empresas concentrarse en su experiencia principal y, al mismo tiempo, garantizar la salud financiera de sus operaciones.

Acerca de Lili

Lili es una plataforma financiera diseñada específicamente para empresas, que ofrece una combinación de banca empresarial avanzada con software de contabilidad y preparación de impuestos integrado.

Al consolidar herramientas financieras en una interfaz fácil de usar, Lili agiliza y simplifica la gestión de las finanzas empresariales y la convierte en una solución atractiva para los propietarios de empresas que buscan una forma centralizada y eficiente de administrar sus operaciones financieras.

En esta publicación, exploraremos cómo Lili, una plataforma financiera diseñada específicamente para empresas, utilizó La roca madre del Amazonas para crear un chatbot de AccountantAI seguro e inteligente para propietarios de pequeñas empresas. Amazon Bedrock es un servicio totalmente administrado que ofrece una selección de modelos de base (FM) de alto rendimiento de empresas de IA líderes como Anthropic, Meta, Mistral AI, Stability AI, Cohere, AI21 Labs y Amazon a través de una única API, junto con un amplio conjunto de capacidades que necesita para crear aplicaciones de IA generativas con seguridad, privacidad e IA responsable.

Descripción general de la solución

El chatbot AccountantAI ofrece a los propietarios de pequeñas empresas asesoramiento contable financiero preciso y relevante de forma segura. Para lograrlo, la solución está diseñada para abordar dos requisitos clave:

• Validación de preguntas: Implementar medidas de seguridad para garantizar que la entrada del usuario sea una pregunta de contabilidad financiera válida y legítima. Este paso ayuda a filtrar consultas irrelevantes o inapropiadas, manteniendo la integridad del sistema.
• Enriquecimiento del contexto:Ampliar la pregunta del usuario con datos contextuales relevantes, como información contable actualizada y datos financieros específicos del usuario. Este paso garantiza que las respuestas del chatbot se adapten a la situación financiera y empresarial del usuario individual, lo que proporciona un asesoramiento más personalizado y práctico.

Para abordar los dos requisitos clave de validación de preguntas y enriquecimiento del contexto, la solución AccountantAI emplea una arquitectura de dos etapas que comprende un flujo de trabajo de ingestión y un flujo de trabajo de recuperación.

Flujo de trabajo de ingestión

El flujo de trabajo de ingestión es un proceso fuera de línea que prepara el sistema para atender las consultas de los clientes. Para esta etapa, Lili preparó un flujo de trabajo integral colección dorada de preguntas de contabilidad financiera, extraídas de consultas comunes y preguntas del mundo real de su base de clientes a lo largo de los años. Esta colección diversa y de alta calidad sirve como un corpus de referencia, lo que garantiza que el chatbot pueda manejar una amplia gama de consultas relevantes. El flujo de trabajo de ingesta transforma estas preguntas seleccionadas en incrustaciones vectoriales utilizando Incorporaciones de texto de Amazon Titan API de modelo. Este proceso se lleva a cabo durante AWS PrivateLink para Amazon Bedrockuna conexión privada y protegida en su VPC. Las incrustaciones de vectores se conservan en el almacén de vectores en memoria de la aplicación. Estos vectores ayudarán a validar la entrada del usuario durante el flujo de trabajo de recuperación.

Cada incrustación vectorial seleccionada se combina con una plantilla de mensaje correspondiente que se evaluó durante las pruebas como la más efectiva.

Ejemplo de plantilla de mensaje

<role>
Provides context about the agent's role as Lili's AI assistant for financial questions and outlines the general guidelines applied to all queries.
</role>

<about>
Provides details on Lili platform.
</about>

<features>
Lists out all of Lili's product features in detail. This section aims to explain Lili's features in detail, ensuring that answers are aligned with the Lili platform. For instance, when addressing questions about tax reduction management, highlight the relevant features that Lili offers, which customers should be familiar with.
</features>

<output_format>
Outlines the required formatting for the response to ensure it meets the expected structure.
</output_format>

<user_data>
Data relevant to answering the customer's question.
</user_date>

<knowledge>
Specific accounting knowledge that is relevant to the question and the model is not familiar with, such as updated data for 2024.
<knowledge>

<question>
Contains the user's actual question.
</question>

<instructions>
Provides the core instructions on how to approach answering the question appropriately and meet expectations. It also defines the steps in providing a detailed and high-quality answer.
</instructions>

<reminders>
Important guidelines to remind the agent and make sure it follows them, such as the exact format of the answer.
</reminders>

Flujo de trabajo de recuperación

La interfaz web del chatbot de Lili permite a los usuarios enviar consultas y recibir respuestas en tiempo real. Cuando un cliente hace una pregunta, esta se envía al sistema de backend para su procesamiento.

1. El sistema primero convierte la consulta en una incrustación vectorial utilizando la API del modelo Amazon Titan Text Embeddings, a la que se accede de forma segura a través de PrivateLink.
2. A continuación, el sistema realiza una búsqueda de similitud en las incrustaciones precalculadas de la colección dorada, para encontrar las coincidencias más relevantes para la consulta del usuario. El sistema evalúa las puntuaciones de similitud de los resultados de la búsqueda en relación con un umbral predeterminado. Si la pregunta del usuario arroja coincidencias con puntuaciones de similitud bajas, se considera mal formada o poco clara, y se le solicita al usuario que reformule o refine su consulta.
3. Sin embargo, si la pregunta del usuario produce coincidencias con puntuaciones de similitud altas, se considera una consulta legítima. En este caso, el sistema de backend de Lili continúa con el procesamiento utilizando la pregunta de referencia que tenga la puntuación de similitud más alta con la consulta del usuario.
4. Basándose en la pregunta de oro con el mayor puntaje de similitud, el sistema recupera la plantilla de mensaje correspondiente.

Esta plantilla se complementa con información contable actualizada y datos financieros específicos del cliente de fuentes externas como Amazon RDS para MySQL. El mensaje contextualizado resultante se envía a Claude 3 Haiku de Anthropic en Amazon Bedrock, que genera una respuesta personalizada que aborda la consulta del cliente dentro de su contexto empresarial único.

Debido a que los proveedores de modelos mejoran continuamente sus ofertas con actualizaciones innovadoras, Amazon Bedrock simplifica la capacidad de adoptar avances emergentes en IA generativa en múltiples proveedores de modelos. Este enfoque ha demostrado sus ventajas desde el lanzamiento inicial de AccountantAI. Lili pasó de Claude Instant de Anthropic a Claude 3 dentro de las dos semanas posteriores a su lanzamiento. Lanzamiento oficial en Amazon Bedrock medio ambiente y tres semanas después de su disponibilidad general.

Lili seleccionó la familia de modelos Claude de Anthropic para AccountantAI después de revisar los puntos de referencia de la industria y realizar su propia evaluación de calidad. Claude de Anthropic en Amazon Bedrock superó constantemente a otros modelos en la comprensión de conceptos financieros, la generación de un lenguaje natural coherente y la provisión de recomendaciones precisas y personalizadas.

Después del lanzamiento inicial de AcountantAI, Amazon Bedrock presentó el modelo Claude 3 Haiku de Anthropic, que Lili evaluó en comparación con la versión Claude Instant de Anthropic. El modelo Claude 3 Haiku de Anthropic demostró mejoras significativas en tres métricas de evaluación clave:

• Calidad – Anthropic Claude 3 Haiku produjo resultados de mayor calidad, proporcionando respuestas más detalladas y mejor redactadas en comparación con su predecesor.
• Tiempo de respuesta – Anthropic Claude 3 Haiku exhibió una mejora del 10 al 20 por ciento en los tiempos de respuesta respecto a Claude Instant, ofreciendo un rendimiento más rápido.
• Costo – Anthropic Claude 3 Haiku en Amazon Bedrock es la opción más rentable. Por ejemplo, cuesta hasta un 68 por ciento menos por cada 1000 tokens de entrada/salida en comparación con Anthropic Claude Instant, al tiempo que ofrece niveles más altos de inteligencia y rendimiento. Ver Los modelos Claude 3 de Anthropic en Amazon Bedrock para más información.

Para clientes como Lili, esto subraya la importancia de tener acceso a un servicio totalmente administrado como Amazon Bedrock, que ofrece una variedad de modelos básicos de alto rendimiento para satisfacer las diversas necesidades de IA empresarial. No existe un modelo único para todos, y la capacidad de seleccionar entre una variedad de FM de vanguardia es crucial para las organizaciones que buscan utilizar los últimos avances en IA generativa de manera eficaz y rentable.

Conclusión

La función AccountantAI, disponible exclusivamente para los clientes de Lili, reduce la necesidad de contratar a un contador profesional. Si bien los contadores profesionales pueden brindar una valiosa orientación y experiencia, sus servicios pueden resultar prohibitivos para muchas pequeñas empresas. AccountantAI ya ha respondido miles de preguntas, brindando un valor real a las empresas y brindando respuestas de calidad a consultas financieras, impositivas y contables.

Lili utiliza Amazon Bedrock para acceder de forma fácil, segura y confiable a modelos básicos de alto rendimiento de empresas líderes en inteligencia artificial y así integrar el conocimiento contable a escala con los datos exclusivos de cada cliente. Esta solución innovadora ofrece conocimientos económicos para optimizar el flujo de efectivo, agilizar la planificación fiscal y permitir la toma de decisiones informadas para impulsar el crecimiento. AccountantAI cierra la brecha en los recursos contables y democratiza el acceso a inteligencia financiera de alta calidad para todas las empresas.

Explore la función AccountantAI de Lili impulsada por Amazon Bedrock para obtener inteligencia financiera asequible y accesible para su negocio hoy mismo, o use Parques infantiles Bedrock de Amazon para experimentar con la ejecución de inferencias en diferentes modelos en sus datos.

Sobre los autores

Doron Bleiberg es un arquitecto de soluciones senior para startups de AWS que ayuda a los clientes de tecnología financiera en su viaje a la nube.

Liran Zelkha es cofundador y director de tecnología de Lili y lidera nuestros esfuerzos de desarrollo y datos.

Eyal Solnik es el jefe de Datos en Lili y lidera nuestro producto AccountantAI.