Una descripción práctica de los procesos, roles y complejidades involucradas en el desarrollo de un asistente virtual basado en GPT

A lo largo de 2023, hemos estado desarrollando un asistente virtual basado en el modelo GPT para los empleados de Enefit (una de las mayores empresas energéticas de los países bálticos). En el primer artículo (leer aquí), revisé el problema, el proceso de desarrollo y los resultados iniciales. En este artículo, profundizaré en la importancia de los desafíos no relacionados con la tecnología en el desarrollo de un asistente virtual.

A principios de 2023, estaba claro que se había producido un gran avance en la tecnología de los grandes modelos lingüísticos. A diferencia de los chatbots de la última década que a menudo decepcionaban a los usuarios con la segunda o tercera pregunta, ChatGPT resultó ser preciso, versátil y realmente útil. La decisión de OpenAI y Microsoft de ofrecer acceso programático a sus modelos GPT, a través de un servicio API abierto, creó la oportunidad de implementar casos de uso específicos de la empresa.

Nos acercamos al proyecto del asistente virtual de Enefit sabiendo que la tecnología base estaba lista, el interés interno era alto y el desafío de desarrollo de software que, si bien novedoso y complejo, era alcanzable con buenos especialistas.

En las primeras etapas de desarrollo, esta narrativa resultó correcta: casi el 80% de las actividades del proyecto consistieron en tareas de desarrollo de software y el 20% eran actividades no relacionadas con la tecnología. A medida que avanzaba el proyecto, estas proporciones cambiaron drásticamente, lo que generó la necesidad de procesos y roles completamente nuevos.

Un asistente virtual puede proporcionar información específica de la empresa sólo con la precisión que lo permitan los documentos subyacentes. En otras palabras, si los documentos fundacionales contienen información incorrecta, mal estructurada o desactualizada, el asistente virtual no puede brindar respuestas mucho mejores. Esto se conoce comúnmente como el principio GIGO (basura que entra, basura que sale), que establece límites fundamentales a las capacidades de la IA.

Por lo tanto, una parte importante de la creación de un asistente virtual es garantizar la calidad de los datos/información. Esto incluye:

• Asignar un propietario a cada documento/grupo de información que será responsable de la exactitud de la información.
• Acordar un mecanismo de retroalimentación que permita a los usuarios de asistentes virtuales reportar malas respuestas o información errónea.
• Establecer un proceso de gestión de comentarios para garantizar que los comentarios de los usuarios lleguen al propietario de la información y se actúe en consecuencia.

Básicamente, esto significa que todas las partes están involucradas en la gestión de datos: los usuarios que brindan retroalimentación continua y los propietarios de los datos responsables de responder a esa retroalimentación.

Los propietarios de documentos también pueden contribuir a mejorar la forma en que el asistente virtual encuentra la información bajo su competencia enriqueciendo las secciones del documento con palabras clave, probando la precisión del asistente virtual, reestructurando el contenido cuando sea necesario, probando, mejorando, probando, mejorando,… En esencia, los propietarios de la información deberían ¡Vea al asistente virtual como un colega con quien necesita colaborar!

Para concluir esta sección, hablaré del nuevo Copilot de Microsoft. De momento, todas las miradas están puestas en el lanzamiento de Copilot. La mayoría de los entusiastas de la tecnología han visto los vídeos de demostración y esperan que sea un producto plug-and-play que, de forma semimágica, proporcione buenas respuestas a preguntas relacionadas con la empresa. Sin embargo, esta expectativa probablemente conducirá a una decepción, ya que ni siquiera Copilot es inmune al principio GIGO.

Más allá de los vídeos de marketing de Copilot, encontramos documentación extensa sobre los requisitos de gestión de documentos. En resumen, Microsoft espera que (leer más):

• Todos los documentos obsoletos serán eliminados.
• Todos los documentos deben contener información precisa y relevante.
• Las empresas deberían establecer un nuevo proceso de gobernanza de datos para garantizar lo anterior.
• Los documentos deben enriquecerse con palabras clave para mejorar la búsqueda.

Se trata de requisitos elevados, especialmente cuando hablamos de documentos almacenados en los ordenadores de los empleados.

Para ser claros, considero que Copilot es una nueva tecnología fantástica. Sin embargo, es crucial enfatizar que ninguna tecnología de asistente virtual puede implementarse con éxito sin un proceso de gobernanza de datos.

Los grandes modelos de lenguaje previamente entrenados (por ejemplo, GPT, Llama) son máquinas lógicas robóticas. Esto significa que si queremos que desempeñen un rol específico (por ejemplo, asistente ejecutivo, asistente contractual, experto legal), debemos guiarlos y brindarles ejemplos de estilo.

Dirigir al asistente virtual significa darle al modelo de lenguaje tanto la pregunta del usuario como una guía de respuestas. Por ejemplo, «Eres un asistente virtual de Enefit que conoce las políticas y normas de la empresa. Si no encuentra la respuesta en la información disponible, diga que no sabe…«

Con este tipo de orientación podemos instruir al asistente virtual sobre cómo comportarse, dictar el formato que debe utilizar para responder y resaltar lo que debe evitar.

Sin embargo, una guía general suele resultar insuficiente. Por ejemplo, una empresa puede querer que el asistente virtual siga un estilo específico (formal, amigable, etc.). En tales casos, se pueden proporcionar ejemplos de estilo, que son esencialmente pares de preguntas y respuestas. A medida que los modelos de lenguaje se entrenan para continuar con el texto existente, el asistente virtual intenta responder las preguntas de los usuarios de manera similar a los ejemplos de estilo proporcionados.

Crear guías de respuesta y ejemplos de estilo, probar diferentes versiones y perfeccionarlas constituye la tercera parte importante del desarrollo de un asistente virtual.

El rol de ‘Guía/Entrenador de Asistente Virtual’ es completamente nuevo y solo puede ser desempeñado de manera efectiva por alguien con conocimientos en el dominio para el cual se creó el asistente virtual. El desarrollo eficaz del asistente virtual requiere una estrecha colaboración entre los desarrolladores de software, los propietarios de la información y el formador del asistente virtual, ya que la causa de cada respuesta «mala» podría recaer en diferentes especialistas.

Desarrollar un chatbot que funcione con un 80% de eficiencia es fácil con las tecnologías actuales, pero crear un asistente virtual con un 95% de calidad es una tarea compleja.

A primera vista, uno podría pensar que el 80% es suficiente, entonces ¿por qué pasar por tantos problemas por los últimos 20 puntos porcentuales? En realidad, basándonos en la experiencia de la última década con chatbots, sabemos que un chatbot que es preciso el 80% de las veces no supera el “umbral de utilidad cognitiva” de los usuarios.

Este umbral de utilidad cognitiva es un punto de referencia oculto que existe en todas nuestras mentes, pero no podemos definir con precisión dónde se encuentra este límite. Sin embargo, gracias a la tecnología, entendemos rápidamente si se ha superado o no este límite. Si la calidad de la tecnología cae por debajo de este umbral, abandonaremos por completo el uso de dicha tecnología.

Es decir, la diferencia entre el 80% y el 95% radica en que en el primer caso nadie empezará a utilizar esta tecnología, y en el segundo, se convierte en un asistente cotidiano para muchos empleados.

La diferencia entre un 80% y un 95% de precisión radica en el hecho de que en el primer caso nadie empezará a utilizar esta tecnología, y en el segundo, ¡se convierte en un asistente cotidiano para muchos empleados!

Para lograr este último 15-20%, es necesario implementar un sistema de gestión de datos que garantice la relevancia de la información fundamental, crear nuevos roles y procesos asociados con el desarrollo del asistente virtual, capacitar a todas las partes en la nueva tecnología y apoyar la implementación y adopción tanto a nivel estratégico como operativo. Por lo tanto, la tecnología sólo constituye 1/3 del desarrollo del asistente virtual, mientras que los desafíos organizativos y relacionados con los procesos constituyen el resto.