Hoy en día, los LLM adolecen de imprecisiones a escala, pero eso no significa que deba ceder terreno competitivo esperando adoptar la IA generativa.
Toda tecnología empresarial tiene un propósito, de lo contrario no existiría. El propósito empresarial de la IA generativa es producir resultados utilizables por humanos a partir de datos técnicos, comerciales y lingüísticos rápidamente y a escala para impulsar la productividad, la eficiencia y las ganancias comerciales. Pero esta función principal de la IA generativa (proporcionar una respuesta ingeniosa) es también la fuente de la mayor barrera de los grandes modelos de lenguaje (LLM) para la adopción empresarial: las llamadas “alucinaciones”.
¿Por qué ocurren las alucinaciones? Porque, en esencia, los LLM son sistemas complejos de comparación estadística. Analizan miles de millones de puntos de datos en un esfuerzo por determinar patrones y predecir la respuesta más probable a cualquier mensaje determinado. Pero si bien estos modelos pueden impresionarnos con la utilidad, profundidad y creatividad de sus respuestas, induciéndonos a confiar en ellos cada vez, están lejos de ser confiables. Nuevo investigación de Vectara descubrió que los chatbots pueden “inventar” nueva información hasta el 27% del tiempo. En un entorno empresarial donde la complejidad de las preguntas puede variar mucho, ese número aumenta aún más. A punto de referencia reciente del laboratorio de inteligencia artificial de data.world que utilizó datos comerciales reales descubrió que cuando se implementa como una solución independiente, los LLM brindan respuestas precisas a la mayoría de las consultas comerciales básicas. sólo el 25,5% del tiempo. Cuando se trata de consultas de nivel intermedio o experto, que todavía están dentro de los límites de las consultas empresariales típicas basadas en datos, la precisión cayó al CERO por ciento!
La tendencia a alucinar puede ser intrascendente para las personas que juegan con ChatGPT en casos de uso pequeños o novedosos. Pero cuando se trata de implementación empresarial, las alucinaciones presentan un riesgo sistémico. Las consecuencias van desde inconvenientes (un chatbot de servicio que comparte información irrelevante en una interacción con el cliente) hasta catastróficas, como ingresar el número incorrecto en una presentación ante la SEC.
Tal como están las cosas, la IA generativa sigue siendo una apuesta para la empresa. Sin embargo, también es necesario. Como aprendimos en la primera conferencia de desarrolladores de OpenAI, 92% de las empresas Fortune 500 están utilizando API de OpenAI. El potencial de esta tecnología en la empresa es tan transformador que el camino a seguir es rotundamente claro: empezar a adoptar la IA generativa, sabiendo que las recompensas conllevan graves riesgos. La alternativa es aislarse de los riesgos y rápidamente quedarse atrás de la competencia. El inevitable aumento de la productividad Es tan obvio ahora que no aprovecharlo podría ser existencial para la supervivencia de una empresa. Entonces, frente a esta ilusión de elección, ¿cómo pueden las organizaciones integrar la IA generativa en sus flujos de trabajo y al mismo tiempo mitigar el riesgo?
Primero, debe priorizar su base de datos. Como cualquier tecnología empresarial moderna, las soluciones de IA generativa son tan buenas como los datos sobre los que se basan, y según un estudio reciente de Cisco Índice de preparación para la IA, la intención está superando la capacidad, particularmente en el frente de los datos. Cisco descubrió que, si bien el 84 % de las empresas de todo el mundo creen que la IA tendrá un impacto significativo en sus negocios, el 81 % carece de la centralización de datos necesaria para aprovechar las herramientas de IA en todo su potencial, y solo el 21 % dice que su red tiene una latencia “óptima” para soportar exigentes cargas de trabajo de IA. También es una historia similar cuando se trata de gobernanza de datos; Actualmente, solo tres de cada diez encuestados tienen políticas y protocolos integrales de IA, mientras que solo cuatro de cada diez tienen procesos sistemáticos para corregir el sesgo y la equidad de la IA.
Como lo demuestra la evaluación comparativa, a los LLM ya les resulta bastante difícil recuperar respuestas fácticas de manera confiable. Combine eso con la mala calidad de los datos, la falta de capacidades de centralización/gestión de datos y políticas de gobernanza limitadas, y el riesgo de alucinaciones (y las consecuencias que las acompañan). se dispara. En pocas palabras, las empresas con una sólida arquitectura de datos tienen a su disposición información mejor y más precisa y, por extensión, sus soluciones de inteligencia artificial están equipadas para tomar mejores decisiones. Trabajar con un catálogo de datos o evaluar procesos de gobernanza interna y entrada de datos puede no parecer la parte más emocionante de adoptar la IA generativa. Pero son esas consideraciones (gobierno, linaje y calidad de los datos) las que podrían hacer o deshacer el éxito de una iniciativa de IA generativa. No sólo permite a las organizaciones implementar soluciones empresariales de IA de forma más rápida y responsable, sino que también les permite mantenerse al día con el mercado a medida que la tecnología evoluciona.
En segundo lugar, es necesario crear una fuerza laboral capacitada en IA. Las investigaciones apuntan al hecho de que técnicas como ingeniería rápida avanzada puede resultar útil para identificar y mitigar las alucinaciones. Se ha demostrado que otros métodos, como el ajuste fino, mejoran drásticamente la precisión del LLM, incluso hasta el punto de superar a los modelos de propósito general más grandes y avanzados. Sin embargo, los empleados solo pueden implementar estas tácticas si cuentan con la capacitación y la educación más recientes para hacerlo. Y seamos honestos: la mayoría de los empleados no lo son. ¡Estamos a poco más de un año desde el lanzamiento de ChatGPT el 30 de noviembre de 2022!
Cuando un proveedor importante como Databricks o Snowflake lanza nuevas capacidades, las organizaciones acuden en masa a seminarios web, conferencias y talleres para asegurarse de que pueden aprovechar las funciones más recientes. La IA generativa no debería ser diferente. Cree una cultura en 2024 en la que educar a su equipo sobre las mejores prácticas de IA sea su opción predeterminada; por ejemplo, proporcionando estipendios para programas de formación y desarrollo específicos de IA o contratando a un consultor de formación externo, como el trabajo que hemos realizado en data.world con Raquel Woods, que forma parte de nuestro consejo asesor y fundó y dirige The AI Exchange. También promocionamos Brandon Gadoci, nuestro primer empleado de data.world fuera de mí y mis cofundadores, en ser nuestro vicepresidente de operaciones de IA. El asombroso aumento que ya hemos tenido en nuestra productividad interna es nada menos que inspirador (escribí sobre ello en esta serie de tres partes.) Brandón recién informado ayer ¡Hemos visto un asombroso aumento del 25% en la productividad de nuestro equipo mediante el uso de nuestras herramientas internas de inteligencia artificial en todos los roles laborales en 2023! Adoptar este tipo de cultura contribuirá en gran medida a garantizar que su organización esté equipada para comprender, reconocer y mitigar la amenaza de las alucinaciones.
En tercer lugar, es necesario mantenerse al tanto del floreciente ecosistema de IA. Como ocurre con cualquier nueva tecnología que cambie de paradigma, la IA está rodeada de una proliferación de prácticas, software y procesos emergentes para minimizar el riesgo y maximizar el valor. Por más transformadores que puedan llegar a ser los LLM, la maravillosa verdad es que estamos apenas al comienzo del largo arco de la evolución de la IA.
Las tecnologías que alguna vez fueron ajenas a su organización pueden volverse críticas. Lo antes mencionado punto de referencia Lo que publicamos vio LLM respaldados por un gráfico de conocimiento: una arquitectura de décadas de antigüedad para contextualizar datos en tres dimensiones (mapear y relacionar datos de manera muy similar a como funciona un cerebro humano). — puede mejorar la precisión en un 300%! Del mismo modo, tecnologías como las bases de datos vectoriales y la generación aumentada de recuperación (RAG) también han cobrado importancia dada su capacidad para ayudar a abordar el problema de las alucinaciones con los LLM. A largo plazo, las ambiciones de la IA se extienden mucho más allá de las API de los principales proveedores de LLM disponibles en la actualidad, por lo que debe permanecer curioso y ágil en sus inversiones empresariales en IA.
Como cualquier tecnología nueva, las soluciones de IA generativa no son perfectas y su tendencia a alucinar plantea una amenaza muy real a su viabilidad actual para una implementación empresarial generalizada. Sin embargo, estas alucinaciones no deberían impedir que las organizaciones experimenten e integren estos modelos en sus flujos de trabajo. De hecho, todo lo contrario, como tan elocuentemente fijado por el pionero de la IA y profesor de emprendimiento de Wharton, Ethan Mollick: “…la comprensión proviene de la experimentación”. Más bien, el riesgo que imponen las alucinaciones debería actuar como una función forzada para que los tomadores de decisiones empresariales reconozcan lo que está en juego, tomen medidas para mitigar ese riesgo en consecuencia y cosechen los primeros beneficios de los LLM en el proceso. 2024 es el año en el que tu empresa debe dar el salto.