Los modelos de lenguaje de gran tamaño (LLM, por sus siglas en inglés) han ganado mucha atención en los últimos tiempos, pero con ellos surge el problema de las alucinaciones, en las que los modelos generan información ficticia, engañosa o simplemente errónea. Esto es especialmente problemático en sectores vitales como la atención sanitaria, la banca y el derecho, donde la información inexacta puede tener graves repercusiones.
En respuesta, se han creado numerosas herramientas para identificar y reducir las alucinaciones de la inteligencia artificial (IA), mejorando la fiabilidad y credibilidad del contenido producido por la IA. Los sistemas inteligentes utilizan técnicas de detección de alucinaciones de IA como verificadores de datos. Estas herramientas están diseñadas para detectar casos en los que la IA falsifica datos. A continuación, se analizan las principales tecnologías de detección de alucinaciones de IA.
Pythia, la herramienta de detección de alucinaciones de IA moderna, está diseñada para garantizar resultados de LLM precisos y confiables. Verifica rigurosamente el material mediante un gráfico de conocimiento avanzado, dividiendo el contenido en fragmentos más pequeños para un examen en profundidad. Las capacidades superiores de detección y monitoreo en tiempo real de Pythia son especialmente útiles para chatbots, aplicaciones RAG y trabajos de resumen. Su conexión fluida con AWS Bedrock y LangChain, dos herramientas de implementación de IA, permite el monitoreo continuo del rendimiento y la generación de informes de cumplimiento.
Pythia es lo suficientemente versátil como para funcionar en una variedad de industrias, brindando soluciones asequibles y paneles de control fácilmente personalizables para garantizar la precisión de los hechos en el contenido generado por IA. Su análisis granular y de alta precisión puede requerir una configuración considerable al principio, pero las ventajas bien valen el trabajo.
Galileo es una herramienta de detección de alucinaciones de IA que utiliza bases de datos externas y gráficos de conocimiento y se centra en confirmar la precisión fáctica de los resultados de LLM. Funciona en tiempo real, identificando cualquier error tan pronto como aparece durante la generación de texto y brindando contexto para la lógica detrás de las banderas. Los desarrolladores pueden abordar las causas subyacentes de las alucinaciones y mejorar la confiabilidad del modelo con el uso de esta transparencia.
Galileo ofrece a las empresas la posibilidad de crear filtros personalizados que eliminan datos imprecisos o engañosos, lo que lo hace lo suficientemente flexible para una variedad de casos de uso. Su interacción fluida con otras herramientas de desarrollo de IA mejora el ecosistema de IA en su conjunto y proporciona un método completo de identificación de alucinaciones. Si bien el análisis contextual de Galileo puede no ser tan completo como el de otras herramientas, su escalabilidad, facilidad de uso y conjunto de características en constante evolución lo convierten en un recurso invaluable para las empresas que buscan garantizar la confiabilidad de sus aplicaciones impulsadas por IA.
Cleanlab es una potente herramienta que mejora la calidad de los datos de IA. Sus sofisticados algoritmos pueden identificar automáticamente duplicados, valores atípicos y datos etiquetados incorrectamente en una variedad de formatos de datos, como texto, imágenes y conjuntos de datos tabulares. Ayuda a reducir la posibilidad de alucinaciones al concentrarse en limpiar y mejorar los datos antes de aplicarlos a los modelos de entrenamiento, lo que garantiza que los sistemas de IA se basen en hechos confiables.
El programa ofrece opciones integrales de análisis y exploración que permiten a los usuarios identificar problemas específicos en sus datos que pueden estar causando fallas en el modelo. A pesar de su amplia gama de aplicaciones, Cleanlab puede ser utilizado por personas con diferentes niveles de experiencia debido a su interfaz fácil de usar y funciones de detección automatizadas.
Guardrail AI protege la integridad y el cumplimiento normativo de los sistemas de IA, en particular en campos altamente regulados como las finanzas y el derecho. Guardrail AI utiliza sofisticados marcos de auditoría para supervisar de cerca las decisiones de IA y asegurarse de que cumplan las normas y regulaciones. Se conecta fácilmente con los sistemas de IA y las plataformas de cumplimiento normativo actuales, lo que permite el seguimiento de los resultados en tiempo real y la identificación de posibles problemas con alucinaciones o incumplimiento normativo. Para aumentar aún más la adaptabilidad de la herramienta, los usuarios pueden diseñar políticas de auditoría únicas en función de los requisitos de determinadas industrias.
Guardrail AI reduce la necesidad de realizar comprobaciones de cumplimiento manuales y ofrece soluciones asequibles para preservar la integridad de los datos, lo que la hace especialmente útil para las empresas que exigen un control estricto de las actividades de IA. La estrategia integral de Guardrail AI la convierte en una herramienta esencial para la gestión de riesgos y para garantizar una IA fiable en situaciones de alto riesgo, aunque su énfasis en el cumplimiento puede restringir su uso en aplicaciones más generales.
Se creó un software de código abierto llamado FacTool para identificar y tratar las alucinaciones en los resultados generados por ChatGPT y otros LLM. Al utilizar un marco que abarca varias tareas y dominios, se pueden detectar errores factuales en una amplia gama de aplicaciones, como la respuesta a preguntas basadas en el conocimiento, la creación de código y el razonamiento matemático. La adaptabilidad de FacTool se deriva de su capacidad para examinar la lógica interna y la coherencia de las respuestas de LLM, lo que ayuda a identificar casos en los que el modelo genera datos falsos o manipulados.
FacTool es un proyecto dinámico que se beneficia de las contribuciones de la comunidad y del desarrollo continuo, lo que lo hace accesible y flexible para diversos casos de uso. Debido a que es de código abierto, los académicos y los desarrolladores pueden colaborar más fácilmente, lo que promueve avances en la detección de alucinaciones mediante IA. El énfasis de FacTool en la alta precisión y la exactitud de los hechos lo convierte en una herramienta útil para mejorar la confiabilidad del material generado por IA, aunque podría necesitar trabajo de integración y configuración adicional.
En los programas de maestría en derecho, SelfCheckGPT ofrece un método potencial para detectar alucinaciones, especialmente en situaciones en las que el acceso a bases de datos internas del modelo o externas está restringido. Proporciona un método útil que no requiere recursos adicionales y puede utilizarse para diversas tareas, como resumir y crear pasajes. La eficiencia de la herramienta está a la par con las técnicas basadas en probabilidad, lo que la convierte en una opción flexible cuando la transparencia del modelo está restringida.
RefChecker es una herramienta creada por Amazon Science que evalúa e identifica alucinaciones en los resultados de los LLM. Funciona descomponiendo las respuestas del modelo en tripletes de conocimiento, lo que proporciona una evaluación exhaustiva y precisa de la precisión fáctica. Uno de los aspectos más destacables de RefChecker es su precisión, que permite realizar evaluaciones extremadamente exactas que también pueden combinarse en medidas más completas.
La adaptabilidad de RefChecker a diversas actividades y circunstancias demuestra su versatilidad, lo que lo convierte en una herramienta eficaz para una variedad de aplicaciones. Una amplia colección de respuestas anotadas por humanos contribuye aún más a la confiabilidad de la herramienta al garantizar que sus evaluaciones sean coherentes con la opinión humana.
Se creó un estándar llamado TruthfulQA para evaluar la veracidad de los modelos lingüísticos al generar respuestas. Tiene 817 preguntas distribuidas en 38 áreas, entre ellas política, derecho, dinero y salud. Las preguntas se diseñaron deliberadamente para desafiar a los modelos incorporando conceptos erróneos humanos comunes. Se probaron modelos como GPT-3, GPT-Neo/J, GPT-2 y un modelo basado en T5 en comparación con el punto de referencia, y los resultados mostraron que incluso el modelo con mejor rendimiento solo alcanzó un 58 % de veracidad, en comparación con el 94 % de precisión para los humanos.
Una técnica llamada FACTOR (Factual Assessment via Corpus TransfORmation) evalúa la precisión de los modelos lingüísticos en determinadas áreas. Al convertir un corpus factual en un parámetro de referencia, FACTOR garantiza una evaluación más controlada y representativa en contraste con otras metodologías que se basan en información extraída del propio modelo lingüístico. Se han desarrollado tres parámetros de referencia (Wiki-FACTOR, News-FACTOR y Expert-FACTOR) utilizando FACTOR. Los resultados han demostrado que los modelos más grandes funcionan mejor en el parámetro de referencia, en particular cuando se agrega la recuperación.
Para evaluar y reducir en profundidad las alucinaciones en el ámbito médico, Med-HALT ofrece un conjunto de datos internacionales amplio y heterogéneo que se obtiene de exámenes médicos realizados en varios países. El parámetro de referencia consta de dos categorías de pruebas principales: evaluaciones basadas en el razonamiento y evaluaciones basadas en la memoria, que evalúan la capacidad de un LLM para resolver problemas y recuperar información. Las pruebas de modelos como GPT-3.5, Text Davinci, LlaMa-2, MPT y Falcon han revelado variaciones significativas en el rendimiento, lo que subraya la necesidad de una mayor confiabilidad en los sistemas de IA médica.
HalluQA (Chinese Hallucination Question-Answering) es una herramienta de evaluación de alucinaciones en grandes modelos de idioma chino. Incluye 450 preguntas antagónicas elaboradas por expertos que cubren una amplia gama de temas, como problemas sociales, cultura histórica china y costumbres. Utilizando muestras adversas producidas por modelos como GLM-130B y ChatGPT, el punto de referencia evalúa dos tipos de alucinaciones: errores factuales y falsedades imitativas. Se utiliza un método de evaluación automatizado que utiliza GPT-4 para determinar si el resultado de un modelo es alucinógeno. Las pruebas exhaustivas en 24 LLM, incluidos ChatGLM, Baichuan2 y ERNIE-Bot, mostraron que 18 modelos tenían tasas de no alucinaciones inferiores al 50%, lo que demuestra la gran dificultad de HalluQA.
En conclusión, el desarrollo de herramientas para detectar alucinaciones de IA es esencial para mejorar la confiabilidad y credibilidad de los sistemas de IA. Las características y capacidades que ofrecen estas mejores herramientas cubren una amplia gama de aplicaciones y disciplinas. La mejora e integración continuas de estas herramientas serán esenciales para garantizar que la IA siga siendo una parte útil en una variedad de industrias y dominios a medida que continúa avanzando.
Tanya Malhotra es una estudiante de último año de la Universidad de Estudios de Petróleo y Energía, Dehradun, que cursa BTech en Ingeniería Informática con una especialización en Inteligencia Artificial y Aprendizaje Automático.
Es una entusiasta de la ciencia de datos con un buen pensamiento analítico y crítico, junto con un gran interés en adquirir nuevas habilidades, liderar grupos y gestionar el trabajo de manera organizada.