Durante el año pasado, estuve trabajando en dos proyectos relacionados con la detección de alucinaciones en modelos de lenguaje grandes y la verificación de las afirmaciones producidas por ellos. Al igual que con cualquier investigación, especialmente una que busca la verificación de afirmaciones, llevó a una bastante revisión de la literatura, en la que descubrí que muchos autores, la tarea de verificar si alguna afirmación se basa en evidencia de una fuente confiable ( p. ej., publicación científica anterior, artículo de enciclopedia, etc.) a menudo se denomina verificación de datos (ejemplos de dichas publicaciones incluyen Mente profunda de Google, Universidad de Pensilvania, Universidad de Washington, Instituto Allen para la IA, AbiertoAI y otros). Incluso los conjuntos de datos, como SciFact, tienen factualidad en el nombre.
Supongo que considerar factual alguna métrica en modelos de lenguaje grandes se remonta al LaMDA artículo de Google, que, publicado en febrero de 2022, es, hasta donde yo sé, la primera mención de una métrica de este tipo en LLM. Antes de que uno pudiera encontrar casos ocasionales de verificación de hechos, como por ejemplo en un ciencia ficción artículo (de 2020), pero LaMDA fue la primera mención relacionada con los LLM. En el artículo de LaMDA, esta métrica se denominó fundamento fáctico, que es un nombre mucho mejor que las versiones simplificadas posteriores, como “factualidad” o “fidelidad”. En este artículo, me gustaría analizar por qué el nombre de la métrica debería ser verificación de afirmaciones y por qué creo que nombres como fidelidad, factualidad y verificación de hechos son incorrectos tanto desde el punto de vista práctico como filosófico.
Examinemos cuál es la base de la tarea. Dada la afirmación producida por un modelo de lenguaje grande, estamos comprobando si se basa en evidencia de alguna fuente. Esta fuente puede ser un artículo de la literatura, pero también puede ser alguna fuente menos formal, como enciclopedias, Internet o cualquier otro tipo de fuente de información recuperada. Muy a menudo, esta tarea se remonta a la implicación del lenguaje natural o la inferencia del lenguaje natural, donde encontramos si la afirmación puede derivarse del texto probatorio. Sin embargo, existen otros enfoques que utilizan similitud textual u otros modelos de lenguaje amplios con varios tipos de indicaciones. La tarea es siempre si la afirmación generada se basa en la evidencia o el conocimiento que tenemos del mundo actual. La tarea puede verse de manera similar a generar una parte de revisión de la literatura de un artículo o tesis y verificar si los artículos a los que se hace referencia respaldan las afirmaciones del autor. Por supuesto, aquí estamos hablando de automatizar esta tarea.
Ahora bien, ¿cuál es el problema de denominar a esta tarea verificación de hechos o medición de la factualidad del modelo?
Desde un punto de vista filosófico, nos resulta difícil saber cuál es el hecho. Con las mejores intenciones, en su búsqueda de la verdad, los científicos a menudo escriben en sus publicaciones cosas que pueden no ser objetivas y que también pasarán fácilmente la revisión por pares. Estoy aquí para enfatizar que la gente hace todo lo posible, especialmente en las publicaciones científicas, para ser lo más objetiva posible. Sin embargo, eso muchas veces falla. Las publicaciones pueden contener información distorsionada, exagerada o mal interpretada debido a diversos factores, como sesgos culturales, agendas políticas o falta de evidencia confiable. A menudo, la ciencia avanza lenta y naturalmente hacia los hechos al producir nueva evidencia e información.
Hemos tenido bastantes acontecimientos en la historia en los que se estableció el consenso común en el terreno para ser sacudido desde sus cimientos. Pensemos, por ejemplo, en Copérnico: antes de Copérnico, la mayoría de la gente creía que la Tierra era el centro del universo y que el sol, la luna y los planetas giraban alrededor de ella. Este era el modelo geocéntrico, que estaba respaldado por las enseñanzas de la Iglesia católica y del antiguo filósofo griego Aristóteles. Sin embargo, Copérnico, astrónomo y matemático polaco, propuso una alternativa radical: el modelo heliocéntrico, que afirmaba que la Tierra y los demás planetas orbitaban alrededor del sol. Basó su teoría en cálculos matemáticos y observaciones de los movimientos celestes. Su trabajo fue publicado en su libro Sobre las revoluciones de las esferas celestes en 1543, poco antes de su muerte. Aunque su teoría enfrentó una fuerte oposición y críticas por parte de las autoridades religiosas y algunos de sus contemporáneos, gradualmente ganó aceptación e influencia entre otros científicos, como Galileo, Kepler y Newton. El modelo heliocéntrico allanó el camino para el desarrollo de la astronomía y la física modernas y cambió la percepción del lugar de la Tierra en el cosmos.
Algo similar ocurrió con Darwin. Antes de Darwin, la mayoría de la gente creía que las especies vivientes fueron creadas por Dios y permanecían sin cambios desde su origen. Esta era la visión creacionista, que se basaba en el relato bíblico del Génesis y la teología natural del naturalista británico John Ray. Sin embargo, Darwin, naturalista y geólogo inglés, propuso una alternativa radical: la teoría de la evolución por selección natural, que afirmaba que las especies vivas descendían de ancestros comunes y cambiaban con el tiempo debido a las presiones ambientales y la supervivencia de los más aptos. Hay varios ejemplos más, como la relatividad de Einstein, la gravedad, la teoría de Khan sobre las revoluciones científicas y muchos otros.
Estos eventos en la historia se denominan cambios de paradigma, en los que el paradigma básico en ciertos campos cambió significativamente. Los cambios de paradigma pueden ser bastante raros, sin embargo, también tenemos muchas creencias y mitos comunes que mucha gente cree, como que la Gran Muralla China se puede ver desde el espacio, que Napoleón era bajo o que Colón descubrió América, lo que se pueden encontrar incluso en artículos científicos o libros escritos sobre el tema, a pesar de que sean falsos. La gente sigue citando y haciendo referencia a trabajos que contienen esta información y todavía se propagan. Por lo tanto, verificar si la evidencia en la literatura referenciada respalda la afirmación no es un indicador suficientemente bueno de la factualidad.
Proporcionar referencias a la evidencia que tenemos para algunas afirmaciones es nuestro mejor método para respaldar la afirmación. Verificar la evidencia que respalda a menudo requiere también examinar si la referencia es confiable, está revisada por pares, está publicada en una revista confiable, el año de publicación, etc. A pesar de todas estas verificaciones, la información aún puede ser víctima de un cambio de paradigma o de hipótesis recientemente generadas. pruebas de ello y, por tanto, incompletas y obsoletas. Pero es nuestra mejor herramienta y deberíamos seguir usándola. Los ejemplos proporcionados ilustran cómo la verificación de fuentes no siempre es una verificación de hechos, sino más bien una forma de abordar y evaluar afirmaciones basadas en la mejor evidencia disponible y los argumentos más razonables en un momento y lugar determinados. Sin embargo, la verificación de las fuentes no implica que todas las afirmaciones sean igualmente válidas o que la verdad sea relativa o subjetiva. La verificación de fuentes es una forma de buscar y aproximarse a la verdad, no de negarla ni relativizarla. La verificación de fuentes reconoce que la verdad es compleja, multifacética y provisional, pero también que la verdad es real, significativa y alcanzable.
Por lo tanto, en lugar de utilizar el término verificación de hechos, que sugiere un juicio binario y definitivo sobre lo verdadero o lo falso, deberíamos utilizar el término verificación de afirmaciones, que refleja una evaluación más matizada y tentativa de lo que está respaldado o no, creíble o dudoso, consistente o no. contradictorio. La verificación de afirmaciones no es un veredicto final, sino una investigación continua que nos invita a cuestionar, desafiar y revisar nuestras creencias y suposiciones a la luz de nueva evidencia, nuevas fuentes y nuevas perspectivas.
En mi opinión, el término correcto para la tarea es verificación de reclamo, ya que eso es lo que estamos haciendo, estamos verificando si el reclamo se basa en la evidencia del artículo, documento o fuente al que se hace referencia. Se han publicado artículos que nombran la tarea de verificación de reclamo (por ejemplo, consulte este documento). Por lo tanto, me gustaría intentar hacer un llamado a los autores que trabajan en esta área para que eviten nombrar sus métricas como factualidad o verificación de hechos, sino más bien llamarlo verificabilidad, verificación de afirmaciones, etc. Puedo asumir que la verificación de hechos desde la perspectiva del marketing Se ve mejor, pero es una mala fama, no dar el tratamiento y el crédito adecuados a la búsqueda de los hechos y la verdad en la ciencia, que es una tarea mucho más compleja.
En ese nombre también existe un gran riesgo desde el punto de vista práctico. En una situación en la que “confiamos absolutamente” en que alguna fuente sea “absolutamente objetiva”, perdemos la capacidad de examinar críticamente esta afirmación en mayor profundidad. Nadie tendría el coraje ni la capacidad para hacerlo. El núcleo de la ciencia y el pensamiento crítico es que examinamos todo en busca de la verdad. Además de eso, si la IA en su forma actual midiera la factibilidad y verificara los hechos basándose únicamente en el conocimiento y el consenso actuales, corremos el riesgo de detener el progreso y volvernos especialmente reacios a futuros cambios de paradigma.
Sin embargo, este riesgo no es sólo dentro de las ciencias. El mismo argumento sobre lo que es un hecho y la exclusión del pensamiento crítico incluso de sistemas educativos completos es una característica común de los regímenes autoritarios. Si evaluamos de manera menos crítica lo que se nos presenta como hechos, podemos ser víctimas de futuros autoritarios que los utilizarían e integrarían sus prejuicios en lo que se considera “hecho”. Por tanto, tengamos cuidado con lo que llamamos hecho, ya que en la mayoría de los casos se trata de una afirmación. Una afirmación puede ser cierta según nuestra comprensión actual del mundo y el universo, o no. Además, si una afirmación es correcta o no puede cambiar con la nueva evidencia y la nueva información que se descubra. Uno de los grandes desafíos de los sistemas de IA, y especialmente de la representación del conocimiento, en mi opinión, será: cómo representar el conocimiento que es nuestra comprensión actual del Universo y que se mantendrá actualizado con el tiempo.
A menos que se indique lo contrario, todas las imágenes son del autor.