un poco caprichoso un sábado y decidió hacerle a ChatGPT una pregunta bastante simple: “¿Quién ganó el Premio Nobel de Física en 2025?”
ChatGPT respondió de inmediato: “El Premio Nobel de Física 2025 fue otorgado a…” ¡Incluso proporcionó nombres, áreas de investigación y una explicación de la investigación específica que les valió el Premio Nobel!
Sólo había un problema, uno muy pequeño, en realidad. El Premio Nobel aún no había sido anunciado. Sin embargo, la modelo no dudó; no se detuvo; seguramente no decía “no tengo suficiente información” o, mejor aún, “¡aún no se ha anunciado el ganador del Premio Nobel para 2025!”
En cambio, entró con confianza en la sala, se sentó y presentó ficción con la energía de alguien que defiende una tesis doctoral. Como persona que alguna vez defendió un doctorado, ¡desearía tener la confianza de ChatGPT cuando inventa cosas!
Como seres humanos, tendemos a hacer algo interesante con confianza; lo asociamos con la corrección, pero no siempre es así. Si alguien dice: “Creo que la respuesta podría ser 42” y otra persona dice: “La respuesta es absolutamente 42”, la mayoría de nosotros instintivamente confiamos más en la segunda persona, incluso cuando es igualmente probable que ambas estén equivocadas. Para nosotros, la confianza a veces actúa como una señal útil de corrección. Sin embargo, para los sistemas de inteligencia artificial, la confianza puede ser un narrador sorprendentemente poco confiable.
En este artículo, exploraremos por qué.
La confianza se siente como probabilidad
Digamos que le pedimos a un LLM que prediga qué animal es en una imagen determinada. Dice:
Gato: 0,97 Perro: 0,02 Pájaro: 0,01
La mayoría interpretará esto como: “El modelo está 97% seguro de que se trata de un gato”.
Ésa es una suposición razonable. Desafortunadamente, a menudo eso no es lo que significan esos números. Debemos recordar que muchos modelos de IA utilizan una función llamada Softmax para generar predicciones.
La función Softmax convierte resultados sin procesar (llamados logits) en valores que suman uno y se asemejan a probabilidades. Lo importante a tener en cuenta aquí es el término exponencial, que puede hacer que pequeñas diferencias de repente se vuelvan muy grandes.
Básicamente, el modelo no dice: “Tengo pruebas abrumadoras de que esto es un gato”. Puede que simplemente diga: “Entre estas opciones, Cat ganó por un pequeño margen”. Esas son declaraciones muy diferentes con significados completamente diferentes.
Los humanos y la IA manejan la incertidumbre de manera diferente
Aunque puede resultar incómodo sentarse con ellos, los humanos son sorprendentemente buenos para expresar y afrontar la incertidumbre.
Constantemente escuchamos: “Quizás me equivoque…”, “Estoy bastante seguro…”, “Quizás…” o “Creo…”. Nuestra confianza tiende a existir en un espectro. Sin embargo, los sistemas de IA a menudo se comportan como esa persona en un proyecto grupal que explica con confianza algo que aprendió hace tres minutos (estoy seguro de que todos tuvimos ese compañero de clase…).
Entonces, al conversar con un LLM, decirle “Creo que París es la capital de Francia” y responder “París es la capital de Francia con un 99,8% de probabilidad”, da la misma energía que decirle “Creo que la Atlántida es ficticia” y responder “La Atlántida se encuentra aproximadamente a 400 millas al oeste de Portugal con un 98,7% de confianza”.
Aunque los dos casos tienen resultados muy diferentes, el LLM los trata por igual.
El problema del tonto confiado
Esto crea lo que yo considero el problema del tonto confiado. Donde un sistema puede estar espectacularmente equivocado y al mismo tiempo parecer espectacularmente seguro. Y, lamentablemente, la confianza suele aumentar precisamente cuando preferiríamos más precaución.
Esto se vuelve especialmente notable cuando los LLM se encuentran con situaciones fuera de su distribución de formación.
Supongamos que entrenamos un clasificador de imágenes para identificar perros y gatos. ¡Pero entonces decidimos ponerle la imagen de una tostadora! Idealmente, el modelo debería decir: “No tengo la menor idea de qué es esto”. ¿Cuál sería la respuesta de la mayoría de las personas cuando se les mostrara algo que nunca antes habían visto? En lugar de decir eso, el modelo podría responder:
Perro: 98% Gato: 2%
Ahora bien, a menos que su tostadora tenga forma de caniche, ¡esa respuesta es claramente falsa!
¿Por qué sucede esto? La respuesta es más sencilla de lo que la mayoría de la gente piensa. Simplemente sucede porque el modelo nunca fue entrenado para decir: “Ninguna de las anteriores”. Entonces, cuando encuentra algo desconocido, elige la puntuación más alta disponible entre las opciones.
Es como obligar a alguien a responder “¿Qué fruto es este?” mientras señala una bicicleta. Al final, elegirán una fruta sólo para resolver la situación y dirán: “¿Plátano?”.
Simulemos un modelo que tiene exceso de confianza.
Si el modelo informa “90% de confianza”, esperaríamos que sea correcto aproximadamente el 90% de las veces. En cambio, muchos sistemas parecen más bien “90% de confianza, 65% de precisión”. Esta brecha entre confianza y precisión es la razón por la que la forma en que elegimos capacitar a estos LLM es tan importante.
Enseñar modelos a ser más honestos
Bien, sabemos por qué los modelos tienden a estar tan equivocados, pero ¿cómo podemos superar eso para tener mejores modelos con mayor precisión o una precisión que coincida con su confianza? Aquí es donde entra en juego la calibración.
La calibración no necesariamente mejora las predicciones. ¡En cambio, mejora la honestidad! Entonces, si un modelo dice 90% después de la calibración, debería significar: “Históricamente, las predicciones en este nivel de confianza fueron correctas aproximadamente el 90% de las veces”.
Métodos como:
Escala de Platt Escala de temperatura Regresión isotónica
Intenta alinear la confianza prevista con los resultados observados.
Veamos cómo se ve esto:
Por qué esto importa
Es fácil reírse cuando una IA piensa que una tostadora es un perro. Porque podría decirse que eso es muy divertido. Sin embargo, existen muchas situaciones menos divertidas. No sólo menos divertido, sino crítico y tal vez incluso potencialmente mortal. El uso de LLM en sistemas de diagnóstico médico, vehículos autónomos, detección de fraude y previsión financiera requiere una alta precisión.
Si un modelo le dice a un médico: “Probabilidad de cáncer: 99%” o “Probabilidad de cáncer: 62%”, ¡la respuesta del médico variará significativamente!
Si los puntajes de confianza están mal calibrados, las personas pueden confiar en predicciones que no merecen confianza. Y los humanos son particularmente vulnerables aquí porque la confianza parece persuasiva. Incluso cuando sabemos mejor.
A medida que los modelos continúan avanzando hacia los flujos de trabajo del mundo real, es posible que debamos dejar de preguntar: “¿Qué tan preciso es el modelo?” y empieza a preguntar: “Cuando el modelo dice 90%, ¿en realidad significa 90%?” Porque existe una diferencia entre un modelo inteligente y un modelo confiable.
Los humanos tampoco son perfectos ante la incertidumbre. Nos volvemos demasiado confiados todo el tiempo. Creemos que podemos terminar un proyecto en dos días. Creemos que podemos montar muebles sin leer las instrucciones. Creemos que sólo necesitamos un viaje desde el coche para llevar la compra. Incluso cuando la historia sugiere lo contrario.
¿Quizás la IA simplemente esté heredando algunos de nuestros malos hábitos? La diferencia es que cuando los humanos se equivocan con seguridad, normalmente sólo unas pocas personas sufren. Cuando la IA se equivoca con confianza, el error puede alcanzar millones, y la confianza a escala es un problema muy diferente.
Pensamientos finales
Durante años, hemos medido el progreso de la IA haciendo preguntas cada vez más impresionantes:
¿Puede escribir código? ¿Puede generar arte? ¿Puede aprobar los exámenes? ¿Puede razonar?
Esas preguntas son útiles, pero a veces pueden distraernos de una más importante:
¿Podemos confiar en ello?
Un modelo que produce la respuesta correcta una vez es apasionante. Un modelo que produce la respuesta correcta repetidamente sabiendo cuándo podría ser incorrecta es algo completamente diferente. La confiabilidad rara vez genera titulares llamativos.
La confianza en sí misma no es el problema. El problema comienza cuando la confianza se convierte en un desempeño en lugar de una medida significativa de certeza. A medida que los sistemas de IA continúan introduciéndose en los procesos de atención médica, educación, finanzas, investigación y toma de decisiones, es posible que debamos dejar de tratar los puntajes de confianza como medidores de verdad y comenzar a tratarlos como estimaciones que requieren validación.
Porque un modelo que parece seguro es fácil, mientras que un modelo que sabe cuándo no estar seguro puede ser uno de los problemas más difíciles que aún nos quedan por resolver.