Mostramos que un modelo GPT-3 puede aprender a expresar la incertidumbre sobre sus propias respuestas en lenguaje natural, sin el uso de logits del modelo. Cuando se le plantea una pregunta, el modelo genera tanto una respuesta como un nivel de confianza (por ejemplo, “90% de confianza” o “alta confianza”). Estos niveles se corresponden con probabilidades que están bien calibradas. El modelo también permanece moderadamente calibrado bajo cambios de distribución y es sensible a la incertidumbre en sus propias respuestas, en lugar de imitar ejemplos humanos. Hasta donde sabemos, esta es la primera vez que se ha demostrado que un modelo expresa incertidumbre calibrada sobre sus propias respuestas en lenguaje natural. Para probar la calibración, presentamos el conjunto de tareas CalibratedMath. Comparamos la calibración de la incertidumbre expresada en palabras (“probabilidad verbalizada”) con la incertidumbre extraída de los modelos logits. Ambos tipos de incertidumbre son capaces de generalizar la calibración bajo un cambio de distribución. También proporcionamos evidencia de que la capacidad de GPT-3 para generalizar la calibración depende de representaciones latentes previamente entrenadas que se correlacionan con la incertidumbre epistémica sobre sus respuestas.
