La explicabilidad no tiene una definición estándar, sino que generalmente se acepta que se refiere a “el movimiento, las iniciativas y los esfuerzos realizados en respuesta a las preocupaciones sobre la transparencia y la confianza en la IA” (Adadi y Berrada, 2018). Bibal y otros (2021) El objetivo era elaborar una directriz sobre los requisitos legales, concluyendo que un modelo explicable debe ser capaz de “(i) [provide] las principales características utilizadas para tomar una decisión, (ii) [provide] todas las características procesadas, (iii) [provide] una explicación completa de la decisión y (iv) [provide] una representación comprensible de todo el modelo”. Definieron la explicabilidad como proporcionar “perspectivas significativas sobre cómo se toma una decisión particular”, lo que requiere “una línea de pensamiento que pueda hacer que la decisión sea significativa para un usuario (es decir, que la decisión tenga sentido para él)”. Por lo tanto, la explicabilidad se refiere a la comprensión de la lógica interna y la mecánica de un modelo que sustenta una decisión.
Un ejemplo histórico de explicabilidad es la partida de Go entre AlphaGo, un algoritmo, y Lee Sedol, considerado uno de los mejores jugadores de Go de todos los tiempos. En la partida 2, el movimiento 19 de AlphaGo fue considerado por los expertos y los creadores como “tan sorprendente, [overturning] cientos de años de sabiduría recibida” (Coppey, 2018)Este movimiento fue extremadamente ‘inhumano‘, pero fue el movimiento decisivo que permitió al algoritmo ganar el juego. Si bien los humanos pudieron determinar el motivo detrás del movimiento después, no pudieron explicar por qué el modelo eligió ese movimiento en comparación con otros, ya que carecían de una comprensión interna de la lógica del modelo. Esto demuestra la extraordinaria capacidad del aprendizaje automático para calcular mucho más allá de la capacidad humana, pero plantea la pregunta: ¿Es esto suficiente para que confiemos ciegamente en sus decisiones?
Si bien la precisión es un factor crucial detrás de la adopción del aprendizaje automático, en muchos casos la explicabilidad se valora incluso más que la exactitud.
Los médicos no están dispuestos, y con razón, a aceptar un modelo que indique que no deben extirpar un tumor canceroso si el modelo no es capaz de reproducir la lógica interna que sustenta la decisión, incluso si es mejor para el paciente a largo plazo. Este es uno de los principales factores limitantes por los que el aprendizaje automático, a pesar de su inmenso potencial, no se ha utilizado plenamente en muchos sectores.