En entornos de alto riesgo, como los diagnósticos médicos, los usuarios a menudo quieren saber qué llevó a un modelo de visión por computadora a hacer una determinada predicción, para poder determinar si confiar en su resultado.
El modelado de cuellos de botella conceptuales es un método que permite a los sistemas de inteligencia artificial explicar su proceso de toma de decisiones. Estos métodos obligan a un modelo de aprendizaje profundo a utilizar un conjunto de conceptos, que los humanos pueden entender, para hacer una predicción. En una nueva investigación, los científicos informáticos del MIT desarrollaron un método que obliga al modelo a lograr una mayor precisión y explicaciones más claras y concisas.
Los conceptos que utiliza el modelo suelen estar definidos de antemano por expertos humanos. Por ejemplo, un médico podría sugerir el uso de conceptos como “puntos marrones agrupados” y “pigmentación variada” para predecir que una imagen médica muestra melanoma.
Pero los conceptos previamente definidos podrían ser irrelevantes o carecer de detalles suficientes para una tarea específica, lo que reduce la precisión del modelo. El nuevo método extrae conceptos que el modelo ya aprendió mientras fue entrenado para realizar esa tarea en particular y obliga al modelo a usarlos, produciendo mejores explicaciones que los modelos de cuello de botella de conceptos estándar.
El enfoque utiliza un par de modelos especializados de aprendizaje automático que extraen automáticamente conocimiento de un modelo objetivo y lo traducen a conceptos en lenguaje sencillo. Al final, su técnica puede convertir cualquier modelo de visión por computadora previamente entrenado en uno que pueda usar conceptos para explicar su razonamiento.
“En cierto sentido, queremos poder leer las mentes de estos modelos de visión por computadora. Un modelo de cuello de botella conceptual es una forma para que los usuarios sepan qué está pensando el modelo y por qué hizo una determinada predicción. Debido a que nuestro método utiliza mejores conceptos, puede conducir a una mayor precisión y, en última instancia, mejorar la responsabilidad de los modelos de IA de caja negra”, dice el autor principal Antonio De Santis, estudiante de posgrado de la Universidad Politécnica de Milán que completó esta investigación mientras era estudiante de posgrado visitante en el Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) del MIT.
Le acompañan en un artículo sobre el trabajo de Schrasing Tong SM ’20, PhD ’26; Marco Brambilla, profesor de informática e ingeniería de la Universidad Politécnica de Milán; y la autora principal Lalana Kagal, investigadora científica principal de CSAIL. La investigación se presentará en la Conferencia Internacional sobre Representaciones del Aprendizaje.
Construyendo un mejor cuello de botella
Los modelos de cuellos de botella conceptuales (CBM) son un enfoque popular para mejorar la explicabilidad de la IA. Estas técnicas añaden un paso intermedio al obligar a un modelo de visión por computadora a predecir los conceptos presentes en una imagen y luego usar esos conceptos para hacer una predicción final.
Este paso intermedio, o “cuello de botella”, ayuda a los usuarios a comprender el razonamiento del modelo.
Por ejemplo, un modelo que identifique especies de aves podría seleccionar conceptos como “patas amarillas” y “alas azules” antes de predecir una golondrina común.
Pero debido a que estos conceptos a menudo son generados de antemano por humanos o modelos de lenguaje grande (LLM), es posible que no se ajusten a la tarea específica. Además, incluso si se le da un conjunto de conceptos predefinidos, el modelo a veces utiliza información aprendida no deseada de todos modos, lo cual es un problema conocido como fuga de información.
“Estos modelos están entrenados para maximizar el rendimiento, por lo que el modelo podría utilizar en secreto conceptos que desconocemos”, explica De Santis.
Los investigadores del MIT tuvieron una idea diferente: dado que el modelo ha sido entrenado con una gran cantidad de datos, es posible que haya aprendido los conceptos necesarios para generar predicciones precisas para la tarea particular en cuestión. Intentaron construir un CBM extrayendo este conocimiento existente y convirtiéndolo en texto que un ser humano pudiera entender.
En el primer paso de su método, un modelo especializado de aprendizaje profundo llamado codificador automático disperso toma selectivamente las características más relevantes que el modelo aprendió y las reconstruye en un puñado de conceptos. Luego, un LLM multimodal describe cada concepto en un lenguaje sencillo.
Este LLM multimodal también anota imágenes en el conjunto de datos identificando qué conceptos están presentes y ausentes en cada imagen. Los investigadores utilizan este conjunto de datos anotado para entrenar un módulo de cuello de botella de conceptos para reconocer los conceptos.
Incorporan este módulo en el modelo objetivo, obligándolo a hacer predicciones utilizando únicamente el conjunto de conceptos aprendidos que extrajeron los investigadores.
Controlando los conceptos
Superaron muchos desafíos a medida que desarrollaron este método, desde garantizar que el LLM anotara los conceptos correctamente hasta determinar si el codificador automático disperso había identificado conceptos comprensibles para los humanos.
Para evitar que el modelo utilice conceptos desconocidos o no deseados, lo restringen a utilizar sólo cinco conceptos para cada predicción. Esto también obliga al modelo a elegir los conceptos más relevantes y hace que las explicaciones sean más comprensibles.
Cuando compararon su enfoque con los CBM de última generación en tareas como predecir especies de aves e identificar lesiones cutáneas en imágenes médicas, su método logró la mayor precisión y al mismo tiempo proporcionó explicaciones más precisas.
Su enfoque también generó conceptos que eran más aplicables a las imágenes del conjunto de datos.
“Hemos demostrado que extraer conceptos del modelo original puede superar a otros CBM, pero todavía hay un equilibrio entre interpretabilidad y precisión que debe abordarse. Los modelos de caja negra que no son interpretables aún superan a los nuestros”, afirma De Santis.
En el futuro, los investigadores quieren estudiar posibles soluciones al problema de la fuga de información, tal vez añadiendo módulos adicionales de cuello de botella para que los conceptos no deseados no puedan filtrarse. También planean ampliar su método mediante el uso de un LLM multimodal más grande para anotar un conjunto de datos de entrenamiento más grande, lo que podría mejorar el rendimiento.
“Estoy entusiasmado con este trabajo porque lleva la IA interpretable en una dirección muy prometedora y crea un puente natural hacia la IA simbólica y los gráficos de conocimiento”, afirma Andreas Hotho, profesor y director de la Cátedra de Ciencia de Datos de la Universidad de Würzburg, que no participó en este trabajo. “Al derivar los cuellos de botella de los conceptos de los propios mecanismos internos del modelo en lugar de sólo de conceptos definidos por humanos, ofrece un camino hacia explicaciones que son más fieles al modelo y abre muchas oportunidades para el trabajo de seguimiento con conocimiento estructurado”.
Esta investigación contó con el apoyo de la beca de doctorado Progetto Rocca, el Ministerio italiano de Universidad e Investigación en el marco del Plan Nacional de Recuperación y Resiliencia, Thales Alenia Space y la Unión Europea en el marco del proyecto NextGenerationEU.