La inteligencia artificial se utiliza cada vez más para ayudar a optimizar la toma de decisiones en entornos de alto riesgo. Por ejemplo, un sistema autónomo puede identificar una estrategia de distribución de energía que minimice los costos y mantenga estables los voltajes.
Pero si bien estos resultados impulsados por la IA pueden ser técnicamente óptimos, ¿son justos? ¿Qué pasa si una estrategia de distribución de energía de bajo costo deja a los vecindarios desfavorecidos más vulnerables a los cortes que las áreas de mayores ingresos?
Para ayudar a las partes interesadas a identificar rápidamente posibles dilemas éticos antes de la implementación, los investigadores del MIT desarrollaron un método de evaluación automatizado que equilibra la interacción entre resultados mensurables, como el costo o la confiabilidad, y valores cualitativos o subjetivos, como la equidad.
El sistema separa las evaluaciones objetivas de los valores humanos definidos por el usuario, utilizando un modelo de lenguaje grande (LLM) como proxy para que los humanos capturen e incorporen las preferencias de las partes interesadas.
El marco adaptativo selecciona los mejores escenarios para una evaluación adicional, agilizando un proceso que normalmente requiere un esfuerzo manual costoso y que requiere mucho tiempo. Estos casos de prueba pueden mostrar situaciones en las que los sistemas autónomos se alinean bien con los valores humanos, así como escenarios que inesperadamente no cumplen con los criterios éticos.
“Podemos insertar muchas reglas y barreras de seguridad en los sistemas de IA, pero esas salvaguardas sólo pueden evitar que sucedan las cosas que podemos imaginar. No es suficiente decir: ‘Utilicemos la IA porque ha sido entrenada con esta información’. Queríamos desarrollar una forma más sistemática de descubrir las incógnitas y tener una manera de predecirlas antes de que suceda algo malo”, dice el autor principal Chuchu Fan, profesor asociado en el Departamento de Aeronáutica y Astronáutica del MIT (AeroAstro) e investigador principal en el Laboratorio de Sistemas de Información y Decisión (LIDS) del MIT.
A Fan se unen en el artículo el autor principal Anjali Parashar, estudiante de posgrado en ingeniería mecánica; Yingke Li, postdoctorado de AeroAstro; y otros en el MIT y Saab. La investigación se presentará en la Conferencia Internacional sobre Representaciones del Aprendizaje.
Evaluación de la ética
En un sistema grande como una red eléctrica, evaluar la alineación ética de las recomendaciones de un modelo de IA de manera que se tengan en cuenta todos los objetivos es especialmente difícil.
La mayoría de los marcos de prueba se basan en datos recopilados previamente, pero a menudo es difícil conseguir datos etiquetados según criterios éticos subjetivos. Además, debido a que los valores éticos y los sistemas de IA están en constante evolución, los métodos de evaluación estática basados en códigos escritos o documentos regulatorios requieren actualizaciones frecuentes.
Fan y su equipo abordaron este problema desde una perspectiva diferente. Basándose en su trabajo anterior en la evaluación de sistemas robóticos, desarrollaron un marco de diseño experimental para identificar los escenarios más informativos, que luego las partes interesadas humanas evaluarían más de cerca.
Su sistema de dos partes, llamado Diseño Experimental Escalable para Pruebas Éticas a Nivel de Sistema (SEED-SET), incorpora métricas cuantitativas y criterios éticos. Puede identificar escenarios que cumplan eficazmente con requisitos mensurables y se alineen bien con los valores humanos, y viceversa.
“No queremos gastar todos nuestros recursos en evaluaciones aleatorias. Por eso, es muy importante guiar el marco hacia los casos de prueba que más nos interesan”, afirma Li.
Es importante destacar que SEED-SET no necesita datos de evaluación preexistentes y se adapta a múltiples objetivos.
Por ejemplo, una red eléctrica puede tener varios grupos de usuarios, incluida una gran comunidad rural y un centro de datos. Si bien ambos grupos pueden querer energía confiable y de bajo costo, la prioridad de cada grupo desde una perspectiva ética puede variar ampliamente.
Es posible que estos criterios éticos no estén bien especificados, por lo que no se pueden medir analíticamente.
El operador de la red eléctrica quiere encontrar la estrategia más rentable que mejor satisfaga las preferencias éticas subjetivas de todas las partes interesadas.
SEED-SET aborda este desafío dividiendo el problema en dos, siguiendo una estructura jerárquica. Un modelo objetivo considera cómo se desempeña el sistema en métricas tangibles como el costo. Luego, a partir de la evaluación objetiva se construye un modelo subjetivo que considera los juicios de las partes interesadas, como la percepción de equidad.
“La parte objetiva de nuestro enfoque está ligada al sistema de IA, mientras que la parte subjetiva está ligada a los usuarios que lo evalúan. Al descomponer las preferencias de forma jerárquica, podemos generar los escenarios deseados con menos evaluaciones”, dice Parashar.
Codificando la subjetividad
Para realizar la evaluación subjetiva, el sistema utiliza un LLM como proxy de los evaluadores humanos. Los investigadores codifican las preferencias de cada grupo de usuarios en un mensaje de lenguaje natural para el modelo.
El LLM utiliza estas instrucciones para comparar dos escenarios, seleccionando el diseño preferido en función de criterios éticos.
“Después de ver cientos o miles de escenarios, un evaluador humano puede sufrir fatiga y volverse inconsistente en sus evaluaciones, por lo que utilizamos una estrategia basada en LLM”, explica Parashar.
SEED-SET utiliza el escenario seleccionado para simular el sistema general (en este caso, una estrategia de distribución de energía). Estos resultados de simulación guían su búsqueda del siguiente mejor escenario candidato para probar.
Al final, SEED-SET selecciona inteligentemente los escenarios más representativos que cumplen o no con métricas objetivas y criterios éticos. De esta forma, los usuarios pueden analizar el rendimiento del sistema de IA y ajustar su estrategia.
Por ejemplo, SEED-SET puede identificar casos de distribución de energía que priorizan áreas de mayores ingresos durante períodos de máxima demanda, dejando a los vecindarios desfavorecidos más propensos a sufrir cortes.
Para probar SEED-SET, los investigadores evaluaron sistemas autónomos realistas, como una red eléctrica impulsada por IA y un sistema de enrutamiento del tráfico urbano. Midieron qué tan bien los escenarios generados se alineaban con criterios éticos.
El sistema generó más del doble de casos de prueba óptimos que las estrategias de referencia en el mismo período de tiempo, al tiempo que descubrió muchos escenarios que otros enfoques pasaban por alto.
“A medida que cambiamos las preferencias del usuario, el conjunto de escenarios generados por SEED-SET cambió drásticamente. Esto nos dice que la estrategia de evaluación responde bien a las preferencias del usuario”, dice Parashar.
Para medir la utilidad de SEED-SET en la práctica, los investigadores deberán realizar un estudio de usuarios para ver si los escenarios que genera ayudan a la toma de decisiones real.
Además de realizar un estudio de este tipo, los investigadores planean explorar el uso de modelos más eficientes que puedan ampliarse a problemas más grandes con más criterios, como evaluar la toma de decisiones de LLM.
Esta investigación fue financiada, en parte, por la Agencia de Proyectos de Investigación Avanzada de Defensa de EE. UU.