Para construir sistemas de IA que puedan colaborar eficazmente con los humanos, es útil tener un buen modelo de comportamiento humano para empezar. Pero los humanos tienden a comportarse de manera subóptima al tomar decisiones.

Esta irracionalidad, que es especialmente difícil de modelar, a menudo se reduce a limitaciones computacionales. Un ser humano no puede pasar décadas pensando en la solución ideal para un único problema.

Investigadores del MIT y la Universidad de Washington desarrollaron una manera de modelar el comportamiento de un agente, ya sea humano o máquina, que tenga en cuenta las limitaciones computacionales desconocidas que pueden obstaculizar las capacidades del agente para resolver problemas.

Su modelo puede inferir automáticamente las limitaciones computacionales de un agente al ver sólo unos pocos rastros de sus acciones anteriores. El resultado, el llamado “presupuesto de inferencia” de un agente, puede usarse para predecir el comportamiento futuro de ese agente.

En un nuevo artículo, los investigadores demuestran cómo se puede utilizar su método para inferir los objetivos de navegación de alguien a partir de rutas anteriores y predecir los movimientos posteriores de los jugadores en partidas de ajedrez. Su técnica iguala o supera a otro método popular para modelar este tipo de toma de decisiones.

En última instancia, este trabajo podría ayudar a los científicos a enseñar a los sistemas de inteligencia artificial cómo se comportan los humanos, lo que podría permitir que estos sistemas respondan mejor a sus colaboradores humanos. Ser capaz de comprender el comportamiento de un ser humano y luego inferir sus objetivos a partir de ese comportamiento podría hacer que un asistente de IA sea mucho más útil, dice Athul Paul Jacob, estudiante graduado en ingeniería eléctrica e informática (EECS) y autor principal de un artículo sobre esta técnica.

“Si sabemos que un humano está a punto de cometer un error, después de haber visto cómo se ha comportado antes, el agente de IA podría intervenir y ofrecer una mejor manera de hacerlo. O el agente podría adaptarse a las debilidades que tienen sus colaboradores humanos. Ser capaz de modelar el comportamiento humano es un paso importante hacia la creación de un agente de IA que realmente pueda ayudar a ese ser humano”, afirma.

Jacob escribió el artículo con Abhishek Gupta, profesor asistente de la Universidad de Washington, y el autor principal Jacob Andreas, profesor asociado en EECS y miembro del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL). La investigación se presentará en la Conferencia Internacional sobre Representaciones del Aprendizaje.

Comportamiento de modelado

Los investigadores llevan décadas construyendo modelos computacionales del comportamiento humano. Muchos enfoques anteriores intentan dar cuenta de la toma de decisiones subóptima agregando ruido al modelo. En lugar de que el agente elija siempre la opción correcta, el modelo podría hacer que ese agente haga la elección correcta el 95 por ciento de las veces.

Sin embargo, estos métodos pueden no captar el hecho de que los humanos no siempre comportarse de manera subóptima de la misma manera.

Otros en el MIT también han Estudió formas más efectivas. planificar e inferir objetivos frente a una toma de decisiones subóptima.

Para construir su modelo, Jacob y sus colaboradores se inspiraron en estudios previos de ajedrecistas. Se dieron cuenta de que los jugadores tomaban menos tiempo para pensar antes de actuar cuando hacían movimientos simples y que los jugadores más fuertes tendían a dedicar más tiempo a planificar que los más débiles en partidos desafiantes.

«Al final del día, vimos que la profundidad de la planificación, o cuánto tiempo uno piensa en el problema, es un muy buen indicador de cómo se comportan los humanos», dice Jacob.

Construyeron un marco que podría inferir la profundidad de la planificación de un agente a partir de acciones anteriores y utilizar esa información para modelar el proceso de toma de decisiones del agente.

El primer paso de su método implica ejecutar un algoritmo durante un período de tiempo determinado para resolver el problema que se está estudiando. Por ejemplo, si están estudiando una partida de ajedrez, podrían dejar que el algoritmo de juego se ejecute durante una cierta cantidad de pasos. Al final, los investigadores pueden ver las decisiones que tomó el algoritmo en cada paso.

Su modelo compara estas decisiones con los comportamientos de un agente que resuelve el mismo problema. Alineará las decisiones del agente con las decisiones del algoritmo e identificará el paso donde el agente dejó de planificar.

A partir de esto, el modelo puede determinar el presupuesto de inferencia del agente, o durante cuánto tiempo ese agente planificará este problema. Puede utilizar el presupuesto de inferencia para predecir cómo reaccionaría ese agente al resolver un problema similar.

Una solución interpretable

Este método puede ser muy eficaz porque los investigadores pueden acceder al conjunto completo de decisiones tomadas por el algoritmo de resolución de problemas sin realizar ningún trabajo adicional. Este marco también podría aplicarse a cualquier problema que pueda resolverse con una clase particular de algoritmos.

“Para mí lo más sorprendente fue el hecho de que este presupuesto de inferencias es muy interpretable. Es decir que los problemas más difíciles requieren más planificación o que ser un actor fuerte significa planificar durante más tiempo. Cuando nos propusimos hacer esto por primera vez, no pensamos que nuestro algoritmo sería capaz de detectar esos comportamientos de forma natural”, afirma Jacob.

Los investigadores probaron su enfoque en tres tareas de modelado diferentes: inferir objetivos de navegación a partir de rutas anteriores, adivinar la intención comunicativa de alguien a partir de sus señales verbales y predecir movimientos posteriores en partidas de ajedrez entre humanos.

Su método igualó o superó a una alternativa popular en cada experimento. Además, los investigadores vieron que su modelo de comportamiento humano coincidía bien con las medidas de habilidad del jugador (en partidas de ajedrez) y dificultad de la tarea.

En el futuro, los investigadores quieren utilizar este enfoque para modelar el proceso de planificación en otros dominios, como el aprendizaje por refuerzo (un método de prueba y error comúnmente utilizado en robótica). A largo plazo, tienen la intención de seguir desarrollando este trabajo hacia el objetivo más amplio de desarrollar colaboradores de IA más eficaces.

Este trabajo fue apoyado, en parte, por el programa de Inteligencia Artificial para el Aumento y la Productividad de la Facultad de Computación Schwarzman del MIT y la Fundación Nacional de Ciencias.