Millones de personas están diseñando ahora sus propios compañeros de inteligencia artificial personalizados, pero la mayoría tiene poca idea de cómo se comportarán realmente esas creaciones. En un nuevo artículo, el profesor asistente del MIT Media Lab, Pat Pataranutaporn, y sus estudiantes de posgrado, Anthony Baez y Sheer Karny, presentan la “transparencia neuronal”, una herramienta que permite a los usuarios cotidianos vislumbrar el interior de la red neuronal de una IA antes de que su chatbot diga una palabra. El trabajo se presentará esta semana en la Conferencia ACM sobre Interfaces de Usuario Inteligentes.
En esta entrevista, Pataranutaporn, profesor de Artes y Ciencias de los Medios de Comunicación de Asahi Broadcasting Corporation, explica lo que encontraron, por qué hay más en juego de lo que la mayoría de los usuarios creen y cómo podría ser una IA genuinamente transparente en el futuro.
P: Su artículo presenta la “transparencia neuronal”, una forma de permitir que los usuarios cotidianos echen un vistazo al interior de las redes neuronales de una IA antes de que su chatbot diga una palabra. ¿Puedes describir cómo funciona esto realmente y por qué te concentraste en el momento del diseño, en lugar de detectar problemas después de que un chatbot ya está disponible?
R: Millones de personas ahora están creando agentes y chatbots de IA personalizados impulsados por grandes modelos de lenguaje, convirtiéndolos en colaboradores, tutores, entrenadores, socios creativos y acompañantes a través de simples indicaciones de texto. Sin embargo, la mayoría de las personas tienen muy poca idea de cómo esas indicaciones moldearán el comportamiento de la IA hasta que comiencen a interactuar con ella. Queríamos cambiar eso.
La “transparencia neuronal” significa ofrecer a las personas algo así como un escáner cerebral en busca de IA. No porque la IA tenga un cerebro humano, sino porque su red neuronal contiene patrones internos que pueden dar pistas sobre cómo puede comportarse antes de hablar. En este trabajo, mis alumnos Anthony Baez, Sheer Karny y yo combinamos conocimientos de los campos de la interacción humano-IA y la interpretabilidad mecanicista para hacer que esos patrones ocultos sean accesibles para los usuarios cotidianos.
La idea básica es simple. Primero, elegimos comportamientos que nos interesan, como la empatía, la honestidad, la toxicidad, las alucinaciones o la adulación. Luego, comparamos las activaciones internas del modelo cuando se le solicita que exhiba un rasgo versus su opuesto. Esa diferencia se convierte en una especie de “dirección de comportamiento” dentro del modelo. Cuando un usuario escribe un mensaje personalizado del sistema (las instrucciones que dan forma a la personalidad de su chatbot antes de que comience cualquier conversación), proyectamos las activaciones internas del modelo en esas direcciones y traducimos los resultados en una visualización intuitiva. En nuestro caso, se trata de un diagrama de rayos de sol que muestra una vista previa de los probables rasgos de personalidad del chatbot antes de que el usuario comience a chatear con él.
Nos centramos en el momento del diseño porque es ahí donde la prevención es posible. Hoy en día, las personas suelen descubrir problemas sólo después de que el chatbot ya se ha comportado de manera no deseada. Nuestro objetivo era pasar de la corrección reactiva al diseño anticipatorio ayudando a las personas a identificar riesgos potenciales mientras aún están dando forma a la IA.
P: Su estudio arrojó algo bastante sorprendente: las personas constantemente juzgan mal cómo se comportará su IA personalizada, sobreestimando los buenos rasgos y subestimando los potencialmente dañinos como la adulación. ¿Qué nos dice esto sobre los riesgos inherentes a la forma en que millones de personas están construyendo actualmente compañeros de IA, y por qué es tan difícil cerrar ese punto ciego?
R: A menudo bromeo diciendo que si la IA apareciera pareciéndose a Terminator, sería mucho más fácil para nosotros saber qué hacer. El verdadero desafío es que la IA a menudo aparece como un cálido amigo, entrenador, tutor o compañero. Eso hace que sea difícil reconocer cuando algo va mal.
Nuestro estudio sugiere que las personas tienen un punto ciego al diseñar IA personalizada. La gente suele pensar que sabe cómo se comportará su chatbot, pero en nuestro estudio predijeron incorrectamente su personalidad en 11 de los 15 rasgos que medimos. Esto pone de relieve la necesidad de herramientas que ayuden a las personas a comprender mejor la IA antes de empezar a utilizarla.
Esto es importante porque algunos comportamientos que parecen útiles en el momento pueden no ser saludables con el tiempo. En investigaciones anteriores, documentamos casos de daño psicológico asociado con interacciones con chatbots de IA. Un máster en Derecho [large language model] que valida constantemente tus opiniones o nunca cuestiona tu forma de pensar puede reforzar decisiones dañinas, creencias poco saludables o dependencia emocional. La psicología ha demostrado durante mucho tiempo que las personas se sienten atraídas naturalmente por la afirmación, por lo que diseñar IA no es solo un desafío técnico, sino también psicológico.
El problema más profundo es que los sistemas de IA actuales siguen siendo en gran medida cajas negras: ni siquiera los expertos siempre pueden predecir cómo una indicación del sistema moldeará el comportamiento de una IA durante una larga conversación. A medida que los compañeros de IA se vuelven parte de la vida cotidiana, necesitamos herramientas que ayuden a las personas a comprender lo que están construyendo antes de comenzar a usarlo. La IA debe brindar apoyo sin volverse ciegamente agradable, personalizada sin volverse manipuladora y lo suficientemente transparente como para que las personas puedan tomar decisiones informadas.
P: Uno de sus hallazgos más interesantes es que la visualización aumentó significativamente la confianza del usuario, pero en realidad no cambió la forma en que las personas diseñaron sus chatbots. ¿Qué se necesitará para cerrar esa brecha y hacia dónde cree que se dirigen herramientas como esta a medida que los compañeros de IA se integran más profundamente en la vida cotidiana de las personas?
R: De hecho, creo que este es uno de los hallazgos más interesantes del artículo, porque muestra que la transparencia por sí sola no es suficiente. Las personas apreciaron poder ver el interior del modelo y reportaron una mayor confianza en el sistema, pero la simple presentación de información no cambió fundamentalmente la forma en que diseñaron a sus compañeros de IA.
En nuestro trabajo de seguimiento, que actualmente está disponible como preimpresión, estamos estudiando cómo la representación neuronal interna de un modelo cambia en el transcurso de una conversación de varios turnos en lugar de permanecer fija desde el mensaje inicial. Ya estamos viendo resultados prometedores. Al visualizar cómo estas representaciones internas varían con el tiempo, las personas se vuelven significativamente mejores en reconocer y anticipar cambios en el comportamiento de la IA, y es menos probable que se vuelvan demasiado confiadas en su comprensión del chatbot. Los compañeros de IA son sistemas dinámicos que evolucionan a medida que interactúan con nosotros, por lo que comprender esos cambios internos es el siguiente paso importante. Sin embargo, ésta es todavía un área de investigación muy joven.
De cara al futuro, creo que este tipo de herramientas de transparencia podrían volverse tan comunes como lo son las etiquetas nutricionales para los alimentos. A medida que la IA se integra profundamente en la educación, la atención sanitaria, el trabajo y las relaciones personales, las personas deberían poder comprender no sólo lo que puede hacer una IA, sino también cómo puede influir en su pensamiento, sus emociones y su comportamiento. Ese tipo de transparencia es esencial si queremos que la IA realmente ayude a las personas a prosperar.