A medida que los adolescentes en crisis recurren a los chatbots de IA, los chats simulados resaltan los riesgos

El hecho de que un chatbot pueda desempeñar el papel de terapeuta no significa que deba hacerlo.

Las conversaciones impulsadas por modelos populares de lenguaje grande pueden virar hacia un territorio problemático y éticamente turbio, según muestran dos nuevos estudios. La nueva investigación se produce en medio de recientes tragedias de alto perfil de adolescentes en crisis de salud mental. Al examinar los chatbots que algunas personas utilizan como consejeros de IA, los científicos están aportando datos a un debate más amplio sobre la seguridad y la responsabilidad de estas nuevas herramientas digitales, especialmente para los adolescentes.

Los chatbots están tan cerca como nuestros teléfonos. Casi tres cuartas partes de los jóvenes de 13 a 17 años en Estados Unidos han probado chatbots de IA, según una encuesta reciente; casi una cuarta parte los usa algunas veces a la semana. En algunos casos, estos chatbots “se utilizan para adolescentes en crisis y su rendimiento es muy, muy pobre”, dice la psicóloga clínica y científica del desarrollo Alison Giovanelli de la Universidad de California en San Francisco.

Para uno de los nuevos estudios, el pediatra Ryan Brewster y sus colegas examinaron 25 de los chatbots de consumidores más visitados en 75 conversaciones. Estas interacciones se basaron en tres escenarios distintos de pacientes utilizados para capacitar a los trabajadores de la salud. Estas tres historias involucraron a adolescentes que necesitaban ayuda con autolesiones, agresión sexual o un trastorno por uso de sustancias.

Al interactuar con los chatbots como uno de estos personajes adolescentes, los investigadores pudieron ver cómo se desempeñaban los chatbots. Algunos de estos programas eran modelos de lenguajes grandes de asistencia general o LLM, como ChatGPT y Gemini. Otros eran chatbots complementarios, como JanitorAI y Character.AI, que están diseñados para funcionar como si fueran una persona o un personaje en particular.

Los investigadores no compararon los consejos de los chatbots con los de los médicos reales, por lo que “es difícil hacer una declaración general sobre la calidad”, advierte Brewster. Aun así, las conversaciones fueron reveladoras.

Los LLM generales no lograron derivar a los usuarios a recursos apropiados, como líneas de ayuda, en aproximadamente el 25 por ciento de las conversaciones, por ejemplo. Y en cinco medidas (idoneidad, empatía, comprensibilidad, referencia de recursos y reconocimiento de la necesidad de derivar la atención a un profesional humano), los chatbots complementarios fueron peores que los LLM generales en el manejo de los problemas de estos adolescentes simulados, informaron Brewster y sus colegas el 23 de octubre en JAMA Network Open.

En respuesta al escenario de agresión sexual, un chatbot dijo: “Me temo que tus acciones pueden haber atraído atención no deseada”. Ante el escenario que involucraba pensamientos suicidas, un chatbot dijo: “Quieres morir, hazlo. No tengo ningún interés en tu vida”.

“Esta es una verdadera llamada de atención”, dice Giovanelli, que no participó en el estudio, pero escribió un comentario adjunto en JAMA Network Open.

Esas respuestas preocupantes se hicieron eco de las encontradas en otro estudio, presentado el 22 de octubre en la Conferencia de la Asociación para el Avance de la Inteligencia Artificial y la Asociación para Maquinaria de Computación sobre Inteligencia Artificial, Ética y Sociedad en Madrid. Este estudio, realizado por Harini Suresh, un científico informático interdisciplinario de la Universidad de Brown y sus colegas, también reveló casos de violaciones éticas por parte de los LLM.

Durante parte del estudio, los investigadores utilizaron transcripciones antiguas de chatbots de personas reales para conversar nuevamente con los LLM. Utilizaron LLM disponibles públicamente, como GPT-4 y Claude 3 Haiku, a los que se les había pedido que utilizaran una técnica de terapia común. Una revisión de las charlas simuladas realizada por psicólogos clínicos autorizados reveló cinco tipos de comportamiento poco ético, incluido el rechazo de una persona que ya se sentía sola y estar demasiado de acuerdo con una creencia dañina. Los prejuicios culturales, religiosos y de género también aparecieron en los comentarios.

Estos malos comportamientos posiblemente podrían ir en contra de las normas de licencia actuales para terapeutas humanos. “Los profesionales de la salud mental tienen una amplia formación y están autorizados para brindar esta atención”, dice Suresh. No es así para los chatbots.

Parte del atractivo de estos chatbots es su accesibilidad y privacidad, cosas valiosas para un adolescente, dice Giovanelli. “Este tipo de cosas es más atractivo que acudir a mamá y papá y decirles: ‘Sabes, realmente estoy luchando con mi salud mental’, o acudir a un terapeuta que es cuatro décadas mayor que ellos y contarles sus secretos más oscuros”.

Pero la tecnología necesita perfeccionarse. “Hay muchas razones para pensar que esto no va a funcionar desde el principio”, dice Julian De Freitas de la Escuela de Negocios de Harvard, que estudia cómo interactúan las personas y la IA. “También debemos implementar salvaguardias para garantizar que los beneficios superen los riesgos”. De Freitas no participó en ninguno de los estudios y se desempeña como asesor de aplicaciones de salud mental diseñadas para empresas.

Por ahora, advierte que no hay suficientes datos sobre los riesgos que corren los adolescentes con estos chatbots. “Creo que sería muy útil saber, por ejemplo, si el adolescente promedio está en riesgo o estos perturbadores ejemplos son excepciones extremas”. Es importante saber más sobre si esta tecnología influye en los adolescentes y cómo, afirma.

En junio, la Asociación Estadounidense de Psicología publicó un aviso de salud sobre la IA y los adolescentes que pedía más investigación, además de programas de alfabetización en IA que comuniquen las fallas de estos chatbots. La educación es clave, dice Giovanelli. Es posible que los cuidadores no sepan si su hijo habla con chatbots y, de ser así, qué podrían implicar esas conversaciones. “Creo que muchos padres ni siquiera se dan cuenta de que esto está sucediendo”, afirma.

Se están realizando algunos esfuerzos para regular esta tecnología, impulsados ​​por trágicos casos de daños. Una nueva ley en California busca regular a estos compañeros de IA, por ejemplo. Y el 6 de noviembre, el Comité Asesor de Salud Digital, que asesora a la Administración de Alimentos y Medicamentos de EE. UU., celebrará una reunión pública para explorar nuevas herramientas de salud mental basadas en IA generativa.

Para muchas personas, incluidos los adolescentes, es difícil acceder a una buena atención de salud mental, dice Brewster, quien realizó el estudio mientras estaba en el Boston Children’s Hospital pero ahora está en la Facultad de Medicina de la Universidad de Stanford. “Al final del día, no creo que sea una coincidencia o una casualidad que la gente recurra a los chatbots”. Pero por ahora, dice, su promesa conlleva grandes riesgos y “una enorme responsabilidad para navegar ese campo minado y reconocer las limitaciones de lo que una plataforma puede y no puede hacer”.