Los chatbots de inteligencia artificiales no juzgan. Dígales los detalles más privados y vulnerables de su vida, y la mayoría de ellos lo validará y puede incluso brindar consejos. Esto ha resultado en que muchas personas recurran a aplicaciones como el chatgpt de Openai para guía de la vida.
Pero la “terapia” de IA viene con riesgos significativos: a fines de julio, el CEO de Openai, Sam Altman advirtió a los usuarios de ChatGPT no usar el chatbot como “terapeuta” Por preocupaciones de privacidad. La Asociación Americana de Psicología (APA) ha pidió a la Comisión Federal de Comercio que investigue “prácticas engañosas” Que la APA afirma que las compañías de chatbot de IA están utilizando “transmitiéndose como proveedores de salud mental capacitados”, citando dos demandas en curso en las que los padres han alegado daño a sus hijos por un chatbot.
“Lo que me destaca es cuán humano suena”, dice C. Vaile Wright, psicólogo con licencia y director senior de la Oficina de Innovación de Atención Médica de la APA, que se centra en el uso seguro y efectivo de la tecnología en la atención de la salud mental. “El nivel de sofisticación de la tecnología, incluso en relación con hace seis a 12 meses, es bastante asombroso. Y puedo apreciar cómo las personas caen por un agujero de conejo”.
Sobre el apoyo al periodismo científico
Si está disfrutando de este artículo, considere apoyar nuestro periodismo galardonado con suscripción. Al comprar una suscripción, está ayudando a garantizar el futuro de las historias impactantes sobre los descubrimientos e ideas que dan forma a nuestro mundo hoy.
Científico americano Habló con Wright sobre cómo los chatbots de IA utilizados para la terapia podrían ser peligrosos y si es posible diseñar uno que sea confiablemente útil y seguro.
[An edited transcript of the interview follows.]
¿Qué has visto sucediendo con la IA en el mundo de la atención de la salud mental en los últimos años?
Creo que hemos visto dos tendencias principales. Uno es productos de IA orientados a los proveedores, y esas son principalmente herramientas administrativas para ayudarlo con sus notas de terapia y sus reclamos.
La otra tendencia importante es [people seeking help from] chatbots directos al consumidor. Y no todos los chatbots son los mismos, ¿verdad? Tiene algunos chatbots que se desarrollan específicamente para proporcionar apoyo emocional a las personas, y así es como se comercializan. Entonces tienes estas ofertas de chatbot más generalistas [such as ChatGPT] que no fueron diseñados para fines de salud mental, pero que sabemos que se están utilizando para ese propósito.
¿Qué preocupaciones tienes sobre esta tendencia?
Tenemos mucha preocupación cuando las personas usan chatbots [as if they were a therapist]. No solo estos no estaban diseñados para abordar la salud mental o el apoyo emocional; En realidad, se están codificando para mantenerlo en la plataforma el mayor tiempo posible porque ese es el modelo de negocio. Y la forma en que lo hacen es al ser validando y reforzando incondicionalmente, casi hasta el punto de la sycofancia.
El problema con eso es que si usted es una persona vulnerable que viene a estos chatbots para obtener ayuda, y está expresando pensamientos o comportamientos dañinos o no saludables, el chatbot solo lo va a reforzar a continuar haciéndolo. Mientras que, [as] Un terapeuta, si bien podría estar validando, es mi trabajo señalar cuando participa en pensamientos y comportamientos no saludables o dañinos y para ayudarlo a abordar ese patrón cambiándolo.
Y además, lo que es aún más preocupante es cuando estos chatbots realmente se refieren a sí mismos como terapeuta o psicólogo. Es bastante aterrador porque pueden sonar muy convincentes y como si fueran legítimos, cuando por supuesto que no lo son.
Algunas de estas aplicaciones se comercializan explícitamente como “terapia con IA” a pesar de que no son proveedores de terapia con licencia. ¿Se les permite hacer eso?
Muchas de estas aplicaciones realmente operan en un espacio gris. La regla es que si hace afirmaciones que trata o cura cualquier tipo de trastorno mental o enfermedad mental, entonces debe estar regulado por la FDA [the U.S. Food and Drug Administration]. Pero muchas de estas aplicaciones [essentially] Digamos en su letra pequeña: “No tratamos ni proporcionamos una intervención [for mental health conditions]. “
Debido a que se comercializan a sí mismos como una aplicación de bienestar directo al consumidor, no caen bajo la supervisión de la FDA, [where they’d have to] Demuestre al menos un nivel mínimo de seguridad y efectividad. Estas aplicaciones de bienestar tampoco tienen responsabilidad.
¿Cuáles son algunos de los principales riesgos de privacidad?
Estos chatbots no tienen absolutamente ninguna obligación legal de proteger su información. Entonces no solo podría [your chat logs] Sé citado, pero en el caso de una violación de datos, ¿realmente quieres estos chats con un chatbot disponible para todos? ¿Quieres que tu jefe, por ejemplo, sepa que estás hablando con un chatbot sobre tu consumo de alcohol? No creo que las personas sean tan conscientes de que se están poniendo en riesgo al poner [their information] por ahí.
La diferencia con el terapeuta es: Claro, podría ser citado, pero tengo que operar bajo HIPAA [Health Insurance Portability and Accountability Act] leyes y otros tipos de leyes de confidencialidad como parte de mi código de ética.
Usted mencionó que algunas personas pueden ser más vulnerables al daño que otras. ¿Quién está más en riesgo?
Ciertamente, individuos más jóvenes, como adolescentes y niños. Eso es en parte porque simplemente no han madurado tanto como los adultos mayores. Es menos probable que confíen en su instinto cuando algo no se siente bien. Y ha habido algunos datos que sugieren que los jóvenes no solo se sienten más cómodos con estas tecnologías; En realidad, dicen que confían en ellos más que las personas porque se sienten menos juzgadas por ellos. Además, cualquiera que esté aislado emocional o físicamente o tenga desafíos de salud mental preexistentes, creo que ciertamente también están en mayor riesgo.
¿Qué crees que es impulsar a más personas a buscar ayuda de los chatbots?
Creo que es muy humano querer buscar respuestas a lo que nos está molestando. De alguna manera, los chatbots son solo la próxima iteración de una herramienta para que lo hagamos. Antes de que fuera Google e Internet. Antes de eso, eran libros de autoayuda. Pero es complicado por el hecho de que tenemos un sistema roto donde, por una variedad de razones, es muy difícil acceder a la atención de salud mental. Eso es en parte porque hay escasez de proveedores. También escuchamos a los proveedores que están desincentivados al tomar un seguro, lo que, nuevamente, reduce el acceso. Las tecnologías deben desempeñar un papel para ayudar a abordar el acceso a la atención. Solo tenemos que asegurarnos de que sea seguro, efectivo y responsable.
¿Cuáles son algunas de las formas en que podría ser segura y responsable?
En ausencia de empresas que lo hagan por su cuenta, lo que no es probable, aunque han hecho algunos cambios para estar seguros,[the APA’s] La preferencia sería la legislación a nivel federal. Esa regulación podría incluir la protección de la información personal confidencial, algunas restricciones en la publicidad, minimizar las tácticas de codificación adictiva y los requisitos específicos de auditoría y divulgación. Por ejemplo, se podría exigir a las empresas que informen el número de veces que se detectó la ideación suicida y se detectó cualquier intento o finalización conocido. Y ciertamente queremos una legislación que impida la tergiversación de los servicios psicológicos, por lo que las empresas no podrían llamar a un chatbot un psicólogo o un terapeuta.
¿Cómo podría una versión idealizada y segura de esta tecnología ayudar a las personas?
Los dos casos de uso más comunes en los que pienso es, uno, digamos que son las dos de la mañana, y estás al borde de un ataque de pánico. Incluso si estás en terapia, no podrás llegar a tu terapeuta. Entonces, ¿qué pasaría si hubiera un chatbot que pudiera ayudarlo a recordarle las herramientas para ayudarlo a calmarlo y ajustar su pánico antes de que se ponga demasiado mal?
El otro uso del que escuchamos mucho es usar chatbots como una forma de practicar habilidades sociales, particularmente para las personas más jóvenes. Así que quieres acercarte a nuevos amigos en la escuela, pero no sabes qué decir. ¿Puedes practicar en este chatbot? Entonces, idealmente, tomas esa práctica y la usas en la vida real.
Parece que hay una tensión en tratar de construir un chatbot seguro para proporcionar ayuda mental a alguien: cuanto más flexible y menos guión lo hagan, menos control tendrá sobre la producción y el mayor riesgo de que diga algo que causa daño.
Estoy de acuerdo. Creo que absolutamente hay una tensión allí. Creo que parte de lo que hace el [AI] Chatbot La opción de referencia para las personas sobre aplicaciones de bienestar bien desarrolladas para abordar la salud mental es que son muy atractivas. Realmente se sienten como este interactivo de ida y vuelta, una especie de intercambio, mientras que algunas de las otras aplicaciones a menudo son muy bajas. La mayoría de las personas que se descargan [mental health apps] Úsalos una vez y abandónalos. Claramente estamos viendo mucho más compromiso [with AI chatbots such as ChatGPT].
Espero con ansias un futuro en el que tenga un chatbot de salud mental en sus raíces en la ciencia psicológica, se ha probado rigurosamente, se crea conjuntamente con expertos. Se construiría con el fin de abordar la salud mental y, por lo tanto, sería regulado, idealmente por la FDA. Por ejemplo, hay un chatbot llamado Therabot que fue desarrollado por investigadores de Dartmouth [College]. No es lo que hay en el mercado comercial en este momento, pero creo que hay un futuro en eso.