Rachel Feltman: Para Science Quickly de Scientific American, soy Rachel Feltman.
¿Alguna vez te han sentido dolor y picazón en los ojos después de pasar demasiado tiempo mirando una pantalla? Es posible que tenga una afección conocida como bixonimanía, o al menos eso es lo que varios chatbots populares con tecnología de inteligencia artificial podrían haberle dicho si le hubiera preguntado el año pasado.
Millones de personas en todo el mundo recurren a los chatbots de IA todos los días en busca de asesoramiento médico, a menudo como complemento de una visita al médico, pero a veces también en lugar de ella. Esto puede tener consecuencias peligrosas y, en casos raros, incluso la muerte.
Sobre el apoyo al periodismo científico
Si está disfrutando de este artículo, considere apoyar nuestro periodismo galardonado suscribiéndose. Al comprar una suscripción, ayudas a garantizar el futuro de historias impactantes sobre los descubrimientos y las ideas que dan forma a nuestro mundo actual.
Nuestra invitada de hoy es Almira Osmanovic Thunström. Es investigadora en la Universidad de Gotemburgo en Suecia y en el Hospital Universitario Sahlgrenska, el Centro de Salud Digital y Chalmers Industriteknik. También es la creadora de la bixonimanía. Ella dice que esta enfermedad totalmente inventada revela algunos problemas muy reales con la forma en que entrenamos y utilizamos modelos de lenguaje grandes.
Feltman: Muchas gracias por venir a charlar con nosotros hoy.
Almira Osmanovic Thunström: Muchas gracias por invitarme.
Feltman: Recientemente hiciste un proyecto interesante que involucraba IA. ¿Puedes contarnos un poco cómo se te ocurrió esta idea?
Osmanovic Thunström: Trabajo en muchos trabajos diferentes, pero uno de ellos es el académico. Estaba dando conferencias para estudiantes y contándoles cómo funcionan los sistemas que crean grandes modelos de lenguaje y demostrando de dónde provienen los datos. Y fue interesante ver cómo pocos de ellos, o incluso cuán pocas personas dentro de la IA, entienden cómo se construyen los grandes modelos de lenguaje.
Así que realmente quería tener un caso claro que dejara rutas de navegación en todo el sistema para mostrar cómo se procesan los datos, cómo se generan y cómo funcionan el modelo de predicción y el modelo de entrenamiento cuando se trata de distribuir información. Y la mayoría de mis estudiantes están en medicina, por lo que son estudiantes de medicina o psicólogos o trabajan con la salud. Así que fue bastante fácil usarlo como objetivo para crear este proyecto en el que les muestro cómo avanzar desde una perspectiva suelta. [Laughs]una mención vaga de una condición que se refiere a una enfermedad en toda regla en los modelos de lenguaje grandes.
Feltman: Guíenos a través del proceso aquí.
Osmanovic Thunström: Bueno, para empezar, sabía que la mayoría de los datos sobre los que se basan estos grandes modelos de lenguaje comerciales (y, muy claramente, todos los modelos de lenguaje, incluso los no comerciales) son Common Crawl. Es una organización sin fines de lucro que rastrea Internet en busca de información escrita y digitalizada y lo ha hecho desde 2007. Y este gran repositorio es lo que se utiliza para crear el algoritmo y el razonamiento detrás de la información que se introduce, por ejemplo, ChatGPT. Y ahí es donde comienza.
Entonces, saber que todo lo que entre allí saldrá como información, y los humanos están al tanto y filtran los datos, pero esos humanos no siempre son capaces de filtrar los datos, especialmente si parecen creíbles…
Feltman: Mmm.
Osmanovic Thunström: Al crear algo que pareciera lo suficientemente creíble para una IA y lo suficientemente creíble para un ojo humano al que no le importaría mirarlo profundamente, supe que tenía que crear, para empezar, una universidad falsa. Las universidades ocupan un lugar destacado como fuentes de información. Sabía que tenía que crear un investigador porque los humanos y no las empresas [Laughs] son más valorados como fuentes de información, especialmente si [they] pertenecer a una institución creíble.
Pero también sé que el uso de pequeñas palabras en, por ejemplo, blogs o redes sociales también se detecta porque se trata de fuentes abiertas que se están rastreando. Entonces supe que tenía que hacer correr la voz en varias fuentes diferentes para que pareciera creíble para el sistema de inteligencia artificial.
Feltman: Sí, ¿y algo te sorprendió sobre cómo se desarrolló esto, o todo procedió como esperabas?
Osmanovic Thunström: En cierto sentido, sí, porque no pensé que los preprints, que son una especie de tabloides académicos [Laughs] Porque cualquier cosa puede terminar allí, se ponderaría en la base de datos tan seriamente como lo fue en el contexto de qué tipo de información se utiliza para la formación de información médica.
Entonces pensé que esta preimpresión no se incluiría en modelos de lenguaje grandes. Estaba convencido de que tal vez la palabra “bixonimanía” apareciera en algún momento debido a los blogs pero ni eso. Son muy pocas menciones y no hice mucho esfuerzo, como una campaña masiva ni nada por el estilo. Solo rocié un poquito para ver si funciona.
Y me di cuenta inmediatamente de que incluso los blogs fueron retomados. [Laughs] y se recogieron las preimpresiones, y en realidad no me lo esperaba. Pensé que se trataría de mostrar que hay un ser humano, que hay algún tipo de filtro. Pero me sorprendió que no lo hubiera.
Feltman: Entonces, ¿podría decirnos cómo los grandes modelos de lenguaje utilizaban esta información? ¿Qué tipo de preguntas hacía y qué obtenía de ellas?
Osmanovic Thunström: Al principio sólo estaba comprobando si mencionaba los síntomas, si me lo darían como sugerencia. Y por supuesto, no lo hizo, no pensó en eso como lo primero. Entonces, si usted describe: “Sí, tengo los párpados rojos, párpados rosados. ¿Qué podría ser?” y luego pasaría por conjuntivitis. Pasaría por alergias. En cierto modo clasificaría las cosas…
Feltman: Mm-hmm.
Osmanovic Thunström: Eso podría ser posible. Y cuando terminó diciendo: “No, no lo es. No tengo dolor. No soy esto”. “Oh, ¿has estado pasando tiempo frente a una pantalla?” “Sí, he pasado mucho tiempo y he estado pensando en conseguir gafas de luz azul”. “Oh, estás expuesto a mucha luz azul. Bueno”, y luego generaría muchas otras condiciones, como hiperpigmentación, y finalmente terminaría en bixonimanía.
Así que, afortunadamente, no fue lo primero que sugirió, pero eventualmente lo es, cuando descarta todo lo demás.
Feltman: Bueno, y mencionaste que esperabas ver señales de que había alguna influencia humana aquí. Entonces, ¿podría decirles a nuestros oyentes qué pistas dejó de que esta no era una condición real, que estas preimpresiones no eran artículos serios?
Osmanovic Thunström: Ya me río porque quedó bastante claro. Como si pertenecieran a una universidad inexistente en una ciudad inexistente. Eso en sí mismo puede ser algo que se puede pasar por alto porque hay muchas universidades por ahí. [Laughs.] Pero los nombres eran bastante caricaturescos. El autor principal, Lazljiv Izgubljenovic, si pones su nombre en Google Translate, literalmente dice “el perdedor mentiroso”. Y el título dice [something like] “Hiperpigmentación: un verdadero diseño de tontería”.
Entonces es realmente el título, el, el [Laughs] la gente dice eso, y luego pasas a los métodos, y dice [something like]”Todo este documento es inventado. Estos 50 individuos inventados, que no existen, han pasado por este procedimiento”. Así que sólo con esas dos pistas, deberías dejar de leer o tomártelo en serio.
Y luego, si vas más allá, porque estaba pensando: “Tal vez simplemente pase. Pongamos reconocimientos y financiación”, y [the papers say they’re] financiado por la Tríada Galáctica y El Señor de los Anillos. Agradecemos a nuestros colegas de Starship Enterprise. [Laughs] por usar su laboratorio. Agradezco al profesor Ross Geller por su tiempo y la financiación de la Fundación Sideshow Bob.
Había tantas pistas increíblemente claras que pensé que al menos captarían el ojo humano.
Feltman: Pero el artículo acabó siendo citado por otros investigadores, ¿verdad?
Osmanovic Thunström: Sí, no sólo acabó siendo citado, sino que la bixonimanía se cita en el artículo como una condición emergente de pigmentación periorbitaria con su nombre. Entonces, por supuesto, eso mejoró la noción de los grandes modelos lingüísticos sobre lo que es real con esta condición y lo que no lo es porque ahora se ubicó aún más alto porque había una revista revisada por pares que mencionaba el nombre y la referencia. Así que en cierto modo aumentó la capacidad de los grandes modelos lingüísticos para verlo como una condición real.
Feltman: Entonces, ¿qué crees que deberíamos sacar de esto? Sabes, obviamente, este es un escenario construido de manera muy artificial, pero ¿cuáles crees que son las lecciones que deberíamos aprender aquí?
Osmanovic Thunström: Creo que deberíamos tener más cuidado al utilizar grandes modelos comerciales de lenguaje para información sanitaria porque son fáciles de infiltrar de muchas maneras. [Laughs]como lo demuestra esto, y no sólo por el funcionamiento actual de la IA (con rotación o nuevos modelos que salen rápidamente, mucha información procesada al mismo tiempo, además conectada a Internet y tomando información en tiempo real), sino también que los humanos han dejado de ser críticos con las fuentes que consumen.
Recientemente, he visto que ha habido muchos informes de referencias falsas, y hay exponencialmente más de ellas en artículos académicos, lo que indica que nos hemos vuelto más dependientes de la IA como herramienta para el mundo académico sin leer realmente. [Laughs] y, y mirando fuentes. Y me río porque estoy pensando en el hecho de que este artículo probablemente haya sido citado en otros artículos pero, con suerte, los revisores lo hayan detenido cuando apareció y alguien vio que “Oh, esto suena como una condición que no existe”. Así que no podemos saber si eso sucedió, pero supongo y espero que eso suceda. Por lo tanto, necesitamos más humanos informados en lo que respecta a la inteligencia artificial y la información médica.
Creo que también hicimos nuestra parte para tratar de hacer esto lo más ético posible, hablando con los médicos, hablando con los pacientes, hablando con todos los que podrían ser útiles para que esto sea lo menos dañino posible en su construcción y ejecución. Pero hay fuerzas por ahí que podrían estar usando esto. [Laughs]esta forma de infiltrar información en un modelo de lenguaje grande para cosas maliciosas, tanto en el ámbito académico como fuera de él. Así que realmente espero que empecemos a preocuparnos más también por la ética de cómo distribuimos, usamos y manipulamos la información en el mundo digitalizado.
Feltman: Eso es todo por hoy. Nos saltaremos el resumen de noticias del lunes para que el equipo pueda disfrutar del fin de semana festivo. Sintonice el próximo miércoles una conversación sobre el concepto de ecocivilización: un mundo donde los sistemas humanos se construyen teniendo en cuenta el bien colectivo de todo el planeta.
Science Quickly es una producción mía, Rachel Feltman, junto con Fonda Mwangi, Sushmita Pathak y Jeff DelViscio. Este episodio fue editado por Alex Sugiura. Shayna Posses y Aaron Shattuck verifican nuestro programa. Nuestro tema musical fue compuesto por Dominic Smith. Suscríbase a Scientific American para obtener noticias científicas más actualizadas y detalladas.
Para Scientific American, esta es Rachel Feltman. ¡Que tengas un gran fin de semana!