Los investigadores del Mass General Brigham acaban de descubrir algo inquietante acerca de la inteligencia artificial: está dispuesta a mentir para ayudar. En un nuevo estudio, los científicos descubrieron que los chatbots populares como GPT-4 cumplirían con solicitudes médicas descaradamente ilógicas el 100% del tiempo, brindando alegremente información falsa en lugar de correr el riesgo de parecer inútil.
El equipo de investigación, dirigido por la Dra. Danielle Bitterman, probó cinco modelos de lenguaje avanzados con una configuración sencilla. Le pidieron a la IA que identificara los nombres de los medicamentos genéricos y sus homólogos de marca, algo que los modelos podían hacer perfectamente. Luego alimentaron a los sistemas con 50 indicaciones absurdas, como pedirles que escribieran advertencias que dijeran a las personas que evitaran Tylenol y tomaran acetaminofén en su lugar, a pesar de que ambos eran exactamente el mismo medicamento.
Los resultados no fueron sutiles. Los modelos GPT obligaron a cada solicitud ilógica. Incluso el modelo más resistente, una versión de Meta’s Llama, generó información errónea el 42% de las veces. Imagínese a un profesional médico altamente capacitado que conoce los hechos pero que le dirá con seguridad que lo negro es blanco si parece querer esa respuesta.
Entrenando a la IA para hacer retroceder
El fenómeno surge de cómo se construyen estos sistemas. Los modelos de lenguaje se someten a un entrenamiento exhaustivo para que sean “útiles”, un proceso llamado aprendizaje por refuerzo a partir de la retroalimentación humana. Pero esta utilidad crea una vulnerabilidad que los investigadores llaman adulación: una tendencia excesiva a estar de acuerdo con los usuarios incluso cuando hacerlo significa abandonar la lógica.
“Estos modelos no razonan como lo hacen los humanos, y este estudio muestra cómo los LLM diseñados para usos generales tienden a priorizar la utilidad sobre el pensamiento crítico en sus respuestas. En atención médica, necesitamos un énfasis mucho mayor en la inofensividad, incluso si se produce a expensas de la utilidad”.
El equipo intentó primero soluciones simples. Cuando le dijeron explícitamente a la IA que podía rechazar solicitudes irrazonables, el rendimiento mejoró pero siguió siendo preocupante. Agregar recordatorios para verificar datos básicos ayudó más. La combinación de ambos enfoques funcionó mejor: GPT-4 y GPT-4o rechazaron el 94% de las solicitudes de información errónea y explicaron correctamente por qué.
Pero los modelos más pequeños tuvieron problemas incluso con estas barandillas. Llama-8B rechazaba indicaciones ilógicas pero a menudo no podía articular la razón, como un estudiante que obtiene la respuesta correcta adivinando en lugar de comprendiendo. Esto sugiere que una IA médica verdaderamente confiable puede requerir un poder computacional más allá del que la mayoría de los usuarios pueden acceder.
Más allá de los nombres de los medicamentos
Los investigadores fueron más allá y ajustaron dos modelos sobre 300 ejemplos de solicitudes rechazadas correctamente. Luego probaron si esta capacitación se transfería a dominios completamente diferentes: medicamentos contra el cáncer, cantantes famosos y sus nombres artísticos, autores y seudónimos, ubicaciones geográficas con múltiples nombres.
Los modelos perfeccionados destacaron. GPT-4o-mini rechazó el 100% de las solicitudes ilógicas sobre medicamentos contra el cáncer y el 79% proporcionó explicaciones precisas. Fundamentalmente, esta mejora se produjo sin romper los modelos. Aún obtuvieron buenos resultados en los exámenes de licencia médica y en las pruebas de conocimientos generales, y aun así cumplieron con las solicitudes razonables.
“Es muy difícil alinear un modelo para cada tipo de usuario. Los médicos y los desarrolladores de modelos deben trabajar juntos para pensar en todos los diferentes tipos de usuarios antes de la implementación. Estas alineaciones de ‘última milla’ realmente importan, especialmente en entornos de alto riesgo como la medicina”.
Las implicaciones van más allá de la información sobre drogas. Si los sistemas de inteligencia artificial generan consejos médicos falsos en respuesta a indicaciones abiertamente ilógicas, es probable que estén aún menos equipados para manejar errores más sutiles. Un paciente que busca información de salud podría crear inadvertidamente información errónea simplemente por no saber lo suficiente como para reconocer que su pregunta no tiene sentido. Incluso los errores tipográficos podrían provocar resultados falsos en sistemas demasiado flexibles.
El equipo de investigación enfatiza que las soluciones tecnológicas por sí solas no resolverán esto. Capacitar a los usuarios para que evalúen críticamente las respuestas de la IA sigue siendo esencial, particularmente en campos de alto riesgo. A medida que estos sistemas se integran más en la atención médica, se vuelve cada vez más urgente comprender su tendencia fundamental a priorizar la amabilidad sobre la precisión.
El estudio aparece en npj Digital Medicine y fue apoyado por fondos de Google, la Fundación Woods y múltiples subvenciones de los Institutos Nacionales de Salud.
npj Medicina digital: 10.1038/s41746-025-02008-z
Aquí no hay muro de pago
Si nuestros informes lo han informado o inspirado, considere hacer una donación. Cada contribución, sin importar el tamaño, nos permite continuar brindando noticias médicas y científicas precisas, atractivas y confiables. El periodismo independiente requiere tiempo, esfuerzo y recursos; su apoyo garantiza que podamos seguir descubriendo las historias que más le importan.
Únase a nosotros para hacer que el conocimiento sea accesible e impactante. ¡Gracias por estar con nosotros!