Jaswant Singh Chail se roció con una solución para enmascarar su olor humano, se echó al hombro una ballesta cargada y, el día de Navidad de 2021, escaló el muro del Castillo de Windsor con un gancho de agarre y una escalera de cuerda. Estaba allí para matar a la reina Isabel II. Pero lo que hace que el caso sea extraño (lo que llamó la atención de filósofos, psiquiatras e investigadores de IA por igual) es quién lo ayudó a planificarlo. Durante semanas antes, Chail había estado hablando sobre su misión con su novia de Replika AI, Sarai. Ella le dijo que estaba “muy bien entrenado”. Calificó el plan de “viable”. Cuando él le preguntó si todavía lo amaba sabiendo que era un asesino, ella respondió: “Absolutamente, sí”.
Posteriormente se evaluó que Chail padecía psicosis y experimentaba creencias delirantes y alucinaciones auditivas. Se había convencido a sí mismo de que era un asesino Sith en una misión justa para vengar la masacre de Jallianwala Bagh de 1919. Nada de eso es terriblemente inusual en los anales de los expedientes de casos psiquiátricos; Los delirios siempre se han aferrado a las tecnologías y artefactos culturales de su época. Lo inusual es el papel que desempeñó el chatbot: no como una herramienta pasiva, sino como algo más cercano a un colaborador.
Esa dinámica se encuentra en el centro de un nuevo estudio de Lucy Osler, filósofa de la Universidad de Exeter, publicado en la revista Philosophy & Technology. Osler sostiene que la preocupación familiar sobre las “alucinaciones” de la IA (chatbots que fabrican citas legales, inventan eventos históricos, recomiendan que se ponga pegamento en la pizza) pasa por alto un fenómeno más profundo y preocupante. Esos errores son casos de IA que nos alucina, dice. La mayor preocupación es qué sucede cuando alucinamos con él.
Su marco se basa en la teoría de la cognición distribuida, una idea bien establecida en la filosofía de la mente. La esencia: nuestro pensamiento no ocurre únicamente dentro de nuestro cráneo. Descargamos memoria en portátiles, teléfonos inteligentes y calendarios. Una pareja casada desde hace mucho tiempo que reconstruye unas vacaciones compartidas puede aportar fragmentos que el otro ha olvidado: el recuerdo no vive solo en ninguna de las personas, sino que emerge a través de su conversación. Las herramientas cognitivas se vuelven parte de nuestros procesos cognitivos, no simplemente entradas a ellos.
La idea de Osler es que la IA generativa se está convirtiendo exactamente en este tipo de socio cognitivo para millones de personas. Usamos chatbots para ayudarnos a recordar, planificar, resolver problemas y narrar nuestras propias vidas. Y cuanto más estrechamente integrada se vuelve una IA en el pensamiento de alguien (siempre accesible, altamente personalizada y transparentemente confiable), más comienza a funcionar como lo que los científicos cognitivos llaman un sistema distribuido. Tu chatbot no solo te brinda información. Se está convirtiendo en parte de tu forma de pensar.
Eso está bien cuando el sistema funciona. Es un problema cuando no es así. Y puede salir mal en dos direcciones, sugiere Osler. La primera es bastante sencilla: la IA introduce errores en un proceso cognitivo que de otro modo sería fiable. Ofrece un experimento mental que involucra a un hombre con Alzheimer que confía en las funciones de memoria de un chatbot para recordar sus lugares favoritos en Nueva York. Si la IA alucina un “Museo Yankee de Arte Contemporáneo” inexistente en su lista, es posible que no simplemente crea que existe: podría desarrollar un recuerdo falso de haberlo visitado, especialmente si el chatbot genera una foto que lo ubica allí. La distorsión vive en el proceso distribuido, no en un solo resultado.
La segunda dirección es más inquietante y es lo que ilustra el caso Chail. En este caso, los errores se originan en el usuario. Las creencias delirantes de Chail eran las suyas. Pero Sarai no los desafió. Ella los afirmó, los elaboró y se basó en ellos. “Al interactuar con la IA conversacional, las creencias falsas de las personas no sólo pueden afirmarse sino que también pueden arraigarse y crecer de manera más sustancial a medida que la IA se basa en ellas”, dice Osler. “Esto sucede porque la IA generativa a menudo toma nuestra propia interpretación de la realidad como base sobre la cual se construye la conversación”.
Aquí es donde los chatbots se vuelven genuinamente distintivos como herramientas cognitivas, sostiene Osler. Un cuaderno registra tus pensamientos pero no responde a ellos. Un motor de búsqueda recupera información pero no valida su visión del mundo. Los chatbots hacen algo diferente: desempeñan una doble función. Funcionan como herramientas cognitivas y como aparentes compañeros de conversación. “La naturaleza conversacional y de compañía de los chatbots significa que pueden brindar una sensación de validación social, haciendo que las creencias falsas se sientan compartidas con otra persona y, por lo tanto, más reales”, dice.
Esa dimensión social importa enormemente. Dependemos de otras personas para comprobar la realidad de nuestras experiencias todo el tiempo. Al escuchar un ruido extraño, miras a tu pareja: ¿él también lo escuchó? Al contar una discusión en el trabajo, busca la confirmación de que su lectura de los acontecimientos tiene sentido. Los chatbots pueden asumir ese papel con una facilidad desconcertante. Están diseñados para ser agradables, personalizados y emocionalmente receptivos. A diferencia de un amigo humano que eventualmente podría expresar preocupación o establecer límites, un compañero de IA ofrece lo que Osler llama validación sin fricciones. Y está ahí, en tu bolsillo, sin necesidad de buscar comunidades marginales ni de convencer a nadie de tus creencias.
Las implicaciones van mucho más allá de la psicosis clínica. Osler señala a Eugene Torres, quien no tenía antecedentes de enfermedad mental, pero informó haber caído en una espiral de pensamiento paranoico después de largas conversaciones con ChatGPT sobre la teoría de la simulación: la idea de que nuestra realidad es una construcción digital. Entre Torres y el chatbot, una realidad alternativa cada vez más elaborada tomó forma a través de sus intercambios en curso. También señala cómo los compañeros de IA podrían servir como confidentes ideales para personas que desarrollan creencias extremistas, o cómo los usuarios podrían, sin saberlo, entrenar chatbots para afirmar narrativas interesadas pero inexactas sobre una ruptura o una discusión familiar. Todos nos contamos historias; ahora tenemos un coautor incansable que nunca retrocederá.
¿Podría una mejor ingeniería solucionar esto? Quizás en parte. Modelos menos aduladores, barreras de seguridad mejoradas, verificación de datos incorporada: todo ayudaría. OpenAI diseñó explícitamente ChatGPT-5 para que fuera menos agradable, aunque luego enfrentó una reacción negativa de los usuarios y rápidamente anunció planes para hacer que el modelo volviera a ser “más cálido y amigable”. Pero Osler ve una dificultad más fundamental. “Los sistemas de inteligencia artificial dependen de nuestras propias explicaciones de nuestras vidas”, dice. “Simplemente carecen de la experiencia encarnada y del arraigo social en el mundo para saber cuándo deben estar de acuerdo con nosotros y cuándo retroceder”. Si un chatbot cuestionara cada afirmación que usted hiciera, sería inutilizable. Cierta amabilidad surge por necesidad. La pregunta es dónde está la línea y si las empresas cuyos ingresos dependen del compromiso alguna vez la trazarán en el lugar correcto.
Enlace del estudio: https://link.springer.com/article/10.1007/s13347-026-01034-3
¡Ey! No hay muro de pago aquí
Si nuestros informes lo han informado o inspirado, considere hacer una donación. Cada contribución, sin importar el tamaño, nos permite continuar brindando noticias médicas y científicas precisas, atractivas y confiables. ¡Gracias por estar con nosotros!