Si alguien lo construye, todos mueren: por qué la IA sobrehumana nos mataría a todos, por Eliezer Yudkowsky y Nate Soares, Little, Brown, and Company, 272 páginas, 30 dólares
Eliezer Yudkowsky y Nate Soares tienen un nuevo libro titulado Si alguien lo construye, todos mueren: por qué la IA sobrehumana nos mataría a todos. “No lo decimos como una hipérbole”, escriben. Creen que la investigación sobre inteligencia artificial inevitablemente producirá máquinas superinteligentes y que estas máquinas inevitablemente matarán a todos.
Ésta es una afirmación extraordinaria. Requiere pruebas extraordinarias. En cambio, ofrecen una cadena de experimentos mentales, premisas no examinadas y un juego de manos lingüístico que introduce de contrabando su conclusión en la definición de inteligencia misma.
El argumento central del libro se basa en el “problema de alineación”: el esfuerzo por garantizar que los sistemas avanzados de IA compartan los valores humanos. Yudkowsky popularizó este concepto. Los seres humanos, sostienen los autores, triunfan gracias a la inteligencia, que definen como “el trabajo de predecir el mundo y el trabajo de dirigirlo”. Las computadoras superarán la inteligencia humana porque son más rápidas, pueden copiarse a sí mismas, tienen una memoria perfecta y pueden modificar su propia arquitectura. Debido a que los sistemas de IA “crecen” mediante capacitación en lugar de programarse explícitamente, no podemos especificar completamente sus objetivos. Cuando la IA superinteligente persigue objetivos que divergen aunque sea ligeramente de los valores humanos, optimizará implacablemente hacia esos objetivos ajenos. Cuando interferimos, nos eliminará.
Para Yudkowsky y Soares, la alineación no se trata de enseñar ética a las máquinas o prevenir el mal uso humano. Se trata de evitar que un optimizador indiferente arrase el mundo. Creen que una superinteligencia no alineada es una sentencia de muerte global.
Por lo tanto, argumentan, toda investigación sobre IA debe detenerse de inmediato. Los gobiernos deberían monitorear computadoras poderosas, prohibir la posesión de más de ocho GPU de última generación sin supervisión y criminalizar la investigación de IA. Una coalición internacional debería destruir los centros de datos deshonestos mediante “ciberataques, sabotajes o ataques aéreos convencionales”, incluso arriesgándose a una guerra nuclear, porque “los centros de datos pueden matar a más personas que las armas nucleares”. Estas medidas, afirman, “no supondrán una gran diferencia en la vida diaria de la mayoría de las personas” y “no supondrían una gran diferencia con respecto al poder estatal”.
Se trata de un autoritarismo sorprendentemente casual. Una prohibición total de la investigación de una tecnología de uso general que ya ofrece importantes beneficios para la salud y la productividad, impuesta por organismos internacionales militarizados, colocaría a la sociedad global en una situación permanente de guerra.
Pero el problema no es sólo el medicamento. Es el diagnóstico.
***
Al definir la inteligencia como la capacidad de predecir y dirigir el mundo, Yudkowsky y Soares fusionan dos capacidades distintas (comprender y actuar) en un solo concepto. Esto convierte su conclusión en su premisa. Si la inteligencia incluye inherentemente la dirección, entonces cualquier sistema suficientemente inteligente es, por definición, un agente que configura el mundo. El problema de la alineación deja de ser una hipótesis sobre cómo podrían comportarse ciertas arquitecturas de IA, sino una tautología sobre cómo deben comportarse todos los sistemas inteligentes.
Sin embargo, un economista puede entender los mercados sin dirigirlos. Google Maps predice los tiempos de viaje, pero no puede conducir su automóvil ni despejar el tráfico. Dirigir requiere más que predicción. Necesita retroalimentación, memoria, actuadores y objetivos persistentes.
Los grandes modelos de lenguaje (la tecnología subyacente a ChatGPT y sistemas similares) tienen que ver fundamentalmente con la predicción. Predicen el siguiente elemento de una secuencia. Son sofisticados motores de coincidencia de patrones, desarrollados a través del entrenamiento en vastos conjuntos de datos en lugar de ser programados explícitamente. El libro enfatiza esta naturaleza “crecida, no elaborada” como evidencia de que no podemos comprender ni controlar tales sistemas. Pero estas herramientas no se optimizan hacia los objetivos y no tienen capacidad para actuar en el mundo. Son predicciones sin dirección.
Las empresas de tecnología ahora construyen IA “agente” utilizando modelos de lenguaje, pero las partes agentes que establecen objetivos, planifican y ejecutan dependen de técnicas tradicionales e interpretables. Estos componentes se elaboran a mano, no se cultivan. La distinción entre motores de predicción entrenados y marcos de agentes diseñados socava el argumento de Yudkowsky de que estamos desarrollando inteligencias alienígenas incontrolables.
Los autores intentan abordar esta objeción en sus recursos en línea (que son más coherentes que el libro). Sostienen que la predicción y la dirección se combinan porque la predicción sofisticada a veces requiere pasos intermedios con la dirección; Para predecir el mundo físico con precisión, es posible que deba realizar experimentos. Pero esto no une la predicción y la dirección: simplemente significa que los sistemas no genéticos no pueden hacer ciertas predicciones. Un modelo meteorológico que no pueda realizar experimentos será menos preciso que uno que sí pueda, pero esto no significa que este último pueda controlar el tiempo.
***
También tenemos ejemplos de sistemas no humanos que cumplen con la definición de inteligencia de Yudkowsky porque predicen y dirigen. Los mercados predicen la escasez y la abundancia futuras a través de señales de precios y luego dirigen los recursos hacia sus usos de mayor valor. Ningún individuo comprende o controla completamente estos mecanismos. Los mercados “crecen” a través de innumerables decisiones individuales en lugar de ser diseñados centralmente. Y han generado una prosperidad sin precedentes, no una catástrofe existencial.
Esto señala un problema más profundo: los autores malinterpretan constantemente el orden emergente y los sistemas complejos. Equiparan la falta de comprensión total con la falta de control. Tratan a los grandes modelos de lenguaje “en crecimiento” como inherentemente peligrosos, a pesar de que hacer crecer cosas que no entendemos completamente ha sido la norma en la civilización humana. Cultivamos alimentos mediante prácticas agrícolas milenarias sin entender la bioquímica. Hacemos crecer las instituciones a través de la evolución gradual de normas y reglas. Hacemos crecer sociedades funcionales a través de las interacciones de millones de personas que persiguen sus propios fines.
La mala comprensión de los sistemas complejos por parte de los autores socava su argumento de tres maneras. Primero, Yudkowsky y Soares suponen que cualquier sistema demasiado complejo para un análisis completo debe ser peligroso y que cualquier proceso agente poderoso que no esté bajo control centralizado optimizará valores ajenos. Pero los sistemas complejos pueden generar robustez y autocorrección.
En segundo lugar, admiten que la predicción sofisticada a veces requiere experimentación en el mundo real: no se puede predecir la física sin realizar experimentos. Pero si una IA superinteligente debe interactuar con el mundo real para recopilar datos para sus predicciones, debe interactuar con otros sistemas “superinteligentes” en el sentido de Yudkowsky: mercados que predicen y dirigen recursos, sociedades que predicen y coordinan el comportamiento, ecosistemas que responden adaptativamente a la intervención. Estos sistemas limitarán la IA a través de la retroalimentación, obligándola a participar en un juego de múltiples agentes con una incertidumbre radical en lugar de un problema de optimización para un solo jugador que pueda resolver de forma aislada.
Finalmente, los sistemas complejos imponen límites fundamentales, incluso para la superinteligencia. Los sistemas computacionalmente irreducibles no se pueden predecir de manera precisa y eficiente. Las dinámicas sociales emergentes, las reacciones del mercado a las intervenciones y las cascadas ecológicas exhiben esta propiedad. Los autores suponen que una mayor inteligencia y velocidad computacional se traducen directamente en un control omnipotente, pero los sistemas complejos no ceden a la predicción de fuerza bruta. Una IA superinteligente que intentara “dirigir” la civilización se enfrentaría a las mismas incertidumbres irreductibles que limitan a los planificadores humanos, sólo que con más recursos computacionales para desperdiciar en problemas irresolubles.
***
Es posible que Yudkowsky haya acelerado el desarrollo de la IA que ahora condena. Después de abandonar la escuela secundaria para desarrollar superinteligencia, fundó el Instituto de Investigación de Inteligencia Artificial (MIRI). El libro afirma que los fundadores de DeepMind conocieron a su primer gran financiador en un evento MIRI, y el director ejecutivo de OpenAI, Sam Altman, afirma que Yudkowsky le interesó en la inteligencia artificial general. Yudkowsky también creó el sitio web LessWrong, un centro de la comunidad “racionalista”. La superposición entre esta subcultura y el altruismo efectivo ha hecho que el marco de seguridad de la IA de Yudkowsky sea muy influyente entre los filántropos tecnológicos.
Esa influencia importa. Si bien pocos respaldan públicamente las propuestas más extremas de Yudkowsky, su retórica ha dado forma al debate. Enmarcar el desarrollo de la IA como un omnicidio inevitable hace que sea más probable que la gente concentre el poder sobre una tecnología transformadora en manos de los gobiernos y las empresas establecidas. También corre el riesgo de invitar a actos de terrorismo. (Los autores advierten, en una nota a pie de página de dos frases, que “incluso si te sientes desesperado”, esa violencia sería ineficaz).
Todo esto se basa en experimentos mentales y extrapolaciones, no en evidencia. El libro asume lo que necesita demostrar: que la predicción avanzada necesariamente se convierte en una agencia peligrosa, que los sistemas que no comprendemos completamente no pueden implementarse de manera segura, que la optimización hacia objetivos específicos significa inevitablemente optimizar la existencia humana.
Construir herramientas que complementen nuestros esfuerzos cognitivos, como los motores complementan nuestros esfuerzos físicos, podría crear una prosperidad sin precedentes. La respuesta a la IA debe ser una gobernanza reflexiva que aborde los riesgos reales (ciberseguridad, uso indebido, perturbaciones económicas) y al mismo tiempo preserve el dinamismo necesario para construir un mundo mejor.
En cambio, Yudkowsky y Soares ofrecen estancamiento y desesperación. El mayor fracaso de su libro no son sus parábolas forzadas ni sus argumentos poco convincentes. Es ignorar que los sistemas complejos que nos rodean se resisten a la predicción y la dirección. Irónicamente, sus recomendaciones para mantener el control obstaculizarían la capacidad de la humanidad para resolver problemas difíciles de manera inteligente.
Los autores caracterizan su conclusión como una “decisión fácil”. Que no es. La facilidad con la que descartan alternativas debería hacer que los lectores se muestren escépticos sobre su juicio.
Este artículo apareció originalmente impreso bajo el título “La IA superinteligente no viene a matarte”.