La alerta no fue sonada con sirenas; como sea que probablemente debería haber sido. Parece que en algunas de las salas de políticas más cerradas y en los apresurados boletines internos de los órganos de supervisión bancaria y financiera europeos, las autoridades están empezando a sospechar algo aterrador. Es posible que el próximo apocalipsis financiero no sea creado por ninguno de nuestros compañeros homo sapiens.
En primer lugar, es un modelo de IA que puede probar un sistema, descubrir sus vulnerabilidades y, en determinadas condiciones, explotarlas. Según múltiples fuentes anónimas de la industria, el BCE ha comenzado a comunicarse con los bancos para preguntarles cómo se sienten acerca de la exposición a este tipo de nuevo riesgo. Lo cual ya está ocurriendo, y sobre lo cual puede obtener más información detallada en este artículo: Los funcionarios del BCE están analizando el riesgo de que las instituciones financieras sean explotadas por modelos de IA agentes.
Por supuesto, siempre hablamos de la amenaza del riesgo cibernético de un ciberataque y, por supuesto, siempre hemos tenido eso. Pero este no es el tipo habitual con una sudadera con capucha de sótano. Se trata de un código con pasos que puede analizar, acciones que puede encadenar y, en determinadas pruebas, ataques complejos. Esto es lo que les preocupa.
Y ahora llegamos a la parte más extraña de esta historia. Algunos de esos ejecutivos han declarado públicamente que están “muy conscientes” de los riesgos; es decir, no duermen muy bien por la noche. Se informa que sistemas de inteligencia artificial similares al Mythos de Anthropic ya han podido ejecutar ejercicios autónomos de simulación de ciberataques de varios pasos sin intervención humana. Si esto no suena muy aterrador.
Pero ese no es el panorama completo. También hay informes de que Mythos es una versión temprana de agentes de IA. En general, la evolución de la IA está pasando de un chatbot que puede generar texto a uno que puede realizar pasos de planificación y razonamiento, y a agentes de IA que realmente pueden llevar a cabo los planes que generan. Los reguladores están cada vez más preocupados por los agentes de IA y están discutiendo qué tipo de regulaciones podrían ser necesarias.
Entonces, ¿dónde nos deja eso? En una especie de lugar medio “asombrado”, medio asustado. Por un lado, imaginemos una IA que pueda encontrar agujeros de seguridad y solucionarlos antes de que lo hagan los malos actores. Por otro lado… imagine que los malos actores los encuentran primero.
Luego está la cuestión de la confianza, que nunca recibe mucha prensa. Si los bancos, algunas de las organizaciones más reacias al riesgo del mundo, están asustados, ¿qué deberíamos pensar el resto de nosotros? ¿Confías tu dinero a una IA si tiene la capacidad de robarle a otra persona?
Algunas personas creen que ya está en marcha una “carrera de la IA”, en la que naciones y empresas luchan por desarrollar la defensa tan rápido como ven que se utiliza la ofensiva.
Al final, esto no es sólo otra historia tecnológica; es uno de los muchos signos del futuro.