Las empresas en la frontera de la inteligencia artificial deberían estar preparadas para reducir el ritmo, afirma una de las que más rápido se mueve.
Anthropic, el creador del chatbot Claude, ha afirmado que los sistemas de inteligencia artificial pueden estar en la cúspide de lo que llama automejora recursiva: el punto en el que pueden diseñar y construir sus propios sucesores con poca participación humana. La compañía dijo que esto podría aumentar el riesgo de que los humanos pierdan el control de la tecnología.
“Creemos que sería bueno para el mundo tener la opción de ralentizar o pausar temporalmente el desarrollo de la IA fronteriza para permitir que las estructuras sociales y la investigación de alineación se mantengan al día con el avance de la tecnología”, dijo Anthropic en una publicación de blog del 4 de junio titulada “Cuando la IA se construye a sí misma”.
Sobre el apoyo al periodismo científico
Si está disfrutando de este artículo, considere apoyar nuestro periodismo galardonado suscribiéndose. Al comprar una suscripción, ayudas a garantizar el futuro de historias impactantes sobre los descubrimientos y las ideas que dan forma a nuestro mundo actual.
La propuesta destaca un problema difícil en la gobernanza de la IA. Una desaceleración requeriría que empresas y gobiernos rivales de varios países aceptaran los mismos límites al mismo tiempo, sin ningún tratado que los obligue y la competencia sólo se intensificaría. Eso hace que la advertencia sea técnicamente importante y políticamente complicada: Anthropic ha pedido frenar en una carrera en la que sigue siendo líder.
La velocidad a la que se está desarrollando la tecnología podría tener “enormes implicaciones” para la sociedad, afirma la publicación del blog. La empresa señaló su propia operación como señal de advertencia. Anthropic dijo que Claude ahora escribe más del 80 por ciento del código fusionado en sus sistemas, en comparación con un solo dígito antes de que la compañía lanzara Claude Code a principios de 2025. Y Anthropic agregó que sus ingenieros envían alrededor de ocho veces más código por trimestre que hace unos años. En cada paso de la construcción de la IA, argumentó la empresa, el papel humano se reduce. “Aún no hemos llegado a ese punto y la superación personal recursiva no es inevitable”, dijo la empresa. “Pero podría llegar antes de lo que la mayoría de las instituciones están preparadas”.
Anthropic lanzó lo que llamó “un mecanismo de coordinación global” para frenar o incluso pausar el desarrollo de la IA y permitir que la sociedad tenga espacio para ponerse al día.
Anthropic se quedó corto en detalles. Señaló los acuerdos de control de armas sobre misiles nucleares de alcance intermedio como un modelo vago. Para que tal pausa se mantenga, dijo, los laboratorios líderes de la industria tendrían que participar, y tendría que haber una manera creíble de demostrar que, de hecho, se han desacelerado.
“No creo que sea un llamado genuino a reducir la velocidad”, dice Noah Giansiracusa, profesor asociado de matemáticas en la Universidad Bentley y autor de dos libros sobre algoritmos y sociedad. “Hemos leído [Anthropic CEO] Publicaciones del blog de Dario Amodei. Creo que quiere seguir avanzando a toda velocidad”.
Anthropic no respondió a las preguntas de Scientific American sobre cómo funcionaría dicho freno o cómo ve la compañía las críticas de que ha exagerado lo que pueden hacer sus sistemas.
Giansiracusa también cree que una pausa es inviable. “Es literalmente imposible”, dice. “Cero posibilidades de que haya una desaceleración. Ni siquiera estoy hablando de China: Elon Musk nunca desaceleraría”.
La propuesta se ajusta a un patrón que hace que algunos investigadores sean cautelosos. Hace dos meses, Anthropic dio a conocer un modelo llamado Mythos que se negó a hacer público, diciendo que el modelo era demasiado bueno para encontrar vulnerabilidades de software. El llamado a una pausa también se produjo pocos días después de que Anthropic presentara de manera confidencial una oferta pública inicial y poco después de una ronda de financiación que valoró a la empresa en cerca de 1 billón de dólares.
Para los escépticos, pronunciamientos tan sorprendentes pueden interpretarse como una estrategia de negocios, una forma de llevar el escrutinio regulatorio a la frontera mientras Anthropic continúa corriendo hacia ella. Mark Riedl, profesor de la Escuela de Computación Interactiva del Instituto de Tecnología de Georgia, publicó en Bluesky que “todas las grandes empresas de IA se están subiendo al tren de la ‘superación personal recursiva'”.
Anthropic dice que pasará los próximos meses reuniendo a gobiernos, investigadores y empresas rivales de IA para determinar si una desaceleración coordinada podría funcionar en la práctica.
“Realmente no veo motivo de preocupación”, dice Giansiracusa. “Están coqueteando con la idea de la singularidad, que es algo que cambia las reglas del juego, y yo simplemente no lo veo. Veo que continúa progresando. Tal vez las cosas se aceleren; tal vez no”. La evidencia que cita Anthropic (más código escrito por IA) sugiere que la tecnología es útil, dice, en lugar de “un gran salto”.
Es hora de defender la ciencia
Si te ha gustado este artículo, me gustaría pedirte tu apoyo. Científico americano ha servido como defensor de la ciencia y la industria durante 180 años, y ahora mismo puede ser el momento más crítico en esos dos siglos de historia.
he sido un Científico americano suscriptor desde que tenía 12 años y me ayudó a moldear mi forma de ver el mundo. Ciencia-Am Siempre me educa y me deleita, e inspira una sensación de asombro por nuestro vasto y hermoso universo. Espero que también lo haga por ti.
Si te suscribes a Científico americanousted ayuda a garantizar que nuestra cobertura se centre en investigaciones y descubrimientos significativos; que tenemos los recursos para informar sobre las decisiones que amenazan a los laboratorios en todo Estados Unidos; y que apoyemos a los científicos tanto en ciernes como en activo en un momento en el que con demasiada frecuencia el valor de la ciencia misma pasa desapercibido.
A cambio, obtiene noticias esenciales, podcasts cautivadores, infografías brillantes, boletines informativos imperdibles, vídeos imprescindibles, juegos desafiantes y los mejores escritos e informes del mundo científico. Incluso puedes regalarle a alguien una suscripción.
Nunca ha habido un momento más importante para que nos levantemos y demostremos por qué la ciencia es importante. Espero que nos apoyes en esa misión.