El modelo o3 de OpenAI superó una prueba de razonamiento de IA, pero aún no es AGI

OpenAI anunció un gran logro para su nuevo modelo de IA o3

Rokás Tenys / Alamy

El nuevo modelo de inteligencia artificial o3 de OpenAI ha logrado una puntuación alta en un prestigiosa prueba de razonamiento de IA llamado ARC Challenge, inspirando a algunos fanáticos de la IA a especular que o3 ha logrado inteligencia artificial general (AIG). Pero incluso cuando los organizadores del ARC Challenge describieron el logro de o3 como un hito importante, también advirtieron que no ganó el gran premio de la competencia, y es solo un paso en el camino hacia AGI, un término para una hipotética IA futura con inteligencia similar a la humana. .

El modelo o3 es el último de una línea de lanzamientos de IA que siguen a los grandes modelos de lenguaje que impulsan ChatGPT. “Se trata de un sorprendente e importante aumento de la función escalonada en las capacidades de la IA, que muestra una capacidad novedosa de adaptación de tareas nunca antes vista en los modelos de la familia GPT”, dijo François Cholletingeniero de Google y principal creador del ARC Challenge, en un publicación de blog.

¿Qué hizo realmente el modelo o3 de OpenAI?

Chollet diseñó el Corpus de abstracción y razonamiento (ARC) Desafío en 2019 para probar qué tan bien las IA pueden encontrar patrones correctos que vinculen pares de cuadrículas de colores. Estos acertijos visuales tienen como objetivo hacer que las IA demuestren una forma de inteligencia general con capacidades básicas de razonamiento. Pero dedicar suficiente potencia informática a los acertijos podría permitir que incluso un programa sin razonamiento simplemente los resuelva mediante la fuerza bruta. Para evitar esto, el concurso también exige que las presentaciones de puntuaciones oficiales cumplan ciertos límites en cuanto a potencia informática.

El modelo o3 recientemente anunciado de OpenAI, cuyo lanzamiento está previsto para principios de 2025, logró su puntuación oficial de avance del 75,7 por ciento en la prueba “semiprivada” del ARC Challenge, que se utiliza para clasificar a los competidores en una tabla de clasificación pública. El coste informático de su logro fue de aproximadamente 20 dólares por cada tarea de rompecabezas visual, cumpliendo con el límite de la competencia de menos de 10.000 dólares en total. Sin embargo, la prueba “privada” más dura que se utiliza para determinar los ganadores del gran premio tiene un límite de potencia informática aún más estricto, equivalente a gastar sólo 10 centavos en cada tarea, que OpenAI no cumplió.

El modelo o3 también logró una puntuación no oficial del 87,5 por ciento al aplicar aproximadamente 172 veces más potencia de cálculo que la puntuación oficial. A modo de comparación, la puntuación humana típica es del 84 por ciento, y una puntuación del 85 por ciento es suficiente para ganar el gran premio de 600.000 dólares del ARC Challenge, si el modelo también puede mantener sus costes informáticos dentro de los límites requeridos.

Pero para alcanzar su puntuación no oficial, el costo de o3 se disparó a miles de dólares gastados en resolver cada tarea. OpenAI solicitó que los organizadores del desafío no publicaran los costos informáticos exactos.

¿Este logro de O3 muestra que se ha alcanzado el AGI?

No, los organizadores del desafío ARC han dicho específicamente que no consideran que superar este punto de referencia de la competencia sea un indicador de haber alcanzado el AGI.

El modelo o3 tampoco logró resolver más de 100 tareas de rompecabezas visuales, incluso cuando OpenAI aplicó una gran cantidad de potencia informática para obtener la puntuación no oficial, dijo Mike Knoop, organizador del ARC Challenge en la empresa de software Zapier, en una publicación en las redes sociales. correo en X.

en una red social correo en cielo azul, Melanie Mitchell en el Instituto Santa Fe en Nuevo México dijo lo siguiente sobre el progreso de o3 en el punto de referencia ARC: “Creo que resolver estas tareas mediante computación de fuerza bruta frustra el propósito original”.

“Si bien el nuevo modelo es muy impresionante y representa un gran hito en el camino hacia AGI, no creo que esto sea AGI; todavía hay un buen número de soluciones muy fáciles. [ARC Challenge] tareas que o3 no puede resolver”, dijo Chollet en otro X correo.

Sin embargo, Chollet describió cómo podríamos saber cuándo alguna forma de AGI ha demostrado inteligencia a nivel humano. “Sabrás que AGI está aquí cuando el ejercicio de crear tareas que sean fáciles para los humanos comunes pero difíciles para la IA se vuelva simplemente imposible”, dijo en la publicación del blog.

Thomas Dietterich en la Universidad Estatal de Oregon sugiere otra forma de reconocer el AGI. “Esas arquitecturas afirman incluir todos los componentes funcionales necesarios para la cognición humana”, afirma. “Según esta medida, a los sistemas comerciales de IA les falta memoria episódica, planificación, razonamiento lógico y, lo más importante, metacognición”.

Entonces, ¿qué significa realmente la puntuación alta de o3?

La alta puntuación del modelo o3 se produce cuando la industria tecnológica y los investigadores de IA han estado considerando una ritmo de progreso más lento en los últimos modelos de IA para 2024, en comparación con los explosivos desarrollos iniciales de 2023.

Aunque no ganó el ARC Challenge, la alta puntuación de o3 indica que los modelos de IA podrían superar el punto de referencia de la competencia en un futuro próximo. Más allá de su alto puntaje no oficial, Chollet dice que muchas presentaciones oficiales con bajo cálculo ya han obtenido puntajes superiores al 81 por ciento en el conjunto de pruebas de evaluación privada.

Dietterich también considera que “se trata de un salto de rendimiento muy impresionante”. Sin embargo, advierte que, sin saber más sobre cómo OpenAI o1 y los modelos o3 funcionan, es imposible evaluar cuán impresionante es la puntuación alta. Por ejemplo, si o3 pudiera practicar los problemas ARC con anticipación, eso facilitaría su logro. “Tendremos que esperar a una replicación de código abierto para comprender todo el significado de esto”, dice Dietterich.

Los organizadores del ARC Challenge ya están buscando lanzar un segundo y más difícil conjunto de pruebas comparativas en algún momento de 2025. También mantendrán el desafío ARC Prize 2025 en marcha hasta que alguien logre el gran premio y abra su solución.

Temas: