Las modestas ganancias de GPT-5 sugieren que el progreso de AI se está desacelerando

El último paso hacia adelante de AI no es tanto un salto gigante como una baraja tentativa. Operai ha lanzado su nuevo modelo de IA, GPT-5dos años después de implementar GPT-4cuyo éxito ha impulsado el chatgpt hacia la dominación mundial. Pero a pesar de las promesas de un salto similar en la capacidad, GPT-5 parece mostrar poca mejora sobre otros modelos de IA líderes, insinuando que la industria puede necesitar un enfoque nuevo para construir sistemas de IA más inteligentes.

Los propios pronunciamientos de OpenAI provienen de GPT-5 como un “salto significativo en inteligencia” de los modelos anteriores de la compañía, que muestra mejoras aparentes en la programación, las matemáticas, la escritura, la información de salud y la comprensión visual. También promete alucinaciones menos frecuentes, que es cuando una IA presenta información falsa como verdadera. En un punto de referencia interno que mide el “rendimiento en el trabajo de conocimiento complejo y económicamente valioso”, OpenAi dice que GPT – 5 es “comparable o mejor que los expertos en aproximadamente la mitad de los casos … en todas las tareas que abarcan más de 40 ocupaciones, incluida la ley, la logística, las ventas e ingeniería”.

Sin embargo, el desempeño de GPT-5 en puntos de referencia público no es dramáticamente mejor que los modelos liderados de otras compañías de IA, como Claude de Anthrope o Gemini de Google. Ha mejorado en GPT-4, pero la diferencia para muchos puntos de referencia es menor que el salto de GPT-3 a GPT-4. Muchos clientes de ChatGPT también tienen no ha sido impresionadocon ejemplos de GPT-5 que no responden a consultas aparentemente simples que reciben atención generalizada en las redes sociales.

“Mucha gente esperaba que hubiera un gran avance, y no es un gran avance”, dice Mirella lapata en la Universidad de Edimburgo, Reino Unido. “Es una actualización, y se siente un poco incremental”.

Las medidas más completas del rendimiento de GPT-5 provienen de OpenAI, ya que solo tiene acceso completo al modelo. Pocos detalles sobre el punto de referencia interno se han hecho público, dice Anna Rogers en la Universidad de TI de Copenhague en Dinamarca. “Por lo tanto, no es algo que pueda discutirse seriamente como una afirmación científica”.

En una conferencia de prensa antes del lanzamiento del modelo, Altman afirmó que “GPT-5 es la primera vez que realmente se siente como hablar con un experto en cualquier tema, como un experto en nivel de doctorado”. Pero esto no es compatible con los puntos de referencia, dice Rogers, y no está claro cómo un doctorado se relaciona con la inteligencia en general. “Las personas altamente inteligentes no necesariamente tienen grados de doctorado, y tener tal grado no necesariamente garantiza una alta inteligencia”, dice Rogers.

Las mejoras aparentemente modestas de GPT-5 podrían ser un signo de dificultades más amplias para los desarrolladores de IA. Hasta hace poco, se pensaba que tales modelos de idiomas grandes (LLM) se vuelven más capaces con más datos de capacitación y energía de la computadora. Parece que esto ya no se ve confirmado por los resultados de los últimos modelos, y las empresas no han podido encontrar mejor Diseño del sistema de IAS que aquellos que han impulsado Chatgpt. “Todos tienen la misma receta en este momento y sabemos cuál es la receta”, dice Lapata, refiriéndose al proceso de los modelos de pre-entrenamiento con una gran cantidad de datos y luego haciendo ajustes con los procesos posteriores al entrenamiento después.

Sin embargo, es difícil decir qué tan cerca están los LLM para estancarse porque no sabemos exactamente cómo se diseñan modelos como GPT-5, dice Nikos Aletras en la Universidad de Sheffield, Reino Unido. “Tratando de hacer generalizaciones sobre [whether] Los modelos de idiomas grandes han llegado a una pared pueden ser prematuros. Realmente no podemos hacer estas afirmaciones sin ninguna información sobre los detalles técnicos “.

Operai ha estado trabajando de otras maneras para que su producto sea más eficiente, como el nuevo sistema de enrutamiento de GPT-5. A diferencia de las instancias anteriores de ChatGPT, donde las personas pueden elegir qué modelo de IA usar, GPT-5 ahora escanea las solicitudes y las dirige a un modelo específico que utilizará una cantidad apropiada de energía computacional.

Este enfoque podría adoptar más ampliamente, dice Lapata. “Los modelos de razonamiento usan mucho [computation]y esto requiere tiempo y dinero “, dice.” Si puedes responder con un modelo más pequeño, veremos más de eso en el futuro “. Pero el movimiento ha enojado a algunos clientes de Chatgpt, lo que llevó a Altman a decir el la empresa está buscando al mejorar el proceso de enrutamiento.

Hay signos más positivos para el futuro de la IA en un modelo Operai separado que ha logrado puntajes de medallas de oro en competiciones de codificación matemática y de elite en el último mes, algo que los mejores modelos de IA no podían hacer hace un año. Mientras que los detalles de cómo funcionan los modelos son nuevamente escasos, Los empleados de Operai tienen Dicho su éxito sugiere que el sistema tiene capacidades de razonamiento más generales.

Estas competiciones son útiles para probar modelos en los datos que no han visto durante su entrenamiento, dice Aletras, pero todavía son pruebas estrechas de inteligencia. Aumentar el rendimiento de un modelo en un área también podría empeorar en otros, dice Lapata, que puede ser difícil de seguir.

Un área donde GPT-5 ha mejorado significativamente es su precioque ahora es mucho más barato que otros modelos: el mejor modelo de Claude de Anthrope, por ejemplo, cuesta aproximadamente 10 veces más para procesar el mismo número de solicitudes al momento de escribir. Pero esto podría presentar sus propios problemas a largo plazo, si los ingresos de OpenAI no cubren los vastos costos con los que se han comprometido en la construcción y la ejecución de nuevos centros de datos. “El precio es una locura. Es tan barato que no sé cómo pueden pagar esto”, dice Lapata.

La competencia entre los principales modelos de IA es feroz, especialmente con la expectativa de que el primer modelo que se adelanta a los demás tomará la mayor parte de la cuota de mercado. “Todas estas grandes compañías, están tratando de ser el único ganador, y esto es difícil”, dice Lapata. “Eres un ganador durante tres meses”.