El resultado más limpio en la prueba METR es también el que tiene más probabilidades de ser mal interpretado.
En un ensayo controlado aleatorio publicado en julio de 2025, METR informó que los desarrolladores experimentados de código abierto tardaron un 19% más en completar tareas de codificación reales cuando se les permitió usar herramientas de inteligencia artificial. Después del estudio, esos mismos desarrolladores estimaron, en promedio, que la IA los había hecho un 20% más rápidos.
Este es un estudio, no un consenso establecido. Se ejecutó en un entorno particular: 16 desarrolladores experimentados de código abierto, 246 tareas, repositorios maduros y herramientas de inteligencia artificial disponibles entre febrero y junio de 2025. El propio METR ahora etiqueta el resultado como histórico, diciendo que ya no refleja necesariamente las herramientas de inteligencia artificial actuales o los flujos de trabajo actuales de los desarrolladores.
Esa advertencia es importante. El hallazgo no es que la IA no pueda ayudar a los programadores. Es que, en esta prueba, la velocidad autoinformada y el tiempo de finalización medido apuntaban en direcciones opuestas.
Lo que realmente probó METR
METR, abreviatura de Model Evaluación and Threat Research, es una organización de investigación sin fines de lucro que evalúa sistemas de IA. El estudio fue publicado como artículo Midiendo el impacto de la IA a principios de 2025 en la productividad de los desarrolladores experimentados de código abierto, por Joel Becker, Nate Rush, Elizabeth Barnes y David Rein. METR también publicó un artículo en lenguaje sencillo sobre el resultado.
El diseño del estudio fue inusualmente cercano al trabajo real. No se pidió a los desarrolladores que resolvieran problemas de juguetes ni acertijos de codificación cronometrados. Trabajaron en temas de repositorios de código abierto que ya conocían bien. En promedio, tenían unos cinco años de experiencia previa en los proyectos involucrados.
Cada tarea se asignó aleatoriamente a una de dos condiciones: IA permitida o IA no permitida. Cuando se permitió la IA, los desarrolladores pudieron utilizar las herramientas que prefirieran. En la práctica, METR dice que utilizaron principalmente Cursor Pro con Claude 3.5 o Claude 3.7 Sonnet, junto con funciones de chat, modo agente y autocompletar.
Las tareas fueron correcciones de errores reales, funciones y refactorizaciones. Tenían un promedio de dos horas cada uno. Los desarrolladores grabaron sus pantallas e informaron el tiempo de implementación requerido.
Ese diseño hace que el resultado sea más útil que una encuesta amplia que pregunte si la IA se siente útil. También mantiene el resultado estrecho. La prueba estudió a contribuyentes experimentados en bases de código abierto maduras y de alta calidad. No describe automáticamente a programadores junior, proyectos nuevos, equipos empresariales, scripts únicos, prototipos de bajo riesgo o generaciones posteriores de herramientas.
La desaceleración medida
Antes de comenzar sus tareas, los desarrolladores esperaban que el acceso a la IA redujera el tiempo de finalización en un 24 %. Después del estudio, todavía estimaron que la IA había reducido el tiempo de finalización en un 20%.
El resultado medido fue al revés. METR descubrió que permitir la IA aumentaba el tiempo de finalización en un 19 %.
La muestra fue pequeña en personas y mayor en tareas: 16 desarrolladores y 246 problemas completados. Debido a que cada desarrollador trabajó en ambas condiciones, los investigadores pudieron comparar el trabajo permitido y no permitido por la IA dentro del mismo grupo de participantes en lugar de comparar dos grupos completamente separados.
El informe de METR dice que la desaceleración persistió a lo largo de una serie de controles y análisis alternativos. El artículo también examinó posibles explicaciones, incluidos los artefactos experimentales, los estándares de calidad del proyecto, la experiencia de los desarrolladores con la IA y el tipo de tareas que se intentan realizar.
El resultado aún debe manejarse con cuidado. Una desaceleración del 19% en este entorno no es una estimación universal del efecto de la IA en la codificación. Es una estimación de esta prueba, utilizando estos desarrolladores, estas tareas, estos repositorios y herramientas de principios de 2025.
¿Por qué la percepción y el tiempo podrían divergir?
La brecha entre las estimaciones de los desarrolladores y el resultado medido es la parte que importa más allá de la codificación.
Hay varias razones posibles por las que la IA podría parecer más rápida y, al mismo tiempo, producir una finalización de tareas más lenta. Una herramienta puede hacer que los momentos individuales parezcan más fáciles y, al mismo tiempo, agregar gastos generales a todo el trabajo. Puede redactar código rápidamente, pero el desarrollador puede dedicar tiempo a leer, comprobar, corregir, adaptar e integrar ese resultado. Puede reducir lo desagradable de comenzar una tarea y, al mismo tiempo, aumentar silenciosamente el tiempo de revisión posterior.
En bases de código experimentadas, gran parte del trabajo no consiste en escribir. Se trata de comprender las restricciones implícitas, preservar el estilo, notar los casos extremos, respetar las pruebas, mantener abstracciones y realizar cambios que sobrevivan la revisión. Un modelo puede ser útil y aun así perder parte de ese contexto. El costo de encontrar y reparar esos errores puede recaer en el desarrollador humano.
También hay un problema psicológico. Si la IA produce algo rápidamente, el primer paso visible parece acelerado. La verificación posterior puede parecer un trabajo de ingeniería normal, no una sobrecarga de IA. Por lo tanto, un desarrollador puede recordar la asistencia con mayor claridad que el tiempo dedicado a validarla.
Eso no deja tontos a los desarrolladores. Hace que el estudio sea una advertencia sobre la medición. Las impresiones humanas sobre la productividad son ruidosas, especialmente cuando una herramienta cambia la textura del trabajo en lugar de simplemente acortar el mismo trabajo.
Lo que no dice el estudio
METR fue explícito acerca de los límites que son fáciles de perder al volver a contar.
El estudio no muestra que las herramientas de inteligencia artificial no logren acelerar a la mayoría de los desarrolladores. No muestra que las herramientas de IA fallen en otros ámbitos. No muestra que los futuros sistemas de IA vayan a fallar en el mismo entorno. No descarta mejores flujos de trabajo, mejores indicaciones, mejores andamios, ajustes específicos del repositorio o casos de uso en los que la IA es más valiosa.
Tampoco significa que los desarrolladores deban ignorar la IA si la encuentran útil. La productividad es sólo una dimensión del uso de herramientas. Un desarrollador podría utilizar la IA porque hace que el trabajo sea más placentero, ayuda con la exploración, reduce la fricción, enseña API desconocidas o hace que algunas tareas sean menos tediosas. Esos beneficios pueden ser importantes incluso cuando una medida de plazos limitados no mejora.
Pero el ensayo cuestiona una suposición común: que la aceleración percibida es un sustituto confiable de la aceleración medida. En este caso no fue así. Los desarrolladores creyeron que la herramienta los había hecho más rápidos después de completar el estudio, aunque los tiempos medidos de las tareas mostraban lo contrario.
El resultado ya está envejeciendo.
Las herramientas de codificación de IA cambiaron rápidamente después del período de estudio. La prueba de METR abarcó herramientas disponibles de febrero a junio de 2025. A principios de 2026, la organización había iniciado un experimento de seguimiento y luego anunció que cambiaría el diseño del estudio porque los nuevos datos se habían vuelto difíciles de interpretar.
En esa actualización de febrero de 2026, METR dijo que los resultados posteriores mostraban cierta evidencia de aceleración, pero los efectos de selección hicieron que la estimación central no fuera confiable. Más desarrolladores se mostraron reacios a participar si tenían que trabajar sin IA, y algunos evitaron enviar tareas para las que querían IA especialmente. Eso significa que es posible que el experimento posterior haya pasado por alto a las personas y tareas en las que se esperaba que la IA ayudara más.
Esta es una corrección importante a la historia simple. El juicio de 2025 es una prueba contundente de un momento y un escenario. La evidencia sobre las herramientas de codificación de IA es ahora más débil, y aún más débil sobre lo que serán.
La lección más duradera es metodológica. Si una herramienta es lo suficientemente importante como para remodelar el trabajo, también es lo suficientemente importante como para medirla con algo mejor que las vibraciones. Las encuestas pueden decirnos qué sienten los trabajadores. Los puntos de referencia pueden decirnos qué pueden hacer los modelos en condiciones simplificadas. Las pruebas de campo pueden mostrar lo que sucede cuando personas reales utilizan herramientas reales en tareas reales. Ninguno está completo por sí solo.
Un reclamo de productividad debería sobrevivir al contacto con el tiempo.
El resultado METR es incómodo porque va en contra de una historia tecnológica familiar. Una herramienta puede ser capaz, impresionante y gustar mucho, pero aun así no logra acortar un tipo específico de trabajo en un entorno específico.
Eso no es una contradicción. Es un recordatorio de que el desarrollo de software no es sólo generación de código. El trabajo incluye juicio, memoria, revisión, coordinación y responsabilidad por las consecuencias. La IA puede ayudar en algunas partes de ese proceso y ralentizar otras.
Lo sorprendente del estudio no es sólo que los desarrolladores experimentados fueran más lentos con la IA. Es que pensaban que habían sido más rápidos. Para cualquiera que intente comprender el efecto de la IA en el trabajo, esa brecha puede ser el hallazgo más importante. Las afirmaciones de productividad no deberían terminar en la sensación de aceleración. Tienen que sobrevivir al contacto con el reloj.
Fuentes
Producido con asistencia de IA. Revisado por el equipo editorial de ScienceBlog.com antes de su publicación.