Freelance Software Engineering es un campo lucrativo y dinámico donde los desarrolladores calificados abordan diversos desafíos, desde correcciones de errores hasta desarrollo de características de pila completa. En los últimos años, estos trabajadores han sido uno de los primeros en incorporar sistemas de IA en su flujo de trabajo para ayudar a escribir código.
Eso plantea una pregunta interesante: ¿podría un sistema de IA hacer el mismo trabajo por sí mismo? En otras palabras, ¿los ingenieros de software se han desarrollado efectivamente fuera de sus propios trabajos?
Ahora obtenemos una especie de respuesta gracias al trabajo de Samuel Miserendino, Michele Wang y sus colegas de Operai Research, que han desarrollado una herramienta de evaluación comparativa que determina si los modelos de idiomas grandes (LLM) de última generación pueden completar un conjunto de tareas de desarrollo de software reales que han sido resueltas por humanos. Estos desarrolladores humanos se ganaron $ 1 millón en el proceso, planteando la cuestión obvia de si los sistemas de IA podrían ganar su corteza sola.
La respuesta será de comodidad limitada para los desarrolladores humanos. “El trabajo independiente del mundo real en nuestro punto de referencia sigue siendo un desafío para los modelos de idiomas fronterizos”, dice Miserendino, Wang y compañía. Sin embargo, calculan que los mejores modelos podrían ganar con éxito una fracción significativa de los $ 1 millón.
Código rojo
La ingeniería de software implica mucho más que solo escribir código. Los ingenieros deben interpretar los requisitos del cliente, navegar por base complejas y tomar decisiones arquitectónicas de alto nivel sobre el enfoque correcto. Los trabajos independientes del mundo real requieren un desarrollo de pila completa, depuración y habilidades gerenciales.
Evaluar el rendimiento de los modelos de idiomas grandes en estas tareas es complicado porque la mayoría de los puntos de referencia implican problemas de codificación estándar, que representan solo una pequeña parte del desafío del freelancer.
Miserendino, Wang y Co se propusieron cambiar esto creando una base de datos de tareas de ingeniería de software reales previamente resueltas por freelancers humanos. Llaman a su referencia Swe-Lancer y esperan que se convierta en un estándar contra el cual probar el rendimiento de codificación del mundo real de los modelos avanzados de idiomas grandes.
El equipo obtuvo las tareas independientes de Expensify, una empresa pública que posee un sistema de gestión de gastos utilizado por 12 millones de clientes. Este software requiere mantenimiento y desarrollo constantes, para lo cual la compañía depende de trabajadores independientes. Expensify hace que estas tareas de codificación sean públicas y las publiquen en el sitio web de Freelancer Upwork.
El equipo de Operai eligió 1488 de estas tareas. Alrededor de la mitad de ellos estaban dirigidos a programadores individuales y tareas involucradas como desarrollar parches de codificación para resolver problemas del mundo real. La otra mitad de las tareas fue para los gerentes e implicó seleccionar la mejor solución de las propuestas competidoras presentadas por los trabajadores independientes humanos.
Todas las tareas habían sido completadas por trabajadores independientes humanos a quienes se les pagaba montos que variaban de $ 250 a $ 32,000. El valor total de todas las tareas fue de $ 1 millón.
Para poner a prueba los modelos AI de última generación, el equipo establece cada tarea en el soneto Claude 3.5 de Anthrope y los modelos GPT-4O y O1 de OpenAI. Los sistemas AI recibieron el texto que describía el problema tal como apareció en la plataforma Upwork junto con una instantánea del código antes de que se hiciera la solución, junto con el objetivo de solucionar el problema.
Para las tareas de gestión, los modelos recibieron varias soluciones propuestas a un problema, una instantánea del código que se solucionará y el objetivo al elegir la solución más adecuada.
Los resultados son iluminadores. “Sonnet 3.5 funciona mejor, seguido de O1 y luego GPT-4O”, dice Miserendino, Wang y compañía. Pero estaban lejos de ser perfectos. “Todos los modelos ganan muy por debajo de los $ 1 millón de USD de posibles pagos en el conjunto de datos SWE-Lancer completo”, dicen los investigadores.
Sin embargo, hay un retorno saludable para algunos problemas. “En el conjunto de datos SWE-Lancer completo, Claude 3.5 Sonnet gana más de $ 400,000 de $ 1,000,000 posibles”.
Eso parece un ingreso razonable para un desarrollador independiente que usa AI para [del automate] ayudar en su trabajo. Pero hay claramente limitaciones. Los sistemas AI tuvieron un mejor rendimiento en las tareas del administrador que las tareas de codificación individuales, que a menudo producían correcciones superficiales en lugar de abordar los problemas raíz. Esto sugiere que la IA es mejor para evaluar soluciones que implementarlas.
En general, los sistemas de IA pudieron abordar menos del 50 por ciento de las tareas disponibles, lo que lleva al equipo a una conclusión sombría. “El trabajo independiente del mundo real en nuestro punto de referencia sigue siendo un desafío para los modelos de idiomas fronterizos”, dicen los investigadores.
Fabricación de dinero
El equipo dice que la incapacidad de LLM para superar a los trabajadores independientes humanos proviene de varios temas fundamentales. Por ejemplo, los modelos de IA carecen de una comprensión profunda del código; en cambio, son simplemente generadores de patrones. Los ingenieros humanos también refinan de manera iteraria sus soluciones, ejecutando pruebas y depuración de comportamientos inesperados, un enfoque que LLMS lucha por copiar.
Pero aunque los LLM no están listos para reemplazar a los ingenieros humanos, el punto de referencia SWE-Lancer revela un potencial emocionante. Sugiere que es probable que los asistentes de IA ayuden a automatizar tareas de codificación de rutina, para que los desarrolladores humanos puedan centrarse en la resolución de problemas de nivel superior.
Una cosa en la que los investigadores no se centran en detalle es el tiempo que se toma para completar las tareas de los humanos versus las máquinas. Puede ser que los sistemas de IA no sean mucho mejores en algunas tareas, sino que son significativamente más rápidos. Eso inevitablemente contará con la planificación empresarial.
Pero muestran que algunas tareas están maduras para la automatización y probablemente ya están realizadas de esta manera por trabajadores independientes y empresas. Es probable que esta proporción aumente a medida que los modelos se vuelven más capaces.
Y a juzgar por las mejoras que los modelos de IA han logrado en otros puntos de referencia para problemas de matemáticas avanzadas y similares, es probable que esta mejora se acelere rápidamente.
Claramente, el tiempo para el cambio disruptivo es ahora.
Ref: Swe-Lancer: ¿Puede Frontier LLMS ganar $ 1 millón de ingeniería de software independiente del mundo real? : arxiv.org/abs/2502.12115