Cuando un LLM resuelve una tarea con un 80% de éxito, a menudo eso solo equivale al 20% del valor para el usuario.
El principio de Pareto dice que si resuelves un problema en un 20%, obtienes el 80% del valor. Lo contrario parece ser cierto para la IA generativa.
Sobre el autor: Zsombor Varnagy-Toth es investigador sénior de UX en SAP con experiencia en aprendizaje automático y ciencia cognitiva. Trabajar con datos cualitativos y cuantitativos para el desarrollo de productos.
Me di cuenta de esto por primera vez cuando estudiaba a profesionales que escribían textos de marketing utilizando LLM. Observé que cuando estos profesionales comienzan a utilizar LLM, su entusiasmo se desvanece rápidamente y la mayoría vuelve a su antigua forma de escribir contenido manualmente.
Este fue un hallazgo de investigación absolutamente sorprendente porque estos profesionales reconocieron que el contenido generado por IA no era malo. De hecho, lo encontraron inesperadamente bueno, digamos que un 80% bueno. Pero si es así, ¿por qué siguen recurriendo a la creación del contenido manualmente? ¿Por qué no tomar el 80% del contenido bueno generado por IA y agregar el último 20% manualmente?
Aquí está la explicación intuitiva:
Si tienes un poema mediocre, no puedes simplemente convertirlo en un gran poema reemplazando algunas palabras aquí y allá.
Digamos que tienes una casa que está bien construida en un 80%. Está más o menos bien, pero las paredes no son rectas y los cimientos son débiles. No puedes solucionar eso con un poco de trabajo adicional. Tienes que derribarlo y empezar a construirlo desde cero.
Investigamos más a fondo este fenómeno e identificamos su raíz. Para estos profesionales del marketing, si un texto es sólo 80% bueno, no hay ningún fragmento individual en el texto que puedan intercambiar y que lo haga 100%. Para ello, es necesario reelaborar toda la copia, párrafo por párrafo, frase por frase. Por lo tanto, pasar del 80% al 100% de la IA requiere casi tanto esfuerzo como pasar del 0% al 100% manualmente.
Ahora bien, esto tiene una implicación interesante. Para tales tareas, El valor de los LLM es «todo o nada». O hace un trabajo excelente o es inútil. No hay nada intermedio.
Analizamos algunos tipos diferentes de tareas de usuario y descubrimos que este principio de Pareto inverso afecta a una clase específica de tareas.
- No es fácilmente descomponible y
- Tamaño de tarea grande y
- Se espera 100% de calidad.
Si no se cumple una de estas condiciones, no se aplica el efecto de Pareto inverso.
Escribir código, por ejemplo, es más componible que escribir prosa. El código tiene sus partes individuales: comandos y funciones que se pueden distinguir y arreglar de forma independiente. Si la IA lleva el código al 80%, en realidad solo se necesita alrededor de un 20% de esfuerzo adicional para llegar al resultado del 100%.
En cuanto al tamaño de la tarea, los LLM tienen una gran utilidad a la hora de redactar textos breves, como publicaciones en redes sociales. El contenido breve generado por el LLM sigue siendo “todo o nada”: o es bueno o no tiene valor. Sin embargo, debido a la brevedad de estos textos, se pueden generar diez a la vez y detectar el mejor en segundos. En otras palabras, los usuarios no necesitan abordar el problema del 80% al 100%: simplemente eligen la variante que resultó 100% en primer lugar.
En cuanto a la calidad, existen casos de uso en los que la calidad de nivel profesional no es un requisito. Por ejemplo, una fábrica de contenidos puede estar satisfecha con un 80% de artículos de calidad.
Si está creando un producto basado en LLM que se ocupa de grandes tareas que son difícil de descomponer pero se espera que el usuario produzca 100% calidaddebes construir algo alrededor del LLM que convierta su rendimiento del 80% en 100%. Puede ser un enfoque de solicitud sofisticado en el backend, una capa adicional ajustada o una arquitectura cognitiva de varias herramientas y agentes que trabajan juntos para resolver el resultado. Haga lo que haga este envoltorio, eso es lo que aporta el 80% del valor al cliente. Ahí es donde está enterrado el tesoro, el LLM sólo aporta el 20%.
Esta conclusión está en línea con la de Sequoia Capital. La afirmación de Sonya Huang y Pat Grady que la próxima ola de valor en el espacio de la IA será creada por estos “proveedores de aplicaciones de última milla”, las empresas contenedoras que descubren cómo saltar esa última milla que crea el 80% del valor.