Hacer que un chatbot entrene a otro podría ser una receta para el desastre
fotografía/Getty Images
Las personas a las que se les paga para entrenar nuevos modelos de IA proporcionándoles conversaciones y pruebas de alta calidad están haciendo trampa y utilizando chatbots como ChatGPT para hacer el trabajo, según han dicho varios denunciantes a New Scientist. Esta práctica aparentemente generalizada corre el riesgo de socavar el futuro de la IA, ya que podría provocar el “colapso” de modelos más avanzados.
La mayoría de los modelos de IA que funcionan hoy en día se entrenaron con texto y datos extraídos de Internet. Pero a medida que los modelos se han ampliado y requieren aún más datos de capacitación, las empresas de IA han comenzado a utilizar trabajadores que llevan a cabo conversaciones y pruebas con IA, con la esperanza de que los datos de alta calidad resultantes puedan mejorar el poder y la utilidad de futuros modelos de lenguaje de gran tamaño (LLM).
Estos trabajadores normalmente son empleados por terceros, en lugar de directamente por empresas de inteligencia artificial, y a menudo trabajan sin contratos de tiempo completo y con salarios bajos. Eso puede incentivarlos a tomar atajos como usar chatbots para completar tareas más rápido, según una trabajadora llamada Alice*, a pesar de que esto va en contra de las políticas de la empresa.
“Está muy extendido; todas las empresas para las que he trabajado tienen directrices explícitas al respecto y claramente intentan sorprender a la gente, así que creo que les importa. Pero no creo que puedan detenerlo”, dice Alice.
Alice dice que no se siente “en lo más mínimo” culpable por usar ChatGPT para completar tareas de capacitación, y dice que es fácil salirse con la suya siempre que indique a los chatbots que eviten los signos reveladores habituales de la salida de la IA, como una preponderancia de guiones cortos. “Sólo los usuarios más descuidados son atrapados”, dice. “Cualquier persona con un mínimo de conocimiento sobre las características de la IA puede decirle a su producción que no las use, y en ese momento, ¿qué vas a hacer?”
“Si estas empresas quieren datos de calidad, entonces deberían ofrecer contratos de calidad”, afirma Alice. “En lugar de eso, están menospreciando a las personas que luchan, empleándolas durante el menor tiempo posible y dejándolas de lado cuando los proyectos terminan sin previo aviso”.
Otro trabajador, Bob*, trabajaba para una plataforma de formación llamada Outlier. Inicialmente, se le asignó la tarea de entrenar IA, para lo cual, según él, usó IA ilícitamente, y luego fue ascendido a un rol de liderazgo donde parte de su trabajo era atrapar a otros haciendo lo mismo.
“La dirección vaciló entre una ligera tolerancia y una prohibición total”, dice Bob. Los trabajadores de Outlier serían rastreados con una herramienta llamada Hubstaff que toma capturas de pantalla de su escritorio a intervalos aleatorios para garantizar que realmente estén realizando las tareas según lo ordenado. Bob buscaría evidencia de modelos de IA en esas capturas de pantalla.
“La gente lo tendría [AI models like ChatGPT] abrir en otras pestañas o minimizarse, por lo que obviamente podíamos verlo en la barra de tareas”, dice Bob. “Incluso cosas como carpetas en su escritorio con nombres le daban [AI use] lejos.”
Outlier, propiedad de Scale AI, no respondió a una solicitud de comentarios. Scale AI afirma en su sitio web que realiza trabajos para gigantes tecnológicos como Meta y Cisco, ninguno de los cuales respondió a la solicitud de comentarios de New Scientist. Bob dice que trabajó personalmente en proyectos para Google, que tampoco respondió a una solicitud de comentarios.
Otra trabajadora, Carol*, que ha trabajado en varias plataformas, dice que su uso de la IA comenzó revisando su trabajo en busca de cualquier cosa que fuera en contra de las extensas pautas de una tarea, porque cualquier contravención podría significar la expulsión del proyecto y la pérdida de ingresos.
“Estaba aterrorizada de no tener una fuente de ingresos, y luego de eso, se volvió más fácil ejecutar todo a través de un LLM”, dice Carol. “Para muchos de los proyectos que hago ahora, se trata de crear escenarios, así que usaré un LLM para ayudarme a crear el escenario y luego usaré un LLM diferente para ayudarme a crear los archivos que acompañan al escenario. Me siento culpable, pero como dije, al principio se trataba más de tratar de asegurarme de no cometer ningún error”.
“Me preocupa que realmente lo esté logrando [AI] peor. Pensé que usar los modelos para entrenarse a sí mismos anula parte del valor”, dice Carol.
Mark Lee, de la Universidad de Birmingham, Reino Unido, dice que las investigaciones han demostrado que los modelos de IA “colapsan” si se entrenan de forma recursiva en contenido generado por IA. Cuando esto sucede, las habilidades del modelo disminuyen drásticamente y se vuelven menos útiles. El proceso a veces se conoce como canibalismo de IA o endogamia de IA.
“Ese es el peor de los casos. Y probablemente no sea eso lo que está sucediendo en el mundo real”, dice Lee. “Todavía hay unos pocos humanos. Y si tienes alrededor del 10 por ciento de datos humanos, eso los mitiga y evita el colapso del modelo”.
Pero Lee dice que el tipo de trampa que están haciendo estos trabajadores no está exento de repercusiones y afectará el rendimiento. “En lugar de ser catastrófico, verás que la IA no es tan buena para realizar tareas similares a las humanas. Es un problema, porque creo que los modelos no son tan buenos como podrían ser”.
*Los nombres han sido cambiados para proteger las identidades.
Temas: