El avance de la inteligencia artificial depende de la disponibilidad y la calidad de los datos de entrenamiento, particularmente a medida que los modelos básicos multimodales ganan importancia. Estos modelos se basan en diversos conjuntos de datos que abarcan texto, voz y video para permitir tareas de procesamiento del lenguaje, reconocimiento de voz y generación de contenido de video. Sin embargo, la falta de transparencia con respecto a los orígenes y atributos de los conjuntos de datos crea barreras importantes. El uso de datos de capacitación que están sesgados geográfica y lingüísticamente, con licencias inconsistentes o mal documentados introduce desafíos éticos, legales y técnicos. Comprender las brechas en la procedencia de los datos es esencial para avanzar en tecnologías de IA responsables e inclusivas.
Los sistemas de IA enfrentan un problema crítico en la representación y trazabilidad de los conjuntos de datos, lo que limita el desarrollo de tecnologías imparciales y legalmente sólidas. Los conjuntos de datos actuales a menudo dependen en gran medida de unas pocas fuentes basadas en la web o generadas sintéticamente. Entre ellas se incluyen plataformas como YouTube, que representa una parte importante de los conjuntos de datos de voz y vídeo, y Wikipedia, que domina los datos de texto. Esta dependencia da como resultado que los conjuntos de datos no representen adecuadamente los idiomas y regiones subrepresentados. Además, Las prácticas poco claras de concesión de licencias de muchos conjuntos de datos crean ambigüedades legales, ya que más del 80% de los conjuntos de datos ampliamente utilizados conllevan algún tipo de restricción implícita o no documentada, a pesar de que sólo el 33% tiene licencia explícita para uso no comercial.
Los intentos de abordar estos desafíos se han centrado tradicionalmente en aspectos específicos de la curación de datos, como eliminar contenido dañino o mitigar el sesgo en conjuntos de datos de texto. Sin embargo, estos esfuerzos suelen limitarse a modalidades únicas y carecen de un marco integral para evaluar conjuntos de datos en modalidades como voz y video. Las plataformas que alojan estos conjuntos de datos, como HuggingFace u OpenSLR, a menudo carecen de los mecanismos para garantizar la precisión de los metadatos o imponer prácticas de documentación consistentes. Este enfoque fragmentado subraya la necesidad urgente de una auditoría sistemática de los conjuntos de datos multimodales que considere de manera integral su abastecimiento, concesión de licencias y representación.
Para cerrar esta brecha, Los investigadores de Data Provenance Initiative llevaron a cabo la mayor auditoría longitudinal de conjuntos de datos multimodales, examinando casi 4.000 conjuntos de datos públicos creados entre 1990 y 2024. La auditoría abarcó 659 organizaciones de 67 países, cubriendo 608 idiomas y casi 1,9 millones de horas de datos de voz y video. Este extenso análisis reveló que las plataformas web y de redes sociales ahora representan la mayoría de los datos de capacitación, y que las fuentes sintéticas también están creciendo rápidamente. El estudio destacó que, si bien solo el 25% de los conjuntos de datos de texto tienen licencias explícitamente restrictivas, casi todo el contenido procedente de plataformas como YouTube u OpenAI conlleva restricciones no comerciales implícitas, lo que plantea dudas sobre el cumplimiento legal y el uso ético.
Los investigadores aplicaron una metodología meticulosa para anotar conjuntos de datos, rastreando su linaje hasta las fuentes. Este proceso descubrió inconsistencias significativas en la forma en que se licencian y documentan los datos. Por ejemplo, Si bien el 96% de los conjuntos de datos de texto incluyen licencias comerciales, más del 80% de sus materiales originales imponen restricciones que no se incluyen en la documentación del conjunto de datos. De manera similar, los conjuntos de datos de video dependían en gran medida de plataformas propietarias o restringidas, y el 71% de los datos de video se originaban solo en YouTube. Estos hallazgos subrayan los desafíos que enfrentan los profesionales para acceder a los datos de manera responsable, particularmente cuando los conjuntos de datos se vuelven a empaquetar o se vuelven a licenciar sin preservar sus términos originales.
Los hallazgos notables de la auditoría incluyen el predominio de datos provenientes de la web, particularmente de voz y video. YouTube surgió como la fuente más importante, contribuyendo con casi 1 millón de horas a cada discurso y contenido de vídeo, superando a otras fuentes como audiolibros o películas. Los conjuntos de datos sintéticos, si bien siguen siendo una porción más pequeña de los datos generales, han crecido rápidamente y modelos como GPT-4 contribuyen significativamente. La auditoría también reveló marcados desequilibrios geográficos. Las organizaciones norteamericanas y europeas representaron el 93% de los datos de texto, el 61% de los datos de voz y el 60% de los datos de vídeo. En comparación, regiones como África y América del Sur representaron colectivamente menos del 0,2% en todas las modalidades.
La representación geográfica y lingüística sigue siendo un desafío persistente a pesar de los aumentos nominales en la diversidad. Durante la última década, la cantidad de idiomas representados en los conjuntos de datos de capacitación ha aumentado a más de 600, sin embargo, las medidas de igualdad en la representación no han mostrado ninguna mejora significativa. El coeficiente de Gini, que mide la desigualdad, se mantiene por encima de 0,7 para la distribución geográfica y por encima de 0,8 para la representación lingüística en conjuntos de datos de texto, lo que pone de relieve la concentración desproporcionada de las contribuciones de los países occidentales. En el caso de los conjuntos de datos de discurso, si bien la representación de países asiáticos como China e India ha mejorado, las organizaciones africanas y sudamericanas siguen muy rezagadas.
La investigación proporciona varias conclusiones críticas y ofrece información valiosa para desarrolladores y formuladores de políticas:
- Más del 70% de los conjuntos de datos de voz y vídeo se derivan de plataformas web como YouTube, mientras que las fuentes sintéticas se están volviendo cada vez más populares y representan casi el 10% de todos los tokens de datos de texto.
- Si bien solo el 33% de los conjuntos de datos son explícitamente no comerciales, más del 80% del contenido fuente está restringido. Este desajuste complica el cumplimiento legal y el uso ético.
- Las organizaciones norteamericanas y europeas dominan la creación de conjuntos de datos, con contribuciones africanas y sudamericanas inferiores al 0,2%. La diversidad lingüística ha crecido nominalmente, pero sigue concentrada en muchas lenguas dominantes.
- GPT-4, ChatGPT y otros modelos han contribuido significativamente al aumento de los conjuntos de datos sintéticos, que ahora representan una proporción cada vez mayor de los datos de entrenamiento, particularmente para tareas creativas y generativas.
- La falta de transparencia y los persistentes sesgos centrados en Occidente exigen auditorías más rigurosas y prácticas equitativas en la curación de conjuntos de datos.
En conclusión, Esta auditoría integral arroja luz sobre la creciente dependencia de datos sintéticos y rastreados en la web, las persistentes desigualdades en la representación y las complejidades de la concesión de licencias en conjuntos de datos multimodales. Al identificar estos desafíos, los investigadores proporcionan una hoja de ruta para crear sistemas de IA más transparentes, equitativos y responsables. Su trabajo subraya la necesidad de una vigilancia continua y de medidas para garantizar que la IA sirva a comunidades diversas de manera justa y eficaz. Este estudio es un llamado a la acción para profesionales, formuladores de políticas e investigadores para abordar las desigualdades estructurales en el ecosistema de datos de IA y priorizar la transparencia en la procedencia de los datos.
Verificar el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. No olvides unirte a nuestro SubReddit de más de 60.000 ml.
A Sana Hassan, pasante de consultoría en Marktechpost y estudiante de doble titulación en IIT Madras, le apasiona aplicar la tecnología y la inteligencia artificial para abordar los desafíos del mundo real. Con un gran interés en resolver problemas prácticos, aporta una nueva perspectiva a la intersección de la IA y las soluciones de la vida real.