Los modelos de fundación son fundamentales para la influencia de la IA en la economía y la sociedad. La transparencia es crucial para la rendición de cuentas, la competencia y la comprensión, particularmente en lo que respecta a los datos utilizados en estos modelos. Los gobiernos están promulgando regulaciones como la Ley de IA de la UE y la Ley Modelo de Transparencia de la Fundación de IA de EE. UU. para mejorar la transparencia. El Índice de Transparencia del Modelo de Fundación (FMTI) introducido en 2023 evalúa la transparencia entre 10 desarrolladores importantes (por ejemplo, OpenAI, Google, Meta) utilizando 100 indicadores. El FMTI v1.0 inicial reveló una opacidad significativa, con una puntuación promedio de 37 sobre 100, pero también observó variabilidad en las divulgaciones.
El Índice de Transparencia del Modelo Básico (FMTI), presentado en octubre de 2023, conceptualiza la transparencia a través de una taxonomía jerárquica alineada con la cadena de suministro del modelo básico. Esta taxonomía incluye tres dominios de nivel superior: recursos ascendentes, el modelo en sí y su uso descendente, y abarca 23 subdominios y 100 indicadores binarios de transparencia. FMTI v1.0 reveló una opacidad generalizada entre 10 empresas evaluadas, con puntuaciones máximas que alcanzaron sólo 54 sobre 100. Los desarrolladores de modelos abiertos obtuvieron mejores resultados que los cerrados. El índice tiene como objetivo rastrear los cambios a lo largo del tiempo, fomentando la transparencia a través de la presión del público y de las partes interesadas, como lo demuestran índices históricos como el IDH y el Índice de Clasificación de Derechos Digitales de 2018.
Investigadores de la Universidad de Stanford, el MIT y la Universidad de Princeton presentaron el estudio de seguimiento (de FMTI v1.0) de FMTI v1.1 para evaluar la evolución de la transparencia en los modelos de base durante seis meses, manteniendo los 100 indicadores de transparencia originales. Se pidió a los desarrolladores que autoinformaran la información, mejorando la integridad, la claridad y la escalabilidad. Participaron catorce desarrolladores, que revelaron nueva información para 16,6 indicadores en promedio.
FMTI v1.1 implica cuatro pasos: selección de indicadores, selección de desarrolladores, recopilación de información y puntuación. Los 100 indicadores de FMTI v1.0 abarcan tres dominios: recursos ascendentes, el modelo en sí y uso descendente. Catorce desarrolladores, incluidos ocho de la versión 1.0, presentaron informes de transparencia para sus modelos emblemáticos. La recopilación de información pasó de búsquedas públicas a envíos directos de los desarrolladores, lo que garantiza la integridad y la claridad. La puntuación involucró a dos investigadores que evaluaron de forma independiente las divulgaciones de cada desarrollador, seguido de un proceso de refutación iterativo. Este enfoque mejoró la transparencia al permitir a los desarrolladores proporcionar información adicional y reducir el esfuerzo del investigador.
Los investigadores resumen la ejecución de FMTI v1.1 de la siguiente manera:
- Solicitud de desarrollador: Se contactó a los líderes de 19 empresas que desarrollan modelos de fundaciones, solicitando la presentación de informes de transparencia.
- Informes de desarrolladores: catorce desarrolladores designaron sus modelos básicos emblemáticos y presentaron informes de transparencia que abordan cada uno de los 100 indicadores de transparencia para sus modelos.
- Puntuación inicial: se revisaron los informes de los desarrolladores para garantizar estándares de puntuación consistentes entre todos los desarrolladores para cada indicador.
- Respuesta de los desarrolladores: Los informes puntuados se devolvieron a los desarrolladores, quienes luego cuestionaron puntuaciones específicas y potencialmente proporcionaron información adicional. Los informes de transparencia finalizados, validados por los desarrolladores, se hicieron públicos.
Para la evaluación, 14 desarrolladores presentaron informes de transparencia sobre 100 indicadores para sus modelos estrella. Las puntuaciones iniciales variaron significativamente: 11 de 14 desarrolladores obtuvieron una puntuación inferior a 65, lo que indica margen de mejora. Las puntuaciones media y mediana fueron 57,93 y 57, respectivamente, con una desviación estándar de 13,98. El desarrollador con la puntuación más alta obtiene puntos para 85 de los 100 indicadores, mientras que el desarrollador con la puntuación más baja obtiene 33. Los desarrolladores revelaron nueva información importante, mejorando las puntuaciones de transparencia en un promedio de 14,2 puntos. La transparencia fue mayor en los dominios descendentes y más baja en los dominios ascendentes, y los desarrolladores abiertos generalmente superaron a los desarrolladores cerrados. La transparencia mejoró en todos los dominios en comparación con la iteración anterior.
El impacto social de los modelos de fundaciones está creciendo, atrayendo la atención de diversas partes interesadas. El Índice de Transparencia del Modelo de Fundación muestra que la transparencia en este ecosistema necesita mejorar, aunque ha habido cambios positivos desde octubre de 2023. Al analizar las divulgaciones de los desarrolladores, el Índice ayuda a las partes interesadas a tomar decisiones informadas. Al establecer informes de transparencia para los modelos básicos, el Índice proporciona un recurso valioso para que los desarrolladores, investigadores y periodistas mejoren la comprensión colectiva.
Revisar la Papel, GitHuby Proyecto. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo. Únete a nuestro Canal de telegramas, Canal de discordiay LinkedIn Grarriba.
Si te gusta nuestro trabajo, te encantará nuestro Boletin informativo..
No olvides unirte a nuestro SubReddit de 42k+ ML
Asjad es consultor interno en Marktechpost. Está cursando B.Tech en ingeniería mecánica en el Instituto Indio de Tecnología, Kharagpur. Asjad es un entusiasta del aprendizaje automático y el aprendizaje profundo que siempre está investigando las aplicaciones del aprendizaje automático en la atención médica.