Introducir un marco basado en el contexto para evaluar exhaustivamente los riesgos sociales y éticos de los sistemas de IA.
Los sistemas de IA generativa ya se están utilizando para escribir libros, crear diseños gráficos, ayudar a los médicos, y son cada vez más capaces. Garantizar que estos sistemas se desarrollen e implementen de manera responsable requiere evaluar cuidadosamente los posibles riesgos éticos y sociales que pueden plantear.
En nuestro nuevo papel, proponemos un marco de tres niveles para evaluar los riesgos sociales y éticos de los sistemas de IA. Este marco incluye evaluaciones de la capacidad del sistema de IA, la interacción humana y los impactos sistémicos.
También mapeamos el estado actual de las evaluaciones de seguridad y encontramos tres brechas principales: contexto, riesgos específicos y multimodalidad. Para ayudar a cerrar estas brechas, llamamos a reutilizar los métodos de evaluación existentes para la IA generativa y a implementar un enfoque integral de evaluación, como en nuestro estudio de caso sobre desinformación. Este enfoque integra hallazgos como la probabilidad de que el sistema de IA proporcione información objetivamente incorrecta con conocimientos sobre cómo las personas usan ese sistema y en qué contexto. Las evaluaciones de múltiples niveles pueden sacar conclusiones más allá de la capacidad del modelo e indicar si el daño (en este caso, la información errónea) realmente ocurre y se propaga.
Para que cualquier tecnología funcione según lo previsto, se deben resolver desafíos tanto sociales como técnicos. Entonces, para evaluar mejor la seguridad del sistema de IA, se deben tener en cuenta estas diferentes capas de contexto. Aquí nos basamos en investigaciones anteriores que identifican la Riesgos potenciales de los modelos lingüísticos a gran escala.como filtraciones de privacidad, automatización laboral, desinformación y más, e introducir una forma de evaluar exhaustivamente estos riesgos en el futuro.
El contexto es fundamental para evaluar los riesgos de la IA
Las capacidades de los sistemas de IA son un indicador importante de los tipos de riesgos más amplios que pueden surgir. Por ejemplo, los sistemas de inteligencia artificial que tienen más probabilidades de producir resultados objetivamente inexactos o engañosos pueden ser más propensos a crear riesgos de desinformación, causando problemas como la falta de confianza del público.
Medir estas capacidades es fundamental para las evaluaciones de seguridad de la IA, pero estas evaluaciones por sí solas no pueden garantizar que los sistemas de IA sean seguros. El hecho de que el daño posterior se manifieste (por ejemplo, si las personas llegan a tener creencias falsas basadas en resultados de modelos inexactos) depende de contexto. Más concretamente, ¿quién utiliza el sistema de IA y con qué objetivo? ¿El sistema de IA funciona según lo previsto? ¿Crea externalidades inesperadas? Todas estas preguntas informan una evaluación general de la seguridad de un sistema de IA.
Extendiéndose más allá capacidad En la evaluación, proponemos una evaluación que pueda evaluar dos puntos adicionales donde se manifiestan los riesgos posteriores: la interacción humana en el punto de uso y el impacto sistémico cuando un sistema de IA está integrado en sistemas más amplios y ampliamente implementado. La integración de evaluaciones de un riesgo de daño determinado en estas capas proporciona una evaluación integral de la seguridad de un sistema de IA.
Interacción humana La evaluación centra la experiencia de las personas que utilizan un sistema de IA. ¿Cómo utiliza la gente el sistema de IA? ¿El sistema funciona según lo previsto en el punto de uso y en qué se diferencian las experiencias entre los grupos demográficos y de usuarios? ¿Podemos observar efectos secundarios inesperados al usar esta tecnología o al estar expuestos a sus resultados?
Impacto sistémico La evaluación se centra en las estructuras más amplias en las que está integrado un sistema de IA, como las instituciones sociales, los mercados laborales y el entorno natural. La evaluación en este nivel puede arrojar luz sobre los riesgos de daño que se vuelven visibles sólo una vez que se adopta un sistema de IA a escala.
Las evaluaciones de seguridad son una responsabilidad compartida
Los desarrolladores de IA deben asegurarse de que sus tecnologías se desarrollen y publiquen de manera responsable. Los actores públicos, como los gobiernos, tienen la tarea de mantener la seguridad pública. A medida que los sistemas de IA generativa se utilizan y despliegan cada vez más, garantizar su seguridad es una responsabilidad compartida entre múltiples actores:
- Desarrolladores de IA están bien posicionados para interrogar las capacidades de los sistemas que producen.
- Desarrolladores de aplicaciones y las autoridades públicas designadas están en condiciones de evaluar la funcionalidad de diferentes características y aplicaciones, y las posibles externalidades para diferentes grupos de usuarios.
- Partes interesadas públicas más amplias están en una posición única para pronosticar y evaluar las implicaciones sociales, económicas y ambientales de tecnologías novedosas, como la IA generativa.
Los tres niveles de evaluación en nuestro marco propuesto son una cuestión de grado, en lugar de estar claramente divididos. Si bien ninguno de ellos es enteramente responsabilidad de un solo actor, la responsabilidad principal depende de quién está en mejor posición para realizar las evaluaciones en cada nivel.
Lagunas en las evaluaciones de seguridad actuales de la IA multimodal generativa
Dada la importancia de este contexto adicional para evaluar la seguridad de los sistemas de IA, es importante comprender la disponibilidad de dichas pruebas. Para comprender mejor el panorama más amplio, hicimos un amplio esfuerzo para recopilar evaluaciones que se han aplicado a los sistemas de IA generativa, de la manera más completa posible.
Al mapear el estado actual de las evaluaciones de seguridad para la IA generativa, encontramos tres brechas principales en la evaluación de la seguridad:
- Contexto: La mayoría de las evaluaciones de seguridad consideran las capacidades del sistema de IA generativa de forma aislada. Comparativamente se ha trabajado poco para evaluar los riesgos potenciales en el punto de interacción humana o de impacto sistémico.
- Evaluaciones específicas de riesgo: Las evaluaciones de capacidad de los sistemas de IA generativa son limitadas en las áreas de riesgo que cubren. Para muchas áreas de riesgo, existen pocas evaluaciones. Cuando existen, las evaluaciones a menudo operacionalizan el daño de manera limitada. Por ejemplo, los daños por representación suelen definirse como asociaciones estereotipadas de ocupación con diferentes géneros, dejando otros casos de daño y áreas de riesgo sin detectar.
- Multimodalidad: La gran mayoría de las evaluaciones de seguridad existentes de los sistemas de IA generativa se centran únicamente en la salida de texto; siguen existiendo grandes lagunas para evaluar los riesgos de daños en las modalidades de imagen, audio o vídeo. Esta brecha solo se está ampliando con la introducción de múltiples modalidades en un solo modelo, como sistemas de inteligencia artificial que pueden tomar imágenes como entradas o producir salidas que entrelazan audio, texto y video. Si bien algunas evaluaciones basadas en textos se pueden aplicar a otras modalidades, las nuevas modalidades introducen nuevas formas en que se pueden manifestar los riesgos. Por ejemplo, una descripción de un animal no es dañina, pero si la descripción se aplica a una imagen de una persona sí lo es.
Estamos haciendo una lista de enlaces a publicaciones que detallan evaluaciones de seguridad de sistemas de IA generativa accesibles abiertamente a través de este repositorio. Si desea contribuir, agregue evaluaciones completando esta forma.
Poner en práctica evaluaciones más completas
Los sistemas de IA generativa están impulsando una ola de nuevas aplicaciones e innovaciones. Para asegurarnos de que se comprendan y mitiguen los riesgos potenciales de estos sistemas, necesitamos urgentemente evaluaciones rigurosas e integrales de la seguridad de los sistemas de IA que tengan en cuenta cómo estos sistemas pueden usarse e integrarse en la sociedad.
Un primer paso práctico es reutilizar las evaluaciones existentes y aprovechar los propios modelos grandes para la evaluación, aunque esto tiene limitaciones importantes. Para una evaluación más integral, también necesitamos desarrollar enfoques para evaluar los sistemas de IA en el punto de interacción humana y sus impactos sistémicos. Por ejemplo, si bien la difusión de información errónea a través de la IA generativa es un problema reciente, mostramos que existen muchos métodos para evaluar la confianza y la credibilidad del público que podrían reutilizarse.
Garantizar la seguridad de los sistemas de IA generativa ampliamente utilizados es una responsabilidad y una prioridad compartidas. Los desarrolladores de IA, los actores públicos y otras partes deben colaborar y construir colectivamente un ecosistema de evaluación sólido y próspero para sistemas de IA seguros.