Nuestro enfoque para analizar y mitigar los riesgos futuros que plantean los modelos avanzados de IA
Google DeepMind ha superado constantemente los límites de la IA y ha desarrollado modelos que han transformado nuestra comprensión de lo que es posible. Creemos que la tecnología de IA en el horizonte proporcionará a la sociedad herramientas invaluables para ayudar a abordar desafíos globales críticos, como el cambio climático, el descubrimiento de fármacos y la productividad económica. Al mismo tiempo, reconocemos que a medida que sigamos avanzando en la frontera de las capacidades de la IA, estos avances pueden eventualmente conllevar nuevos riesgos más allá de los que plantean los modelos actuales.
Hoy presentamos nuestra Marco de seguridad fronterizo – un conjunto de protocolos para identificar de forma proactiva futuras capacidades de IA que podrían causar daños graves y establecer mecanismos para detectarlas y mitigarlas. Nuestro marco se centra en riesgos graves que resultan de capacidades poderosas a nivel de modelo, como agencia excepcional o capacidades cibernéticas sofisticadas. Está diseñado para complementar nuestra investigación de alineación, que entrena modelos para actuar de acuerdo con los valores humanos y los objetivos sociales, y el conjunto existente de responsabilidad y seguridad de IA de Google. practicas.
El Marco es exploratorio y esperamos que evolucione significativamente a medida que aprendamos de su implementación, profundicemos nuestra comprensión de los riesgos y evaluaciones de la IA y colaboremos con la industria, el mundo académico y el gobierno. Aunque estos riesgos están fuera del alcance de los modelos actuales, esperamos que implementar y mejorar el Marco nos ayude a prepararnos para abordarlos. Nuestro objetivo es tener este marco inicial completamente implementado a principios de 2025.
El marco
La primera versión del Marco anunciada hoy se basa en nuestra investigación en evaluando capacidades críticas en modelos de frontera, y sigue el enfoque emergente de Escalamiento responsable de capacidades. El Marco tiene tres componentes clave:
- Identificar capacidades que un modelo puede tener con potencial de causar daños graves. Para hacer esto, investigamos los caminos a través de los cuales un modelo podría causar daños graves en dominios de alto riesgo y luego determinamos el nivel mínimo de capacidades que debe tener un modelo para desempeñar un papel en causar dicho daño. A estos los llamamos “Niveles de capacidad crítica” (CCL) y guían nuestro enfoque de evaluación y mitigación.
- Evaluando periódicamente nuestros modelos de frontera para detectar cuándo alcanzan estos Niveles de Capacidad Crítica. Para hacer esto, desarrollaremos conjuntos de evaluaciones de modelos, llamadas “evaluaciones de alerta temprana”, que nos alertarán cuando un modelo se acerque a una CCL y las ejecutaremos con la frecuencia suficiente para que nos demos cuenta antes de que se alcance ese umbral.
- Aplicar un plan de mitigación cuando un modelo supera nuestras evaluaciones de alerta temprana. Esto debería tener en cuenta el equilibrio general de beneficios y riesgos, y los contextos de implementación previstos. Estas mitigaciones se centrarán principalmente en la seguridad (evitando la filtración de modelos) y la implementación (evitando el uso indebido de capacidades críticas).
Dominios de riesgo y niveles de mitigación
Nuestro conjunto inicial de niveles de capacidad crítica se basa en la investigación de cuatro dominios: autonomía, bioseguridad, ciberseguridad e investigación y desarrollo (I+D) de aprendizaje automático. Nuestra investigación inicial sugiere que las capacidades de los futuros modelos de fundaciones probablemente plantearán riesgos graves en estos dominios.
En materia de autonomía, ciberseguridad y bioseguridad, nuestro objetivo principal es evaluar el grado en que los actores de amenazas podrían utilizar un modelo con capacidades avanzadas para llevar a cabo actividades dañinas con consecuencias graves. Para la I+D de aprendizaje automático, la atención se centra en si los modelos con tales capacidades permitirían la difusión de modelos con otras capacidades críticas, o permitirían una escalada rápida e inmanejable de las capacidades de IA. A medida que realizamos más investigaciones sobre estos y otros dominios de riesgo, esperamos que estas CCL evolucionen y que se agreguen varias CCL en niveles más altos o en otros dominios de riesgo.
Para permitirnos adaptar la solidez de las mitigaciones a cada CCL, también hemos descrito un conjunto de mitigaciones de seguridad e implementación. Las mitigaciones de seguridad de mayor nivel dan como resultado una mayor protección contra la filtración de pesos de modelo, y las mitigaciones de implementación de mayor nivel permiten una gestión más estricta de las capacidades críticas. Sin embargo, estas medidas también pueden desacelerar el ritmo de innovación y reducir la amplia accesibilidad a las capacidades. Lograr el equilibrio óptimo entre mitigar los riesgos y fomentar el acceso y la innovación es fundamental para el desarrollo responsable de la IA. Al sopesar los beneficios generales frente a los riesgos y tener en cuenta el contexto del desarrollo y la implementación del modelo, nuestro objetivo es garantizar un progreso responsable de la IA que libere el potencial transformador y, al mismo tiempo, proteja contra consecuencias no deseadas.
Invertir en la ciencia
La investigación subyacente al Marco es incipiente y avanza rápidamente. Hemos invertido significativamente en nuestro equipo de seguridad de Frontier, que coordinó el esfuerzo multifuncional detrás de nuestro marco. Su cometido es hacer avanzar la ciencia de la evaluación de riesgos fronterizos y perfeccionar nuestro Marco en función de nuestros conocimientos mejorados.
El equipo desarrolló un conjunto de evaluación para evaluar los riesgos de las capacidades críticas, haciendo especial hincapié en los agentes LLM autónomos, y lo probó en nuestros modelos de última generación. Su artículo reciente describir estas evaluaciones también explora mecanismos que podrían formar un futuro “sistema de alerta temprana”. Describe enfoques técnicos para evaluar qué tan cerca está un modelo del éxito en una tarea que actualmente no realiza, y también incluye predicciones sobre capacidades futuras de un equipo de pronosticadores expertos.
Mantenernos fieles a nuestros principios de IA
Revisaremos y desarrollaremos el Marco periódicamente. En particular, a medida que pongamos a prueba el Marco y profundicemos nuestra comprensión de los dominios de riesgo, las CCL y los contextos de implementación, continuaremos nuestro trabajo para calibrar mitigaciones específicas para las CCL.
En el centro de nuestro trabajo están los de Google. Principios de la IA, que nos comprometen a buscar beneficios generalizados y al mismo tiempo mitigar los riesgos. A medida que nuestros sistemas mejoren y sus capacidades aumenten, medidas como el Marco de Seguridad de Frontier garantizarán que nuestras prácticas continúen cumpliendo con estos compromisos.
Esperamos trabajar con otros en la industria, la academia y el gobierno para desarrollar y perfeccionar el Marco. Esperamos que compartir nuestros enfoques facilite el trabajo con otros para acordar estándares y mejores prácticas para evaluar la seguridad de futuras generaciones de modelos de IA.