Estamos explorando las fronteras de AGI, priorizando la preparación, la evaluación de riesgos proactivos y la colaboración con la comunidad de IA más amplia.
Introducción
La inteligencia general artificial (AGI), la IA que es al menos tan capaz como los humanos en la mayoría de las tareas cognitivas, podría estar aquí en los próximos años.
Integrado con capacidades de agente, AGI podría sobrealimentar la IA para comprender, razonar, planificar y ejecutar acciones de forma autónoma. Dicho avance tecnológico proporcionará a la sociedad herramientas invaluables para abordar desafíos globales críticos, incluido el descubrimiento de fármacos, el crecimiento económico y el cambio climático.
Esto significa que podemos esperar beneficios tangibles para miles de millones de personas. Por ejemplo, al habilitar diagnósticos médicos más rápidos y precisos, podría revolucionar la atención médica. Al ofrecer experiencias de aprendizaje personalizadas, podría hacer que la educación sea más accesible y atractiva. Al mejorar el procesamiento de la información, AGI podría ayudar a reducir las barreras para la innovación y la creatividad. Al democratizar el acceso a herramientas y conocimientos avanzados, podría permitir que una pequeña organización aborde los desafíos complejos que anteriormente solo solo se dirigieran a las grandes instituciones bien financiadas.
Navegar por el camino hacia AGI
Somos optimistas sobre el potencial de AGI. Tiene el poder de transformar nuestro mundo, actuando como un catalizador para el progreso en muchas áreas de la vida. Pero es esencial con cualquier tecnología tan poderosa, que incluso una pequeña posibilidad de daño debe tomarse en serio y prevenirse.
La mitigación de los desafíos de seguridad AGI exige planificación proactiva, preparación y colaboración. Anteriormente, presentamos nuestro enfoque de AGI en el Marco de “niveles de AGI” Documento, que proporciona una perspectiva sobre la clasificación de las capacidades de los sistemas de IA avanzados, la comprensión y la comparación de su rendimiento, la evaluación de los riesgos potenciales y la medición del progreso hacia la IA más general y capaz.
Hoy, estamos compartiendo nuestras opiniones sobre la seguridad y la seguridad de AGI mientras navegamos por el camino hacia esta tecnología transformadora. Este nuevo artículo, titulado, un enfoque de seguridad y seguridad técnica de AGIes un punto de partida para conversaciones vitales con la industria en general sobre cómo monitoreamos el progreso de AGI y nos aseguramos de que se desarrolle de manera segura y responsable.
En el documento, detallamos cómo estamos adoptando un enfoque sistemático e integral para la seguridad AGI, explorando cuatro áreas de riesgo principal: mal uso, desalineación, accidentes y riesgos estructurales, con un enfoque más profundo en el mal uso y la desalineación.
Comprender y abordar el potencial de mal uso
El mal uso ocurre cuando un humano usa deliberadamente un sistema de IA para fines dañinos.
La visión mejorada de los daños y mitigaciones actuales continúa mejorando nuestra comprensión de los daños graves a más largo plazo y cómo prevenirlos.
Por ejemplo, mal uso de la IA generativa actual Incluye producir contenido dañino o difundir información inexacta. En el futuro, los sistemas de IA avanzados pueden tener la capacidad de influir más significativamente en las creencias y comportamientos públicos de manera que podría conducir a consecuencias sociales no deseadas.
La gravedad potencial de dicho daño requiere medidas de seguridad proactivas.
Mientras detallamos en el papelun elemento clave de nuestra estrategia es identificar y restringir el acceso a capacidades peligrosas que podrían ser mal utilizadas, incluidas las que permiten ataques cibernéticos.
Estamos explorando una serie de mitigaciones para evitar el mal uso de la IA avanzada. Esto incluye mecanismos de seguridad sofisticados que podrían evitar que los actores maliciosos obtengan acceso crudo a pesos modelo que les permitan evitar nuestras barandillas de seguridad; mitigaciones que limitan el potencial de mal uso cuando se implementa el modelo; e investigación de modelado de amenazas que ayuda a identificar los umbrales de capacidad donde es necesaria una mayor seguridad. Además, nuestro recientemente lanzado Marco de evaluación de ciberseguridad Toma este paso de trabajo aún más para ayudar a mitigar contra las amenazas de IA.
Incluso hoy, evaluamos nuestros modelos más avanzados, como Géminis, para potencial capacidades peligrosas antes de su liberación. Nuestro Marco de seguridad fronteriza profundiza en cómo evaluamos las capacidades y empleamos mitigaciones, incluso para los riesgos de ciberseguridad y bioseguridad.
El desafío de la desalineación
Para que AGI complementara verdaderamente las habilidades humanas, debe estar alineado con los valores humanos. La desalineación ocurre cuando el sistema AI persigue un objetivo que es diferente de las intenciones humanas.
Anteriormente hemos demostrado cómo puede surgir la desalineación con nuestros ejemplos de especificación de juegosdonde una IA encuentra una solución para lograr sus objetivos, pero no de la manera prevista por el humano que lo instruye, y misgeneralización de objetivos.
Por ejemplo, un sistema de IA solicitado para reservar boletos para una película podría decidir piratear el sistema de boletos para obtener asientos ya ocupados, algo que una persona que le pide que compre los asientos puede no considerar.
También estamos realizando una extensa investigación sobre el riesgo de alineación engañosaes decir, el riesgo de que un sistema de IA se dé cuenta de que sus objetivos no se alinean con las instrucciones humanas, y tratan deliberadamente de evitar las medidas de seguridad establecidas por los humanos para evitar que tome medidas desalineadas.
Contrarrestar la desalineación
Nuestro objetivo es tener sistemas de IA avanzados que estén capacitados para perseguir los objetivos correctos, por lo que siguen con precisión las instrucciones humanas, evitando la IA utilizando atajos potencialmente poco éticos para lograr sus objetivos.
Hacemos esto a través de supervisión amplificadaes decir, poder saber si las respuestas de una IA son buenas o malas para lograr ese objetivo. Si bien esto es relativamente fácil ahora, puede ser desafiante cuando la IA tiene capacidades avanzadas.
Como ejemplo, incluso los expertos de Go no se dieron cuenta de lo bueno que el movimiento 37, un movimiento que tenía una probabilidad de 1 en 10,000 de ser usado, fue cuando Alfago Primero lo jugó.
Para abordar este desafío, solicitamos los mismos sistemas de IA para ayudarnos a proporcionar comentarios sobre sus respuestas, como en debate.
Una vez que podemos decir si una respuesta es buena, podemos usar esto para construir un sistema de IA seguro y alineado. Un desafío aquí es descubrir en qué problemas o instancias capacitar al sistema de IA. A través del trabajo en capacitación sólida, estimación de incertidumbre y más, podemos cubrir una variedad de situaciones que un sistema de IA encontrará en escenarios del mundo real, creando una IA en la que se puede confiar.
A través de un monitoreo efectivo y medidas de seguridad informática establecidas, tenemos como objetivo mitigar el daño que puede ocurrir si nuestros sistemas de IA buscaban objetivos desalineados.
El monitoreo implica el uso de un sistema de IA, llamado monitor, para detectar acciones que no se alineen con nuestros objetivos. Es importante que el monitor sepa cuándo no sabe si una acción es segura. Cuando no está seguro, debe rechazar la acción o marcar la acción para una revisión adicional.
Habilitando la transparencia
Todo esto se vuelve más fácil si la toma de decisiones de AI se vuelve más transparente. Hacemos una extensa investigación en interpretabilidad con el objetivo de aumentar esta transparencia.
Para facilitar esto aún más, estamos diseñando sistemas de IA que son más fáciles de entender.
Por ejemplo, nuestra investigación sobre Optimización miope con aprobación no miop (MONA) Su objetivo es garantizar que cualquier planificación a largo plazo realizada por AI Systems sea comprensible para los humanos. Esto es particularmente importante a medida que mejora la tecnología. Nuestro trabajo en Mona es el primero en demostrar los beneficios de seguridad de la optimización a corto plazo en LLMS.
Construyendo un ecosistema para la preparación AGI
Dirigido por Shane Legg, cofundador y jefe científico de AGI en Google Deepmind, nuestro AGI Safety Council (ASC) analiza el riesgo de AGI y las mejores prácticas, haciendo recomendaciones sobre medidas de seguridad. El ASC trabaja en estrecha colaboración con el Consejo de Responsabilidad y Seguridad, nuestro grupo de revisión interna copresidida por nuestra Lila Ibrahim y la Directora Senior de Responsabilidad Helen King, para evaluar la investigación, proyectos y colaboraciones AGI contra nuestros Principios de IAasesoramiento y asociación con equipo de investigación y productos sobre nuestro trabajo de mayor impacto.
Nuestro trabajo sobre seguridad AGI complementa nuestra profundidad y amplitud de las prácticas de responsabilidad y seguridad y la investigación que abordan una amplia gama de problemas, que incluyen contenido dañino, sesgo y transparencia. También continuamos aprovechando nuestros aprendizajes de la seguridad en la agente, como el principio de tener un humano en el ciclo para verificar las acciones consecuentes, para informar nuestro enfoque para construir de manera agi -responsable.
Externamente, estamos trabajando para fomentar la colaboración con expertos, la industria, los gobiernos, las organizaciones sin fines de lucro y las organizaciones de la sociedad civil, y adoptar un enfoque informado para desarrollar AGI.
Por ejemplo, nos estamos asociando con organizaciones sin fines de lucro de investigación de seguridad de IA, incluidas Apollo y Redwood Research, que han aconsejado en una sección de desalineación dedicada en la última versión de nuestra Marco de seguridad fronteriza.
A través del diálogo continuo con las partes interesadas de la política a nivel mundial, esperamos contribuir al consenso internacional sobre los problemas críticos de seguridad y seguridad de la frontera, incluida la forma en que podemos anticipar mejor y prepararnos para los riesgos novedosos.
Nuestros esfuerzos incluyen trabajar con otros en la industria, a través de organizaciones como la Foro de modelos fronterizos – Compartir y desarrollar las mejores prácticas, así como valiosas colaboraciones con institutos de IA en pruebas de seguridad. En última instancia, creemos que un enfoque internacional coordinado para la gobernanza es fundamental para garantizar los beneficios de la sociedad de los sistemas de IA avanzados.
Educar a los investigadores de IA y a los expertos en seguridad AGI es fundamental para crear una base sólida para su desarrollo. Como tal, hemos lanzado un curso nuevo sobre seguridad AGI para estudiantes, investigadores y profesionales interesados en este tema.
En última instancia, nuestro enfoque de seguridad y seguridad AGI sirve como una hoja de ruta vital para abordar los muchos desafíos que permanecen abiertos. Esperamos colaborar con la comunidad de investigación de IA más amplia para avanzar de manera responsable y ayudarnos a desbloquear los inmensos beneficios de esta tecnología para todos.