Gemini 4 Argon es un paso adelante en lo que los modelos pueden hacer, especialmente cuando se trata de un trabajo profundo en tareas complejas del mundo real en dominios que incluyen codificación, finanzas, legal, ciberseguridad y ciencia. Sus capacidades de ciberdefensa están a nivel de frontera y están diseñadas para brindar a los defensores una ventaja sobre los atacantes. Para maximizar su potencial, primero queríamos que los ciberdefensores lo pusieran a funcionar a través de nuestro programa Fairwind, mientras que nuestros propios equipos de seguridad lo usaban para escanear sistemas críticos dentro y fuera de Google.
Esta ventana de acceso limitado mostró por qué estas capacidades son importantes. Por ejemplo, Wiz utilizó Argon para descubrir un error crítico en el software hospitalario que los modelos anteriores no habían detectado, ayudando a proteger cientos de miles de registros de pacientes. Mientras tanto, los propios equipos de seguridad de Google utilizaron Argon para encontrar y corregir errores en el software interno o en el software de código abierto. Esto incluyó la reparación de vulnerabilidades fundamentales que afectan a los sistemas a nivel mundial, que están pasando por nuestro proceso de divulgación responsable.
Hoy, estamos comenzando a implementar Argon de manera amplia, además de expandir nuestro programa Fairwind a más ciberdefensores confiables. Para hacerlo bien, nos enfrentamos a dos grandes preguntas:
¿Cómo construimos las barandillas de seguridad adecuadas? Si Argon puede ayudar a los defensores a encontrar errores de software complejos o ayudar a los científicos a diseñar experimentos, ¿cómo podemos evitar que los malos actores lo utilicen para lanzar ataques cibernéticos o crear amenazas biológicas? (Mal uso) ¿Podemos confiar en que el modelo hará el trabajo de la manera correcta? A medida que los modelos se vuelven más ingeniosos para resolver problemas, ¿cómo nos aseguramos de que no tomen atajos, crucen fronteras o tomen decisiones incorrectas de alto riesgo? (Desalineación e inyección rápida)
Nuestro Informe completo de seguridad y protección cubre sistemáticamente nuestro conjunto de defensas. A continuación se muestran algunos aspectos destacados de cómo abordamos estas dos preguntas para Gemini 4 Argon.
Prevención de uso indebido en dominios de alto riesgo
Las mismas mejoras de codificación y razonamiento que permitieron a Argon encontrar y parchear vulnerabilidades también impulsaron un mejor rendimiento en nuestras pruebas de ciberseguridad, resolviendo los 12 escenarios de ciberataques simulados de un extremo a otro, en comparación con cinco en nuestra generación anterior. En evaluaciones de biología, las versiones sin protección del modelo también mostraron una capacidad mucho mayor para ayudar a solucionar problemas de procedimientos de laboratorio complejos paso a paso. Siguiendo nuestro Marco de Seguridad Fronteriza, dado que vimos capacidades elevadas en los dominios cibernético y biológico, implementamos nuestro conjunto de salvaguardias fronterizas de próxima generación en ambas áreas.
En primer lugar, cuando se trata de solicitudes potencialmente peligrosas (desde escribir código de explotación hasta ayudar con materiales biológicos peligrosos), Argon es significativamente mejor que nuestros modelos anteriores a la hora de no cumplir con solicitudes dañinas. En un conjunto adversario destinado a probar el modelo, las violaciones se redujeron casi al doble, también significativamente mejor que los modelos Gemini anteriores. En segundo lugar, envolvemos el modelo en tres capas de protección en tiempo real; esto es para evitar que atacantes decididos puedan intentar hacer jailbreak (es decir, engañar) al modelo disfrazando una solicitud peligrosa como una historia inofensiva o dividiéndola en docenas de pequeñas preguntas durante varias semanas. Así es como funcionan estas protecciones:
Detección de entrada: los modelos más pequeños verifican las solicitudes entrantes y el contexto de la conversación en busca de intenciones maliciosas o solicitudes peligrosas. Introspección interna: incluso si una solicitud está hábilmente disfrazada para parecer inofensiva, los pequeños transformadores (“sondas de activación”) leen las señales neuronales internas del modelo y están entrenados para detectar cuándo está activando conocimientos sobre ciberataques o amenazas biológicas. Monitoreo continuo: a medida que el modelo razona y escribe su respuesta en múltiples pasos, combinamos estas señales y tomamos medidas cuando es necesario, como cortar al agente a mitad de camino si las respuestas volverse problemático.
La combinación de protección en tiempo real, soluciones más rápidas para nuevos jailbreak y monitoreo mejorado para el uso indebido recurrente ha hecho que nuestros sistemas sean mejores para prevenir daños en el mundo real. Por ejemplo, el equipo rojo externo de bio jailbreak solo pudo desbloquear menos del 1% de las subtareas biológicas que probamos.
Monitoreo de desalineación en tiempo real
La desalineación a veces puede significar que un agente decide por sí solo perseguir un objetivo diferente al que pretendía el usuario. Debido a que Argon es mucho mejor que los modelos anteriores a la hora de comprender el entorno en el que se ejecuta, probamos cuidadosamente ese tipo de comportamiento. Por ejemplo, realizamos pruebas realistas de “honeypot” para ver si el modelo aumentaría su capacidad para tomar acciones encubiertas, como sabotear el monitoreo de seguridad. No encontramos ningún caso de ese comportamiento.
Pero lo que vemos hoy en la práctica es algo mucho más familiar: un agente que se esfuerza demasiado por terminar el trabajo que se le ha encomendado. Cuando a un asistente ingenioso se le pide que realice una tarea y se topa con una puerta cerrada, puede tratar ese obstáculo como un simple rompecabezas más a resolver.
Es por eso que entrenamos a Gemini 4 Argon para que respete los límites del sistema, informe los hallazgos negativos con honestidad y haga una pausa para pedir la confirmación humana. En los puntos de referencia de codificación donde los modelos no tienen incentivos para reprimirse, los intentos de tomar un atajo o hacer trampa en la tarea se redujeron a solo el 2 % en Gemini 4 Argon, nuestro mejor rendimiento para los modelos Gemini recientes.
Y si bien este es un gran paso adelante, cuando un modelo ejecuta millones de tareas complejas, incluso un raro paso en falso eventualmente aparecerá. Como segunda línea de defensa, creamos un monitor de desalineación automatizado que lee tanto las acciones del agente como su “bloc de notas” interno (su cadena de pensamiento paso a paso) en tiempo real, bloqueando violaciones graves de límites antes de que sucedan y señalando casos internos graves para los socorristas humanos. (Reforzamos continuamente nuestros entornos de capacitación y evaluación contra posibles fugas. Puede leer más sobre esto en nuestra hoja de ruta de control de agentes). Ejecutamos este monitor en nuestros productos, en nuestros agentes de codificación internos, durante nuestras sesiones de capacitación y durante nuestras evaluaciones de capacidad.
Cuando las tareas de entrenamiento eran difíciles o cuando los entornos de entrenamiento eran defectuosos, nuestro monitor captaba al modelo, en raras ocasiones, intentando jugar la prueba de forma creativa. El modelo intentó escalar los privilegios del contenedor para alterar los guiones de calificación, leer las respuestas de la memoria del ejecutor de la prueba y, en un caso, incluso bloqueó la zona de pruebas de evaluación para evitar recibir una puntuación por una ejecución fallida. Si bien usamos estos controles para corregir tareas defectuosas, no los usamos para intervenir en el proceso de capacitación y evitar un ajuste excesivo al monitor.
Y siempre seguimos una regla: no penalizamos al modelo por lo que escribe en su cadena de pensamiento durante el entrenamiento. Aquí hay un ejemplo para ilustrar por qué: en una ejecución de entrenamiento de aprendizaje por refuerzo donde se aplicó accidentalmente una penalización de atajo a la cadena de pensamiento, los atajos discutidos abiertamente disminuyeron en un 61%, pero eso no significó que el modelo tomó menos atajos. En cambio, la proporción de atajos que el modelo tomó en silencio (sin mencionarlos en sus pensamientos) se triplicó (del 11,2% al 36,4%). Evitar penalizaciones de pensamiento fomenta que el razonamiento del modelo siga siendo transparente y monitoreable.
Resistencia a la inyección rápida
Para confiar en que un agente hará bien el trabajo, debemos asegurarnos de que el contenido malicioso que encuentre el agente no pueda engañarlo para que realice una acción dañina. Cuando los agentes navegan por páginas web o leen códigos, pueden encontrar instrucciones maliciosas ocultas o contextos diseñados para secuestrar su tarea. A través de entrenamiento adversario incorporado y controles de seguridad en tiempo real, Argon lidera la solidez de la inyección rápida en el punto de referencia de inyección rápida indirecta (IPI) de Gray Swan, lo que reduce el éxito del ataque en 15 intentos adaptativos al 0,7 %.
Las defensas de seguridad y protección mencionadas anteriormente representan solo tres categorías de nuestro amplio conjunto de defensas en profundidad. Para obtener más información sobre nuestro enfoque en materia de pruebas y mitigaciones de seguridad, lea nuestro Informe completo de seguridad y protección de Gemini 4 Argon y consulte la tarjeta modelo Gemini 4 Argon.