La nueva definición formal de agencia brinda principios claros para el modelado causal de los agentes de IA y los incentivos que enfrentan.
Queremos construir sistemas de inteligencia general artificial (AGI) seguros y alineados que persigan los objetivos previstos por sus diseñadores. Diagramas de influencia causal (CID) son una forma de modelar situaciones de toma de decisiones que nos permiten razonar sobre incentivos para agentes. Por ejemplo, aquí hay un CID para un proceso de decisión de Markov de un paso: un marco típico para problemas de toma de decisiones.
Al relacionar las configuraciones de capacitación con los incentivos que dan forma al comportamiento de los agentes, los CID ayudan a iluminar los riesgos potenciales antes de capacitar a un agente y pueden inspirar mejores diseños de agentes. Pero, ¿cómo sabemos cuándo un CID es un modelo preciso de una configuración de entrenamiento?
Nuestro nuevo periódico, Descubriendo agentesintroduce nuevas formas de abordar estas cuestiones, entre ellas:
- La primera definición causal formal de agentes: Los agentes son sistemas que adaptarían su política si sus acciones influyeran en el mundo de una manera diferente.
- Un algoritmo para descubrir agentes a partir de datos empíricos.
- Una traducción entre modelos causales y CID
- Resolver confusiones anteriores derivadas de modelos causales incorrectos de agentes.
Combinados, estos resultados proporcionan una capa adicional de seguridad de que no se ha cometido un error de modelado, lo que significa que los CID se pueden utilizar para analizar los incentivos y las propiedades de seguridad de un agente con mayor confianza.
Ejemplo: modelar un ratón como agente
Para ayudar a ilustrar nuestro método, considere el siguiente ejemplo que consiste en un mundo que contiene tres cuadrados, con un mouse comenzando en el cuadrado del medio eligiendo ir hacia la izquierda o hacia la derecha, llegando a su siguiente posición y luego potencialmente obteniendo algo de queso. El suelo está helado, por lo que el ratón podría resbalar. A veces el queso está a la derecha, pero otras a la izquierda.
Esto se puede representar mediante el siguiente CID:
La intuición de que el ratón elegiría un comportamiento diferente para diferentes entornos (congelación, distribución del queso) puede captarse mediante un gráfico causal mecanizado, que para cada variable (a nivel de objeto), también incluye una variable de mecanismo que gobierna cómo la variable depende de sus padres. Fundamentalmente, permitimos vínculos entre variables del mecanismo.
Este gráfico contiene nodos de mecanismo adicionales en negro, que representan la política del mouse y la distribución de hielo y queso.
Los límites entre mecanismos representan una influencia causal directa. Los bordes azules son especiales. Terminal bordes: aproximadamente, bordes del mecanismo A~ → B~ que todavía estarían allí, incluso si la variable de nivel de objeto A se modificara para que no tuviera bordes salientes.
En el ejemplo anterior, dado que U no tiene hijos, el borde de su mecanismo debe ser terminal. Pero el borde del mecanismo X~ → D~ no es terminal, porque si cortamos X de su hijo U, entonces el ratón ya no adaptará su decisión (porque su posición no afectará si obtiene el queso).
Descubrimiento causal de agentes.
El descubrimiento causal infiere un gráfico causal a partir de experimentos que involucran intervenciones. En particular, se puede descubrir una flecha que va de una variable A a una variable B interviniendo experimentalmente en A y comprobando si B responde, incluso si todas las demás variables se mantienen fijas.
Nuestro primer algoritmo utiliza esta técnica para descubrir el gráfico causal mecanizado:
Nuestro segundo algoritmo transforma este gráfico causal mecanizado en un gráfico de juego:
En conjunto, el algoritmo 1 seguido del algoritmo 2 nos permite descubrir agentes a partir de experimentos causales, representándolos mediante CID.
Nuestro tercer algoritmo transforma el gráfico del juego en un gráfico causal mecanizado, lo que nos permite traducir entre el juego y las representaciones del gráfico causal mecanizado bajo algunas suposiciones adicionales:
Mejores herramientas de seguridad para modelar agentes de IA
Propusimos la primera definición causal formal de agentes. Basada en el descubrimiento causal, nuestra idea clave es que los agentes son sistemas que adaptan su comportamiento en respuesta a cambios en la forma en que sus acciones influyen en el mundo. De hecho, nuestros algoritmos 1 y 2 describen un proceso experimental preciso que puede ayudar a evaluar si un sistema contiene un agente.
El interés en el modelado causal de los sistemas de IA está creciendo rápidamente y nuestra investigación fundamenta este modelado en experimentos de descubrimiento causal. Nuestro artículo demuestra el potencial de nuestro enfoque al mejorar el análisis de seguridad de varios ejemplos de sistemas de IA y muestra que la causalidad es un marco útil para descubrir si hay un agente en un sistema, una preocupación clave para evaluar los riesgos de la AGI.
¿Estás emocionado de saber más? Echa un vistazo a nuestro papel. Los comentarios y opiniones son bienvenidos.