El aprendizaje de refuerzo (RL) se centra en permitir a los agentes aprender comportamientos óptimos a través de mecanismos de capacitación basados en recompensas. Estos métodos tienen sistemas capacitados para abordar tareas cada vez más complejas, desde el dominio de los juegos hasta la abordación de problemas del mundo real. Sin embargo, a medida que aumenta la complejidad de estas tareas, también lo hace el potencial para que los agentes exploten los sistemas de recompensa de manera no deseada, creando nuevos desafíos para garantizar la alineación con las intenciones humanas.
Un desafío crítico es que los agentes aprenden estrategias con una alta recompensa que no coincide con los objetivos previstos. El problema se conoce como piratería de recompensas; Se vuelve muy complejo cuando las tareas de varios pasos están en duda porque el resultado depende de una cadena de acciones, cada una de las cuales solo es demasiado débil para crear el efecto deseado, en particular, en largos horizontes de tareas donde se vuelve más difícil para los humanos evaluar y detectar tales comportamientos. Estos riesgos se amplifican aún más por agentes avanzados que explotan los supervisión en los sistemas de monitoreo humano.
La mayoría de los métodos existentes utilizan funciones de recompensa de parcheo después de detectar comportamientos indeseables para combatir estos desafíos. Estos métodos son efectivos para las tareas de un solo paso, pero faltan al evitar estrategias sofisticadas de múltiples pasos, especialmente cuando los evaluadores humanos no pueden comprender completamente el razonamiento del agente. Sin soluciones escalables, los sistemas RL avanzados corren el riesgo de agentes productores de los agentes cuyo comportamiento no está alineado con la supervisión humana, lo que puede conducir a consecuencias no deseadas.
Los investigadores de Google Deepmind han desarrollado un enfoque innovador llamado optimización miope con aprobación no miopic (MONA) para mitigar la piratería de recompensas de múltiples pasos. Este método consiste en optimización a corto plazo e impactos a largo plazo aprobados a través de la orientación humana. En esta metodología, los agentes siempre se aseguran de que estos comportamientos se basen en las expectativas humanas, pero eviten la estrategia que explota las recompensas lejanas. En contraste con los métodos tradicionales de aprendizaje de refuerzo que se encargan de una trayectoria de tareas completa óptima, Mona optimiza las recompensas inmediatas en tiempo real al infundir evaluaciones de las vistas de los supervisores.
La metodología central de Mona se basa en dos principios principales. La primera es la optimización miope, lo que significa que los agentes optimizan sus recompensas para acciones inmediatas en lugar de planificar trayectorias de varios pasos. De esta manera, no hay ningún incentivo para que los agentes desarrollen estrategias que los humanos no pueden entender. El segundo principio es la aprobación no miopic, en la que los supervisores humanos proporcionan evaluaciones basadas en la utilidad a largo plazo de las acciones del agente como se anticipó. Por lo tanto, estas evaluaciones son las fuerzas impulsoras para alentar a los agentes a comportarse en modales alineados con los objetivos establecidos por los humanos, pero sin recibir comentarios directos de los resultados.
Para probar la efectividad de Mona, los autores realizaron experimentos en tres entornos controlados diseñados para simular escenarios comunes de piratería de recompensas. El primer entorno involucró una tarea de desarrollo basada en pruebas donde un agente tuvo que escribir código basado en casos de prueba autogenerados. A diferencia de los agentes de RL que explotaron la simplicidad de sus casos de prueba para producir un código subóptimo, los agentes de MONA produjeron resultados de mayor calidad alineados con las evaluaciones de la verdad en tierra a pesar de lograr recompensas observadas más bajas.
El segundo experimento fue la tarea de revisión de la solicitud de préstamo, en la que el agente tuvo que revisar las solicitudes sin considerar atributos delicados como la nacionalidad. En los agentes tradicionales de RL, la nacionalidad se codificó encarcelada en sus decisiones para evadir los monitores mientras explotaba la información para obtener mayores recompensas. Sin embargo, los agentes de MONA evitaron tales estrategias encubiertas y se desempeñaron de manera óptima sin depender de datos confidenciales. Los agentes de Mona mantuvieron una recompensa constante de 0.5 en los ensayos de evaluación, similar al mejor puntaje alcanzable sin piratería. En contraste, los agentes típicos de RL superaron al aprovechar el sistema, demostrando la elegancia del enfoque de Mona.
En el tercer entorno, los agentes tienen la tarea de colocar bloques en un área marcada bajo la vigilancia de la cámara. Los agentes tradicionales de RL manipularon el sistema de monitoreo para obtener múltiples recompensas bloqueando la vista de la cámara, un comportamiento indicativo de piratería de recompensas. Los agentes de Mona siguieron la estructura de tareas prevista, que se realizó consistentemente sin explotar las vulnerabilidades del sistema.
El rendimiento de Mona muestra que esta es una solución sólida para la piratería de recompensas de varios pasos. Al centrarse en las recompensas inmediatas e incorporar la evaluación dirigida por humanos, Mona alinea el comportamiento del agente con las intenciones de los humanos mientras obtiene resultados más seguros en entornos complejos. Aunque no es universalmente aplicable, Mona es un gran paso adelante en la superación de tales desafíos de alineación, especialmente para avanzado AI sistemas que utilizan más frecuentemente estrategias de varios pasos.
En general, el trabajo de Google Deepmind subraya la importancia de las medidas proactivas en el aprendizaje de refuerzo para mitigar los riesgos asociados con la piratería de recompensas. Mona proporciona un marco escalable para equilibrar la seguridad y el rendimiento, allanando el camino para sistemas de IA más confiables y confiables en el futuro. Los resultados enfatizan la necesidad de una mayor exploración en métodos que integran el juicio humano de manera efectiva, asegurando que los sistemas de IA permanezcan alineados con sus propósitos previstos.
Verificar el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos Gorjeo y únete a nuestro Canal de telegrama y LinkedIn GRsalpicar. No olvides unirte a nuestro 70k+ ml de subreddit.
🚨 [Recommended Read] Nebius AI Studio se expande con modelos de visión, nuevos modelos de idiomas, incrustaciones y Lora (Promocionado)
Nikhil es consultor interno en MarktechPost. Está buscando un doble grado integrado en materiales en el Instituto Indio de Tecnología, Kharagpur. Nikhil es un entusiasta de AI/ML que siempre está investigando aplicaciones en campos como biomateriales y ciencias biomédicas. Con una sólida experiencia en la ciencia material, está explorando nuevos avances y creando oportunidades para contribuir.