Avanzar en los mejores modelos grandes, agentes de RL con cálculo óptimo y sistemas de IA más transparentes, éticos y justos
La trigésima sexta Conferencia Internacional sobre Sistemas de Procesamiento de Información Neural (NeuroIPS 2022) se llevará a cabo del 28 de noviembre al 9 de diciembre de 2022, como un evento híbrido, con sede en Nueva Orleans, EE. UU.
NeurIPS es la conferencia más grande del mundo sobre inteligencia artificial (IA) y aprendizaje automático (ML), y estamos orgullosos de apoyar el evento como patrocinadores Diamante, ayudando a fomentar el intercambio de avances de investigación en la comunidad de IA y ML.
Equipos de todo DeepMind presentarán 47 artículos, incluidas 35 colaboraciones externas en paneles virtuales y sesiones de carteles. Aquí hay una breve introducción a algunas de las investigaciones que presentamos:
Los mejores modelos grandes de su clase
Los modelos grandes (LM), sistemas de inteligencia artificial generativa entrenados con enormes cantidades de datos, han dado como resultado desempeños increíbles en áreas que incluyen lenguaje, texto, audio y generación de imágenes. Parte de su éxito se debe a su enorme escala.
Sin embargo, en Chinchilla hemos creado una Modelo de lenguaje de 70 mil millones de parámetros que supera a muchos modelos más grandes, incluido Gopher. Actualizamos las leyes de escala de modelos grandes, mostrando cómo los modelos previamente entrenados eran demasiado grandes para la cantidad de entrenamiento realizado. Este trabajo ya dio forma a otros modelos que siguen estas reglas actualizadas, creando modelos mejores y más eficientes, y ha ganado un Excelente documento de seguimiento principal premio en la conferencia.
Basándonos en Chinchilla y nuestros modelos multimodales NFNets y Perceiver, también presentamos Flamingo, una familia de modelos de lenguaje visual que aprenden en pocas tomas. Al manejar imágenes, videos y datos textuales, Flamingo representa un puente entre los modelos de solo visión y solo de lenguaje. Un único modelo de Flamingo establece un nuevo estado del arte en el aprendizaje de pocas tomas en una amplia gama de tareas multimodales abiertas.
Y, sin embargo, la escala y la arquitectura no son los únicos factores importantes para la potencia de los modelos basados en transformadores. Las propiedades de los datos también juegan un papel importante, que analizamos en una presentación sobre Propiedades de datos que promueven el aprendizaje en contexto en modelos de transformadores..
Optimización del aprendizaje por refuerzo
El aprendizaje por refuerzo (RL) se ha mostrado muy prometedor como enfoque para crear sistemas de IA generalizados que puedan abordar una amplia gama de tareas complejas. Ha generado avances en muchos dominios, desde Go hasta las matemáticas, y siempre estamos buscando formas de hacer que los agentes de RL sean más inteligentes y ágiles.
Introducimos un nuevo enfoque que impulsa las capacidades de toma de decisiones de los agentes de RL de una manera informáticamente eficiente al Ampliar drásticamente la escala de información disponible para su recuperación..
También mostraremos un enfoque conceptualmente simple pero general para la exploración impulsada por la curiosidad en entornos visualmente complejos: un agente de RL llamado BYOL-Explorar. Consigue un rendimiento sobrehumano a la vez que es resistente al ruido y mucho más sencillo que trabajos anteriores.
Avances algorítmicos
Desde comprimir datos hasta ejecutar simulaciones para predecir el clima, los algoritmos son una parte fundamental de la informática moderna. Por eso, las mejoras incrementales pueden tener un impacto enorme cuando se trabaja a escala, ayudando a ahorrar energía, tiempo y dinero.
Compartimos un método radicalmente nuevo y altamente escalable para la configuración automática de redes informáticasbasado en razonamiento algorítmico neuronal, que muestra que nuestro enfoque altamente flexible es hasta 490 veces más rápido que el estado actual del arte, al tiempo que satisface la mayoría de las restricciones de entrada.
Durante la misma sesión, también presentamos una exploración rigurosa de la noción previamente teórica de «alineación algorítmica», destacando la relación matizada entre las redes neuronales gráficas y la programación dinámicay cuál es la mejor manera de combinarlos para optimizar el rendimiento fuera de distribución.
Ser pioneros de forma responsable
En el centro de la misión de DeepMind está nuestro compromiso de actuar como pioneros responsables en el campo de la IA. Estamos comprometidos a desarrollar sistemas de IA que sean transparentes, éticos y justos.
Explicar y comprender el comportamiento de sistemas complejos de IA es una parte esencial para crear sistemas justos, transparentes y precisos. Ofrecemos un Conjunto de desiderata que capturan esas ambiciones y describen una forma práctica de alcanzarlas.que implica entrenar un sistema de inteligencia artificial para construir un modelo causal de sí mismo, que le permita explicar su propio comportamiento de manera significativa.
Para actuar de forma segura y ética en el mundo, los agentes de IA deben poder razonar sobre los daños y evitar acciones perjudiciales. Introduciremos el trabajo colaborativo en una nueva medida estadística llamada daño contrafactualy demostrar cómo supera los problemas con enfoques estándar para evitar aplicar políticas perjudiciales.
Finalmente, presentamos nuestro nuevo artículo que propone Formas de diagnosticar y mitigar fallas en la equidad del modelo causadas por cambios de distribución.que muestra cuán importantes son estas cuestiones para la implementación de tecnologías de aprendizaje automático seguras en entornos de atención médica.
Vea la gama completa de nuestro trabajo en NeurIPS 2022 aquí.