Recientemente nos reunimos con Petar Veličković, científico investigador de DeepMind. Junto con sus coautores, Petar presentará su artículo The CLRS Algorithmic Reasoning Benchmark en ICML 2022 en Baltimore, Maryland, Estados Unidos.
Mi viaje hacia DeepMind…
A lo largo de mis cursos universitarios en la Universidad de Cambridge, la incapacidad de jugar Go con habilidad se consideró una evidencia clara de las deficiencias de los sistemas de aprendizaje profundo modernos. Siempre me pregunté cómo dominar esos juegos podría escapar del ámbito de las posibilidades.
Sin embargo, a principios de 2016, justo cuando comencé mi doctorado en aprendizaje automático, todo eso cambió. DeepMind se enfrentó a uno de los mejores jugadores de Go del mundo por una partido de desafío, que pasé varias noches sin dormir viendo. DeepMind ganó, produciendo un juego innovador (por ejemplo, “Move 37”) en el proceso.
A partir de ese momento, pensé en DeepMind como una empresa que podía hacer que sucedieran cosas aparentemente imposibles. Entonces, centré mis esfuerzos en, algún día, incorporarme a la empresa. Poco después de presentar mi doctorado a principios de 2019, comencé mi viaje como científico investigador en DeepMind.
Mi papel…
Mi función es un círculo virtuoso de aprendizaje, investigación, comunicación y asesoramiento. Siempre estoy tratando activamente de aprender cosas nuevas (más recientemente Teoría de categoríasuna forma fascinante de estudiar computación estructura), leer literatura relevante y asistir a charlas y seminarios.
Luego, utilizando estos aprendizajes, hago una lluvia de ideas con mis compañeros de equipo sobre cómo podemos ampliar este conjunto de conocimientos para impactar positivamente al mundo. De estas sesiones nacen ideas y aprovechamos una combinación de análisis teórico y programación para establecer y validar nuestras hipótesis. Si nuestros métodos dan fruto, normalmente escribimos un artículo compartiendo ideas con la comunidad en general.
Investigar un resultado no es tan valioso sin comunicarlo adecuadamente y empoderar a otros para que lo utilicen de manera efectiva. Por eso, dedico mucho tiempo a presentar nuestro trabajo en conferencias como ICML, dar charlas y coasesorar a estudiantes. Esto a menudo lleva a formar nuevas conexiones y descubrir nuevos resultados científicos para explorar, ¡poniendo en marcha el círculo virtuoso una vez más!
En ICML…
Estamos dando una presentación destacada sobre nuestro periódico, El punto de referencia de razonamiento algorítmico CLRSque esperamos apoye y enriquezca los esfuerzos en el área rápidamente emergente de razonamiento algorítmico neuronal. En esta investigación, asignamos a las redes neuronales gráficas la ejecución de treinta algoritmos diversos desde el Introducción a los algoritmos libro de texto.
Muchos esfuerzos de investigación recientes buscan construir redes neuronales capaces de ejecutar cálculos algorítmicos, principalmente para dotarlas de capacidades de razonamiento, de las que normalmente carecen las redes neuronales. Fundamentalmente, cada uno de estos artículos genera su propio conjunto de datos, lo que dificulta el seguimiento del progreso y eleva la barrera de entrada al campo.
El punto de referencia CLRS, con sus generadores de conjuntos de datos fácilmente expuestos, y código disponible públicamente, busca mejorar estos desafíos. Ya hemos visto un gran nivel de entusiasmo por parte de la comunidad y esperamos canalizarlo aún más durante ICML.
El futuro del razonamiento algorítmico…
El principal sueño de nuestra investigación sobre razonamiento algorítmico es capturar el cálculo de algoritmos clásicos dentro de ejecutores neuronales de alta dimensión. Esto nos permitiría implementar estos ejecutores directamente sobre representaciones de datos sin procesar o ruidosas y, por lo tanto, “aplicar el algoritmo clásico” sobre entradas para las que nunca fue diseñado para ejecutarse.
Lo interesante es que este método tiene el potencial de permitir un aprendizaje por refuerzo eficiente en datos. El aprendizaje por refuerzo está repleto de ejemplos de algoritmos clásicos potentes, pero la mayoría de ellos no se pueden aplicar en entornos estándar (como Atari), dado que requieren acceso a una gran cantidad de información privilegiada. Nuestro Plano Haría posible este tipo de aplicación al capturar el cálculo de estos algoritmos dentro de los ejecutores neuronales, después de lo cual se pueden implementar directamente sobre las representaciones internas de un agente. Incluso tenemos un prototipo funcional que se publicó en NeuroIPS 2021. ¡No puedo esperar a ver qué viene después!
Espero…
Estoy deseando que llegue el Taller ICML sobre colaboración y formación de equipos entre humanos y máquinas, un tema cercano a mi corazón. Fundamentalmente, creo que las mayores aplicaciones de la IA se producirán a través de la sinergia con expertos en el dominio humano. Este enfoque también está muy en línea con nuestro trabajo reciente sobre potenciar la intuición de los matemáticos puros utilizando IAque apareció en la portada de Nature a finales del año pasado.
Los organizadores del taller me invitaron a un panel de discusión para discutir las implicaciones más amplias de estos esfuerzos. Hablaré junto a un fascinante grupo de co-panelistas, entre ellos Señor Tim Gowers, a quien admiré durante mis estudios universitarios en Trinity College, Cambridge. ¡No hace falta decir que estoy muy entusiasmado con este panel!
Mirando hacia el futuro…
Para mí, conferencias importantes como ICML representan un momento para hacer una pausa y reflexionar sobre la diversidad y la inclusión en nuestro campo. Si bien los formatos de conferencias híbridos y virtuales hacen que los eventos sean accesibles a más personas que nunca, hay mucho más que debemos hacer para hacer de la IA un campo diverso, equitativo e inclusivo. Las intervenciones relacionadas con la IA nos afectarán a todos y debemos asegurarnos de que las comunidades subrepresentadas sigan siendo una parte importante de la conversación.
Esta es exactamente la razón por la que estoy impartiendo un curso sobre Aprendizaje profundo geométrico en el Máster africano en inteligencia de máquinas (AMMI) – un tema de mi reciente coautoría proto-libro. AMMI ofrece enseñanza de aprendizaje automático de primer nivel a los investigadores emergentes más brillantes de África, creando un ecosistema saludable de profesionales de la IA dentro de la región. Estoy muy feliz de haber conocido recientemente a varios estudiantes de AMMI que se unieron a DeepMind para realizar prácticas.
También me apasionan increíblemente las oportunidades de divulgación en la región de Europa del Este, de donde soy originario, lo que me dio la base científica y la curiosidad necesarias para dominar los conceptos de inteligencia artificial. El Aprendizaje automático de Europa del Este (EEML) es particularmente impresionante: a través de sus actividades, los aspirantes a estudiantes y profesionales de la región se conectan con investigadores de talla mundial y se les proporciona un valioso asesoramiento profesional. Este año, ayudé a llevar EEML a mi ciudad natal, Belgrado, como uno de los principales organizadores del EEML. Taller serbio de aprendizaje automático. Espero que este sea solo el primero de una serie de eventos para fortalecer la comunidad local de IA y empoderar a los futuros líderes de IA en la región de EE.