ya tiene una década.
En aquel entonces, OpenAI se sentía como una startup (bien preparada) entre otras. DeepMind ya existía, pero aún no estaba completamente integrado en Google. Y, en aquel entonces, la “tríada del aprendizaje profundo” (LeCun, Hinton y Bengio) publicó Deep Learning in Nature*.
Hoy, la IA es como un bien común. En aquel entonces, eran principalmente los académicos y los nerds de la tecnología los que lo sabían y se preocupaban por ello. Hoy en día, incluso los niños saben qué es la IA e interactúan con ella (para mal o para mal).
Es un campo que avanza rápidamente, y tengo la suerte de haberme unido a él sólo un poco después “en aquel entonces”: hace ocho años, cuando el impulso estaba cobrando impulso pero todavía se enseñaba el ML clásico en las universidades: clustering, k-means, SVM. También coincidió con el año en que la comunidad comenzó a comprender que atención (y capas lineales) es todo lo que necesitaríamos. En otras palabras, fue un buen momento para empezar a aprender sobre el aprendizaje automático.
Ahora que el año se acerca, parece que es el momento adecuado para alejarse. Mensualmente reflexiono sobre pequeñas lecciones prácticas y las publico. Aproximadamente cada medio año, busco los temas más importantes que se esconden debajo: los patrones que se repiten, incluso cuando los proyectos cambian.
Esta vez, aparecen cuatro hilos en todas partes de mis notas:
Trabajo profundo (mi favorito de todos los tiempos) Sobreidentificación con el trabajo Deportes (y movimiento en general) Blogs
Trabajo profundo
El trabajo profundo parece ser mi tema favorito y, en el aprendizaje automático, aparece en todas partes.
Los trabajos de aprendizaje automático pueden tener varios puntos de enfoque, pero la mayoría de los días giran en torno a alguna combinación de:
teoría (matemáticas, pruebas, razonamiento cuidadoso), codificación (canalizaciones, ciclos de entrenamiento, depuración), redacción (informes de proyectos, artículos, documentación).
Todos ellos requieren una concentración sostenida durante un tiempo prolongado.
Las demostraciones de teoremas no surgen de fragmentos de cinco minutos. No hace falta decir que la codificación castiga las interrupciones: si estás inmerso en un error y alguien te saca, no simplemente “reanudas”: necesitas reconstruir, lo que simplemente quema tiempo**.
La escritura también es frágil. Elaborar buenas oraciones requiere atención, y la atención es lo primero que desaparece cuando tu día se convierte en una secuencia de pequeños mensajes.
Tengo la suerte de trabajar en un entorno que permite varias horas de trabajo profundo, varias veces a la semana. Esta no es la norma; sinceramente, podría ser la excepción. Pero es increíblemente satisfactorio. Puedo sumergirme en un problema durante horas y luego salir exhausto.
Agotado, pero satisfecho.
Para mí, el trabajo profundo siempre ha significado dos cosas, y esto ya lo destaqué hace medio año:
La habilidad: poder concentrarse profundamente durante largos períodos. El medio ambiente: tener condiciones que permitan y protejan esa concentración.
Por lo general, la habilidad es más fácil de adquirir (o volver a adquirir) si no la tienes. Es el entorno el que es más difícil de cambiar. Puede entrenar la concentración, pero no puede eliminar reuniones de su calendario por sí solo ni cambiar la cultura de su empresa de la noche a la mañana.
Aún así, ayuda nombrar las dos partes. Si tienes dificultades con el trabajo profundo, puede que no sea falta de disciplina. A veces, según me dice mi experiencia, es simplemente que tu entorno no permite lo que estás intentando hacer.
Sobreidentificación con el propio trabajo
¿Te gusta tu trabajo?
Esperemos que sí, porque dedicas una gran fracción de tus horas de vigilia a hacerlo. Pero incluso si en general le gusta su trabajo, habrá momentos en los que le gustará más y otros en los que le gustará menos.
Como todas las personas, he tenido ambos.
Hubo períodos en los que me sentí lleno de energía simplemente por el hecho de que estaba “haciendo algo con ML”.
¡Guau!
Y luego hubo períodos en los que la falta de progreso (o un revés porque una idea simplemente no funcionó) me arrastró con fuerza.
No-guau.
A lo largo de los años, he llegado a creer que derivar demasiada identidad del trabajo generalmente no es una estrategia inteligente. El trabajo en y con ML está lleno de variaciones: los experimentos fallan, las líneas de base superan sus ideas sofisticadas, los revisores no entienden, los plazos se comprimen, los datos se rompen, las prioridades cambian. Si su sentido de identidad sube y baja con la última carrera de entrenamiento, también podría estar visitando Disneylandia para subirse a una montaña rusa.
Una analogía simple: imagina que eres gimnasta. Entrenas durante años. Eres flexible, fuerte y tienes control de tus movimientos. Luego te rompes el tobillo. De repente, ni siquiera puedes hacer los saltos más simples. No puedes entrenar de la misma manera que lo has hecho años antes. Si eres sólo un atleta, si esa es toda tu identidad, te sentirás como si te estuvieras perdiendo.
Afortunadamente, la mayoría de las personas son más que su profesión. Aunque a veces lo olviden.
Lo mismo se aplica al ML. Puedes ser un ingeniero de aprendizaje automático, un investigador o una “persona teórica”, y también ser un amigo, un socio, un hermano, un compañero de equipo, un lector, un corredor, un escritor. Cuando una parte pasa por un punto bajo, las otras te mantienen firme.
Esto no es “no me importa mi trabajo”. Se trata de preocuparse sin colapsar.
Deportes o movimiento en general.
Por supuesto, esto es una obviedad.
Los trabajos en ML no son conocidos por contener mucho movimiento. Las millas que recorre son millas en dedos en el teclado. Mientras tanto, el resto del cuerpo permanece quieto.
No necesito entrar en lo que sucederá si dejas que eso suceda.
La buena noticia es que es más fácil que nunca contrarrestarlo. Ahora existen muchas opciones aburridas pero efectivas:
escritorios de altura ajustable reuniones en las que se camina (especialmente cuando las cámaras están apagadas) almohadillas para caminar debajo del escritorio rutinas de movilidad cortas (idealmente, entre bloques de trabajo profundos)
Con el paso de los años, el movimiento se ha convertido en una parte integral de mi jornada laboral. Me ayuda a empezar el día con más tranquilidad: ni rígido, ni encorvado, ni ya “comprimido”. Y me ayuda a desagotarme después de un trabajo profundo. La concentración profunda cansa mentalmente, pero también tiene efectos físicos: los hombros se elevan, el cuello cae hacia adelante y la respiración se vuelve superficial.
Mudarse restablece eso.
No lo trato como “fitness”. Lo trato como un seguro que me permitirá hacer mi trabajo durante muchos años.
Blogs
Daniel Bourke.***
Si ha estado leyendo contenido de ML sobre Towards Data Science durante mucho tiempo (al menos cinco o seis años), ese nombre puede resultarle familiar. Publicó muchos artículos sobre ML (cuando TDS todavía estaba alojado en Medium) y su estilo único de escritura llevó ML a una audiencia más amplia.
Su ejemplo me inspiró a empezar a escribir blogs también, también para TDS. Empecé a finales de 2019, principios de 2020.
Al principio, escribir estos artículos era sencillo: escribir un artículo, publicarlo y seguir adelante. Pero con el tiempo se convirtió en algo más: una práctica. Escribir exige precisión al plasmar sus pensamientos en el papel. Si no puedes explicar algo de una manera coherente, probablemente no lo entiendas tan bien como crees.
A lo largo de los años, cubrí hojas de ruta de aprendizaje automático, escribí tutoriales (como cómo manejar TFRecords) y, sí, seguí volviendo al trabajo profundo, porque sigue demostrando ser importante para los profesionales del aprendizaje automático.
Y los blogs han sido gratificantes de dos maneras.
Ha sido gratificante en términos monetarios (hasta el punto de que, a lo largo de los años, ayudó a financiar la computadora que estoy usando para escribir esto). Pero lo más importante es que ha sido gratificante como práctica escrita. Veo los blogs como una forma de entrenar mi capacidad de traducir: tomar algo técnico y ponerlo en palabras que otra audiencia realmente pueda transmitir.
En un campo que avanza rápidamente y ama la novedad, esa habilidad de traducción es extrañamente estable. Los modelos cambian. Los marcos cambian (Theano, ¿alguien?). Pero la capacidad de pensar y escribir con claridad se agrava.
Pensamientos finales
Mirando hacia atrás, después de ocho años de “hacer ML”, ninguno de estos temas trata sobre un modelo específico de aprendizaje automático o un truco específico para entrenar más rápido.
Más bien, las lecciones tratan sobre:
Trabajo profundo, que hace posible el progreso. No sobreidentificarse, lo que hace que los contratiempos sean superables. Movimiento, que evita que tu cuerpo se degrade silenciosamente. Blogging, que a su vez entrena tu claridad al compartir experiencias.
Ninguna de estas lecciones está fuertemente ligada al aprendizaje automático.
Pero son los que siguen apareciendo y se quedaron conmigo durante los últimos años de aprendizaje automático.
Referencias
* El artículo de Nature sobre aprendizaje profundo de LeCun, Bengio y Hinton: https://www.nature.com/articles/nature14539; Vale la pena leer la sección de referencia comentada.
** Consulte un resumen bastante accesible de la Asociación Estadounidense de Psicología en https://www.apa.org/topics/research/multitasking.
*** Página de inicio de Daniel Bourke con sus publicaciones sobre aprendizaje automático: https://www.mrdbourke.com/tag/machine-learning.