de ocho años que he pasado con el aprendizaje automático. Cuanto más conozco este campo, más me sorprende su diversidad. Cuando comencé mis estudios de aprendizaje automático, lo único que conocía entonces eran las técnicas clásicas de aprendizaje automático, como KNN o los algoritmos de clustering. Ahora, con más de ocho años de experiencia, creo que el campo es tan amplio que ninguna persona puede entenderlo todo.
Sin embargo, creo que todavía hay algunas lecciones que son aplicables independientemente del campo en el que uno realmente esté realizando investigaciones o prácticas de aprendizaje automático. Con frecuencia, aprovecho la oportunidad de otro medio año de progreso en mi viaje de aprendizaje automático para dar un paso atrás por un momento y mirar los años anteriores. ¿Qué he aprendido? ¿Qué lecciones parecen persistir?
En esta edición de mis artículos sobre lecciones aprendidas, analizo los ocho años anteriores y trato de extraer lecciones que persisten en surgir una y otra vez. Esta vez descubrí que progresar en el aprendizaje automático, o en cualquier campo, a menudo se reduce a las siguientes cinco cosas. Son paciencia, disciplina, optimismo, buenos proyectos y buenos equipos. Daré más detalles sobre estos en el resto de este artículo.
Paciencia
Nadie nace experto en ningún campo. Si uno no nace con una capacidad de genio (y aun así), ser paciente hará maravillas. Frecuentemente me gusta comparar el progreso en el aprendizaje automático con el progreso que se logra en las actividades deportivas. Muchas veces, como principiante, fracasarás mucho, muy a menudo al principio; en los primeros días y meses de la nueva actividad.
Tomemos como ejemplo aprender a hacer el pino. Hasta que domines el equilibrio para sostener el peso sobre la cabeza y, en primer lugar, desarrolles la fuerza, lleva bastante tiempo. Y al aprender a hacerlo, también encontrará muchos fracasos. Probablemente no verá ningún progreso en los primeros días.
Con el aprendizaje automático ocurre lo mismo. Se necesitarán un par de iteraciones en un proyecto hasta que sea lo suficientemente bueno. En el camino, su trabajo será rechazado y criticado hasta que se considere lo suficientemente bueno. Esto también me pasó a mí, por supuesto. Un trabajo mío fue rechazado cuatro veces durante dos años hasta que finalmente lo aceptó en una conferencia A*.
Durante esos momentos, tuve que volver a enviar el artículo una y otra vez y rehacer la historia, el experimento, casi todo. Mentiría si dijera que siempre fui positivo. No, de vez en cuando habría estado más que feliz de dejar el trabajo y concentrarme en otras cosas. Pero… paciencia. Me concentré en hacer lo que podía hacer en esos momentos, y eso fue rehacer y volver a enviar. Y luego esperando.
Ahora está aceptado, pero si no hubiera tenido suficiente paciencia, ciertamente NO se publicaría ahora.
Optimismo
Esto me lleva a la siguiente lección. Es necesario cultivar un optimismo saludable (o una ignorancia saludable). Al trabajar en un proyecto, como un trabajo de investigación o una implementación, inevitablemente enfrentará obstáculos. Persistir es necesario, pero se necesita algo más que simplemente persistir.
Creo que debes ser silenciosamente optimista acerca de tu trabajo. Los demás pueden decir sus cosas y tú puedes escuchar, pero al final es trabajo tuyo. Mientras confíes en el progreso, en general estarás bien. O, para ser más precisos: siempre que confíes en el proceso la mayoría de las veces, todo estará bien.
Disciplina
Una vez más, esto nos lleva claramente a la siguiente lección subyacente a mis últimos años: la disciplina. En nuestra vida diaria, seguramente hay cosas que nos resultan más interesantes en este momento. Bueno, sentarse a leer otro artículo es interesante, pero consultar Twitter o YouTube es más atractivo. Pero eso no te hará avanzar, ni siquiera te hará retroceder activamente.
Para progresar, es necesario ignorar las desviaciones y las distracciones diarias. Necesitará la cualidad que ha sido elogiada en todas las disciplinas de la mayor parte de la humanidad: la disciplina. Cuando aprendes para un examen, lo haces, independientemente de las circunstancias. Cuando escribes un informe de laboratorio, lo haces, independientemente de que tus compañeros vayan de fiesta. Al redactar una tesis, lo hace independientemente de que otros se vayan de vacaciones.
Haber casi escrito un informe no cuenta. Tampoco una tesis casi escrita. Sólo si puedes concentrarte y ser disciplinado al respecto, podrás seguir adelante. Mi “secreto” para esto es poner las cosas importantes en primer lugar, día tras día. Intento cumplir con un 80% de este cronograma para que sea realista y viable. Descubrí que funciona bastante bien.
Proyectos
Esta es una lección específica para las personas que trabajan en una tesis (doctoral): se necesita un proyecto suficientemente bueno en el que trabajar. Puede que no importe demasiado si eres lo suficientemente inteligente. Lo que podría importar más es que tu tema sea lo suficientemente específico/nuevo Y lo suficientemente estable como para que otros se interesen por él y que puedas utilizar tus puntos fuertes en él.
Hace algunos años, tuve un colega que estudiaba las capacidades emergentes de los LLM. Este es un tema bastante interesante y lo encontré en ICLR 2024 en Viena, donde vi algunos carteles al respecto. Mi colega era bastante hábil en su conocimiento del modelo de transformador y sus habilidades de programación. Sin embargo, el campo era DEMASIADO nuevo, demasiado inestable. Los modelos avanzaban demasiado rápido y él no podía entender el tema. Al final, eso lo quemó y pasó a otras cosas. (¡Está bien ahora!)
equipos
Reservé la lección más importante para el final. A menudo importa más con quién trabajas que en qué trabajas. (Si marcas ambas cosas, lo que significa que tienes un buen grupo Y tu trabajo es genial, entonces eres especialmente afortunado). Si eres bueno en lo que haces, pero tu entorno no te permite utilizarlo, entonces estás en el lugar equivocado. Si no puedes cometer errores, entonces estás en el lugar equivocado. Si tienes miedo de aparecer, entonces estás en el lugar equivocado.
Existe esta terminología de la efectividad de un equipo. Usted (y el equipo) primero deben estar en una zona de confort. Esto significa estar bien y trabajar bien juntos. Sólo después podrás avanzar a la zona de alto rendimiento, donde realizarás un buen trabajo bajo presión. Asegúrate de estar allí también.
Pensamientos finales
Al repasar las lecciones, ninguna de ellas es exclusiva del aprendizaje automático. Más bien, se trata de las mismas cosas de siempre que han definido el buen progreso de la humanidad durante los últimos milenios. Esto no está mal, al contrario: si una tecnología cambiara todo lo que nos ha acompañado desde entonces, estaríamos perdidos. Por ello, resulta reconfortante ver reaparecer las lecciones clásicas:
Sea paciente Sea optimista Sea disciplinado
y también las lecciones más apasionadas
Trabaja en algo en lo que puedas utilizar tus fortalezas. Elige equipos buenos y saludables.
Nada nuevo y todo relevante.