Introducción
Cuando comencé a aprender sobre IA, una de las ideas más fascinantes fue que las máquinas piensan como humanos. Pero al observar más de cerca lo que realmente están haciendo la IA y los métodos de aprendizaje automático, me sorprendió que en realidad haya una gran brecha entre lo que se puede encontrar en cursos y libros sobre cómo piensan los humanos, es decir, la cognición humana, y la forma en que lo hacen las máquinas. . Para mí, ejemplos de estas lagunas fueron: cómo funciona un perceptrón, al que a menudo se hace referencia como “inspirado en su colgante biológico” y cómo funcionan las neuronas reales. O cómo la lógica difusa intenta modelar los conceptos humanos de información e inferencia y cómo la inferencia humana realmente parece funcionar. O cómo los humanos agrupan una nube de puntos mirándola y dibujando círculos alrededor de las nubes de puntos en un tablero y cómo algoritmos como DBSCAN y k-means realizan esta tarea.
Pero ahora, LLM como ChatGPT, Claude y LLaMA se han convertido en el centro de atención. Basado en miles de millones o incluso billones de estas neuronas artificiales y mecanismos que también tienen un papel importante que desempeñar en la cognición: la atención (que es todo lo que necesitas, obviamente). Hemos recorrido un largo camino y, mientras tanto, se han ganado premios Nobel para honrar a los primeros gigantes en este campo. Los LLM tienen un éxito increíble a la hora de resumir artículos, generar código o incluso responder preguntas complejas y ser creativos. Un punto clave es, sin lugar a dudas, el mensaje correcto. Cuanto mejor especifique lo que quiere del modelo, mejor será el resultado. La ingeniería rápida se ha convertido en un campo en evolución e incluso se ha convertido en un trabajo especializado para humanos (aunque personalmente dudo del futuro a largo plazo de esta función). Se han propuesto numerosas estrategias de estímulo: las más famosas son la Cadena de pensamiento (CoT). [2] o Árbol del Pensamiento (ToT) [3] que guían el razonamiento del modelo de lenguaje paso a paso, principalmente proporcionando los pasos del LLM de ejemplos exitosos de resolución de problemas. Pero estos pasos suelen ser ejemplos concretos y requieren un diseño explícito de una cadena de soluciones.
Otros enfoques intentan optimizar las indicaciones, por ejemplo con algoritmos evolutivos (EA) como PromptBreeder. Personalmente creo que los EA siempre son una buena idea. Muy recientemente, un equipo de investigación de Apple ha demostrado que los LLM pueden distraerse fácilmente de la resolución de problemas con diferentes indicaciones. [4]. Como hay numerosas publicaciones buenas, también sobre TDS sobre CoT y diseño rápido (como aquí recientemente), no siento la necesidad de recapitularlos aquí con más detalle.
¿Qué es la estimulación cognitiva?
Todavía falta algo, ya que evidentemente existe un vacío en la ciencia cognitiva. Todo eso me hizo pensar: ¿podemos ayudar a estos modelos a “pensar” más como humanos, y cómo? ¿Qué pasaría si pudieran guiarse por lo que la ciencia cognitiva llama operaciones cognitivas? Por ejemplo, abordar un problema desglosándolo paso a paso, filtrar información innecesaria y reconocer patrones que están presentes en la información disponible. Suena un poco a lo que hacemos cuando resolvemos acertijos difíciles.
Ahí es donde indicaciones cognitivas Entra. Imagine que la IA no solo responde a sus preguntas, sino que también se guía a sí misma (y a usted cuando lee su resultado) a través de complejos procesos de resolución de problemas “pensando” en pasos estructurados.
Imagina que estás resolviendo un problema matemático escrito. Probablemente lo primero que haga sea aclarar su objetivo: ¿qué es exactamente lo que necesito averiguar, cuál es el resultado que esperamos? Luego, divide el problema en pasos más pequeños; una forma prometedora es identificar información relevante y tal vez notar patrones que ayuden a guiar sus pensamientos hacia la solución deseada. En este ejemplo, nos referiremos a estos pasos como clarificación de objetivos, descomposición, filtrado y reconocimiento de patrones. Todos ellos son ejemplos de operaciones cognitivas (COP) que realizamos instintivamente (o que un maestro nos enseña a seguir en el mejor de los casos).
Pero, ¿cómo funciona esto realmente?
Así es como se desarrolló el proceso. Definimos una secuencia de COP y le pedimos al LLM que siga la secuencia. La Figura 1 muestra un ejemplo de cómo se ve el mensaje. Ejemplos de COP que resultan ser importantes son:
- Aclaración de objetivos: El modelo primero necesitaba replantearse el problema de una manera clara: ¿qué es exactamente lo que intenta resolver, cuál es el resultado deseado?
- Descomposición: A continuación, divida el problema en partes manejables. En lugar de sentirse abrumado por toda la información disponible, el modelo debería centrarse en resolver piezas más pequeñas, una a la vez.
- Filtración: Pídale al modelo que filtre detalles innecesarios, permitiéndole centrarse en lo que realmente importa. Esto suele ser necesario para permitir que el modelo preste atención a la información realmente importante.
- Reconocimiento de patrones: Identificar patrones para resolver el problema de manera eficiente. Por ejemplo, si un problema implica pasos repetidos, pídale al modelo que reconozca un patrón y lo aplique.
- Integración: Al final, tiene sentido sintetizar todos los conocimientos de los pasos anteriores, en particular los basados en las últimas COP, e integrarlos en una solución para la respuesta final.
Estos pasos estructurados imitan la forma en que los humanos resuelven problemas: lógicamente, paso a paso. Existen numerosas operaciones cognitivas adicionales y la elección de cuál elegir, qué orden y cómo especificarlas para el mensaje. Sin duda, esto deja margen para seguir mejorando.
Ya ampliamos el enfoque de la siguiente manera. En lugar de seguir un estático y determinista orden de COP, le damos al modelo la libertad de elegir su propia secuencia de COP en función de la lista proporcionada, llamada reflexivo y autoadaptativo incitación cognitiva. Resulta que este enfoque funciona bastante bien. En el siguiente párrafo comparamos ambas variantes en un conjunto de problemas de referencia.
Lo que también mejora el rendimiento es adaptar las descripciones de la COP al dominio del problema específico. La Figura 1, a la derecha, muestra un ejemplo de una adaptación específica de matemáticas de los COP generales. Se “desenrollan” ante indicaciones como “Define cada variable claramente” o “Resuelve las ecuaciones paso a paso”.
En la práctica, tiene sentido recomendar al modelo que dé la respuesta final como una cadena JSON. Algunos LLM no ofrecen una solución, sino código Python para resolver el problema. En nuestro análisis experimental, fuimos justos y ejecutamos el código tratando la respuesta como correcta cuando el código Python devuelve el resultado correcto.
Ejemplo
Pongamos un breve ejemplo pidiendo a LLaMA3.1 70B que resuelva uno de los problemas aritméticos de 8.5k de GSM8K. [5]. La figura 2 muestra la solicitud.
La Figura 3 muestra el resultado del modelo que conduce a una respuesta correcta. Resulta que el modelo sigue sistemáticamente la secuencia de COP, proporcionando incluso una buena explicación de resolución de problemas para los humanos.
¿Cómo funciona la estimulación cognitiva, científicamente?
Ahora, seamos un poco más sistemáticos probando las indicaciones cognitivas en un punto de referencia típico. Lo probamos en una serie de problemas matemáticos del GSM8K. [5] conjunto de datos: básicamente, una colección de preguntas de matemáticas que encontrarías en la escuela primaria. Nuevamente, utilizamos los modelos LLaMA de Meta para ver si las indicaciones cognitivas podrían mejorar sus habilidades de resolución de problemas, aplicando LLaMA con 8 mil millones de parámetros y la versión mucho más grande con 70 mil millones de parámetros.
La Figura 4 muestra algunos resultados. El modelo más pequeño mejoró ligeramente con estímulos cognitivos deterministas. Quizás no sea lo suficientemente grande para manejar la complejidad del pensamiento estructurado. Cuando selecciona una secuencia propia de COP, la ganancia en rendimiento es significativa.
Sin indicaciones cognitivas, el modelo más grande obtuvo aproximadamente un 87% en los problemas de matemáticas. Cuando agregamos estímulo cognitivo determinista (donde el modelo siguió una secuencia fija de pasos cognitivos), su puntuación saltó al 89%. Pero cuando permitimos que el modelo se adaptara y eligiera las operaciones cognitivas dinámicamente (incitaciones autoadaptativas), la puntuación se disparó al 91%. No está mal que una máquina reciba consejos bastante generales para razonar como un humano, sin ejemplos adicionales, ¿verdad?
¿Por qué es importante esto?
La estimulación cognitiva es un método que organiza estas operaciones cognitivas similares a las humanas en un proceso estructurado y las utiliza para ayudar a los LLM a resolver problemas complejos. En esencia, es como darle al modelo una “estrategia de pensamiento” estructurada a seguir. Si bien enfoques anteriores como CoT han sido útiles, la estimulación cognitiva ofrece capas de razonamiento aún más profundas al incorporar una variedad de operaciones cognitivas.
¡Esto tiene implicaciones interesantes más allá de los problemas matemáticos! Piense en áreas como la toma de decisiones, el razonamiento lógico o incluso la creatividad: tareas que requieren algo más que regurgitar hechos o predecir la siguiente palabra de una oración. Al enseñar a la IA a pensar más como nosotros, abrimos la puerta a modelos que pueden razonar problemas de maneras más cercanas a la cognición humana.
¿Adónde vamos desde aquí?
Los resultados son prometedores, pero esto es sólo el comienzo. Sin duda, las indicaciones cognitivas podrían adaptarse a otros dominios, pero también se pueden combinar con otras ideas de la IA. A medida que exploremos versiones más avanzadas de las indicaciones cognitivas, el próximo gran desafío será descubrir cómo optimizarlas en diferentes tipos de problemas. ¿Quién sabe? Tal vez algún día tengamos una IA que pueda abordar cualquier cosa, desde problemas matemáticos hasta dilemas morales, mientras pensamos de manera tan lógica y creativa como lo hacemos nosotros. ¡Diviértete probando las indicaciones cognitivas por tu cuenta!
Referencias
[1] O. Kramer, J. Baumann. Desbloquear el pensamiento estructurado en modelos lingüísticos con indicaciones cognitivas (presentación a ICLR 2025)
[2] J. Wei, X. Wang, D. Schuurmans, M. Bosma, B. Ichter, F. Xia, EH Chi, QV Le y D. Zhou. La cadena de pensamiento provoca razonamiento en modelos de lenguaje grandes. En S. Koyejo, S. Mohamed, A. Agarwal, D. Belgrave, K. Cho y A. Oh, editores, Taller sobre sistemas de procesamiento de información neuronal (NeurIPS), volumen 35, páginas 24824–24837, 2022
[3] S. Yao, D. Yu, J. Zhao, I. Shafran, T. Griffiths, Y. Cao y K. Narasimhan. Árbol de pensamientos: resolución deliberada de problemas con grandes modelos de lenguaje. En Sistemas de procesamiento de información neuronal (NeurIPS), volumen 36, páginas 11809–11822, 2023
[4] I. Mirzadeh, K. Alizadeh, H. Shahrokhi, O. Tuzel, S. Bengio y M. Farajtabar. GSM-simbólico: comprensión de las limitaciones del razonamiento matemático en modelos de lenguaje grandes. 2024.
[5] K. Cobbe, V. Kosaraju, M. Bavarian, M. Chen, H. Jun, L. Kaiser, M. Plappert, J. Tworek, J. Hilton, R. Nakano, C. Hesse y J. Schulman . Capacitar a verificadores para resolver problemas matemáticos planteados. Preimpresión de arXiv arXiv:2110.14168, 2021.