El razonamiento humano opera naturalmente a través de conceptos abstractos y no verbales en lugar de depender estrictamente de tokens lingüísticos discretos. Sin embargo, los LLM actuales se limitan al razonamiento dentro de los límites del lenguaje natural, produciendo una token a la vez a través del vocabulario predefinido. Este enfoque de token-by-token no solo restringe la capacidad expresiva del modelo, sino que también limita la amplitud de las rutas de razonamiento que puede explorar, especialmente en escenarios ambiguos o complejos. Los métodos estándar de la cadena de pensamiento (COT) ejemplifican esta limitación, lo que obliga al modelo a comprometerse con una sola ruta en cada paso. En contraste, la cognición humana es más flexible y paralela, lo que permite la consideración simultánea de múltiples ideas y retrasando la verbalización hasta que los conceptos se forman completamente. Esto hace que el razonamiento humano sea más adaptable y robusto al tratar la incertidumbre.
Para abordar estas limitaciones, los investigadores han propuesto la transición del razonamiento basado en tokens hasta el razonamiento dentro de un espacio conceptual continuo, lo que representa pasos de razonamiento como combinaciones de incrustaciones de token. Este enfoque permite a los modelos explorar múltiples trayectorias de razonamiento en paralelo e integrar representaciones conceptuales más ricas. Estudios anteriores han demostrado el potencial de manipular a los estados ocultos para influir en los resultados del razonamiento o introducir la planificación latente. Sin embargo, la aplicación del razonamiento del espacio continuo a modelos más grandes presenta desafíos. En los modelos bajo parámetros de 7B, los pesos compartidos entre las capas de entrada y salida permiten que los estados ocultos se alineen con los incrustaciones de token, lo que facilita el razonamiento continuo. Sin embargo, en modelos más grandes, donde los espacios de entrada y salida se desacoplan, directamente utilizando estados ocultos, ya que las entradas causan desajustes que son difíciles de resolver. Los intentos de volver a entrenar estos modelos para cerrar esta brecha a menudo dan como resultado un rendimiento de sobreajuste o degradado, destacando la dificultad de permitir un razonamiento continuo efectivo a escala.
Investigadores de la Universidad de California, Santa Bárbara, la Universidad de California, Santa Cruz, la Universidad de California, Los Ángeles, la Universidad de Purdue, LMSYS y Microsoft introducen un pensamiento suave. Este enfoque sin capacitación mejora el razonamiento en modelos de idiomas grandes al operar en un espacio conceptual continuo. En lugar de elegir un token discreto en cada paso, el modelo genera tokens conceptuales (mezclas ponderadas en probabilidad de todos los token incrustaciones, que está estableciendo un razonamiento paralelo en múltiples rutas. Esto da como resultado representaciones más ricas y abstractas. El método incluye un mecanismo de parada en frío para mejorar la eficiencia. Las evaluaciones sobre tareas matemáticas y de codificación muestran hasta un 2.48% mayor de precisión y 22.4% menos tokens utilizados que el razonamiento estándar de la cadena de pensamiento.
El método de pensamiento suave mejora el razonamiento de COT estándar al reemplazar el muestreo de token discreto con tokens conceptuales: distribuciones de probabilidad en todo el vocabulario. Estas distribuciones calculan incrustaciones ponderadas, lo que permite que el modelo razone en un espacio conceptual continuo. Esto conserva la incertidumbre y permite la exploración paralela de múltiples rutas de razonamiento. Un mecanismo de parada en frío monitorea la entropía para detener el razonamiento cuando el modelo se confía, mejorando la eficiencia y evitando el colapso. El análisis teórico muestra que el pensamiento suave se aproxima a la marginación completa sobre todas las rutas de razonamiento a través de la linealización, ofreciendo una alternativa más expresiva y computacionalmente manejable a la cuna discreta.
El estudio evalúa el método de pensamiento suave en ocho puntos de referencia en matemáticas y programación utilizando tres LLM de código abierto de diferentes tamaños y arquitecturas. En comparación con los métodos COT estándar y codicioso, el pensamiento suave mejora constantemente la precisión (pasar@1) al tiempo que reduce significativamente el número de tokens generados, lo que indica un razonamiento más eficiente. El enfoque utiliza tokens conceptuales y un controlador de inicio en frío sin modificar pesos del modelo o requerir capacitación adicional. Los experimentos muestran que el pensamiento suave equilibra una mayor precisión con un menor costo computacional, superando las líneas de base al permitir un razonamiento más rico y abstracto en menos pasos en diversas tareas y modelos.
En conclusión, el pensamiento suave es un enfoque sin capacitación que permite a los modelos de lenguaje grandes razonamiento del uso de tokens conceptuales continuos en lugar de tokens discretos tradicionales. Al combinar los incrustaciones de token ponderados, el pensamiento suave permite a los modelos explorar múltiples rutas de razonamiento simultáneamente, mejorando la precisión y la eficiencia. Probado en matemáticas y puntos de referencia de codificación, aumenta constantemente la precisión del PASS@1 al tiempo que reduce el número de tokens generados, todos sin capacitación adicional o cambios arquitectónicos. El método mantiene la interpretabilidad y el razonamiento conciso. La investigación futura puede centrarse en las adaptaciones de capacitación para mejorar la robustez, especialmente para las entradas fuera de distribución. El código es de acceso público.
Mira el Papel y Página de Github. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro 95k+ ml de subreddit y suscribirse a Nuestro boletín.
Sana Hassan, una pasante de consultoría en MarktechPost y estudiante de doble grado en IIT Madras, le apasiona aplicar tecnología e IA para abordar los desafíos del mundo real. Con un gran interés en resolver problemas prácticos, aporta una nueva perspectiva a la intersección de la IA y las soluciones de la vida real.
