Los modelos de idiomas grandes (LLM) operan prediciendo el siguiente token en función de los datos de entrada, sin embargo, su rendimiento sugiere que procesan información más allá de las meras predicciones a nivel de token. Esto plantea preguntas sobre si los LLM se involucran en una planificación implícita antes de generar respuestas completas. Comprender este fenómeno puede conducir a sistemas de IA más transparentes, mejorar la eficiencia y hacer que la generación de salida sea más predecible.
Un desafío para trabajar con LLM es predecir cómo estructurarán las respuestas. Estos modelos generan texto secuencialmente, lo que hace que el control de la longitud general de la respuesta, la profundidad del razonamiento y la precisión objetiva desafien. La falta de mecanismos de planificación explícitos significa que aunque las LLM generan respuestas similares a los humanos, su toma de decisiones interna sigue siendo opaca. Como resultado, los usuarios a menudo confían en la ingeniería rápida para guiar los resultados, pero este método carece de precisión y no proporciona información sobre la formulación de respuesta inherente del modelo.
Las técnicas existentes para refinar las salidas LLM incluyen el aprendizaje de refuerzo, el ajuste fino y la solicitud estructurada. Los investigadores también han experimentado con árboles de decisión y marcos de lógica externos para imponer estructura. Sin embargo, estos métodos no capturan completamente cómo los LLM procesan la información internamente.
El Equipo de Investigación del Laboratorio de Inteligencia Artificial de Shanghai ha introducido un enfoque novedoso al analizar representaciones ocultas para descubrir comportamientos de planificación de respuesta latente. Sus hallazgos sugieren que las LLM codifican atributos clave de sus respuestas incluso antes de que se genere el primer token. El equipo de investigación examinó sus representaciones ocultas e investigó si los LLM se involucran en una planificación de respuesta emergente. Introdujeron modelos de sondeo simples capacitados en incrustaciones rápidas para predecir los próximos atributos de respuesta. El estudio clasificó la planificación de la respuesta en tres áreas principales: atributos estructurales, como la longitud de la respuesta y los pasos de razonamiento, los atributos de contenido que incluyen opciones de caracteres en tareas de escritura de historias y atributos de comportamiento, como la confianza en las respuestas de opción múltiple. Al analizar los patrones en capas ocultas, los investigadores encontraron que estas habilidades de planificación se escalan con el tamaño del modelo y evolucionan a lo largo del proceso de generación.
Para cuantificar la planificación de la respuesta, los investigadores realizaron una serie de experimentos de sondeo. Entrenaron modelos para predecir los atributos de respuesta utilizando representaciones de estado ocultas extraídas antes de la generación de salida. Los experimentos mostraron que las sondas podrían predecir con precisión las próximas características del texto. Los resultados indicaron que las LLM codifican los atributos de respuesta en sus representaciones rápidas, con habilidades de planificación en el principio y al final de las respuestas. El estudio demostró además que los modelos de diferentes tamaños comparten comportamientos de planificación similares, con modelos más grandes que exhiben capacidades predictivas más pronunciadas.
Los experimentos revelaron diferencias sustanciales en las capacidades de planificación entre los modelos base y ajustados. Los modelos ajustados exhibieron una mejor precisión de predicción en los atributos estructurales y de comportamiento, lo que confirma que los comportamientos de planificación se refuerzan a través de la optimización. Por ejemplo, la predicción de la longitud de respuesta mostró altos coeficientes de correlación entre los modelos, con la correlación de Spearman alcanzando 0.84 en algunos casos. Del mismo modo, las predicciones de paso de razonamiento exhibieron una fuerte alineación con los valores de verdad en tierra. Las tareas de clasificación, como la elección del personaje en la redacción de historias y la selección de respuestas de opción múltiple, se realizaron significativamente por encima de las líneas de base aleatorias, lo que respalda aún más la noción de que los LLM codifican los elementos internamente de la planificación de la respuesta.
Los modelos más grandes demostraron habilidades de planificación superiores en todos los atributos. Dentro de las familias modelas de LLAMA y QWEN, la precisión de planificación mejoró constantemente con un mayor recuento de parámetros. El estudio encontró que LLAMA-3-70B y QWEN2.5-72B-Instructo exhibieron el rendimiento de predicción más alto, mientras que los modelos más pequeños como Qwen2.5-1.5b tuvieron dificultades para codificar las estructuras de respuesta a largo plazo de manera efectiva. Además, los experimentos de sondeo en forma de capa indicaron que los atributos estructurales surgieron prominentemente en las capas media, mientras que los atributos de contenido se volvieron más pronunciados en capas posteriores. Los atributos de comportamiento, como la respuesta de la confianza y la consistencia objetiva, se mantuvieron relativamente estables en diferentes profundidades de modelos.
Estos hallazgos destacan un aspecto fundamental del comportamiento de LLM: no solo predicen el siguiente token, sino que planifican atributos más amplios de sus respuestas antes de generar texto. Esta capacidad de planificación de respuesta emergente tiene implicaciones para mejorar la transparencia y el control del modelo. Comprender estos procesos internos puede ayudar a refinar los modelos de IA, lo que lleva a una mejor previsibilidad y una dependencia reducida de las correcciones posteriores a la generación. La investigación futura puede explorar la integración de módulos de planificación explícitos dentro de las arquitecturas de LLM para mejorar la coherencia de respuesta y la personalización dirigida por el usuario.
Verificar el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro 75k+ ml de subreddit.
Nikhil es consultor interno en MarktechPost. Está buscando un doble grado integrado en materiales en el Instituto Indio de Tecnología, Kharagpur. Nikhil es un entusiasta de AI/ML que siempre está investigando aplicaciones en campos como biomateriales y ciencias biomédicas. Con una sólida experiencia en la ciencia material, está explorando nuevos avances y creando oportunidades para contribuir.