Introducción a los desafíos de generación de texto ultra largo
Generar textos ultra largos que abarcan miles de palabras se vuelve cada vez más importante para tareas del mundo real, como narración de cuentos, escritura legal y materiales educativos. Sin embargo, los modelos de idiomas grandes aún enfrentan desafíos significativos, incluidos los límites de longitud y los problemas de calidad, a medida que sus resultados se vuelven cada vez más largos. Los problemas comunes incluyen incoherencia, deriva del tema, repetición y estructura deficiente. Los métodos anteriores, como el escritor largo, utilizan el ajuste fino supervisado en los datos sintéticos para abordar este problema; Sin embargo, estos datos son costosos de crear, difíciles de generar y a menudo se siente antinatural. Además, confiar en los LLM existentes para crear datos de entrenamiento limita la creatividad, y los métodos de entrenamiento típicos no mejoran de manera efectiva la coherencia o el formateo general de salidas largas.
Evolución de los métodos de generación de texto de forma larga
Investigaciones recientes sobre la generación de texto de forma larga se han centrado en mejorar la coherencia, la personalización y extender la longitud de salida de más de 2,000 palabras. Los primeros modelos, como RE3 y DOC, utilizaron estrategias recursivas para mantener la estructura, mientras que Longlamp y otros introdujeron la personalización a través de la autocomisión consciente del razonamiento. Suri construyó un gran conjunto de datos de seguimiento de instrucciones, pero se limitó a salidas por debajo de 5,000 tokens debido a la dependencia de la traducción posterior. Longwriter avanzó esto generando salidas de tokens de 6k a 20k utilizando optimización supervisada de preferencias y preferencias, aunque retuvo los sesgos de sus modelos maestros. En otro frente, RL ha mejorado el razonamiento en LLM como Deepseek-R1 y QWQ-32B, sin embargo, RL permanece subexplorado para la generación de texto ultra largo.
Longwriter-Zero: aprendizaje de refuerzo sin datos sintéticos
Investigadores de la Universidad de Tsinghua y Sutd presentan a Longwriter-Zero. Este enfoque utiliza RL para entrenar LLM para la generación de texto ultra largo, sin depender de datos anotados o sintéticos. A partir del modelo base QWEN2.5-32B, aplican RL con modelos de recompensa cuidadosamente diseñados dirigidos a la longitud, calidad y estructura de texto. Su marco se inspira en el éxito en las matemáticas y la codificación de tareas, explorando tres factores clave: diseño de recompensas, escala de tiempo de inferencia y prisión previa continua. Longwriter-Zero supera los métodos tradicionales supervisados de ajuste fino, logrando un rendimiento de última generación en Writingbench y Arena-Write, incluso superan a los modelos 100B+ como Deepseek-R1.
Estrategia de optimización novedosa y evaluación comparativa
El estudio introduce un enfoque de aprendizaje de refuerzo para mejorar la generación de texto ultra largo utilizando LLM. Los investigadores se basan en PPO con un método llamado Group Relative Policy Optimization, capacitando un modelo de parámetros 32B en datos de seguimiento de instrucciones con un límite de salida de 14k-token. Evalúan salidas utilizando un nuevo punto de referencia, escritura de arena y diseñan un sistema de recompensas que equilibra la longitud del texto, la fluidez, la coherencia y el formato. Una idea clave es que tener el modelo “pensar” antes de escribir usando pasos de razonamiento intermedio conduce a una mejor estructura y control. Se logran mayores ganancias mediante el preventor de los datos de escritura pesada, lo que subraya la importancia de una base robusta y centrada en la escritura.
Resultados en puntos de referencia de generación de forma larga
Longwriter-Zero se evalúa a través de un proceso de dos pasos: pre-streining continuo en libros largos utilizando 30 mil millones de tokens, seguido de un refuerzo de aprendizaje de refuerzo en más de 150 pasos con indicaciones de “pensar” para fomentar el razonamiento. Observa 8.69 en Writingbench, superan a GPT-4O (8.16), Qwen2.5-Max (8.37) y Deepseek-R1 (8.55), liderando en cinco de seis dominios. En Arena-Write, alcanza el puntaje ELO más alto de 1447. Eliminar las indicaciones de “pensar” o los resultados previos a la preparación en mayores caídas de rendimiento, lo que confirma su importancia. El modelo también logra una tasa de victorias del 98.2 por ciento en las comparaciones basadas en GPT-4.1, con evaluaciones humanas que validan su fuerza en la escritura de forma larga.
Conclusión y perspectiva futura sobre el diseño de recompensas
En conclusión, Longwriter-Zero propone un enfoque de aprendizaje de refuerzo para la generación de texto ultra largo, evitando así la necesidad de conjuntos de datos sintéticos o etiquetados. Construido en Qwen2.5-32b y entrenado desde cero, utiliza modelos de recompensa que el control de longitud del objetivo, la calidad de la escritura y el formato. Logra los mejores puntajes en Writingbench (8.69) y Arena-Write (ELO 1447), superan a GPT-4O (8.16), Deepseek-R1 (8.55) y QWEN3-235B-A22B (ELO 1343). Las evaluaciones basadas en Human y GPT-4.1 muestran tasas de victorias tan altas como 98.2%. Sin embargo, se enfrenta a la piratería de modelos de recompensa, como la longitud de inflar a través de la repetición o la inserción de palabras clave como “Enredo cuántico” para puntajes más altos. Abordar estas limitaciones requerirá un mejor diseño de recompensas y estrategias humanas en el circuito.
Mira el Papel y Tarjeta de conjunto de datos. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro Subreddit de 100k+ ml y suscribirse a Nuestro boletín.
Sana Hassan, una pasante de consultoría en MarktechPost y estudiante de doble grado en IIT Madras, le apasiona aplicar tecnología e IA para abordar los desafíos del mundo real. Con un gran interés en resolver problemas prácticos, aporta una nueva perspectiva a la intersección de la IA y las soluciones de la vida real.
