Investigadores de Nvidia y la Universidad de Illinois en Urbana Champaign presentan Retro 48B, un modelo de lenguaje significativamente más grande que los modelos anteriores de recuperación aumentada como Retro (parámetros 7.5B). Retro 48B está previamente entrenado con recuperación en un corpus extenso, lo que mejora la perplejidad. El codificador en InstructRetro se puede eliminar, lo que sugiere que el preentrenamiento continuo mejorado con recuperación mejora el rendimiento del decodificador al responder preguntas.
Los modelos de lenguaje de recuperación aumentada están bien establecidos para la respuesta a preguntas de dominio abierto, lo que beneficia tanto durante el entrenamiento previo como durante la inferencia. Su enfoque reduce la perplejidad del modelo, mejora la factualidad y mejora el desempeño de las tareas después del ajuste. Los modelos existentes con recuperación aumentada tienen un tamaño limitado en comparación con los modelos de solo decodificador, lo que limita su potencial de generalización cero después del ajuste de instrucciones. El ajuste de las instrucciones, vital para la comprensión del lenguaje natural, ha obtenido el apoyo de conjuntos de datos de alta calidad como FLAN, OpenAssistant y Dolly, lo que permite un rendimiento superior en tareas de chat y respuesta de preguntas.
El entrenamiento previo de modelos de lenguaje con recuperación, como Retro, ha demostrado ser prometedor para reducir la perplejidad y mejorar la precisión de los hechos. Sin embargo, los modelos de recuperación aumentada existentes necesitan más parámetros y datos de entrenamiento, lo que afecta su desempeño en el ajuste de instrucciones y otras tareas típicas de modelos de lenguaje grandes. Su estudio presenta Retro 48B, el modelo de recuperación aumentada más grande, y continúa preentrenando un modelo 43B GPT con tokens adicionales. InstructRetro, obtenido de este proceso, mejora significativamente la respuesta a preguntas sin respuesta en comparación con los modelos GPT tradicionales. El decodificador de InstructRetro logra resultados similares cuando se elimina el codificador, lo que demuestra la eficacia del preentrenamiento con recuperación aumentada en la incorporación de contexto para responder preguntas.
Su estudio explora un proceso extenso que involucra el entrenamiento previo de un modelo GPT para crear Retro 48B, instruyéndolo para mejorar sus habilidades de respuesta a preguntas de disparo cero y evaluando su desempeño en diversas tareas. Introduce un novedoso modelo de lenguaje de recuperación aumentada de tamaño 48B, InstructRetro, que supera significativamente al modelo GPT estándar en tareas de respuesta a preguntas sin respuesta después del ajuste de instrucciones. Este enfoque de ampliación demuestra el potencial de modelos más grandes de recuperación aumentada en la comprensión del lenguaje natural.
Retro 48B, un modelo de lenguaje previamente entrenado con recuperación, supera en perplejidad al modelo GPT original. Después del ajuste de instrucciones, denominado InstructRetro, mejora significativamente la respuesta a preguntas inmediatas, con una mejora promedio del 7 % en tareas de control de calidad de formato corto y del 10 % en formato largo en comparación con su contraparte GPT. Sorprendentemente, la columna vertebral del decodificador de InstructRetro por sí sola ofrece resultados comparables, lo que indica la eficacia del entrenamiento previo basado en la recuperación en la incorporación de contexto para el control de calidad.
La presentación de InstructRetro 48B, el modelo de lenguaje de recuperación aumentada más grande, mejora significativamente la precisión del disparo cero en una amplia gama de tareas de control de calidad abiertas en comparación con su contraparte GPT. El entrenamiento previo con recuperación utilizando el método de aumento retro mejoró la perplejidad. Los resultados de su estudio sugieren que el entrenamiento previo continuo con recuperación antes del ajuste de instrucciones ofrece una dirección prometedora para mejorar los decodificadores GPT en el control de calidad. Sorprendentemente, el decodificador logra una precisión comparable, lo que demuestra la eficacia del entrenamiento previo para la incorporación de contexto. InstructRetro sobresale en tareas de control de calidad de formato largo, destacando el potencial del entrenamiento previo con recuperación aumentada para tareas desafiantes.
Revisar la Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides unirte. nuestro SubReddit de 31k+ ML, Comunidad de Facebook de más de 40.000 personas, Canal de discordia, y Boletín electrónicodonde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.
Si te gusta nuestro trabajo, te encantará nuestra newsletter.
También estamos en WhatsApp. Únase a nuestro canal de IA en Whatsapp.
Hola, mi nombre es Adnan Hassan. Soy pasante de consultoría en Marktechpost y pronto seré aprendiz de gestión en American Express. Actualmente estoy cursando una doble titulación en el Instituto Indio de Tecnología, Kharagpur. Me apasiona la tecnología y quiero crear nuevos productos que marquen la diferencia.