Los avances en el campo del aprendizaje automático en los últimos tiempos han dado como resultado tamaños de entrada más grandes para los modelos. Sin embargo, la escala cuadrática de la computación necesaria para la autoatención del transformador plantea ciertas limitaciones. Investigaciones recientes han presentado un método viable para expandir ventanas de contexto en transformadores con el uso de memoria recurrente. Esto incluye agregar memoria interna recurrente a un modelo de lenguaje ya entrenado y optimizarlo para ciertas tareas que involucran contextos extensos divididos en partes más pequeñas.
La investigación ha avanzado en la técnica de la memoria recurrente agregando recuperación en contexto basada en la incrustación de segmentos de entrada en la memoria recurrente. El equipo ha presentado el marco BABILong, que es un punto de referencia generativo para probar modelos de procesamiento del lenguaje natural (PNL) en el procesamiento de documentos arbitrariamente largos que contienen hechos dispersos con el fin de evaluar modelos con entradas muy largas.
El propósito del punto de referencia BABILong es evaluar qué tan bien los modelos generativos manejan contextos prolongados. Incluye alargar la duración de las actividades actuales y poner a prueba los modelos para separar los detalles pertinentes de la información crucial en contextos prolongados. Para hacer esto, el equipo ha creado ejemplos agregando progresivamente oraciones en el orden natural a partir de un conjunto de datos de fondo hasta que los ejemplos tengan la longitud adecuada. Los libros del conjunto de datos PG19 han proporcionado el texto de fondo, que fue seleccionado por su extensión significativa y contextos extendidos que ocurren naturalmente.
El equipo se ha centrado en mejorar el punto de referencia bAbI, que se creó inicialmente para evaluar características fundamentales del razonamiento. Las tareas de bAbI simulan personajes y objetos que participan en movimientos e interacciones, con preguntas basadas en los hechos creados. Las tareas varían en complejidad, evaluando el razonamiento espacial y temporal, la deducción, la resolución de correferencia, etc. El equipo ha compartido que los puntos de referencia generados, como bAbI y BABILong, no son susceptibles a la filtración de datos, a diferencia de muchos otros puntos de referencia de PNL.
El equipo ha elegido desafíos computacionales sencillos para llamar la atención sobre las deficiencias básicas de los modelos que se utilizan hoy en día para recopilar datos en contextos extendidos. Sin embargo, al combinar oraciones de tareas con material de referencia, también han propuesto que el enfoque de “aguja en un pajar” podría usarse para abarcar tareas más complejas.
El equipo ha resumido sus principales contribuciones de la siguiente manera.
- Se ha introducido BABILong, un punto de referencia generativo para evaluar la efectividad de los modelos de PNL, lo cual es importante en el manejo de documentos extensos con datos dispersos.
- Se ha realizado un análisis de GPT-4 y RAG en tareas de respuesta a preguntas para escenarios de “aguja en un pajar” con entradas de millones de tokens.
- Se ha logrado un nuevo récord para el tamaño de secuencia más grande manejado por un solo modelo mediante la evaluación de un transformador de memoria recurrente en textos de entrada de hasta 11 millones de tokens.
Revisar la Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y noticias de Google. Unirse nuestro SubReddit de 38k+ ML, 41k+ comunidad de Facebook, Canal de discordiay LinkedIn Grarriba.
Si te gusta nuestro trabajo, te encantará nuestro Boletin informativo..
No olvides unirte a nuestro Canal de telegramas
También te puede gustar nuestro Cursos GRATUITOS de IA….
Tanya Malhotra es estudiante de último año de la Universidad de Estudios de Petróleo y Energía, Dehradun, y cursa BTech en Ingeniería Informática con especialización en Inteligencia Artificial y Aprendizaje Automático.
Es una entusiasta de la Ciencia de Datos con buen pensamiento analítico y crítico, junto con un ardiente interés en adquirir nuevas habilidades, liderar grupos y gestionar el trabajo de manera organizada.