La longitud del contexto se refiere a la cantidad máxima de tokens que el modelo puede recordar al generar texto. Una ventana de contexto más larga permite que el modelo comprenda mejor las dependencias de largo alcance en el texto. Los modelos con contextos más largos pueden construir conexiones entre ideas muy alejadas en el texto, generando resultados más coherentes a nivel global.
Durante el entrenamiento, el modelo procesa los datos de texto en fragmentos o ventanas de longitud fija. Los modelos deben entrenarse en textos extensos para aprovechar contextos extensos. Las secuencias de entrenamiento deben contener documentos, libros, artículos, etc., con miles de tokens.
La longitud de los datos de entrenamiento establece un límite en la longitud del contexto utilizable.
Entonces, ¿por qué no entrenamos modelos en secuencias más largas?
No tan rapido.
Al aumentar la longitud del contexto, aumenta el número de posibles combinaciones de tokens que el modelo debe aprender a predecir con precisión.
Esto permite un modelado de largo alcance más robusto, pero también requiere más memoria y potencia de procesamiento, lo que genera mayores costos de capacitación.
Sin ninguna optimización, el cálculo escala cuadráticamente con la longitud del contexto, lo que significa que un modelo de 4096 tokens necesitará 64 veces más cálculo que un modelo de 512 tokens.
Puede utilizar métodos de atención escasos o aproximados para reducir el costo de cálculo, pero también pueden afectar la precisión del modelo.
Entrenar y utilizar modelos de lenguaje de contexto amplio presenta tres desafíos principales:
- Colocar contextos largos en el modelo.
- Acelerar la inferencia y el entrenamiento para que no demoren una eternidad.
- Garantizar una inferencia de alta calidad que mantenga el conocimiento del contexto completo.
El mecanismo de atención es el componente central de los modelos de transformadores. Relaciona diferentes posiciones de una secuencia para calcular su representación, lo que permite que los modelos se centren en partes relevantes del texto y lo comprendan mejor. Escalar transformadores a secuencias más largas enfrenta desafíos debido a la complejidad cuadrática de la atención total.