Mejorar la forma en que los LLM aprenden y responden
También estamos mejorando la forma en que los LLM capacitan, aprenden y responden a los usuarios, mejorando el rendimiento y la eficiencia en varios frentes.
Con ventanas de contexto más grandes, los LLM ahora pueden aprender potencialmente de miles de ejemplos a la vez, lo que se conoce como aprendizaje en contexto de múltiples tomas (ICL). Este proceso mejora el rendimiento del modelo en tareas como matemáticas, traducción y razonamiento, pero a menudo requiere datos de alta calidad generados por humanos. Para que la capacitación sea más rentable, exploramos métodos para adaptar ICL de múltiples tomas que reduzcan la dependencia de datos seleccionados manualmente. Hay tantos datos disponibles para entrenar modelos de lenguaje que la principal limitación para los equipos que los crean es la computación disponible. Abordamos una pregunta importante: con un presupuesto informático fijo, ¿cómo se elige el tamaño de modelo adecuado para lograr los mejores resultados?
Otro enfoque innovador, que llamamos Modelos de lenguaje invertido en el tiempo (TRLM), explora la capacitación previa y el ajuste de un LLM para que funcione a la inversa. Cuando se le dan respuestas tradicionales de LLM como entrada, un TRLM genera consultas que podrían haber producido esas respuestas. Cuando se combina con un LLM tradicional, este método no solo ayuda a garantizar que las respuestas sigan mejor las instrucciones del usuario, sino que también mejora la generación de citas para textos resumidos y mejora los filtros de seguridad contra contenido dañino.
La curación de datos de alta calidad es vital para entrenar grandes modelos de IA, pero la curación manual es difícil a escala. Para abordar esto, nuestro algoritmo de selección conjunta de ejemplos (JEST) optimiza el entrenamiento al identificar los datos más fáciles de aprender dentro de lotes más grandes, lo que permite hasta 13 veces menos rondas de entrenamiento y 10 veces menos cálculos, superando las líneas base de preentrenamiento multimodal de última generación.
Las tareas de planificación son otro desafío para la IA, particularmente en entornos estocásticos, donde los resultados están influenciados por la aleatoriedad o la incertidumbre. Los investigadores utilizan varios tipos de inferencias para la planificación, pero no existe un enfoque consistente. Demostramos que la planificación en sí misma puede verse como un tipo distinto de inferencia probabilística y proponemos un marco para clasificar diferentes técnicas de inferencia en función de su eficacia de planificación.