El desafío de la selección de datos en el pretréngel de LLM
El desarrollo de modelos de idiomas grandes implica una inversión computacional sustancial, especialmente cuando se experimenta con corpus alternativos previos al pretreriamiento. Comparación de conjuntos de datos a escala completa, en el orden de miles de millones de parámetros y cientos de miles de millones de tokens, puede consumir cientos de miles de horas de GPU por ejecución. En consecuencia, los practicantes recurren a experimentos a menor escala como proxies para el comportamiento de modelos grandes. Sin embargo, estos estudios “piloto” rara vez se publican, produciendo un paisaje fragmentado en el que cada laboratorio repite pruebas similares a pequeña escala sin puntos de referencia o metodologías compartidas. Esta opacidad impide la reproducibilidad, subutiliza las ideas colectivas y oscurece las verdaderas compensaciones entre el cálculo de desarrollo y el rendimiento final del modelo.
DataDecide
Para abordar estas limitaciones, el Allen Institute for AI (AI2), en colaboración con la Universidad de Washington y la Universidad de Pensilvania, se lanza hoy DataDecide—Un conjunto integral de experimentos de pretrenesa controlados que abarcan 25 corpus distintos y 14 tamaños de modelo de 4 millones a 1 mil millones de parámetros. Los conjuntos de datos de DataDecide incluyen fuentes bien conocidas como Dolma, DCLM, RefinedWeb, C4 y FineWeb, junto con variaciones producidas por la ablación por dominio, la deduplicación, el filtrado de calidad y la mezcla de fuente. Cada modelo está entrenado en una relación token -parámetro fija de 100 (100 tokens por parámetro), lo que refleja el régimen de “sobreentrenamiento” que optimiza la eficiencia de inferencia. En total, más de 1,050 modelos y más de 30,000 puntos de control, cada uno evaluados en diez tareas aguas abajo, se liberan al público.
Estructura técnica y beneficios pragmáticos
DataDecide orquesta experimentos a lo largo de tres ejes:
- Recetas de datos: Veinticinco corpus de pretratrenamiento bien documentados, cada uno que incorpora diferentes estrategias de curación (ver Tabla 1 en el documento para las especificaciones completas de la receta).
- Escala de modelo: Catorce configuraciones de parámetros (4 m – 1 b), derivadas programáticas a través de la escalera del modelo OLMO para garantizar hiperparámetros de entrenamiento consistentes en las escalas. Cada escala de no objetivo incluye dos corridas de semillas de “parada temprana”, mientras que los modelos de 1 parámetro B cuentan con tres repeticiones completas de semillas para cuantificar la variabilidad.
- Suite de evaluación: El punto de referencia de Olmes de diez tareas de elección múltiple (p. Ej., MMLU, ARC Easy/Challenge, HellaSwag, MBPP, Humaneval) proporciona una visión multifacética de la comprensión del lenguaje, el razonamiento de sentido común y el rendimiento de la generación de códigos.
Al liberar tanto los conjuntos de datos previos a la tracción como los modelos correspondientes, DataDecide permite a los investigadores:
- Reutilizar los puntos de control para nuevas evaluaciones sin reentrenamiento.
- Experimente con nuevos métodos de predicción (p. Ej., Ajuste de la ley de escala avanzada, técnicas de suavizado).
- Investigue la sensibilidad de referencia a los datos de entrenamiento y la escala del modelo.
Hallazgos clave e ideas cuantitativas
El análisis sistemático de DataDecide produce cuatro pautas prácticas:
- Robusteza de línea de base a escala única: La clasificación de los corpus por precisión aguas abajo a una sola escala pequeña (p. Ej., 150 m de parámetros) logra ~ 80 por ciento de precisión de decisión para predecir el mejor conjunto de datos en la escala objetivo de 1 parámetro B. En contraste, ocho extrapolaciones de la ley de escala de línea de base no superan a esta simple heurística, subrayando su rentabilidad.
- Sensibilidad de cálculo dependiente de la tarea: El presupuesto de cálculo requerido para decisiones confiables varía notablemente por la tarea. Los puntos de referencia como MMLU y ARC Easy se vuelven predecibles con menos del 0.01 por ciento del cálculo objetivo, mientras que HELLASWAG y SocialIQA demandan órdenes de magnitud más fracasos para lograr una precisión de decisión similar.
- Selección de métrica proxy: Las métricas de probabilidad continua, específicamente la probabilidad promedio anormalizada del carácter de continuaciones correctas (probabilidad correcta) y probabilidad total (Prob), superan las medidas de precisión discreta a pequeñas escalas. Esto es más pronunciado en las tareas de código (MBPP, Humaneval), donde la precisión de la decisión salta de cerca del país a más del 80 por ciento con un problema correcto como proxy.
- Consideraciones de varianza y propagación: La alta precisión de la decisión se correlaciona con una baja varianza de ejecución a repente (ruido) y un amplio rendimiento extendido en los conjuntos de datos. Las métricas proxy que reducen el ruido o amplifican la propagación, así que mejoran directamente la confiabilidad de la predicción.
Perspectiva final
DataDecide transforma la selección de datos de pretratina de un arte ad hoc en una ciencia transparente e impulsada por datos. Mediante la orientación abierta de los 25 corpus, 1,050 modelos, más de 30,000 puntos de control y scripts de evaluación en abrazar a Face y GitHub, AI2 invita a la comunidad a reproducir los hallazgos, extender las evaluaciones a nuevos puntos de referencia e innovar en los métodos de toma de decisiones. A medida que el desarrollo de LLM continúa exigiendo los recursos de calculación cada vez más giratoria, DataDecide ofrece un marco de principios para minimizar los experimentos desperdiciados y maximizar la información, avanzando hacia la investigación de IA más eficiente, reproducible y colaborativa.
Mira el Papel, Modelo en la cara abrazada y Detalle técnico. Además, no olvides seguirnos Gorjeo y únete a nuestro Canal de telegrama y LinkedIn GRsalpicar. No olvides unirte a nuestro 90k+ ml de subreddit.
Asif Razzaq es el CEO de MarktechPost Media Inc .. Como empresario e ingeniero visionario, ASIF se compromete a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, MarktechPost, que se destaca por su cobertura profunda de noticias de aprendizaje automático y de aprendizaje profundo que es técnicamente sólido y fácilmente comprensible por una audiencia amplia. La plataforma cuenta con más de 2 millones de vistas mensuales, ilustrando su popularidad entre el público.
