Los datos tabulares siguen siendo el lugar donde se ejecutan en producción muchos modelos importantes. Los equipos de finanzas, salud, energía e industria trabajan con tablas de filas y columnas, no con imágenes ni textos extensos. Prior Labs ahora amplía este espacio con TabPFN-2.5, un nuevo modelo básico tabular que escala el aprendizaje en contexto a 50 000 muestras y 2000 funciones mientras mantiene un flujo de trabajo sin capacitación.
De TabPFN y TabPFNv2 a TabPFN-2.5
El primer TabPFN demostró que un transformador puede aprender un procedimiento de inferencia similar al bayesiano en tareas tabulares sintéticas. Manejó hasta aproximadamente 1000 muestras y características numéricas limpias. TabPFNv2 amplió esto a datos confusos del mundo real. Agregó soporte para características categóricas, valores faltantes y valores atípicos, y fue práctico hasta 10,000 muestras y 500 características.
TabPFN-2.5 es la próxima generación en esta línea. Prior Labs lo describe como el mejor para conjuntos de datos con hasta 50 000 muestras y 2000 características, lo que representa un aumento de 5 veces en filas y un aumento de 4 veces en columnas con respecto a TabPFNv2. Esto proporciona aproximadamente 20 veces más celdas de datos en el régimen admitido. El modelo se expone a través del paquete tabpfn Python y también a través de una API.
Aprendizaje en contexto para tablas
TabPFN-2.5 sigue la misma idea de red ajustada a datos anterior que las versiones anteriores. Es un modelo básico basado en transformadores que utiliza el aprendizaje en contexto para resolver problemas de predicción tabular en un pase hacia adelante. En el momento del entrenamiento, el modelo se metaentrena en grandes distribuciones sintéticas de tareas tabulares. En el momento de la inferencia, se pasan las filas y etiquetas de entrenamiento y las filas de prueba juntas. El modelo ejecuta una pasada hacia adelante y genera predicciones, por lo que no hay un descenso de gradiente específico del conjunto de datos ni una búsqueda de hiperparámetros.
Resultados comparativos en TabArena y RealCause
El equipo de investigación utiliza el punto de referencia TabArena Lite para medir tareas de tamaño mediano hasta 10.000 muestras y 500 funciones. TabPFN-2.5 en un pase hacia adelante supera a cualquier otro modelo en la comparación. Cuando la variante Real-TabPFN-2.5 se ajusta en conjuntos de datos reales, la ventaja aumenta aún más. AutoGluon 1.4 en modo extremo es el conjunto básico, ajustado durante 4 horas e incluso incluye TabPFNv2.
En los puntos de referencia estándar de la industria con hasta 50 000 puntos de datos y 2000 funciones, TabPFN-2.5 supera sustancialmente a los modelos basados en árboles sintonizados como XGBoost y CatBoost. En los mismos puntos de referencia, iguala la precisión de AutoGluon 1.4, que ejecuta un complejo conjunto sintonizado de cuatro horas que incluye métodos anteriores.
Configuración del modelo de arquitectura y entrenamiento
La arquitectura del modelo sigue TabPFNv2 con atención alterna y de 18 a 24 capas. La atención alterna significa que la red atiende a lo largo del eje de la muestra y a lo largo del eje de la característica en etapas separadas, lo que impone la invariancia de permutación en filas y columnas. Este diseño es importante para datos tabulares donde el orden de las filas y el orden de las columnas no contienen información.
La configuración de la capacitación mantiene la idea de aprendizaje anterior basada en datos. TabPFN-2.5 utiliza tareas tabulares sintéticas con diferentes antecedentes sobre funciones y distribuciones de datos como fuente de metaentrenamiento. Real-TabPFN-2.5 utiliza capacitación previa continua en un conjunto de conjuntos de datos tabulares del mundo real de repositorios como OpenML y Kaggle, mientras que el equipo evita cuidadosamente la superposición con los puntos de referencia de evaluación.
Conclusiones clave
TabPFN 2.5 escala los transformadores tabulares equipados con datos anteriores a aproximadamente 50 000 muestras y 2000 funciones mientras mantiene un flujo de trabajo de un solo paso hacia adelante y sin ajustes. El modelo se entrena en tareas tabulares sintéticas y se evalúa en TabArena, puntos de referencia internos de la industria y RealCause, donde supera sustancialmente las líneas base ajustadas basadas en árboles y coincide con AutoGluon 1.4 en puntos de referencia en este rango de tamaño. TabPFN 2.5 mantiene el transformador de atención alterna de estilo TabPFNv2 para filas y características, lo que permite la invariancia de permutación sobre tablas y el aprendizaje en contexto sin capacitación específica para tareas. Un motor de destilación convierte a TabPFN 2.5 en MLP compacto o en conjuntos de árboles que preservan la mayor parte de la precisión al mismo tiempo que brindan una latencia mucho menor y se conectan a pilas tabulares existentes.
TabPFN 2.5 es una versión importante para el aprendizaje automático tabular porque convierte la selección de modelos y el ajuste de hiperparámetros en un flujo de trabajo de paso único en conjuntos de datos con hasta 50 000 muestras y 2000 características. Combina metaentrenamiento sintético, ajuste fino de Real-TabPFN-2.5 y un motor de destilación en estudiantes de MLP y TreeEns, con una licencia no comercial clara y una ruta empresarial. En general, esta versión hace que las redes ajustadas con datos previos sean prácticas para problemas tabulares reales.
Consulte el papel, los pesos de los modelos, el repositorio y los detalles técnicos. No dude en consultar nuestra página de GitHub para tutoriales, códigos y cuadernos. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 100.000 ML y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.
Asif Razzaq es el director ejecutivo de Marktechpost Media Inc.. Como empresario e ingeniero visionario, Asif está comprometido a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, Marktechpost, que se destaca por su cobertura en profundidad del aprendizaje automático y las noticias sobre aprendizaje profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el público.
🙌 Siga MARKTECHPOST: agréguenos como fuente preferida en Google.