Prior Labs ha lanzado TabPFN-3.5, la versión más nueva de su modelo de base tabular. Predice sobre una tabla en un pase hacia adelante, sin entrenamiento ni ajuste por conjunto de datos. Prior Labs obtiene el primer lugar en 7 puntos de referencia tabulares. Una demostración separada lo muestra superando la solución ganadora de una famosa competencia Kaggle de 2015.
¿Implementable? Sí, con licencia. Los pesos abiertos se ejecutan localmente para investigación, evaluación y Kaggle, pero el uso en producción necesita la API de Prior Labs o una licencia comercial.
El resultado de Otto
El Desafío de Clasificación de Productos de Otto Group se llevó a cabo en Kaggle en 2015. Atrajo a 3505 equipos que compitieron por 10 000 dólares. Los participantes clasificaron los productos en 9 categorías utilizando 93 funciones de recuento ofuscadas. Los envíos se calificaron con pérdida de registros de clases múltiples, donde cuanto menor sea, mejor.
La solución ganadora provino de Gilberto Titericz y Stanislav Semenov. Ambos han ocupado el puesto número uno del mundo en el ranking de grandes maestros de Kaggle. Su entrada fue una pila de múltiples capas de 36 modelos construidos con características hechas a mano.
Nick Erickson, cocreador de AutoGluon e investigador de IA en Prior Labs, ha perseguido esa puntuación durante años. Según Erickson, AutoGluon ocupó el puesto 23 en su artículo de 2020. AutoGluon 1.0 alcanzó el puesto 14 en 2023 y AutoGluon 1.6 alcanzó el puesto 9 en agosto de 2026.
El tramo final fue el más duro. Pasar del rango 50 al rango 10 redujo la pérdida logarítmica de 0,41 a 0,40. Alcanzar el 0,382 ganador desde el puesto 10 requirió 0,018 más, casi el doble.
TabPFN-3.5 obtiene una puntuación de 0,375 en la clasificación privada. Erickson dice que se ejecutó con datos sin procesar con la configuración predeterminada. Tomó aproximadamente un minuto en una GPU RTX PRO 6000. El modelo fue entrenado previamente solo con datos sintéticos y nunca vio Otto ni ningún conjunto de datos de Kaggle. Un cuaderno Kaggle reproducible es público.
Resultados de referencia
El informe técnico enumera el primer lugar en TabArena, BeyondArena, STRABLE, MulTaBench, RelArena-α, TALENT y ScoringBench. La entrada superior no siempre es el modelo base. TabPFN-3.5-Thinking ocupa el primer lugar en TabArena, BeyondArena, STRABLE y MulTaBench. Una vista previa interna del arnés TabPFN-Rel toma RelArena-α.
En TabArena, un punto de referencia vivo de 51 conjuntos de datos, Thinking alcanza 1910 Elo. El modelo base obtiene una puntuación de 1866, por delante de TabFM+ con 1823. Prior Labs dice que el modelo base supera a AutoGluon 1.6 extreme en 130 Elo en una quinta parte del tiempo.
BeyondArena abarca 142 conjuntos de datos con datos agrupados, temporales, amplios, ricos en texto y de alta cardinalidad. TabPFN-3.5 termina unos 150 puntos Elo por delante del anterior líder general. Los MLP sintonizados y ensamblados siguen liderando sus porciones agrupadas, temporales y de datos grandes.
Lo que cambió bajo el capó
Modelo más amplio: el transformador en contexto crece de 512 a 1024 dimensiones. Los parámetros aumentan a 220M, frente a los 53M de la clasificación TabPFN-3. 1 punto de control: un único punto de control multitarea ahora cubre la clasificación y la regresión. Nuevas codificaciones de celda: los valores pasan a través de características de Fourier aprendidas y rangos ECDF en contexto. Los rangos no cambian bajo transformaciones monótonas como el escalado logarítmico. Preprocesamiento más simple: se eliminan las transformaciones cuantiles, el escalado robusto y las funciones SVD. Escala: hasta 1 millón de filas, con 6000 funciones recomendadas y 20 000 compatibles. Ajustado antes: los datos sintéticos ahora enfatizan tablas de alta cardinalidad, amplias y agrupadas.
La caché KV mantiene aproximadamente el mismo tamaño que TabPFN-3, a pesar de tener alrededor de 4 veces más parámetros. Las predicciones de una sola fila almacenadas en caché coinciden con la velocidad de TabPFN-3. Sin embargo, en conjuntos de entrenamiento grandes, el modelo base se ejecuta hasta 2 veces más lento que TabPFN-3.