El modelo predice la columna que falta en cualquier tabla, de forma cero, de la misma manera que un modelo de lenguaje completa el texto. En el punto de referencia principal de la comunidad, cada entrada de modelo individual por encima del árbol mejorado con gradiente mejor ajustado ahora es una de estas. Esta publicación explica cuáles son, verifica cuál es el más fuerte con pesos abiertos sin restricciones en mi propio hardware y mapea dónde los árboles aún ganan.
Existe una clase bastante nueva de modelo para tablas: transformadores previamente entrenados que predicen en cualquier hoja de cálculo el tiro cero, vagamente llamados "LLM tabulares". En la tabla de clasificación de TabArena, cada entrada de modelo por encima de la configuración GBDT mejor ajustada y ensamblada es una de ellas; las únicas entradas superiores que no lo son son las tuberías de conjunto de 4 horas de AutoGluon. Esto invierte la respuesta predeterminada de la última década, que era ajustar un árbol potenciado por gradiente sintonizado. Las tablas de clasificación han estado equivocadas antes, de maneras que sólo aparecen cuando un extraño las vuelve a ejecutar (esa fue mi experiencia con los modelos de series de tiempo), así que antes de creer en ésta, la audité. Volví a calcular la puntuación de la placa a partir de sus artefactos publicados, tomé TabICLv2, el modelo más potente con pesos abiertos sin restricciones, y lo volví a ejecutar desde cero en el hardware que controlaba.
Mi ejecución independiente cubrió los 51 conjuntos de datos en el protocolo Lite oficial del punto de referencia (una división de tren/prueba por conjunto de datos, los mismos índices de división que utiliza la tabla de clasificación) en un único AWS A10G. Puntuado contra las filas de artefactos oficiales en esas divisiones idénticas, mi TabICLv2 aterriza en Elo 1559 contra el oficial 1575, rangos adyacentes y muy dentro de los intervalos de arranque de ±60–86. Por tarea, 16 de los 51 valores métricos resultaron idénticos con cuatro decimales, la diferencia relativa mediana fue del 0,08% y el peor conjunto de datos difirió en un 3,5%, el tamaño de la brecha que se esperaría del no determinismo de GPU en lugar de una diferencia de metodología. Todo el barrido, incluida la configuración del entorno, se realizó en una sesión de GPU de 2,1 horas que costó poco más de 2 dólares.
¿Qué es un modelo de base tabular?
Un modelo de base tabular es un modelo único previamente entrenado que predice en cualquier tabla, de forma cero. Le entrega las filas cuyas etiquetas conoce como contexto, de la misma manera que pegaría ejemplos resueltos en un mensaje de LLM, y predice las etiquetas de las filas retenidas en una sola pasada. No hay ningún tren de gradiente en sus datos y no hay búsqueda de hiperparámetros; el paso que todos los demás métodos tabulares llaman “entrenamiento” se convierte en inferencia. La literatura llama a esto aprendizaje en contexto y los artículos de TabPFN establecieron que funciona para tablas.
Se comporta como un k-vecino-más cercano aprendido: para etiquetar una fila retenida, el modelo presta atención a las filas cuyas etiquetas puede ver y lee una respuesta ponderada por cuán similares son. La diferencia con el k-NN ordinario es que la similitud y la forma en que se combinan los vecinos provienen del entrenamiento previo en lugar de fijarse de antemano.
La familia ha crecido rápidamente desde: los sucesores de TabPFN (Prior Labs), TabICL y TabICLv2 (el equipo SODA de Inria), TabDPT (Capa 6) y, dos semanas antes de esta publicación, TabFM de Google Research. Todos ellos aparecen en la clasificación a continuación.
El "LLM" en "LLM tabular" está suelto. Estos modelos son transformadores, pero no modelan el lenguaje y se diferencian de un LLM de texto en todos los ingredientes. El token de un LLM de texto es una palabra de un vocabulario fijo; La materia prima de un modelo tabular son las celdas, columnas y filas de una tabla, números y categorías sin ningún vocabulario fijo, ya que las columnas de su tabla nunca se han visto antes y el modelo tiene que lidiar con ellas de todos modos. Un LLM de texto se prepara previamente en texto de Internet con predicción del siguiente token; un modelo de base tabular se entrena previamente en millones de pequeñas tablas sintéticas generadas por modelos causales estructurales aleatorios (gráficos aleatorios de causa y efecto conectados para emitir conjuntos de datos falsos plausibles), y su objetivo es predecir las celdas y etiquetas retenidas de esas tablas. El entrenamiento previo inculca un procedimiento general para leer una tabla nueva e inferir cómo sus características se relacionan con su objetivo, en lugar de conocimiento sobre el mundo. Una consecuencia es el tamaño. Las tablas tienen menos complejidad superficial que el lenguaje, por lo que decenas de millones de parámetros son suficientes: TabICLv2 tiene aproximadamente 28 millones, frente a los 102 millones de t0-alpha y los miles de millones de un LLM de texto.
El contraste con los modelos básicos de series temporales del post t0 se reduce al orden. Una serie temporal tiene uno: t0, Chronos y TimesFM aplican atención causal a lo largo del tiempo, mirando únicamente al pasado, y pronosticar significa continuar la secuencia más allá de su final. Una tabla no tiene orden de filas. Mezcle las filas y obtendrá la misma tabla, por lo que la arquitectura necesita la propiedad opuesta: las predicciones no deben depender de cómo se ordenó la hoja de cálculo. (El orden de las columnas también es arbitrario, pero TabICLv2 lo maneja de manera diferente: deliberadamente da posiciones a las características nuevamente, mediante incrustaciones rotativas y agrupaciones de características, para mantener distinta la identidad de cada columna; la figura de arquitectura a continuación muestra dónde). La tarea cambia en consecuencia, desde extrapolar más allá del rango observado hasta completar una columna faltante para las filas retenidas. Independientemente, los dos campos convergieron en los mismos hábitos. Ambos se entrenan previamente con datos sintéticos (universalmente aquí, a través de los antecedentes de SCM; parcialmente en series de tiempo), y ambos emiten distribuciones en lugar de puntos: t0 genera nueve cuantiles, el cabezal de regresión de TabICLv2 999.
Una ambigüedad se desprende de la publicación de la serie temporal. “Tabular LLM” a veces también nombra una línea de trabajo diferente, en la que a un LLM de texto real se le solicita una tabla serializada en texto, como lo hace TabLLM. Todo en esta publicación trata sobre los modelos básicos nativos de tablas, pero esta vez también medí la línea de serialización y aviso: pierde frente al modelo nativo de tablas en 43 de 49 conjuntos de datos (detalles a continuación).
Qué es TabICLv2: pequeño, abierto, reproducible
TabICLv2 es uno de estos estudiantes en contexto. La adaptación lleva unos segundos y no hay hiperparámetros que buscar. Debajo de la etiqueta hay tres transformadores apilados, cada uno respondiendo una pregunta diferente sobre la tabla, y se lee más fácilmente en ese orden.
El primer transformador lee cada columna, una característica a la vez. Su trabajo es convertir un valor bruto en una incrustación que sepa qué tipo de número está mirando, porque los mismos dígitos significan cosas diferentes en diferentes columnas. Un 450 en una columna de precio y un 450 en una columna de código postal no están relacionados, y un modelo que solo ve el número no tiene forma de diferenciarlos. Esta etapa es un transformador de conjuntos: trata una columna como un conjunto desordenado de valores, aprende la distribución de esa columna y le da a cada celda una incrustación que refleja dónde se encuentra el valor dentro de su propia característica. Entonces, un 450 se convierte en "un artículo bastante barato" y el otro se convierte en "un código de área particular", a partir del mismo número de entrada.
El segundo transformador lee cada fila y la colapsa en un solo vector. Después de la primera etapa, una fila es una bolsa de incorporaciones por función, una para cada columna. Una fila es un conjunto, y la forma estándar de resumir un conjunto con un transformador es agregar algunos tokens de consulta aprendidos (los tokens [CLS]) y dejar que atiendan a los miembros. Aquí, cuatro tokens [CLS] por fila reúnen las partes de la fila que importan y sus salidas se concatenan en un vector de fila. Cualquiera que sea el número de columnas con las que comenzó la fila, ahora es un único vector de longitud fija que representa todo el ejemplo.
El tercer transformador hace la predicción y aquí es donde ocurre el aprendizaje en contexto. No se ejecuta ningún descenso de gradiente en el momento de la predicción. En cambio, cada vector de fila de prueba sin etiquetar atiende a todos los vectores de fila de tren etiquetados, encuentra las filas de entrenamiento que más se parecen a él y lee una etiqueta de ellas. La atención se dirige en una sola dirección, desde las filas de prueba hasta las filas del tren, por lo que los ejemplos etiquetados informan las predicciones, pero nunca al revés. Es un razonamiento de vecinos más cercanos hecho con atención: el modelo mira los ejemplos cuyas respuestas ya conoce, los pesa por similitud con la fila que tiene delante y predice a partir de ellos. El conjunto de entrenamiento se alimenta como contexto en lugar de integrarse en los pesos, por lo que puede apuntar el modelo a una tabla que nunca vio en el entrenamiento previo y obtener una predicción sin entrenar nada.
Encima hay dos cabezas, una por tipo de tarea. Para la clasificación, un clasificador jerárquico asigna la etiqueta y funciona para cualquier número de clases. Para la regresión, la cabeza no emite un solo número; emite 999 cuantiles, su estimación del percentil 0,1, el 0,2, y así hasta el 99,9. Esto proporciona la distribución predictiva completa en lugar de una única estimación puntual, por lo que se puede leer una mediana y un intervalo honesto a su alrededor.
Esos 999 cuantiles se entrenan con pérdida de pinball, y vale la pena ver por qué esa pérdida produce cuantiles. Para un cuantil objetivo, digamos el percentil 90, las pérdidas en el pinball cobran un precio diferente por ser demasiado bajo que por ser demasiado alto. Si no alcanza el valor real, pagará 0,9 × error; sobrepasa y pagas sólo 0,1 × error. Esa asimetría empuja la predicción hacia arriba hasta que alrededor del 90% de los valores reales caen por debajo de ella, que es la definición del percentil 90. Aplique la misma regla a los 999 objetivos a la vez y cada salida se establecerá en su propia porción de la distribución. El nombre proviene de la forma de la pérdida trazada contra el error: una V torcida, empinada por un lado y poco profunda por el otro, como la inclinación de una mesa de pinball. En la mediana es simétrico y se reduce a un simple error medio-absoluto.
Los detalles que permitieron que v2 escalara donde v1 se detuvo están en el documento: un softmax reescalado con reconocimiento de consultas (QASSMax) para que la atención no se desvanezca en un contexto prolongado, agrupación de funciones que rompe la simetría entre columnas e incrustaciones de objetivos inyectadas temprano.
Tres propiedades lo convierten en el objetivo de auditoría adecuado: pequeño, abierto y reproducible a la vez. Los pesos están en HuggingFace bajo BSD-3 sin puerta ni licencia de clic; pip install tabicl y se ejecuta. Cargar los dos puntos de control y contar da exactamente 27.552.258 parámetros para el clasificador y 28.544.991 para el regresor, por lo que "aproximadamente 28 M" provienen de contar los tensores en los puntos de control descargados. Eso es aproximadamente una cuarta parte del tamaño de t0-alpha, para un modelo que supera a los GBDT sintonizados. Sus principales rivales no comparten la propiedad en su totalidad: la línea TabPFN (Prior Labs) publica pesas bajo una licencia no comercial con un paso de aceptación de licencia en sus herramientas, y TabFM (Google Research) envía pesas bajo una licencia no comercial sin papel alguno. Los pesos abiertos son importantes aquí por la misma razón que antes: cualquiera puede volver a ejecutar la evaluación y verificar el reclamo.
TabICLv2 también está preentrenado exclusivamente con datos sintéticos, generados a partir de modelos causales estructurales aleatorios. Ninguna tabla del mundo real entra en el preentrenamiento, por lo que ningún conjunto de datos de referencia puede filtrarse en ella. La sección de contaminación a continuación compara esto con los modelos más nuevos que agregan datos reales de preentrenamiento.
Probando uno en tu propia mesa
La superficie práctica es scikit-learn. TabICLv2 se instala con pip install tabicl, descarga su punto de control de HuggingFace en el primer uso y acepta un DataFrame de pandas con columnas categóricas y valores faltantes tal cual:
from tabicl import TabICLClassifier # TabICLRegressor para regresión clf = TabICLClassifier() # los valores predeterminados están bien: sin búsqueda de hiperparámetros clf.fit(X_train, y_train) # segundos: almacena contexto, sin entrenamiento de gradiente proba = clf.predict_proba(X_test) # un pase hacia adelante
Se ejecuta en CPU para mesas pequeñas, pero los números de velocidad en esta publicación son números de GPU; una única GPU de consumo es el hogar previsto. El rango de trabajo está limitado: TabICLv2 se entrenó previamente en tablas de aproximadamente 300 a 48 000 filas de entrenamiento, el punto de referencia a continuación alcanza un máximo de 150 000 filas y mi análisis de régimen más adelante en la publicación muestra que la precisión se degrada en tablas muy amplias (más de ~100 características). Dentro de ese sobre, el modelo ganó entre el 86% y el 88% de los conjuntos de datos frente a los árboles sintonizados en mi análisis de régimen y se ajusta en segundos; fuera de él, la sección de árboles a continuación es donde mirar.
El punto de referencia y la parte que yo mismo verifiqué
TabArena consta de 51 conjuntos de datos seleccionados que abarcan clasificación binaria, multiclase y regresión, de 748 a 150 000 filas y de 5 a 1777 funciones. Cada método se evalúa con validaciones cruzadas repetidas (9 a 30 divisiones por conjunto de datos), los modelos se comparan con métricas apropiadas para la tarea (ROC-AUC, log-loss, RMSE) y el agregado es una calificación Elo: cada comparación por pares por tarea es un "juego", y la escala está anclada de modo que un RandomForest predeterminado se ubica en 1000 y una brecha de 400 puntos significa probabilidades de ganar de 10:1. Es un referente vivo; Los métodos y resultados se agregan continuamente.
Antes de citar el Elo de alguien, quería saber si podía recalcularlo. TabArena publica sus resultados por división como artefactos descargables, por lo que ejecuté el propio proceso de agregación de los mantenedores localmente sobre esos artefactos, con sus constantes oficiales (200 rondas de arranque, métodos imputados excluidos), y diferí mi tablero con el CSV detrás de tabarena.ai. Los 69 métodos coincidieron, 67 de 69 dentro de ±1 Elo, y el orden de los 30 primeros resultó idéntico (Spearman ρ = 0,99998 en todos los ámbitos). Esa verificación valida el código de puntuación y agregación, el mismo papel que jugó el partido Seasonal-Naive en la publicación t0. No valida las predicciones propias de ningún modelo; para eso es la repetición.
Las dos filas que diferían en más de un punto eran configuraciones TabM sintonizadas (+4 y +5 Elo); Las columnas de tiempo de ejecución de las tres variantes de TabM también cambiaron, porque el artefacto de resultados de TabM se actualizó después de que se publicó la instantánea actual del sitio web. El punto de referencia se actualiza continuamente, por lo que todo lo que aparece a continuación está fijado en la instantánea del 15 de julio de 2026.
El nuevo cálculo también mostró que Elo depende del grupo. Mi primer intento incluyó los métodos imputados que el sitio web excluye, y cada calificación cambió entre 10 y 30 puntos. Las métricas por conjunto de datos en los artefactos son números independientes del grupo; Elo los resume en relación con cualquier grupo que obtenga.
La clasificación
Todas las cifras de Elo a continuación provienen del tablero oficial (instantánea del 15 de julio de 2026), que volví a calcular en ±1 Elo a partir de los artefactos publicados. Estos son números de protocolo completo (de 9 a 30 divisiones por conjunto de datos); mi propia ejecución utiliza el protocolo Lite oficial (1 división por conjunto de datos), por lo que aparece como una comparación separada debajo de la tabla en lugar de una fila dentro de ella.
Restringir todo el grupo a las divisiones Lite y fusionarme en mi nueva ejecución: TabICLv2 oficial obtiene 1575 allí y el mío 1559, ocupa los puestos 5 y 6 en el mismo tablero. La sección de reproducción anterior tiene los números por tarea.
Primero, cada modelo por encima de la mejor configuración GBDT es un modelo de base tabular; las únicas entradas que no son FM por encima son las tuberías del conjunto AutoGluon. LightGBM con sintonización completa y ensamblaje post-hoc alcanza 1432; TabICLv2 sin ningún ajuste se encuentra a 158 Elo por encima, y la línea TabPFN cerrada aún más arriba. En este tablero, en estos tamaños de conjuntos de datos (748 a 150k filas), la frontera de precisión pertenece a los modelos básicos. No esperaba que el margen fuera tan amplio.
En segundo lugar, el coste del servicio complica la habitual defensa de los árboles (“claro, pero son baratos”). El tiempo de predicción medio de TabICLv2 es de 0,38 s por 1000 filas, más rápido que LightGBM sintonizado y ensamblado (2,64) y en el mismo rango que CatBoost sintonizado. Su tiempo de ajuste medio, 4 s por 1000 filas, es aproximadamente cien veces más corto que el de los protocolos GBDT sintonizados, porque el ajuste es un único paso hacia adelante sin búsqueda de hiperparámetros. Una advertencia: los modelos básicos se ejecutan en una GPU y los árboles en una CPU, por lo que la comparación de dólares por fila depende de su infraestructura, y CatBoost predeterminado a 0,08 s/1K en una CPU sigue siendo la opción más barata en la placa. Para escalar: mi barrido completo TabICLv2 de 51 conjuntos de datos, A10G bajo demanda, costó $2.
En tercer lugar, TabFM se encuentra en la cima, a 98 Elo de la siguiente entrada (el oleoducto AutoGluon) y a 123 del siguiente modelo único, y se unió a la junta el 30 de junio de 2026, dos semanas antes de que escribiera esto. La auditoría resultó mejor de lo que esperaba en cuanto a datos y peor en documentación. Su preentrenamiento es completamente sintético, a partir de antecedentes de modelos causales estructurales como TabPFN y TabICL, por lo que la construcción también descarta la contaminación de referencia. Lo que le falta es un documento: no hay informe técnico, no hay un recuento de parámetros publicado y las pesas tienen una licencia no comercial (README) no menciona el artículo de Christoph Molnar. Una nueva prueba independiente aún lo encontró por delante del XGBoost sintonizado. Reporto sus números y lo marco como no ejecutado de forma independiente en el gráfico; La brecha de 123 Elo parece real, pero nadie fuera de Google puede decir todavía por qué funciona.
Pegar la tabla en un LLM de frontera, medido
También puse un número en la línea de serialización y aviso: Claude Opus 4.8 dio cada conjunto de datos como texto, con 64 filas de ejemplo etiquetadas en el aviso, luego lotes de filas de prueba para predecir y probabilidades por clase solicitadas como salida estructurada. Para que sea asequible, este es un protocolo reducido: 50 filas de prueba submuestreadas por conjunto de datos, se muestran como máximo 32 columnas, una API por lotes ejecutada en los 51 conjuntos de datos. La submuestra hace que cada puntuación por conjunto de datos sea ruidosa, por lo tanto, lea el conjunto, no una sola fila.
El agregado es unilateral. Dos de los 51 conjuntos de datos arrojaron muy pocas predicciones utilizables para calificar; en los 49 restantes, el LLM supera a TabICLv2 en 6 y al GBDT mejor sintonizado y ensamblado en los mismos 6, con un error medio 57% mayor que el de TabICLv2. Gana en las tablas de abandono, crédito y donación de sangre, donde los nombres de las columnas tienen un significado real que un LLM puede explotar. Pierde mucho en los vectores de permisos de aplicaciones y en los datos de sensores y procesos físicos, donde la tabla es un patrón puro y el lenguaje anterior no aporta nada. "Tabular LLM" como frase invita a combinar las dos clases de modelos; en este protocolo, el modelo nativo de tabla de parámetros de 28 millones ganó 43 de 49 conjuntos de datos, y sirve mil filas por una fracción de segundo de GPU, donde el LLM solicitado me costó alrededor de $ 1,50 por cada mil predicciones.
¿Qué efecto tiene la sintonización en las líneas base del GBDT?
La primera objeción que planteará cualquier partidario de GBDT es la puesta a punto: nadie envía LightGBM por defecto, por lo que una junta que ejecutara los árboles por defecto sobrevendería los modelos básicos. TabArena ya contiene la respuesta, porque ejecuta cada GBDT con tres presupuestos: configuración predeterminada, ajustado (una búsqueda real, horas de cálculo) y ajustado + conjunto post-hoc.
El ajuste vale mucho para LightGBM y XGBoost, del orden de 200 Elo, que es la mayor parte de la distancia entre la “mesa media” y el “mejor árbol del tablero”. CatBoost es la excepción: sus valores predeterminados ya están dentro de los 47 Elo de su versión totalmente sintonizada y ensamblada, lo que coincide con su reputación y hace que CatBoost predeterminado sea la línea base barata más sólida aquí (1370, en una CPU, a 0,08 s/1K para servir).
Así que la objeción fue valorada antes de que yo llegara, y la conclusión sobrevive: si se les da a los árboles todo su presupuesto de ajuste y ensamblaje, el modelo de base no afinado todavía se ubica a 150+ Elo por encima de ellos. (En series temporales encontré lo contrario: el ajuste adecuado redujo a la mitad la ventaja aparente de los modelos básicos. Aquí no se acerca a cerrar la brecha).
El agregado enmascara una división del régimen que indica dónde un árbol sigue siendo la opción correcta. Según el conjunto de datos, contra el mejor de los tres GBDT sintonizados y ensamblados, TabICLv2 gana 40 de 51. Las once derrotas se agrupan en dos lugares.
La primera es la dimensionalidad: de los seis conjuntos de datos con más de 100 características, el modelo básico gana exactamente en uno. Bioresponse (1776 funciones), hiva_agnostic (1617), QSAR-TID-11 (1024), kddcup09 (212) y MIC (111) van todos a los árboles. Por debajo de 100 funciones, FM gana entre el 86% y el 88% de los conjuntos de datos.
El segundo es la escala con categóricos de alta cardinalidad: el árbol de ganancias más grande en el tablero es Amazon_employee_access (una brecha de error del 25%), el conjunto de datos clásico de exactamente esa forma, y la tasa de ganancias del FM se desliza del 89% por debajo de 3000 filas al 64% por encima de 20.000. El tipo de tarea apenas importa (77% a 85% en regresión binaria, multiclase). Seis conjuntos de datos es una celda delgada a partir de la cual generalizar, así que lea el hallazgo de dimensionalidad como una fuerte pista en lugar de una ley. Aún así: si su tabla es amplia o sus categorías son locas, busque primero el GBDT sintonizado.
Contaminación: los modelos de procedencia más limpia están siendo superados
La contaminación de los puntos de referencia fue el eje que giró en mi auditoría de series temporales, y aquí también importa, con una forma diferente: los modelos con la procedencia de datos más limpia son los que están siendo superados.
TabICLv2 y la línea TabPFN original están preentrenados únicamente con datos sintéticos. No hay nada que filtrar: no puede haber ninguna tabla de referencia en un corpus de preentrenamiento que no contenga tablas reales, por lo que para estos modelos la construcción descarta la contaminación.
La razón por la que el tema está activo de todos modos es que las ganancias en precisión provienen cada vez más de agregar datos reales. RealTabPFN-2.5 continúa con la capacitación previa en "un corpus curado de 43 conjuntos de datos tabulares del mundo real obtenidos de OpenML y Kaggle", y su informe describe el proceso de deduplicación más sólido que encontré en esta auditoría: ID de conjuntos de datos, nombres, formas, nombres de características, hashes de filas y columnas, inspección manual de metadatos, documento Real-TabPFN "deduplicado contra todos los puntos de referencia internos y la suite TabArena completa"; Informe TabPFN-2.5, Apéndice C. TabDPT va más allá en el camino de los datos reales: está previamente entrenado en 123 conjuntos de datos OpenML, y los conjuntos de datos de TabArena provienen de OpenML, que es exactamente la superposición que un documento reciente sobre un conjunto señala como una preocupación de contaminación, señalando que sus ganancias reportadas "deben leerse como límites superiores". No tengo motivos para no creer en ningún canal de deduplicación específico; Tampoco puedo verificar uno, y el gradiente de incentivos apunta en una dirección: los datos reales compran Elo, y la carga de demostrar que compraron Elo limpiamente recae en la deduplicación autodeclarada. Esa es la misma posición epistémica que las banderas de filtración autodeclaradas de “No” en GIFT-Eval.
El mapa de procedencia del directorio, a partir de la auditoría:
La lectura práctica, por ahora: si desea un número en el que pueda confiar plenamente en sus propios datos, los modelos solo sintéticos le brindan la posición probatoria más limpia, y TabICLv2 es el más fuerte de ellos con pesos sin restricciones. Si desea los últimos 100-200 Elo, compre modelos cuyos datos de entrenamiento debe confiar o ejecute su propia evaluación.
Espacio libre híbrido: techos de Oracle y un enrutador desplegable
Se pueden enrutar modelos complementarios, y los artefactos publicados de TabArena permiten algo que mi análisis de series temporales no pudo: contienen errores de validación por división junto con los errores de prueba, por lo que puedo calificar tanto el enrutador Oracle (elegir el mejor modelo por conjunto de datos usando el error de prueba, un límite, ya que hace trampa) como uno desplegable (elegir usando el error de validación, que tiene un sistema real). No se ejecuta ningún modelo; esto es pura aritmética sobre los resultados publicados por división, puntuados con la propia maquinaria Elo del tablero.
Una nota sobre la escala: estos valores Elo se calculan en mi propio grupo (los 78 métodos publicados más los enrutadores, incluidos los métodos imputados), por lo que los números absolutos se ubican a algunos puntos del tablero del sitio web: TabICLv2 es 1571 aquí versus 1590 allá. Las comparaciones dentro de la tabla son comparables.
La complementariedad es real e incluye a los árboles. Un oráculo que selecciona por conjunto de datos entre TabICLv2 y LightGBM sintonizado alcanza 1674, una ganancia de +103 sobre TabICLv2 solo, de un socio que se encuentra 160 Elo por debajo de él. TabICLv2 gana en 42 de los 51 conjuntos de datos cara a cara, y los otros nueve valen lo mismo. El oráculo FM+FM es aún mayor: 1707, por encima de todo lo que hay en el tablero excepto el TabFM no auditado.
El enrutador implementable funciona, pero solo entre modelos básicos. Elegir entre TabICLv2 y TabPFN-2.6 por puntuación de error de validación de 1645, por encima de sus dos miembros, recupera aproximadamente la mitad del espacio libre de Oracle sin nada que un Oracle necesitaría. El enrutamiento entre modelos complementarios supera al mejor modelo único, utilizando solo la información que tiene en el momento de la implementación.
El mismo enrutador resulta contraproducente en la división FM/GBDT. La selección de valores entre TabICLv2 y LightGBM sintonizado llega a 1534, a continuación siempre se usa TabICLv2. El oráculo dice que allí existe +103 de espacio libre; la selección basada en validación no solo no logra capturarlo, sino que obtiene 37 Elo a continuación siempre ejecutando TabICLv2, presumiblemente porque los errores de validación de las dos familias de modelos no son comparables (las estimaciones de validación interna empaquetadas del GBDT parecen optimistas al lado de las de FM). Estoy señalando el mecanismo como una suposición; se mide la dirección del resultado. Si desea los nueve conjuntos de datos del árbol, necesita una señal de selección mejor que el error de validación sin procesar.
Lo que tomo de esto
Un modelo abierto de 28M de parámetros, previamente entrenado sin ningún dato real, reprodujo su punto de referencia público en mi hardware dentro del ruido de arranque (16 Elo en divisiones idénticas; diferencia media por tarea del 0,08%) por $2 de tiempo de GPU, y la placa en la que se asienta muestra cada configuración de árbol sintonizada y ensamblada con gradiente mejorado al menos 158 Elo debajo de ella. La parte en la que más apostaría es la posición probatoria: pesas abiertas, preentrenamiento solo sintético y un proceso de puntuación que yo mismo recalculé de principio a fin. Lo que todavía no reclamaría es la cima del tablero: la procedencia de TabFM no está auditada, la línea TabPFN está cerrada y mi propia ejecución cubrió una división por conjunto de datos en lugar del protocolo completo.
Si hoy estás sentado en una mesa, el mapa de régimen anterior se convierte en una breve regla de decisión. Con cien funciones y un modesto número de filas, TabICLv2 zero-shot es lo más potente que puedes ejecutar con pesos completamente abiertos y encaja en segundos. Las tablas anchas y las categóricas salvajes todavía pertenecen a un GBDT sintonizado. Si puede servir dos modelos y sus candidatos son ambos modelos básicos, la selección de validación entre ellos agregó precisión en mi medición; a través del FM/árbol divida la precisión restada, así que evítela allí.
Una fila permanece abierta: todavía no he vuelto a ejecutar de forma independiente un modelo TabPFN. Los siguientes experimentos que ejecutaría: que TabPFN-2.6 se vuelva a ejecutar en las mismas divisiones Lite, y un conjunto FM+GBDT ponderado de las predicciones almacenadas en caché de TabArena para ver cuánto del +103 del oráculo recupera una combinación real en los conjuntos de datos de alta dimensión que el enrutador no puede alcanzar.
Descargo de responsabilidad: Los puntos de vista y opiniones expresados en este artículo son míos y no representan los de mi empleador ni los de ninguna organización afiliada. El contenido se basa en la experiencia y la reflexión personal y no debe tomarse como consejo profesional o académico.
📚Referencias
Erickson, N., Purucker, L., Tschalzev, A., Holzmüller, D., Desai, PM, Salinas, D. y Hutter, F. (2025). TabArena: un punto de referencia vivo para el aprendizaje automático en datos tabulares. Se presentó TabArena, el punto de referencia mantenido continuamente que se utiliza a lo largo de este artículo, incluidos sus conjuntos de datos seleccionados, protocolo de evaluación repetida, comparaciones de modelos y tabla de clasificación basada en Elo. Qu, J., Holzmüller, D., Varoquaux, G. y Le Morvan, M. (2026). TabICLv2: un modelo de base tabular abierto, mejor, más rápido y escalable. Se presentó TabICLv2, el modelo de base tabular abierto de aproximadamente 28 millones de parámetros evaluado de forma independiente en este artículo, y describe su preentrenamiento sintético, arquitectura y mejoras de escalado. Hollmann, N., Müller, S., Eggensperger, K. y Hutter, F. (2023). TabPFN: un transformador que resuelve pequeños problemas de clasificación tabular en un segundo. Estableció el uso de transformadores previamente entrenados y el aprendizaje en contexto para la predicción tabular, utilizando conjuntos de datos sintéticos generados a partir de modelos causales estructurales anteriores. Hollmann, N., Müller, S., Purucker, L., Krishnakumar, A., Körfer, M., Hoo, SB, Schirrmeister, RT y Hutter, F. (2025). Predicciones precisas sobre datos pequeños con un modelo de base tabular. Presenta la generación TabPFN moderna para conjuntos de datos tabulares pequeños y medianos y demuestra que un modelo básico previamente entrenado puede competir con métodos convencionales ampliamente ajustados sin entrenamiento de parámetros específicos del conjunto de datos. Investigación de Google. (2026). Presentamos TabFM: un modelo básico de disparo cero para datos tabulares. Presenta TabFM, el modelo mejor clasificado analizado en el artículo, y describe su enfoque de regresión y clasificación de disparo cero, inferencia en contexto y preentrenamiento sintético del modelo causal estructural.