NVIDIA ha lanzado Kumo Tabular, una nueva familia de modelos básicos tabulares (TFM) para clasificación y regresión. Si ha seguido TabPFN o TabICL, la configuración le resultará familiar. El modelo toma filas etiquetadas como contexto y predice nuevas filas en una pasada. No hay capacitación, ni ajuste de hiperparámetros ni ingeniería de funciones.
Kumo Tabular viene en versiones pequeña, mediana y grande, y abarca entre 28 y 215 millones de parámetros. Se ejecuta a través de la biblioteca de modelos de datos estructurados (SDM) de código abierto de NVIDIA.
¿Es desplegable? Sí. Las pesas se envían bajo la licencia OpenMDW-1.1, que permite el uso comercial. El código SDM es Apache-2.0 y necesita Python 3.11+ y PyTorch 2.7+, con ejemplos dirigidos a una GPU CUDA.
Qué agrega la biblioteca SDM
SDM es una biblioteca nativa de GPU para preprocesamiento y modelos básicos de datos estructurados. Además de Kumo Tabular, incluye TabICLv2, TabFM de Google y KumoRelational para datos de varias tablas. Todos los modelos comparten una interfaz de aprendizaje en contexto construida en un contenedor TableTensor. La biblioteca también maneja el preprocesamiento, el ensamblaje y la predicción de muchas clases.
Cómo funciona Kumo Tabular
Kumo Tabular es un Transformer construido alrededor de la estructura de una mesa. Utiliza atención en columnas, filas y en contexto, como se presenta en TabICL y TabPFN. El oleoducto tiene 3 etapas:
Incrustación de celdas: los valores numéricos y categóricos pasan a través de funciones de Fourier aprendidas, con pesos separados por tipo. Los valores faltantes no necesitan imputación. Incrustación de filas: la atención de las columnas utiliza la autoatención inducida, por lo que el costo crece linealmente con las filas. La atención en la fila, con posiciones giratorias, aprende las interacciones de las funciones. 4 aprendibles [CLS] Los tokens comprimen cada fila. Aprendizaje en contexto: un transformador final ejecuta incrustaciones de filas. Las filas de contexto atienden entre sí, mientras que las filas de consulta atienden solo a las filas de contexto.
Como el contexto nunca ve las consultas, sus claves y valores se calculan una vez y se reutilizan. El cabezal genera probabilidades de clase, o 999 cuantiles para la regresión. Eso da una predicción puntual más una estimación de incertidumbre.
Un detalle más importa a escala. La atención de Softmax se disipa a medida que crece el número de claves. Kumo Tabular escala cada consulta según una temperatura que crece con el registro del recuento de claves. El coeficiente se aprende por cabeza de atención, por lo que la atención se mantiene alerta en mesas más grandes.