Nums AI ha lanzado Causilo, un modelo básico tabular previamente entrenado para clasificación y regresión. Causilo viene con una interfaz scikit-learn, código Apache-2.0 y pesas previamente entrenadas en Hugging Face. En TabArena, tiene el Elo más alto entre los modelos individuales tanto para clasificación como para regresión.
¿Es desplegable? Sí, para investigación y evaluación hoy, en CUDA o CPU. El uso comercial, de producción y de API alojada necesita una licencia independiente de Nums AI.
¿Qué hace Causilo?
Causilo es un modelo de aprendizaje en contexto. Llamar a fit no actualiza los pesos previamente entrenados. Almacena las filas de entrenamiento como contexto y predice las filas de consulta en un solo paso. Según su presentación de TabArena, Nums AI preentrenó a Causilo solo con datos sintéticos, sin conjuntos de datos de TabArena.
Las entradas pueden ser matrices NumPy o Pandas DataFrames, incluidas características categóricas y valores faltantes. La clasificación admite hasta 10 clases. Los resultados de regresión significan predicciones por defecto. La versión 1.0.1 agrega resultados de mediana y cuantiles, basados en 999 cuantiles nativos.
Arquitectura: refinamiento, compresión, aprendizaje en contexto
Nums AI divide la red en 3 fases: refinamiento, compresión y aprendizaje en contexto. El código publicado y las configuraciones muestran cómo funciona cada fase.
Las características se agrupan en conjuntos de 3. Cada valor está integrado con 16 frecuencias seno y coseno aprendidas. Los valores faltantes obtienen su propio vector aprendido.
Las etapas de 2 columnas resumen cada grupo de características. En cada uno, 128 espacios latentes leen solo las filas de entrenamiento y pasan ese resumen a cada fila. Entre las 2 etapas de columna, una etapa de fila permite que los grupos de características interactúen a través de 4 tokens latentes. Utiliza atención cruzada en lugar de atención propia total, lo que, según Nums AI, mantiene el costo lineal en el recuento de funciones.
Luego, un bloque de agrupación comprime cada fila en un vector fijo de 512 dimensiones. Las etiquetas se agregan a las filas de entrenamiento. Un bloque de predicción de 12 capas permite que las filas de consulta atiendan a las filas etiquetadas. Las filas de consulta no pueden cambiar el contexto de entrenamiento ni entre sí.
De forma predeterminada, 8 miembros del conjunto comparten los mismos pesos. Cada uno pasa por ninguna normalización, rango2gaussiano, robusta o de potencia, con permutaciones de características y clases sembradas.
Resultados de TabArena
Nums AI utilizó el proceso oficial de TabArena: 51 conjuntos de datos y 816 divisiones completas, con 8 estimadores y 42 semillas. Un mantenedor de TabArena volvió a ejecutar la evaluación completa y obtuvo el mismo Elo general de 1794.
El campo incluye TabFM de Google Research, EXAONE Tabular de LG AI Research y TabPFN-3 de Prior Labs (1636,2 en total).
Algunos puntos ayudan al leer estos números:
Las posiciones número 1 excluyen las entradas del sistema. Con los sistemas incluidos, la repetición del mantenedor colocó a Causilo en el tercer lugar de 88 en general. En cuanto a capacidad de mejora, TabFM sigue liderando en general y en clasificación. Causilo lidera la regresión. Los intervalos de confianza de Elo en la parte superior se superponen, por lo que la ventaja sobre TabFM y EXAONE Tabular es estrecha. Nums AI también incluye a Xiaomi-TabLDM y Mitra-v2 de Amazon detrás de Causilo. Ninguno de los modelos aparece en los archivos de referencia del repositorio de Causilo.
Resultados del banco de puntuación
ScoringBench califica modelos de regresión con reglas de puntuación adecuadas, como CRPS, junto con RMSE y R². Nums AI presentó Causilo 1.0.1 en 101 conjuntos de datos, 5 pliegues cada uno, con un límite de 3000 muestras. Nums AI informa que Causilo ocupa el primer lugar según CRPS, R² y RMSE. El responsable de ScoringBench verificó de forma independiente los resultados antes de enviarlos.
Velocidad y memoria
Nums AI también volvió a ejecutar 3 modelos en 1 GPU H100 de 80 GB, con 8 núcleos de CPU por trabajo.
En esta prueba, Causilo es el más rápido tanto en ajuste como en predicción. TabPFN-3 utiliza mucha menos memoria GPU. Configurar use_kv_cache=True mueve el trabajo de contexto para que encaje, usando más memoria para acelerar las predicciones repetidas.
Empezando
Causilo necesita Python 3.10 a 3.12 y PyTorch 2.13 o posterior. El primer ajuste descarga el punto de control automáticamente.
También puedes probar la demostración de Hugging Face Space.