TabFM : Google dévoile un modèle zero-shot pour les données tabulaires

Google Research vient de sortir TabFM, un modèle de fondation zero-shot pour les données tabulaires. L’idée : faire des prédictions sur des tableaux jamais vus en un seul forward pass, sans feature engineering ni entraînement spécifique. C’est ambitieux, et ça pourrait secouer l’AutoML… si ça tient sur des données réelles.

Table des matières

• Les points clés à retenir
• Qu’est-ce que TabFM ?
• L’architecture derrière le modèle
• Performances et limites
• Intégration BigQuery et disponibilité
• FAQ

Les points clés à retenir

• Zero-shot sur tableaux : Le modèle prédit sur des tables jamais vues en un seul forward pass, sans feature engineering ni hyperparamètres.
• Entraînement synthétique massif : Formé sur des centaines de millions de datasets synthétiques générés par structural causal models pour pallier le manque de données tabulaires open-source.
• Architecture hybride : Attention alternée sur les lignes et colonnes, compression des lignes en vecteurs denses, puis Transformer dédié pour l’in-context learning.
• Intégration BigQuery : Bientôt disponible via une simple commande SQL AI.PREDICT, weights open sur HuggingFace et GitHub.
• Performances à vérifier : Competitive sur TabArena, mais pas de comparaisons directes avec XGBoost et pas de tests sur données enterprise réelles.

Qu’est-ce que TabFM ?

TabFM n’est pas un nième modèle de ML. C’est un foundation model qui prend un tableau brut qu’il n’a jamais vu et sort des prédictions pour classification ou régression en un seul passage. Fini les entraînements interminables et le feature engineering pour chaque nouveau dataset.

L’approche cadre le tabular ML comme de l’in-context learning, à la manière des LLMs. L’idée est séduisante : un modèle qui s’adapte à n’importe quel tableau sans réentraînement spécifique.

L’architecture derrière le modèle

Le modèle utilise une attention alternée sur les lignes et les colonnes du tableau brut. Chaque ligne est compressée en un vecteur dense unique. Ces vecteurs alimentent ensuite un Transformer dédié qui réalise l’in-context learning.

Cette architecture permet de capturer les relations structurelles dans les données tabulaires sans preprocessing lourd. Une approche élégante pour un domaine où les données sont souvent hétérogènes.

Performances et limites

Évalué sur TabArena (38 datasets classification, 13 régression, tailles 700 à 150k échantillons), TabFM affiche des scores Elo compétitifs. Une version ensemble 32-way avec non-negative least squares, SVD features et Platt scaling renforce les résultats.

Mais soyons directs : pas de head-to-head détaillé contre XGBoost, CatBoost ou les précédents tabular foundation models. Pas de tests sur des tables enterprise typiques avec drift, valeurs catégorielles rares ou leakage.

Comme le dit l’analyse source, prends « competitive on TabArena » comme un plausible headline, pas comme un résultat figé. Si ça tient sur des données réelles, ça pourrait changer la donne : moins d’AutoML sweeping, plus de SQL direct pour prototyper des modèles de churn ou fraude.

Intégration BigQuery et disponibilité

Google prévoit d’exposer TabFM via BigQuery avec une commande AI.PREDICT SQL simple. Les weights sont déjà disponibles sur HuggingFace et GitHub.

Sources

• AI Weekly : https://aiweekly.co/alerts/google-research-unveils-tabfm-a-zero-shot-model-for-tables – Analyse détaillée
• Research Google : Billet officiel via l’article source

FAQ