Un consortium de recherche allemand vient de publier Soofi S, un modèle IA allemand ouvert de 30 milliards de paramètres qui devance tous les modèles pleinement ouverts sur les benchmarks anglais comme allemands. Le projet, coordonné par la KI Bundesverband et financé par le ministère fédéral de l’Économie, mobilise Fraunhofer, le DFKI et plusieurs universités. Les poids, le code d’entraînement et l’inventaire des données sont publiés sur Hugging Face.
Un consortium académique et industriel
Soofi S 30B-A3B a été développé par un consortium réunissant les instituts Fraunhofer IAIS et IIS, le Centre allemand de recherche pour l’intelligence artificielle (DFKI), la TU Darmstadt, l’université de Würzburg, le L3S Research Center, la Berlin University of Applied Sciences, ainsi que les entreprises Ellamind et Merantix Momentum. L’entraînement s’est déroulé de mars à mai 2026 sur l’Industrial AI Cloud de Deutsche Telekom à Munich, avec jusqu’à 512 GPU Nvidia B200 mobilisés, pour un total d’environ 253 000 heures de calcul GPU.
Une architecture pensée pour l’allemand
Le modèle repose sur une architecture hybride Mamba-Transformer en mélange d’experts : 31,6 milliards de paramètres au total, dont seulement 3,2 milliards actifs par token. Sur environ 27 000 milliards de tokens d’entraînement répartis en trois phases, la part de données en allemand est passée de 7,2 % à 15,3 %, très au-dessus des 5 % habituels des modèles multilingues généralistes.
Des scores en tête des modèles ouverts
Sur l’agrégat anglais, Soofi S atteint 70,1 %, devançant OLMo 3 32B et Apertus 70B malgré une taille inférieure de 40 milliards de paramètres. En allemand, il grimpe à 79,1 %, devant toutes les références européennes, avec des scores de premier plan sur GLP-DE (88,8) et ARC-Challenge-DE (92,3). Il obtient aussi 73,8 % sur HumanEval et 84,2 % sur MBPP-DE. Le modèle affiche en revanche des faiblesses : 56 points sur Minerva MATH-DE contre 76,5 pour Qwen3.5 35B-A3B, une récupération factuelle plus faible sur NaturalQuestions, et une précision qui chute à environ 3 % au-delà de 32 000 tokens de contexte sur RULER.
Michael Fromm, responsable technique du projet, a répondu aux critiques de sur-entraînement : « De nouvelles recherches montrent que les anciennes lois d’échelle des modèles denses ne s’appliquent plus aux architectures en mélange d’experts. »
Licence ouverte, mais pas totalement
Soofi S respecte la définition Open Source AI Definition 1.0 de l’Open Source Initiative, avec environ 99 % des données d’entraînement reconstructibles de manière indépendante. Il ne remplit toutefois pas les standards européens les plus stricts sur l’ouverture des données, en raison d’un corpus commercial (Genios) représentant 1,3 % du total. La licence finale reste à préciser, et des variantes instruct et raisonnement sont en cours de test.
Le 24 juillet 2026, le consortium a aussi révélé qu’un incident de contamination avait été détecté : des questions du benchmark GPQA s’étaient glissées par erreur dans les données d’entraînement à cause d’un défaut d’étiquetage sur Hugging Face. Le modèle a été ré-entraîné et GPQA retiré des évaluations, sans changement dans le classement final — un épisode présenté par l’équipe comme une preuve des bénéfices de la transparence.
Qu’est-ce que Soofi S ?
Soofi S est un modèle de langage ouvert de 30 milliards de paramètres développé par un consortium de recherche allemand coordonné par la KI Bundesverband, avec le soutien du ministère fédéral de l’Économie.
Soofi S est-il meilleur que les autres modèles ouverts ?
Sur les benchmarks évalués, Soofi S devance les modèles pleinement ouverts comme OLMo 3 32B et Apertus 70B, en anglais comme en allemand, mais reste derrière certains modèles à poids ouverts comme Qwen3.5 sur les mathématiques.
Le modèle est-il disponible publiquement ?
Oui, les poids, le code d’entraînement et l’inventaire des données sont publiés sur Hugging Face, même si la licence finale du modèle reste encore à préciser.