Flint 40B marque une percée pour le développement assisté par ordinateur en proposant un modèle open source capable d’animer des agents logiciels directement sur machine locale. Développé par la jeune pousse Recursive fondée par Richard Socher, ce grand modèle de langage s’appuie sur une architecture de type mélange d’experts (MoE) taillée pour préserver la confidentialité des dépôts tout en éliminant les coûts d’appel aux interfaces de programmation distantes.
Face à l’explosion des agents de programmation autonomes, la plupart des équipes techniques restent tributaires d’infrastructures hébergées onéreuses et lentes. L’ambition de ce projet est de rendre l’exécution locale fluide et réactive sur les postes de travail modernes sans compromettre la pertinence algorithmique.
Points clés de Flint 40B :
- Architecture MoE optimisée : 40 milliards de paramètres au total, mais seulement 2,5 milliards activés par jeton généré.
- Performances d’inférence élevées : plus de 125 jetons par seconde mesurés sur MacBook Pro M4 Pro et 150 jetons par seconde sur carte graphique de bureau.
- Licence libre Apache 2.0 : poids disponibles gratuitement pour une utilisation commerciale sans redevance.
- Large fenêtre contextuelle : prise en charge native jusqu’à 512 000 jetons, avec un palier recommandé à 256 000 jetons pour une stabilité maximale.
- Moteur rec dédié : environnement d’inférence intégrant un mégakernel Metal spécialement conçu pour l’accélération matérielle Apple Silicon.
Au sommaire :
Une architecture alliant sparsité et optimisation matérielle
La conception de Flint 40B repose sur un travail mené en grande partie de façon autonome par Eureka Machine, le banc de recherche automatisé de Recursive. En explorant des dizaines d’architectures candidates durant quatre mois, ce système a affiné la répartition des paramètres pour aboutir à un équilibre précis : 40 milliards de paramètres globaux et 2,5 milliards de paramètres actifs par jeton.
Cette sparsité réduit considérablement l’empreinte de calcul lors de l’inférence. Pour la quantification, l’équipe a positionné la couche de sortie sur 4 bits et appliqué une distillation hors ligne supervisée par le modèle maître en 16 bits. Le format quantifié NVFP4 résultant conserve des scores à moins de 0,7 point de la version non compressée tout en divisant les cycles d’apprentissage.
Sur macOS, le moteur d’inférence rec tire parti de noyaux Metal sur mesure qui fusionnent les passes de décodage avant pour saturer la bande passante mémoire unifiée. Cette approche d’optimisation bas niveau rappelle les travaux analysés dans notre article sur le moteur d’inférence DeepSeek.
Résultats aux benchmarks de code et comparaison
Sur les bancs d’évaluation représentatifs des flux de travail réels, Flint 40B se positionne au premier rang des modèles MoE de moins de 50 milliards de paramètres. Il obtient d’excellents résultats sur SWE-Bench Pro v2, Terminal-Bench 2.1 et SWE-Bench Verified, rivalisant avec des modèles denses de 25 à 40 milliards de paramètres tout en offrant une cadence d’exécution cinq fois plus rapide.
Le tableau ci-dessous met en lumière les caractéristiques techniques du modèle face aux standards du marché local :
| Caractéristique | Flint 40B | Modèles denses concurrents (32B) |
|---|---|---|
| Paramètres actifs | 2,5 milliards par jeton | 32 milliards constants |
| Vitesse sur M4 Pro | 125+ jetons/seconde | 20 à 35 jetons/seconde |
| Licence | Apache 2.0 open source | Souvent propriétaire ou restrictive |
| Contexte maximal | 512k jetons (256k stable) | 32k à 128k jetons |
Pour exploiter pleinement ce potentiel, Recursive recommande de découper les tâches complexes en sous-problèmes délimités et de formuler des instructions claires, une méthodologie essentielle documentée dans notre guide sur les agents IA et flux autonomes.
Comment déployer le modèle sur votre poste de travail
L’intégration de Flint 40B s’effectue simplement grâce au support immédiat des principaux environnements d’exécution de la communauté open source. Les fichiers de poids sont téléchargeables librement et fonctionnent directement avec Ollama, llama.cpp, Unsloth, LM Studio, vLLM et SGLang.
Pour les utilisateurs de matériel Apple Silicon équipés de processeurs M4 Pro, M5 Pro ou M5 Max, le moteur propriétaire ouvert rec offre la vitesse la plus constante. Cette ouverture marque une avancée concrète pour l’écosystème de l’informatique souveraine, offrant aux créateurs de logiciels une alternative autonome face aux géants du cloud. Retrouvez l’ensemble des architectures récentes dans notre panorama des modèles IA.
Foire aux questions sur Flint 40B
Quelle configuration matérielle minimale faut-il pour exécuter ce modèle ?
Pour une exécution fluide avec le moteur rec, un ordinateur Mac équipé d’une puce M4 Pro ou M5 Pro avec 36 Go de mémoire unifiée ou une carte graphique pourvue d’au moins 24 Go de mémoire dédiée est recommandé.
Flint 40B est-il totalement gratuit et utilisable en entreprise ?
Oui, Recursive distribue les poids sous licence open source Apache 2.0, ce qui autorise une utilisation commerciale sans redevance, la modification du code et le déploiement sur serveurs internes privés.
Quels logiciels locaux permettent de faire tourner Flint 40B ?
Le modèle est pris en charge par Ollama, llama.cpp, LM Studio, Unsloth, vLLM et SGLang, ainsi que par le moteur spécialisé rec optimisé pour les processeurs Apple Silicon.
Pourquoi privilégier une architecture de mélange d’experts pour le code ?
Cette approche permet de mobiliser uniquement 2,5 milliards de paramètres par jeton tout en conservant la richesse d’un modèle de 40 milliards, garantissant une latence minimale indispensable aux cycles de correction itératifs.
Sources :