Moonshot AI a publié le 27 juillet 2026 les poids complets de Kimi K3 open source, un modèle de langage de 2 800 milliards de paramètres (2,8 billions) que l’entreprise pékinoise présente comme le plus gros modèle ouvert jamais mis à disposition du public. Les fichiers sont téléchargeables dès maintenant sur Hugging Face, sous licence Kimi K3, et le sujet a déjà cumulé plus de 700 points sur Hacker News en quelques heures.
Une architecture MoE taillée pour l’efficacité
Kimi K3 repose sur une architecture Mixture-of-Experts : 896 experts au total, dont 16 seulement sont activés à chaque token. Résultat, seuls 104 milliards de paramètres sont réellement mobilisés par requête, malgré les 2,8 billions de paramètres du modèle complet. L’ensemble s’organise en 93 couches, mêlant 69 couches de Kimi Delta Attention et 24 couches de Gated MLA, avec une approche dite « Stable LatentMoE » censée améliorer l’efficacité de l’entraînement. Les poids sont distribués en quantification MXFP4 avec activations MXFP8, appliquée dès la phase d’apprentissage supervisé, ce qui allège considérablement les besoins en mémoire pour l’inférence.
Un million de tokens de contexte, en natif multimodal
Le modèle supporte une fenêtre de contexte de 1 048 576 tokens et traite nativement texte, images et vidéo grâce à un encodeur de vision maison, MoonViT-V2, doté de 401 millions de paramètres. Moonshot AI positionne Kimi K3 sur des usages de codage longue durée, de travail de fond et de raisonnement multi-étapes, des scénarios où la capacité à conserver un contexte étendu compte autant que la puissance brute du modèle.
Pourquoi cette publication compte
Kimi K3 n’est pas un inconnu : le modèle circulait déjà via l’API de Moonshot AI et avait fait parler de lui sur les benchmarks agentiques face à Claude. Ce qui change le 27 juillet, c’est l’ouverture complète des poids, qui permet à n’importe quel développeur de télécharger, modifier et héberger le modèle sans dépendre de l’infrastructure chinoise. Selon TechNode, Microsoft évaluerait déjà une intégration de Kimi K3 dans Copilot, signe de l’intérêt que suscite le modèle jusque dans l’écosystème américain. Moonshot AI annonce par ailleurs la publication prochaine d’un rapport technique détaillant l’architecture, l’entraînement et les évaluations complètes du modèle.
Cette sortie s’inscrit dans une dynamique plus large de labos chinois (DeepSeek, Z.ai, Alibaba) qui misent sur l’ouverture des poids pour peser face aux modèles fermés américains, à moindre coût de licence pour les entreprises qui les adoptent.
Combien de paramètres compte Kimi K3 ?
Kimi K3 compte 2 800 milliards de paramètres au total (2,8 billions), dont seulement 104 milliards sont activés par token grâce à son architecture Mixture-of-Experts.
Où télécharger les poids de Kimi K3 ?
Les poids et le code de Kimi K3 sont disponibles gratuitement sur Hugging Face, sous licence Kimi K3, ainsi que via l’API commerciale de Moonshot AI.
Quelle est la fenêtre de contexte de Kimi K3 ?
Kimi K3 supporte une fenêtre de contexte de 1 048 576 tokens, soit environ un million de tokens, et traite nativement le texte, l’image et la vidéo.
