Moonshot MoonEP : la bibliothèque qui muscle Kimi K3

Moonshot MoonEP vient d’être publiée en open source par le laboratoire chinois Moonshot AI. Il s’agit d’une bibliothèque de communication pour le parallélisme d’experts (Expert Parallelism), conçue pour équilibrer parfaitement la charge de calcul des modèles Mixture-of-Experts (MoE) à grande échelle. Elle a été dévoilée le 29 juillet 2026 lors du Kimi K3 Open Day, aux côtés de deux autres briques d’infrastructure, FlashKDA et AgentEnv.

Le problème du déséquilibre de routage

Dans un modèle MoE, chaque jeton de texte est envoyé vers un sous-ensemble d’« experts » spécialisés, répartis sur plusieurs GPU. Le souci : le routeur qui décide où envoyer chaque jeton ne répartit jamais la charge de façon parfaitement égale, ce qui crée des goulots d’étranglement de communication entre GPU et ralentit l’entraînement. Moonshot MoonEP s’attaque directement à ce déséquilibre.

Des tokens répartis à parts strictement égales

La bibliothèque garantit que chaque rang de parallélisme d’experts reçoit exactement S × K jetons, quel que soit le déséquilibre du routeur. Cet équilibre est obtenu grâce à des experts redondants, planifiés dynamiquement directement sur le GPU puis préchargés avant le calcul. Les formes de données restent statiques d’une couche à l’autre, ce qui supprime les synchronisations hôte répétées et la fragmentation mémoire qui provoque des erreurs de dépassement de mémoire (OOM) sur des bibliothèques concurrentes comme DeepEP.

2,5 fois plus efficace pour Kimi K3

Sur des tests réalisés avec du matériel H20 et une configuration EP=8, comparée à DeepEP v2, la bibliothèque maintient un temps de communication quasiment stable même quand le déséquilibre de routage augmente, là où les solutions concurrentes se dégradent. Moonshot AI revendique un gain d’efficacité de mise à l’échelle de 2,5 fois pour Kimi K3, son modèle MoE de 2,8 billions de paramètres doté d’une compréhension visuelle native et d’une fenêtre de contexte d’un million de jetons.

Disponible sous licence MIT

Moonshot MoonEP est publiée sous licence MIT, une des licences open source les plus permissives, ce qui autorise une réutilisation quasi libre par d’autres équipes de recherche ou entreprises. Le code source est disponible sur le dépôt GitHub officiel. Sa publication confirme la stratégie de Moonshot AI de partager une partie de son infrastructure d’entraînement, plutôt que de la garder strictement interne, une approche également suivie par DeepSeek et d’autres laboratoires chinois.