Nemotron 4 : Nvidia vise 1000 milliards de paramètres

Nvidia prépare Nemotron 4, un futur modèle open-weight dont l’ambition affichée est de dépasser les 1 000 milliards de paramètres, soit le double de son prédécesseur Nemotron 3 Ultra. Une analyse publiée le 12 août 2026 par The Decoder souligne cependant que ce seuil, présenté comme un objectif ambitieux côté Nvidia, est déjà largement dépassé par plusieurs laboratoires chinois.

Un doublement de taille par rapport à Nemotron 3 Ultra

Nemotron 3 Ultra, le modèle précédent de la gamme, obtenait un score de 38 points sur l’Artificial Analysis Intelligence Index. Nemotron 4 vise un nombre de paramètres au moins deux fois supérieur, dans l’objectif de rivaliser avec les meilleurs modèles ouverts disponibles dans le monde. Nvidia ne communique pas encore de score cible précis sur ce même index pour la nouvelle génération.

Le calendrier annoncé situe la sortie de Nemotron 4 au plus tôt à l’automne 2026, ce qui laisse à Nvidia plusieurs mois pour affiner l’entraînement avant toute publication.

Un objectif déjà dépassé par les laboratoires chinois

Selon The Decoder, le Kimi K3 de Moonshot AI totaliserait déjà 2 800 milliards de paramètres, avec un score d’environ 60 points sur l’Artificial Analysis Intelligence Index. Le DeepSeek V4 Pro, tout juste sorti de préversion, afficherait pour sa part environ 1 600 milliards de paramètres. Dans les deux cas, ces modèles chinois dépassent déjà la cible annoncée pour Nemotron 4, avant même que celui-ci n’ait été entraîné.

Ce constat illustre un basculement désormais habituel dans la course aux modèles ouverts : les laboratoires chinois publient des modèles de très grande taille à un rythme que les acteurs occidentaux peinent à égaler sur ce seul critère du nombre de paramètres.

Un effort d’investissement massif chez Nvidia

Pour soutenir cette ambition, Nvidia aurait triplé ses dépenses cloud consacrées à l’entraînement de modèles maison, portant l’enveloppe prévue à 28 milliards de dollars d’ici 2031. Ce montant illustre l’ampleur des moyens désormais jugés nécessaires pour rester compétitif sur l’entraînement de modèles ouverts à cette échelle, à un moment où Nvidia reste avant tout connue pour ses puces plutôt que pour ses propres modèles de langage.

Reste à savoir si la taille du modèle se traduira par un score réellement compétitif : le nombre de paramètres ne garantit pas, à lui seul, un niveau de performance équivalent à celui des meilleurs modèles chinois ou occidentaux. Plus de détails dans l’article original de The Decoder.