Nvidia a publié le 27 juillet 2026 Cosmos-H-Dreams, un simulateur génératif capable de prédire en temps réel comment une scène chirurgicale évolue en fonction des actions d’un robot. Le système tourne à environ 160 images par seconde sur un seul GPU RTX PRO 6000 et est distribué en open source, avec code, modèle et jeu de données disponibles publiquement.
Un simulateur qui prédit l’action, image par image
Cosmos-H-Dreams part d’une image initiale et de la cinématique en direct du robot pour générer, de façon autorégressive et par blocs d’actions, la suite plausible d’une vidéo chirurgicale. Le modèle gère des éléments complexes comme les tissus déformables, les surfaces spéculaires, les sutures, les aiguilles, la fumée ou les occlusions. Pour rester en temps réel, il s’appuie sur une diffusion à très peu d’étapes — deux étapes de débruitage seulement — combinée à une technique de « self-forcing distillation » : le modèle élève s’entraîne en générant son propre contexte, guidé par un modèle enseignant figé, ce qui le prépare à travailler avec ses propres sorties imparfaites en conditions réelles.
À quoi ça sert concrètement
Selon la publication technique cosignée par Lukas Zbinden, Javier Gamazo, Mostafa Toloui et Sean Huver, tous chez Nvidia, Cosmos-H-Dreams a été testé sur les plateformes da Vinci Research Kit et Versius. Les usages visés incluent l’évaluation de politiques de contrôle robotique sans usure du matériel physique, la génération de données d’entraînement synthétiques pour l’écosystème Open-H-Embodiment, la création d’environnements interactifs pour entraîner des opérateurs humains ou des systèmes appris, la répétition de gestes avant une intervention réelle, et la génération à la demande de cas rares ou d’échecs pour muscler les politiques de contrôle.
Disponible en open source, avec un avertissement clair
Le code de Cosmos-H-Dreams, du simulateur chirurgical associé et de la bibliothèque d’inférence FlashDreams est publié sur GitHub, le modèle est disponible sur Hugging Face (nvidia/Cosmos-H-Dreams), et le jeu de données Open-H-Embodiment est accessible publiquement. Nvidia précise explicitement que la plateforme reste un outil de recherche et développement : elle n’est ni un système de diagnostic, ni un substitut à l’imagerie peropératoire, ni un contrôleur pour un robot chirurgical physique.
Qu’est-ce que Cosmos-H-Dreams ?
Cosmos-H-Dreams est un simulateur génératif de Nvidia qui prédit en temps réel l’évolution d’une scène chirurgicale à partir d’une image initiale et des actions d’un robot, à environ 160 images par seconde sur un GPU RTX PRO 6000.
À quoi sert Cosmos-H-Dreams concrètement ?
Il sert à évaluer des politiques de contrôle robotique sans user le matériel physique, générer des données d’entraînement synthétiques, créer des environnements d’entraînement pour opérateurs ou systèmes appris, et répéter des gestes chirurgicaux avant une intervention réelle.
Cosmos-H-Dreams est-il un outil médical validé ?
Non, Nvidia précise explicitement qu’il s’agit d’une plateforme de recherche et développement, pas d’un système de diagnostic, ni d’un substitut à l’imagerie peropératoire, ni d’un contrôleur pour un robot chirurgical physique.