NVIDIA lance Cosmos3-H-Dreams, un modèle du monde chirurgical en temps réel

Le 20 octobre 2026, NVIDIA a lancé Cosmos3-H-Dreams, un modèle génératif du monde en temps réel, conditionné par les actions et destiné à la chirurgie robotique, affiné à partir d’enregistrements cliniques de cholécystectomies réalisées avec le système Versius de CMR Surgical. Le point de contrôle du modèle et le code associé ont été publiés le même jour.

Dans une annonce rédigée par NVIDIA sur Hugging Face, l’entreprise a déclaré qu’à sa connaissance, Cosmos3-H-Dreams est le premier simulateur chirurgical génératif en temps réel entraîné à partir d’enregistrements cliniques de cholécystectomies à prendre en charge le contrôle cinématique en direct. Propulsé par Cosmos 3 et accéléré par FlashDreams, la bibliothèque d’inférence en continu de NVIDIA, le modèle fonctionne de manière interactive sur un seul processeur graphique NVIDIA RTX PRO 6000, selon l’annonce.

La fiche du modèle indique des dates de sortie au 20 octobre 2026 sur GitHub et Hugging Face et précise que le modèle est prêt à être utilisé à des fins commerciales ou non commerciales sous licence NVIDIA Open Model License. Elle cite comme utilisations prévues l’évaluation de politiques de robotique chirurgicale en simulation, l’exploration interactive d’un modèle du monde par téléopération et la génération de données synthétiques pour la cholécystectomie robotisée. Le modèle s’adresse aux chercheurs en robotique chirurgicale, aux développeurs d’IA dans le domaine de la santé, aux établissements universitaires et aux entreprises de robotique chirurgicale.

De la suture sur table aux scènes cliniques

Cosmos3-H-Dreams succède à Cosmos-H-Dreams, un modèle fondé sur Cosmos-Predict2.5 et conçu pour la suture sur table avec dVRK. En tant que modèle de fondation du monde, le système précédent apprenait directement la dynamique visuelle à partir de vidéos synchronisées et de la cinématique du robot, plutôt que de modéliser explicitement la géométrie de la scène, la déformation des tissus et les interactions physiques. La nouvelle version transpose cette approche aux scènes cliniques, où les tissus s’étirent sous l’effet de la traction, les reflets se déplacent, les structures sont masquées et la fumée modifie la visibilité. Dans ce contexte, de petites erreurs de génération peuvent s’accumuler au fil de longues séquences et altérer progressivement la géométrie des instruments ou la structure anatomique.

Architecture et processus de distillation

Le modèle s’appuie sur Cosmos3-H-Embodied-Nano, un modèle de 16 milliards de paramètres entraîné sur le jeu de données Open-H-Embodiment, et adapte un modèle enseignant bidirectionnel à des vidéos de cholécystectomies et à des données cinématiques sélectionnées. Cosmos3-H-Dreams compte lui-même environ 15,17 milliards de paramètres et utilise une architecture à mélange de transformeurs qui associe un module de raisonnement Qwen3-VL-8B-Instruct à un expert en génération par diffusion latente. Celui-ci traite les représentations latentes du VAE Wan2.2 et comporte des couches d’incorporation des actions pour le conditionnement cinématique.

L’interface d’action utilise 28 dimensions par pas de temps, dont 14 par bras, couvrant la translation par rapport au point d’ancrage, la rotation 6D, la position de la mâchoire, l’activation de l’énergie électrochirurgicale, un bouton de manche à balai et les axes de ce dernier. Pour l’incarnation Versius, l’interface est passée de 20 à 28 dimensions ; les poids préentraînés de pose et de mâchoire ont été conservés, tandis que les nouvelles entrées de commande ont été initialisées à zéro. L’entraînement utilise des vidéos de 832 x 480 pixels, avec des actions alignées à 10 Hz, fréquence d’échantillonnage que l’annonce distingue du débit de génération en exécution.

Le modèle enseignant bidirectionnel a d’abord été affiné sur 24 images futures pendant 2 000 itérations, puis sur un horizon de 72 images pendant 4 400 itérations, soit respectivement 2,4 et 7,2 secondes à 10 Hz. La distillation a transformé le modèle enseignant sur 72 images, qui utilisait 35 étapes d’échantillonnage, en un modèle étudiant à causalité par blocs, au moyen d’un entraînement causal guidé par le modèle enseignant sur 1 000 itérations. Elle a été suivie de 300 itérations de Self-Forcing avec une distillation par mise en correspondance des distributions par rapport au modèle enseignant fixe. Le modèle étudiant publié génère des vidéos de façon autorégressive à l’aide d’un cache clé/valeur et de quatre étapes de débruitage par image latente ; chaque image latente consomme quatre vecteurs d’action futurs (0,4 seconde à 10 Hz) et produit quatre nouvelles images vidéo, ce qui permet le déroulement en continu.

Un deuxième point de contrôle publié utilise deux étapes de débruitage. NVIDIA précise que le modèle en deux étapes a été entraîné séparément et qu’il ne s’agit pas du modèle en quatre étapes auquel on aurait simplement appliqué moins d’étapes d’échantillonnage. L’entreprise indique également qu’un nombre réduit d’étapes de débruitage accélère l’inférence au prix d’une qualité visuelle moindre. La diffusion en continu s’effectue avec FlashDreams et un module FadeMem adapté, qui consolide le cache clé/valeur qui s’agrandit au cours des longs déroulements et complète le traitement de l’historique généré assuré par Self-Forcing.

Données d’entraînement et évaluation sur des données mises de côté

L’affinage a utilisé des enregistrements cliniques propriétaires de cholécystectomies réalisées avec Versius de CMR Surgical. Ceux-ci proviennent de 4 792 interventions et totalisent environ 17 millions d’images à 60 Hz et en résolution 1080p ; les vidéos ont été sous-échantillonnées à 10 Hz. Les chirurgiens ont téléopéré le robot pendant les interventions ; les étiquettes d’action ont été automatiquement dérivées de la télémétrie du robot, tandis que la visibilité des instruments a été annotée manuellement.

La sélection des échantillons n’a conservé que les fenêtres où exactement deux instruments étaient visibles et engagés à chaque ligne native à 60 Hz de chaque fenêtre historique et future. La paire de référence était composée d’une pince Cadiere à gauche et d’un crochet monopolaire à droite. Les fenêtres comportant des commandes de caméra actives dépassant un seuil fixe ont été exclues. Le jeu d’entraînement comprenait 64 enregistrements et environ 526 minutes uniques de vidéo, avec 183 528 points de départ de fenêtre pour l’horizon de 24 images. Pour l’horizon de 72 images utilisé lors de la distillation, il totalisait environ 436 minutes réparties sur 106 820 points de départ de fenêtre. Les enregistrements ont été répartis par intervention : environ 98 % des minutes uniques ont servi à l’entraînement et environ 2 % ont été mises de côté.

La validation sur les données mises de côté porte sur environ 10,6 minutes issues de 10 enregistrements, soit quelque 6 400 images à 10 Hz. Chacun des panels d’évaluation fixes constitués à partir de ces enregistrements comprend 48 cas d’évaluation de la qualité et 12 cas de contrôle des actions. Ils sont complétés par des tests de rotation avec des instruments en position neutre, puis tournés de ±5° et de ±15°, ainsi que par des séquences continues de 30,4 secondes destinées à une évaluation visuelle. La fiche décrit le contenu comme des vidéos endoscopiques intra-abdominales et des données de télémétrie robotique issues d’interventions cliniques sur des patients, montrant l’anatomie et les instruments chirurgicaux plutôt que des visages ou d’autres éléments permettant l’identification, sans audio ni texte.

Performances, licence et code

La fiche du modèle indique des performances de 30,0 images par seconde en résolution 832 x 480 avec quatre étapes de diffusion et de 43,2 images par seconde avec deux étapes sur une RTX PRO 6000 Blackwell Workstation Edition, de 20,2 et 31,2 images par seconde sur l’édition Max-Q, et de 16,9 images par seconde sur DGX Spark à la résolution réduite de 512 x 288. Le fonctionnement interactif en temps réel a été validé sur une seule RTX PRO 6000 et sur DGX Spark, et le modèle fonctionne également sur un Hopper H100. Les microarchitectures prises en charge sont NVIDIA Blackwell et Hopper ; Linux est le système d’exploitation pris en charge. La précision mixte BF16 a été utilisée pour l’entraînement et l’inférence native, tandis que les poids ont été exportés au format FP32.

Le dépôt GitHub associé est sous licence Apache-2.0 et permet de rejouer des actions enregistrées pour produire des fichiers MP4, ainsi que de contrôler le système en direct depuis un casque compatible avec WebXR et doté de deux contrôleurs suivis. Le dépôt indique les exigences système suivantes : Linux avec un GPU compatible CUDA, Python 3.12, le gestionnaire de paquets uv et plus de 32 Go de VRAM pour la configuration par défaut de 480 x 832.

NVIDIA a également publié une procédure détaillée pour l’ajustement fin du modèle enseignant et la distillation Self-Forcing, afin que les développeurs puissent adapter le système à d’autres jeux de données et à d’autres incarnations, à condition de disposer de vidéos synchronisées et de représentations d’actions compatibles. L’annonce précise que les intégrations de contrôleurs doivent utiliser les mêmes conventions d’action et la même normalisation que celles de l’entraînement. Les considérations éthiques de la fiche du modèle indiquent que les développeurs doivent détenir les droits et autorisations requis pour le contenu d’images et de vidéos fourni en entrée, et que les vidéos générées ne flouteront pas les personnes ni les informations personnelles de santé présentes dans les données d’entrée.

Limites déclarées et pistes de recherche

NVIDIA précise que le réalisme visuel constitue un point de départ pour la validation, et non une preuve de précision biomécanique, et qu’une séquence générée d’apparence plausible qui ne tient pas compte des commandes de contrôle ne peut pas servir d’environnement interactif. L’annonce présente plusieurs pistes de recherche : modéliser l’intégralité d’une cholécystectomie en définissant clairement les étapes de la tâche et les critères de réussite, relier la simulation générative à la simulation numérique, évaluer le système avec des chirurgiens, prendre en charge davantage d’instruments et mettre au point des politiques chirurgicales autonomes couplées au modèle en boucle fermée. NVIDIA présente ces éléments comme des pistes de recherche, et non comme des capacités cliniques établies, et précise que Cosmos3-H-Dreams est un simulateur de recherche, pas un système validé pour la prise en charge des patients.