NVIDIA brengt Cosmos3-H-Dreams uit, een realtimewereldmodel voor chirurgie

NVIDIA heeft Cosmos3-H-Dreams op 20 oktober 2026 uitgebracht: een realtime, actiegeconditioneerd generatief wereldmodel voor robotchirurgie, dat is verfijnd met klinische opnamen van cholecystectomieën met het CMR Surgical Versius-systeem. Het modelcheckpoint en de bijbehorende code zijn dezelfde dag gepubliceerd.

In een door NVIDIA geschreven aankondiging op Hugging Face zei het bedrijf dat Cosmos3-H-Dreams voor zover het weet de eerste realtime generatieve chirurgische simulator is die is getraind met klinische opnamen van cholecystectomieën en live kinematische besturing ondersteunt. Volgens de aankondiging draait het model, aangedreven door Cosmos 3 en versneld met FlashDreams, NVIDIA’s bibliotheek voor streaminginferentie, interactief op één NVIDIA RTX PRO 6000-GPU.

De modelkaart vermeldt 20 oktober 2026 als releasedatum op zowel GitHub als Hugging Face en stelt dat het model klaar is voor commercieel en niet-commercieel gebruik onder de NVIDIA Open Model License. Als beoogde toepassingen noemt de kaart de evaluatie van chirurgische robotica-beleid in simulaties, interactieve verkenning van wereldmodellen via teleoperatie en het genereren van synthetische data voor robotische cholecystectomieën. Het model is bedoeld voor onderzoekers op het gebied van chirurgische robotica, ontwikkelaars van AI voor de gezondheidszorg, academische instellingen en bedrijven in de chirurgische robotica.

Van hechtwerk op een tafelmodel naar klinische scènes

Cosmos3-H-Dreams volgt Cosmos-H-Dreams op, een model dat is gebouwd op Cosmos-Predict2.5 en was gericht op hechten op een dVRK-tafelmodel. Als wereldbasismodel leerde het eerdere systeem de visuele dynamiek rechtstreeks uit gesynchroniseerde video en robotkinematica, in plaats van de scènegeometrie, weefselvervorming en fysieke interacties expliciet te modelleren. De nieuwe release brengt die aanpak naar klinische scènes, waar weefsel onder tractie uitrekt, reflecties verschuiven, structuren aan het zicht worden onttrokken en rook de zichtbaarheid verandert. In zulke scènes kunnen kleine generatiefouten zich tijdens lange uitrolreeksen opstapelen en geleidelijk de geometrie van instrumenten of anatomische structuren veranderen.

Architectuur en distillatieproces

Het model bouwt voort op Cosmos3-H-Embodied-Nano, een model met 16 miljard parameters dat is getraind op de Open-H-Embodiment-dataset, en specialiseert een bidirectioneel teacher-model met zorgvuldig geselecteerde video- en kinematica-opnamen van cholecystectomieën. Cosmos3-H-Dreams zelf heeft circa 15,17 miljard parameters en gebruikt een Mixture-of-Transformers-architectuur, met een Qwen3-VL-8B-Instruct-redeneermodule naast een expertmodule voor latente-diffusiegeneratie. Het model werkt met Wan2.2 VAE-latenten en bevat actie-inbeddingslagen voor kinematische conditionering.

De actie-interface gebruikt 28 dimensies per tijdstap, met 14 dimensies per arm voor translatie ten opzichte van het anker, 6D-rotatie, kaakpositie, activering van elektrochirurgische energie, een thumbstickknop en thumbstickassen. De interface is voor de Versius-configuratie uitgebreid van 20 naar 28 dimensies; de vooraf getrainde gewichten voor houding en kaakpositie zijn behouden en de nieuwe besturingsinvoer is geïnitialiseerd op nul. Voor de training wordt video met een resolutie van 832 x 480 gebruikt, met acties die zijn uitgelijnd op 10 Hz. De aankondiging merkt op dat deze bemonsteringsfrequentie niet hetzelfde is als de generatiedoorvoer tijdens gebruik.

Het bidirectionele teacher-model werd eerst verfijnd met 24 toekomstige frames gedurende 2.000 iteraties en vervolgens met een horizon van 72 frames gedurende 4.400 iteraties. Bij 10 Hz komt dat overeen met respectievelijk 2,4 en 7,2 seconden. Bij de distillatie werd het teacher-model met een horizon van 72 frames, dat 35 bemonsteringsstappen gebruikte, via causale teacher forcing gedurende 1.000 iteraties omgezet in een blokcausaal studentmodel. Daarna volgden 300 iteraties Self-Forcing met distillatie op basis van distributieafstemming ten opzichte van het vaste teacher-model. Het uitgebrachte studentmodel genereert video autoregressief met een key/value-cache en vier denoisingstappen per latent frame. Elk latent frame verwerkt vier toekomstige actievectoren (0,4 seconden bij 10 Hz) en produceert vier nieuwe videoframes, waardoor streaminguitrol mogelijk is.

Een tweede releasecheckpoint gebruikt twee denoisingstappen. NVIDIA stelt dat het model met twee stappen afzonderlijk is getraind en niet simpelweg het model met vier stappen is dat met minder bemonsteringsstappen wordt uitgevoerd. Minder denoisingstappen zorgen volgens NVIDIA voor snellere inferentie, maar gaan ten koste van de beeldkwaliteit. De streaming verloopt via FlashDreams met een aangepaste FadeMem-module, die tijdens lange uitrolreeksen de groeiende key/value-cache samenvoegt en zo een aanvulling vormt op Self-Forcing, dat de verwerking van de gegenereerde geschiedenis voor zijn rekening neemt.

Trainingsdata en evaluatie op achtergehouden gegevens

Voor de verfijning zijn eigen klinische opnamen van cholecystectomieën met CMR Surgical Versius gebruikt. Deze zijn afkomstig uit 4.792 episodes, met in totaal ongeveer 17 miljoen frames met een frequentie van 60 Hz en een resolutie van 1080p, en zijn teruggebracht tot 10 Hz. Tijdens de ingrepen bestuurden chirurgen de robot via teleoperatie. Actielabels werden automatisch afgeleid uit robottelemetrie en de zichtbaarheid van instrumenten werd handmatig gelabeld.

Bij de selectie van voorbeelden zijn alleen vensters behouden waarin gedurende elke oorspronkelijke rij met 60 Hz van zowel het geschiedenisvenster als het toekomstvenster precies twee instrumenten zichtbaar en in gebruik waren. De standaardcombinatie bestond uit een Cadiere-grijper links en een monopolaire haak rechts. Vensters met actieve cameracommandos boven een vaste drempel zijn uitgesloten. De trainingsset omvatte 64 opnamen en ongeveer 526 unieke minuten video, met 183.528 vensterstarts voor de horizon van 24 frames. Voor de horizon van 72 frames die bij de distillatie is gebruikt, omvatte de set ongeveer 436 minuten en 106.820 vensterstarts. De opnamen zijn op episodeniveau opgesplitst: ongeveer 98 procent van de unieke minuten is gebruikt voor training en ongeveer 2 procent is achtergehouden.

De validatie op de apart gehouden gegevens omvat ongeveer 10,6 minuten aan beeldmateriaal uit 10 opnamen, oftewel circa 6.400 frames bij 10 Hz. De vaste evaluatiesets die uit deze opnamen zijn samengesteld, bevatten elk 48 kwaliteitsgevallen en 12 gevallen voor actiecontrole. Daarnaast zijn er rotatieproeven met neutrale instrumentrotaties en rotaties van ±5° en ±15°, plus doorlopende roll-outs van 30,4 seconden voor visuele beoordeling. De modelkaart beschrijft de inhoud als intra-abdominale endoscopische video en robottelemetrie van klinische ingrepen bij menselijke patiënten, met anatomie en chirurgische instrumenten in beeld, maar geen gezichten of andere identificerende beelden; er is geen audio of tekst.

Prestaties, licenties en code

Volgens de modelkaart haalt het model 30,0 frames per seconde bij een resolutie van 832 x 480 met vier diffusie-inferentiestappen en 43,2 FPS met twee stappen op een RTX PRO 6000 Blackwell Workstation Edition. Op de Max-Q Edition haalt het 20,2 en 31,2 FPS, en op DGX Spark 16,9 FPS bij een lagere resolutie van 512 x 288. Interactieve dienstverlening in realtime is gevalideerd op één RTX PRO 6000 en op DGX Spark; het model werkt ook op een Hopper H100. De ondersteunde microarchitecturen zijn NVIDIA Blackwell en Hopper, Linux is het ondersteunde besturingssysteem en voor de training en native inferentie is gemengde precisie met BF16 gebruikt; de gewichten zijn geëxporteerd als FP32.

De bijbehorende GitHub-repository valt onder de Apache-2.0-licentie en ondersteunt zowel het afspelen van opgenomen acties met uitvoer naar MP4 als livebesturing via een WebXR-compatibele headset met twee getrackte controllers. Volgens de systeemvereisten van de repository zijn Linux met een CUDA-compatibele GPU, Python 3.12, de pakketbeheerder uv en meer dan 32 GB VRAM vereist bij de standaardconfiguratie van 480 x 832.

NVIDIA heeft ook een stapsgewijze handleiding gepubliceerd voor fine-tuning met een teachermodel en distillatie via Self-Forcing, zodat ontwikkelaars het systeem kunnen aanpassen aan andere datasets en belichamingen met gesynchroniseerde video en compatibele actierepresentaties. In de aankondiging staat dat integraties van controllers dezelfde actieconventies en normalisatie moeten gebruiken als tijdens de training. Volgens de ethische overwegingen in de modelkaart moeten ontwikkelaars beschikken over de juiste rechten en toestemmingen voor beeld- en videomateriaal dat als invoer wordt gebruikt. Ook wordt vermeld dat gegenereerde video geen personen of persoonlijke gezondheidsinformatie vervaagt die in de invoer voorkomt.

Vermelde beperkingen en onderzoeksrichtingen

NVIDIA stelt dat visueel realisme een beginpunt voor validatie is, geen bewijs van biomechanische nauwkeurigheid, en dat een roll-out die er aannemelijk uitziet maar besturingsopdrachten negeert, niet als interactieve omgeving kan dienen. De aankondiging noemt onder meer de volgende onderzoeksrichtingen: het modelleren van de volledige cholecystectomieprocedure met duidelijke taakgrenzen en succescriteria; het verbinden van generatieve simulatie met numerieke simulatie; evaluatie met chirurgen; ondersteuning voor meer instrumenten; en de ontwikkeling van autonome chirurgische beleidsregels die in een gesloten regelkring aan het model zijn gekoppeld. NVIDIA presenteert dit als onderzoeksrichtingen, niet als bestaande klinische mogelijkheden, en stelt dat Cosmos3-H-Dreams een onderzoekssimulator is, geen gevalideerd systeem voor patiëntenzorg.