NVIDIA lancerer Cosmos3-H-Dreams, en kirurgisk verdensmodel i realtid

NVIDIA lancerede Cosmos3-H-Dreams den 20. oktober 2026. Det er en generativ verdensmodel til robotkirurgi, der fungerer i realtid og er betinget af handlinger, finjusteret på kliniske optagelser af kolecystektomier med CMR Surgical Versius-systemet. Modelcheckpointet og den tilhørende kode blev offentliggjort samme dag.

I en meddelelse på Hugging Face skrevet af NVIDIA oplyste virksomheden, at Cosmos3-H-Dreams efter dens bedste viden er den første generative kirurgiske simulator i realtid, der er trænet på kliniske optagelser af kolecystektomier og understøtter live-kinematisk styring. Ifølge meddelelsen drives modellen af Cosmos 3 og accelereres med FlashDreams, NVIDIAs bibliotek til streaminginferens, og den kører interaktivt på én NVIDIA RTX PRO 6000-GPU.

Modelkortet angiver udgivelsesdatoen 20. oktober 2026 på både GitHub og Hugging Face og fastslår, at modellen er klar til kommerciel eller ikke-kommerciel brug under NVIDIA Open Model License. Kortet nævner evaluering af politikker for kirurgisk robotteknologi i simulering, interaktiv udforskning af verdensmodeller via fjernstyring og generering af syntetiske data til robotassisteret kolecystektomi som tiltænkte anvendelser. Målgruppen er forskere inden for kirurgisk robotteknologi, udviklere af AI til sundhedssektoren, akademiske institutioner og virksomheder inden for kirurgisk robotteknologi.

Fra suturering på bordplader til kliniske scener

Cosmos3-H-Dreams afløser Cosmos-H-Dreams, en model bygget på Cosmos-Predict2.5, der var målrettet suturering på bordplader med dVRK. Som en grundmodel for verdensmodeller lærte det tidligere system visuelle dynamikker direkte fra synkroniseret video og robotkinematik i stedet for eksplicit at modellere scenens geometri, vævsdeformation og fysiske interaktioner. Den nye udgivelse overfører denne tilgang til kliniske scener, hvor væv strækkes under træk, refleksioner forskydes, strukturer skjules, og røg ændrer sigtbarheden. Her kan små fejl i genereringen desuden ophobes over lange forløb og gradvist ændre instrumenternes geometri eller den anatomiske struktur.

Arkitektur og destillationspipeline

Modellen bygger på Cosmos3-H-Embodied-Nano, en model med 16 milliarder parametre, der er trænet på datasættet Open-H-Embodiment, og tilpasser en tovejslærer til kuraterede videoer af kolecystektomier og tilhørende kinematik. Cosmos3-H-Dreams har selv cirka 15,17 milliarder parametre og anvender en Transformer-blandingsarkitektur, der kombinerer et Qwen3-VL-8B-Instruct-resoneringstårn med en latent-diffusionsekspert til generering. Modellen arbejder på latenter fra Wan2.2 VAE og bruger handlingsindlejringslag til kinematisk betingning.

Handlingsgrænsefladen bruger 28 dimensioner pr. tidstrin, med 14 dimensioner pr. arm til translation relativt til ankerpunktet, 6D-rotation, kæbeposition, aktivering af elektrokirurgisk energi, en thumbstick-knap og thumbstick-akser. Grænsefladen blev udvidet fra 20 dimensioner til Versius-systemet, mens de fortrænede vægte for position og kæbe blev bevaret, og de nye kontrolinput blev initialiseret til nul. Træningen bruger video i opløsningen 832 x 480 med handlinger justeret til 10 Hz, en samplingsfrekvens, som meddelelsen bemærker er forskellig fra genereringshastigheden under kørsel.

Tovejslæreren blev først finjusteret på 24 fremtidige frames over 2.000 iterationer og derefter på en horisont på 72 frames over 4.400 iterationer, svarende til henholdsvis 2,4 og 7,2 sekunder ved 10 Hz. Ved destillationen blev læreren med 72 frames, som brugte 35 samplingstrin, omdannet til en blokkausal elevmodel gennem kausal teacher forcing over 1.000 iterationer. Derefter fulgte 300 iterationer med Self-Forcing og distributionsmatchende destillation mod den faste lærer. Den frigivne elevmodel genererer video autoregressivt med en nøgle/værdi-cache og fire denoising-trin pr. latent frame. Hver latent frame bruger fire fremtidige handlingsvektorer (0,4 sekunder ved 10 Hz) og producerer fire nye videoframes, hvilket muliggør streaming af forløbet.

Et andet udgivelsescheckpoint bruger to denoising-trin. NVIDIA oplyser, at modellen med to trin er trænet separat og ikke er modellen med fire trin kørt med færre samplingstrin, og at færre denoising-trin giver hurtigere inferens på bekostning af lavere visuel kvalitet. Streaming foregår via FlashDreams med et tilpasset FadeMem-modul, der konsoliderer den voksende nøgle/værdi-cache under lange forløb og supplerer Self-Forcings håndtering af den genererede historik.

Træningsdata og evaluering på tilbageholdte data

Finjusteringen brugte proprietære kliniske optagelser af kolecystektomier fra CMR Surgical Versius, hentet fra 4.792 indgreb med i alt cirka 17 millioner frames ved 60 Hz og en opløsning på 1080p, som blev nedsamplet til 10 Hz. Kirurger fjernstyrede robotten under indgrebene; handlingsetiketter blev automatisk udledt af robottelemetri, og instrumenternes synlighed blev mærket manuelt.

Udvælgelsen af prøver beholdt kun vinduer, hvor præcis to instrumenter var synlige og i brug i hver oprindelig 60 Hz-række i både historik- og fremtidsvinduet. Den kanoniske kombination var en Cadiere-gribetang til venstre og en monopolær krog til højre. Vinduer med aktive kamerakommandoer over en fast tærskel blev udelukket. Træningssættet omfattede 64 optagelser og cirka 526 unikke videominutter med 183.528 vinduesstarter for horisonten på 24 frames samt cirka 436 minutter fordelt på 106.820 vinduesstarter for horisonten på 72 frames, der blev brugt til destillationen. Optagelserne blev opdelt på indgrebsniveau, og cirka 98 procent af de unikke minutter blev brugt til træning, mens cirka 2 procent blev holdt tilbage.

Valideringen på et separat holdout-sæt omfatter cirka 10,6 minutters video fra 10 optagelser, svarende til omkring 6.400 billeder ved 10 Hz. De faste evalueringspaneler, der er udvalgt fra disse optagelser, indeholder hver 48 kvalitetscases samt 12 cases med handlingskontrol, suppleret med rotationstests ved neutrale værktøjsrotationer på ±5° og ±15° samt kontinuerlige forløb på 30,4 sekunder til visuel gennemgang. Modelkortet beskriver indholdet som intraabdominal endoskopisk video og robottelemetri fra kliniske indgreb på mennesker, der viser anatomi og kirurgiske instrumenter snarere end ansigter eller andre identificerende billeder, uden lyd eller tekst.

Ydeevne, licensering og kode

Modelkortet angiver 30,0 billeder pr. sekund ved 832 x 480 med fire diffusionstrin og 43,2 billeder pr. sekund med to trin på en RTX PRO 6000 Blackwell Workstation Edition, 20,2 og 31,2 billeder pr. sekund på Max-Q-udgaven samt 16,9 billeder pr. sekund på DGX Spark ved den reducerede opløsning 512 x 288. Interaktiv drift i realtid blev valideret på én RTX PRO 6000 og på DGX Spark, og modellen kan også køre på en Hopper H100. De understøttede mikroarkitekturer er NVIDIA Blackwell og Hopper, Linux er det understøttede operativsystem, og BF16-blandet præcision blev brugt til træning og native inferens, mens vægtene blev eksporteret som FP32.

Det tilhørende GitHub-arkiv er licenseret under Apache-2.0 og understøtter både afspilning af optagede handlinger med MP4-output og live-styring fra et WebXR-kompatibelt headset med to trackede controllere. Arkivet angiver systemkrav, herunder Linux med en CUDA-kompatibel GPU, Python 3.12, pakkehåndteringsværktøjet uv og mere end 32 GB VRAM ved standardkonfigurationen på 480 x 832.

NVIDIA har også offentliggjort en trinvis vejledning til finjustering med lærer og Self-Forcing-destillation, så udviklere kan tilpasse systemet til andre datasæt og robotplatforme med synkroniseret video og kompatible handlingsrepræsentationer; meddelelsen bemærker, at controllerintegrationer skal anvende de samme handlingskonventioner og den samme normalisering som under træningen. De etiske overvejelser i modelkortet fastslår, at udviklere skal have de nødvendige rettigheder og tilladelser til inputindhold i form af billeder og video, og at genererede videoer ikke slører personer eller personlige helbredsoplysninger, der indgår i inputtet.

Angivne begrænsninger og forskningsretninger

NVIDIA fastslår, at visuel realisme er et udgangspunkt for validering, ikke et bevis på biomekanisk nøjagtighed, og at en simulering, der ser plausibel ud, men ignorerer kontrolkommandoer, ikke kan fungere som et interaktivt miljø. Meddelelsen opregner forskningsretninger, herunder modellering af hele kolecystektomiforløbet med tydelige opgavegrænser og succeskriterier, sammenkobling af generativ og numerisk simulering, evaluering med kirurger, understøttelse af flere instrumenter og udvikling af autonome kirurgiske styringsstrategier, der kobles til modellen i et lukket kredsløb. NVIDIA betegner disse som forskningsretninger snarere end etablerede kliniske funktioner og fastslår, at Cosmos3-H-Dreams er en forskningssimulator, ikke et valideret system til patientbehandling.