NVIDIA släpper Cosmos3-H-Dreams, en kirurgisk världsmodell i realtid

NVIDIA släppte Cosmos3-H-Dreams den 20 oktober 2026, en generativ världsmodell för robotkirurgi i realtid som styrs av handlingar och finjusterats på kliniska inspelningar av kolecystektomier utförda med CMR Surgical Versius-systemet. Modellens checkpoint och tillhörande kod publicerades samma dag.

I ett tillkännagivande från NVIDIA på Hugging Face uppgav företaget att Cosmos3-H-Dreams, såvitt de känner till, är den första generativa kirurgiska simulatorn i realtid som tränats på kliniska inspelningar av kolecystektomier och stöder styrning med kinematik i realtid. Enligt tillkännagivandet drivs modellen av Cosmos 3 och accelereras med FlashDreams, NVIDIAs bibliotek för strömningsinferens, och körs interaktivt på ett enda NVIDIA RTX PRO 6000-grafikkort.

Modellkortet anger lanseringsdatumet 20 oktober 2026 för både GitHub och Hugging Face och uppger att modellen är redo för kommersiell eller icke-kommersiell användning enligt NVIDIA Open Model License. Där anges utvärdering av policyer för kirurgisk robotik i simulering, interaktiv utforskning av världsmodellen via fjärrstyrning och generering av syntetiska data för robotassisterad kolecystektomi som avsedda användningsområden. Modellen riktar sig till forskare inom kirurgisk robotik, utvecklare av AI för hälso- och sjukvård, akademiska institutioner och företag inom kirurgisk robotik.

Från suturering på en bordsskiva till kliniska operationsscener

Cosmos3-H-Dreams efterträder Cosmos-H-Dreams, en modell byggd på Cosmos-Predict2.5 som var inriktad på suturering på en bordsskiva med dVRK. Den tidigare modellen, en världsgrundmodell, lärde sig visuell dynamik direkt från synkroniserad video och robotkinematik i stället för att uttryckligen modellera scenens geometri, vävnadsdeformation och fysiska interaktioner. Den nya versionen för över detta tillvägagångssätt till kliniska scener, där vävnad sträcks vid drag, reflektioner förskjuts, strukturer skyms och rök förändrar sikten, och där små genereringsfel kan ackumuleras under långa sekvenser och gradvis förändra instrumentens geometri eller den anatomiska strukturen.

Arkitektur och destillationspipeline

Modellen bygger på Cosmos3-H-Embodied-Nano, en modell med 16 miljarder parametrar som tränats på datamängden Open-H-Embodiment, och består av en specialiserad dubbelriktad lärarmodell som finjusterats på utvalda videor från kolecystektomier och tillhörande kinematik. Cosmos3-H-Dreams har i sig cirka 15,17 miljarder parametrar och använder en Mixture-of-Transformers-arkitektur som kombinerar ett Qwen3-VL-8B-Instruct-resonemangstorn med en expertmodell för latent diffusionsgenerering. Den arbetar med Wan2.2 VAE-latenter och har lager för inbäddning av handlingar som möjliggör kinematisk styrning.

Handlingsgränssnittet använder 28 dimensioner per tidssteg, med 14 dimensioner per arm för translation relativt förankringspunkten, 6D-rotation, käkposition, aktivering av elektrokirurgisk energi, en tumspaksknapp och tumspakens axlar. Gränssnittet utökades från 20 dimensioner för Versius-utförandet, samtidigt som de förtränade vikterna för position och käke behölls och de nya styringångarna nollinitialiserades. Träningen använder video med upplösningen 832 x 480 och handlingar synkroniserade vid 10 Hz, en samplingsfrekvens som enligt tillkännagivandet skiljer sig från genereringens genomströmning under körning.

Den dubbelriktade lärarmodellen finjusterades först på 24 framtida bildrutor under 2 000 iterationer och därefter med en horisont på 72 bildrutor under 4 400 iterationer, vilket motsvarar 2,4 respektive 7,2 sekunder vid 10 Hz. Genom destillering omvandlades lärarmodellen med 72 bildrutor, som använde 35 samplingssteg, till en blockkausal studentmodell genom kausal lärartvingning under 1 000 iterationer. Därefter följde 300 iterationer med Self-Forcing och destillering med distributionsmatchning mot den fixerade lärarmodellen. Den släppta studentmodellen genererar video autoregressivt med en nyckel/värde-cache och fyra avbrusningssteg per latent bildruta. Varje latent bildruta förbrukar fyra framtida handlingsvektorer (0,4 sekunder vid 10 Hz) och genererar fyra nya videobildrutor, vilket möjliggör strömmande generering över tid.

En andra release-checkpoint använder två avbrusningssteg. NVIDIA uppger att modellen med två steg tränats separat, i stället för att vara fyrastegsmodellen körd med färre samplingssteg, och att färre avbrusningssteg ger snabbare inferens på bekostnad av lägre visuell kvalitet. Strömningen körs via FlashDreams med en anpassad FadeMem-modul som sammanför den växande nyckel/värde-cachen under långa sekvenser och kompletterar Self-Forcings hantering av den genererade historiken.

Träningsdata och utvärdering på data som hållits utanför träningen

Finjusteringen använde proprietära kliniska inspelningar av kolecystektomier från CMR Surgical Versius. Inspelningarna omfattade 4 792 ingrepp med sammanlagt cirka 17 miljoner bildrutor i 60 Hz och 1080p-upplösning, nedsamplade till 10 Hz. Kirurger fjärrstyrde roboten under ingreppen. Handlingsetiketter härleddes automatiskt från robotens telemetridata, medan instrumentens synlighet märktes upp manuellt.

Urvalet av exempel behöll endast sekvenser där exakt två instrument var synliga och aktiva vid varje ursprungligt 60 Hz-bildsteg i både historik- och framtidssekvenserna. Den kanoniska kombinationen var en Cadiere-gripare till vänster och en monopolär krok till höger. Sekvenser med aktiva kamerakommandon över ett fast tröskelvärde uteslöts. Träningsmängden omfattade 64 inspelningar och cirka 526 unika videominuter, med 183 528 startpunkter för sekvenser med en horisont på 24 bildrutor, samt cirka 436 minuter fördelade på 106 820 startpunkter för sekvenser med en horisont på 72 bildrutor, som användes vid destilleringen. Inspelningarna delades upp på ingreppsnivå, med cirka 98 procent av de unika minuterna för träning och cirka 2 procent undanhållna.

Valideringen på avskild data omfattar cirka 10,6 minuter från 10 inspelningar, omkring 6 400 bildrutor med 10 Hz. De fasta utvärderingspanelerna från dessa inspelningar innehåller vardera 48 kvalitetsfall och 12 fall för styrning av åtgärder, kompletterade med rotationstester där verktygen roteras neutralt, ±5° och ±15°, samt kontinuerliga simuleringar på 30,4 sekunder för visuell granskning. Modellkortet beskriver innehållet som intraabdominell endoskopisk video och robottelemetri från kliniska ingrepp på människor. Det visar anatomi och kirurgiska instrument, inte ansikten eller andra identifierande vyer, och innehåller varken ljud eller text.

Prestanda, licensiering och kod

Modellkortet anger 30,0 bildrutor per sekund vid 832 x 480 med fyra diffusionssteg och 43,2 bildrutor per sekund med två steg på en RTX PRO 6000 Blackwell Workstation Edition, 20,2 respektive 31,2 bildrutor per sekund på Max-Q-versionen och 16,9 bildrutor per sekund på DGX Spark vid den lägre upplösningen 512 x 288. Interaktiv körning i realtid har validerats på en enskild RTX PRO 6000 och på DGX Spark, och modellen körs även på en Hopper H100. NVIDIA Blackwell och Hopper stöds som mikroarkitekturer, Linux är det operativsystem som stöds och BF16-blandad precision användes vid träning och inbyggd inferens. Vikterna exporterades som FP32.

Det tillhörande kodförrådet på GitHub är licensierat under Apache-2.0 och stöder uppspelning av inspelade åtgärder med MP4-utdata samt live-styrning från ett WebXR-kompatibelt headset med två spårade handkontroller. I kodförrådet anges systemkrav, däribland Linux med en CUDA-kompatibel GPU, Python 3.12, pakethanteraren uv och mer än 32 GB VRAM vid standardkonfigurationen 480 x 832.

NVIDIA publicerade också en stegvis guide för finjustering av lärarmodellen och Self-Forcing-destillering, så att utvecklare kan anpassa systemet till andra datamängder och utföranden med synkroniserad video och kompatibla åtgärdsrepresentationer. I tillkännagivandet framhålls att styrintegreringar måste använda samma konventioner för åtgärder och samma normalisering som vid träningen. I modellkortets etiska överväganden anges att utvecklare måste ha korrekta rättigheter och tillstånd för bild- och videoinnehåll som används som indata, och att genererad video inte kommer att göra personer eller personliga hälsouppgifter som ingår i indata suddiga.

Angivna begränsningar och forskningsinriktningar

NVIDIA anger att visuell realism är en utgångspunkt för validering, inte ett bevis på biomekanisk korrekthet, och att en simulering som ser rimlig ut men ignorerar styrkommandon inte kan fungera som en interaktiv miljö. I tillkännagivandet listas flera forskningsinriktningar: att modellera hela kolecystektomiproceduren med tydliga uppgiftsgränser och framgångskriterier, koppla samman generativ simulering med numerisk simulering, utvärdera modellen tillsammans med kirurger, stödja fler instrument och utveckla autonoma kirurgiska strategier som kopplas till modellen i en sluten återkopplingsslinga. NVIDIA beskriver detta som forskningsinriktningar, inte som etablerad klinisk förmåga, och anger att Cosmos3-H-Dreams är en forskningssimulator, inte ett validerat system för patientvård.