NVIDIA lanserer Cosmos3-H-Dreams, en sanntids verdensmodell for kirurgi

NVIDIA lanserte Cosmos3-H-Dreams 20. oktober 2026. Det er en sanntids, handlingsbetinget generativ verdensmodell for robotkirurgi, finjustert på kliniske opptak av kolecystektomier utført med CMR Surgical Versius-systemet. Modellkontrollpunktet og den tilhørende koden ble publisert samme dag.

I en kunngjøring skrevet av NVIDIA på Hugging Face sa selskapet at Cosmos3-H-Dreams, så vidt det kjenner til, er den første generative kirurgiske simulatoren i sanntid som er trent på kliniske opptak av kolecystektomier, og som støtter direkte kinematisk styring. Modellen er drevet av Cosmos 3 og akselerert med FlashDreams, NVIDIAs bibliotek for strømmende inferens, og kjører interaktivt på én NVIDIA RTX PRO 6000-GPU, ifølge kunngjøringen.

Modellkortet oppgir 20. oktober 2026 som lanseringsdato på både GitHub og Hugging Face, og sier at modellen er klar til kommersiell eller ikke-kommersiell bruk under NVIDIA Open Model License. Det angir evaluering av retningslinjer for kirurgisk robotikk i simulering, interaktiv utforskning av verdensmodeller via fjernstyring og generering av syntetiske data for robotassistert kolecystektomi som tiltenkte bruksområder. Målgruppen er forskere innen kirurgisk robotikk, utviklere av KI for helsevesenet, akademiske institusjoner og selskaper innen kirurgisk robotikk.

Fra suturering på bordplate til kliniske miljøer

Cosmos3-H-Dreams er etterfølgeren til Cosmos-H-Dreams, en modell bygget på Cosmos-Predict2.5 og utviklet for suturering på bordplate med dVRK. Som en grunnmodell for verden lærte det tidligere systemet visuell dynamikk direkte fra synkronisert video og robotkinematikk, i stedet for å modellere scenegeometri, vevsdeformasjon og fysiske interaksjoner eksplisitt. Den nye versjonen tar denne tilnærmingen inn i kliniske miljøer, der vev strekkes under drag, refleksjoner forskyves, strukturer skjules og røyk endrer sikten, og der små genereringsfeil kan hope seg opp over lange utrullinger og gradvis endre instrumentgeometrien eller den anatomiske strukturen.

Arkitektur og destillasjonsprosess

Modellen bygger på Cosmos3-H-Embodied-Nano, en modell med 16 milliarder parametere som er trent på datasettet Open-H-Embodiment, og spesialtilpasser en toveis lærer på kuratert video og kinematikk fra kolecystektomier. Cosmos3-H-Dreams har selv omtrent 15,17 milliarder parametere og bruker en Mixture-of-Transformers-arkitektur som kombinerer et Qwen3-VL-8B-Instruct-resonneringstårn med en latent diffusjonsekspert for generering. Modellen opererer på latente representasjoner fra Wan2.2 VAE, med handlingsinnbyggingslag for kinematisk betinging.

Handlingsgrensesnittet bruker 28 dimensjoner per tidssteg, med 14 dimensjoner per arm for å dekke translasjon relativt til ankerpunktet, 6D-rotasjon, kjeveposisjon, aktivering av elektrokirurgisk energi, en styrespakknapp og styrespakakser. Grensesnittet ble utvidet fra 20 dimensjoner for Versius-utførelsen, samtidig som de forhåndstrente vektene for positur og kjeve ble beholdt, og de nye styreinngangene ble initialisert til null. Treningen bruker video i oppløsningen 832 x 480, med handlinger synkronisert ved 10 Hz – en samplingsfrekvens som ifølge kunngjøringen er forskjellig fra genereringshastigheten under kjøring.

Den toveis læreren ble først finjustert på 24 fremtidige bilderammer gjennom 2 000 iterasjoner, og deretter på en horisont på 72 bilderammer gjennom 4 400 iterasjoner. Ved 10 Hz tilsvarer dette henholdsvis 2,4 og 7,2 sekunder. Destillasjonen konverterte læreren med 72 bilderammer, som brukte 35 samplingssteg, til en blokk-kausal elevmodell gjennom kausal lærerforcing over 1 000 iterasjoner. Dette ble fulgt av 300 iterasjoner med Self-Forcing og distribusjonstilpasset destillasjon mot den faste læreren. Den publiserte elevmodellen genererer video autoregressivt med en nøkkel-/verdicache og fire denoising-steg per latent bilderamme. Hver latent bilderamme bruker fire fremtidige handlingsvektorer (0,4 sekunder ved 10 Hz) og produserer fire nye videobilderammer, slik at utrullingen kan strømmes.

Et annet publisert kontrollpunkt bruker to denoising-steg. NVIDIA opplyser at modellen med to steg er trent separat, og ikke er firestegsmodellen kjørt med færre samplingssteg. Selskapet sier også at færre denoising-steg gir raskere inferens på bekostning av lavere visuell kvalitet. Strømmingen håndteres av FlashDreams med en tilpasset FadeMem-modul som konsoliderer den voksende nøkkel-/verdicachen under lange utrullinger, som et supplement til Self-Forcings håndtering av generert historikk.

Treningsdata og evaluering på tilbakeholdte data

Finjusteringen brukte proprietære kliniske opptak av kolecystektomier fra CMR Surgical Versius, hentet fra 4 792 inngrep med til sammen omtrent 17 millioner bilderammer ved 60 Hz og 1080p-oppløsning, nedprøvet til 10 Hz. Kirurger fjernstyrte roboten under inngrepene. Handlingsetiketter ble utledet automatisk fra telemetrien til roboten, mens instrumentenes synlighet ble merket manuelt.

Utvalget omfattet bare vinduer der nøyaktig to instrumenter var synlige og i bruk i hver eneste opprinnelige 60 Hz-rad i hvert historikk- og fremtidsvindu. Standardkombinasjonen var en Cadiere-griper til venstre og en monopolar krok til høyre. Vinduer med aktive kamerakommandoer over en fastsatt terskel ble utelatt. Treningssettet besto av 64 opptak og omtrent 526 unike minutter med video, med 183 528 vindusstarter for horisonten på 24 bilderammer. For horisonten på 72 bilderammer, som ble brukt i destillasjonen, omfattet det omtrent 436 minutter fordelt på 106 820 vindusstarter. Opptakene ble delt inn på inngrepsnivå, slik at omtrent 98 prosent av de unike minuttene ble brukt til trening og omtrent 2 prosent ble holdt tilbake.

Valideringen på data som er holdt utenfor treningen, omfatter omtrent 10,6 minutter fra 10 opptak, rundt 6 400 bilderuter med 10 Hz. De faste evalueringssettene fra disse opptakene inneholder hvert 48 kvalitetstilfeller og 12 tilfeller for handlingsstyring. I tillegg kommer rotasjonsprober med verktøyrotasjoner på 0°, ±5° og ±15°, samt sammenhengende simuleringsforløp på 30,4 sekunder for visuell gjennomgang. Modellkortet beskriver innholdet som intraabdominal endoskopisk video og telemetri fra roboter under kliniske inngrep på mennesker. Opptakene viser anatomi og kirurgiske instrumenter, ikke ansikter eller andre identifiserende visninger, og inneholder verken lyd eller tekst.

Ytelse, lisensiering og kode

Modellkortet oppgir 30,0 bilder per sekund ved 832 x 480 med fire diffusjonstrinn og 43,2 FPS med to trinn på en RTX PRO 6000 Blackwell Workstation Edition, 20,2 og 31,2 FPS på Max-Q-utgaven, og 16,9 FPS på DGX Spark ved en redusert oppløsning på 512 x 288. Interaktiv kjøring i sanntid ble validert på én RTX PRO 6000 og på DGX Spark, og modellen kan også kjøres på en Hopper H100. Støttede mikroarkitekturer er NVIDIA Blackwell og Hopper, Linux er det støttede operativsystemet, og BF16-blandet presisjon ble brukt til trening og opprinnelig inferens, mens vektene ble eksportert som FP32.

Det tilhørende GitHub-repositoriet er lisensiert under Apache-2.0 og støtter avspilling av innspilte handlinger med MP4 som utdata, samt direkte styring fra et WebXR-kompatibelt hodesett med to sporede kontrollere. I repositoriet står systemkravene oppført: Linux med en CUDA-kompatibel GPU, Python 3.12, pakkebehandleren uv og mer enn 32 GB VRAM med standardkonfigurasjonen på 480 x 832.

NVIDIA publiserte også en trinnvis oppskrift på finjustering av lærermodellen og Self-Forcing-destillasjon, slik at utviklere kan tilpasse systemet til andre datasett og robotoppsett med synkronisert video og kompatible handlingsrepresentasjoner. Kunngjøringen presiserer at integrasjoner med kontrollere må bruke de samme handlingskonvensjonene og den samme normaliseringen som under treningen. I modellkortets etiske betraktninger står det at utviklere må ha de nødvendige rettighetene og tillatelsene til bilde- og videoinnhold som legges inn, og at generert video ikke slører personer eller personlige helseopplysninger som inngår i inndataene.

Oppgitte begrensninger og forskningsretninger

NVIDIA påpeker at visuell realisme er et utgangspunkt for validering, ikke et bevis på biomekanisk nøyaktighet, og at et simuleringsforløp som ser realistisk ut, men ignorerer kontrollkommandoer, ikke kan fungere som et interaktivt miljø. Kunngjøringen trekker fram flere forskningsretninger: modellering av hele kolecystektomiprosedyren med tydelige oppgavegrenser og suksesskriterier, sammenkobling av generativ simulering og numerisk simulering, evaluering sammen med kirurger, støtte for flere instrumenter og utvikling av autonome kirurgiske strategier som er koblet til modellen i en lukket sløyfe. NVIDIA presenterer dette som forskningsretninger, ikke som etablerte kliniske funksjoner, og opplyser at Cosmos3-H-Dreams er en forskningssimulator, ikke et validert system for pasientbehandling.