NVIDIA julkaisee Cosmos3-H-Dreams-reaaliaikaisen kirurgisen maailmamallin

NVIDIA julkaisi Cosmos3-H-Dreamsin 20. lokakuuta 2026. Se on reaaliaikainen, toimintaehdoilla ohjattu generatiivinen maailmamalli robottikirurgiaan, ja sitä on hienosäädetty CMR Surgical Versius -järjestelmällä tehdyistä kliinisistä kolekystektomiatallenteista. Mallin tarkistuspiste ja siihen liittyvä koodi julkaistiin samana päivänä.

NVIDIAn kirjoittamassa Hugging Face -ilmoituksessa yritys kertoi, että tietojensa mukaan Cosmos3-H-Dreams on ensimmäinen kliinisistä kolekystektomiatallenteista koulutettu reaaliaikainen generatiivinen kirurgiasimulaattori, joka tukee reaaliaikaista kinemaattista ohjausta. Cosmos 3:n voimin toimiva ja NVIDIAn suoratoistopäättelykirjasto FlashDreamsillä kiihdytetty malli toimii vuorovaikutteisesti yhdellä NVIDIA RTX PRO 6000 -näytönohjaimella, ilmoituksen mukaan.

Mallikortissa ilmoitetaan julkaisupäiväksi 20. lokakuuta 2026 sekä GitHubissa että Hugging Facessa, ja siinä todetaan, että malli on valmis kaupalliseen tai ei-kaupalliseen käyttöön NVIDIA Open Model License -lisenssin nojalla. Kortissa mainitaan mallin käyttötarkoituksiksi kirurgisen robotiikan toimintaperiaatteiden arviointi simulaatiossa, vuorovaikutteinen teleoperoitu maailmamallin tutkiminen ja robottiavusteiseen kolekystektomiaan tarkoitetun synteettisen datan tuottaminen. Malli on suunnattu kirurgisen robotiikan tutkijoille, terveydenhuollon tekoälyn kehittäjille, akateemisille instituutioille ja kirurgisen robotiikan yrityksille.

Pöytätason ompelusta kliinisiin leikkaustilanteisiin

Cosmos3-H-Dreams seuraa Cosmos-H-Dreamsia, Cosmos-Predict2.5-malliin perustuvaa mallia, joka oli tarkoitettu dVRK-järjestelmällä tehtävään pöytätason ompeluun. Aiempi järjestelmä oppi perustavanlaatuisena maailmamallina visuaalista dynamiikkaa suoraan synkronoidusta videosta ja robotin kinemaattisista tiedoista sen sijaan, että se olisi mallintanut erikseen kohtausten geometriaa, kudoksen muodonmuutoksia ja fysikaalisia vuorovaikutuksia. Uusi julkaisu tuo tämän lähestymistavan kliinisiin leikkaustilanteisiin, joissa kudos venyy vedon vaikutuksesta, heijastukset muuttuvat, rakenteet peittyvät näkyvistä ja savu heikentää näkyvyyttä. Pitkien simulaatiojaksojen aikana pienetkin generointivirheet voivat kasautua ja muuttaa vähitellen instrumenttien geometriaa tai anatomisia rakenteita.

Arkkitehtuuri ja tislaamisputki

Malli perustuu Cosmos3-H-Embodied-Nanoon, Open-H-Embodiment-aineistolla koulutettuun 16 miljardin parametrin malliin, ja siinä kaksisuuntainen opettajamalli erikoistetaan huolellisesti valittuun kolekystektomiavideoon ja kinemaattisiin tietoihin. Cosmos3-H-Dreamsissa itsessään on noin 15,17 miljardia parametria, ja siinä käytetään muuntajamallien yhdistelmäarkkitehtuuria, jossa Qwen3-VL-8B-Instruct-päättelytorni yhdistyy latenttidiffuusiota käyttävään generointiasiantuntijaan. Malli toimii Wan2.2 VAE:n latenttiesityksillä, ja siinä on kinemaattista ehdollistamista varten toiminnan upotuskerroksia.

Toimintarajapinnassa on 28 ulottuvuutta aikavaihetta kohden, ja kumpaakin käsivartta kohden on 14 ulottuvuutta: ankkuriin suhteutettu siirtymä, 6D-kierto, leukojen asento, sähkökirurgisen energian aktivointi, peukalo-ohjaimen painike sekä sen akselit. Versius-kokoonpanoa varten rajapinta laajennettiin 20 ulottuvuudesta, ja esikoulutetut asennon ja leukojen painot säilytettiin; uudet ohjaussyötteet alustettiin nolliksi. Koulutuksessa käytetään 832 × 480 -videota, jonka kanssa toiminnot on kohdistettu 10 Hz:n taajuuteen. Ilmoituksen mukaan tämä näytteenottotaajuus eroaa suoritusajan generointinopeudesta.

Kaksisuuntaista opettajamallia hienosäädettiin ensin 24 tulevan ruudun osalta 2 000 iteraatiota ja sen jälkeen 72 ruudun ennustehorisontilla 4 400 iteraatiota. Nämä vastaavat 10 Hz:n taajuudella 2,4 ja 7,2 sekuntia. Tislaamisessa 72 ruudun opettajamalli, joka käytti 35 näytteenottovaihetta, muunnettiin lohkokausaaliseksi oppilasmalliksi kausaalisen opettajapakotuksen avulla 1 000 iteraation aikana. Tätä seurasi 300 iteraatiota Self-Forcing-menetelmää, jossa jakaumaa täsmäytettiin tislaamalla kiinteään opettajamalliin nähden. Julkaistu oppilasmalli generoi videota autoregressiivisesti avain/arvo-välimuistin avulla ja käyttää neljää kohinanpoistovaihetta latenttikehystä kohden. Kukin latenttikehys ottaa syötteenä neljä tulevaa toimintavektoria (0,4 sekuntia 10 Hz:n taajuudella) ja tuottaa neljä uutta videoruutua, mikä mahdollistaa suoratoistona etenevän simulaation.

Toisessa julkaistussa mallin tarkistuspisteessä käytetään kahta kohinanpoistovaihetta. NVIDIAn mukaan kahden vaiheen malli on koulutettu erikseen; kyseessä ei siis ole nelivaiheinen malli, jossa käytetään aiempaa vähemmän näytteenottovaiheita. NVIDIA kertoo myös, että vähäisempi kohinanpoistovaiheiden määrä nopeuttaa päättelyä visuaalisen laadun kustannuksella. Suoratoisto toteutetaan FlashDreamsin kautta käyttäen mukautettua FadeMem-moduulia, joka tiivistää kasvavaa avain/arvo-välimuistia pitkien simulaatiojaksojen aikana ja täydentää näin Self-Forcing-menetelmän tapaa käsitellä generoituvaa historiaa.

Koulutusdata ja erillinen arviointiaineisto

Hienosäätöön käytettiin CMR Surgical Versiuksella tehtyjen kliinisten kolekystektomioiden omisteisia tallenteita. Ne oli valittu 4 792 toimenpidejaksosta, jotka sisälsivät yhteensä noin 17 miljoonaa ruutua 60 Hz:n taajuudella ja 1080p-tarkkuudella; aineisto harvennettiin 10 Hz:iin. Kirurgit ohjasivat robottia toimenpiteiden aikana etäkäytöllä. Toimintatunnisteet johdettiin automaattisesti robotin telemetriatiedoista, kun taas instrumenttien näkyvyys merkittiin manuaalisesti.

Näytteiden valinnassa säilytettiin vain ikkunat, joissa täsmälleen kaksi instrumenttia oli näkyvissä ja käytössä historian ja tulevaisuuden jokaisessa ikkunassa kaikilla alkuperäisen 60 Hz:n taajuuden ruuturiveillä. Tavanomaisena instrumenttiparina käytettiin vasemmalla Cadiere-tarttujaa ja oikealla monopolaarista koukkua. Ikkunat, joissa oli aktiivisia kamerakomentoja kiinteän kynnysarvon ylittävä määrä, jätettiin pois. Koulutusaineisto koostui 64 tallenteesta ja noin 526 ainutlaatuisesta videominuutista. Siihen sisältyi 183 528 ikkunan aloituskohtaa 24 ruudun ennustehorisonttia varten sekä noin 436 minuuttia 106 820 ikkunan aloituskohdassa 72 ruudun ennustehorisonttia varten, jota käytettiin tislaamisessa. Tallenteet jaettiin toimenpidejaksojen tasolla siten, että noin 98 prosenttia ainutlaatuisista minuuteista käytettiin koulutukseen ja noin 2 prosenttia jätettiin sen ulkopuolelle.

Erillisellä validointiaineistolla tehtävä validointi kattaa noin 10,6 minuuttia videota 10 tallenteesta eli noin 6 400 kuvaa 10 Hz:n taajuudella. Näistä tallenteista kootuissa kiinteissä arviointipaneeleissa on kussakin 48 laatutapausta ja 12 toiminnanohjaustapausta. Niitä täydennetään kiertokokeilla, joissa työkalujen kiertokulmat ovat neutraali, ±5° ja ±15°, sekä 30,4 sekunnin yhtäjaksoisilla simulaatioilla visuaalista tarkastelua varten. Mallikortin mukaan aineisto koostuu kliinisissä toimenpiteissä ihmisillä kuvatuista vatsaontelon endoskooppivideoista ja robottien telemetriatiedoista. Niissä näkyy anatomiaa ja kirurgisia instrumentteja, mutta ei kasvoja tai muita tunnistettavia näkymiä, eikä aineistossa ole ääntä tai tekstiä.

Suorituskyky, lisensointi ja koodi

Mallikortin mukaan RTX PRO 6000 Blackwell Workstation Edition saavuttaa 30,0 kuvaa sekunnissa tarkkuudella 832 x 480 neljällä diffuusioaskeleella ja 43,2 kuvaa sekunnissa kahdella askeleella. Max-Q-versio saavuttaa vastaavasti 20,2 ja 31,2 kuvaa sekunnissa, ja DGX Spark 16,9 kuvaa sekunnissa alennetulla 512 x 288:n tarkkuudella. Reaaliaikaisen vuorovaikutteisen käytön toimivuus validoitiin yhdellä RTX PRO 6000 -näytönohjaimella ja DGX Sparkilla, ja malli toimii myös Hopper H100 -näytönohjaimella. Tuetut mikroarkkitehtuurit ovat NVIDIA Blackwell ja Hopper, tuettu käyttöjärjestelmä on Linux, ja koulutuksessa sekä natiivissa päättelyssä käytettiin BF16-sekatarkkuutta. Painot vietiin ulos FP32-muodossa.

Mallia täydentävä GitHub-repositorio on lisensoitu Apache-2.0-lisenssillä. Se tukee tallennettujen toimintojen toistamista MP4-tiedostoksi sekä reaaliaikaista ohjausta WebXR-yhteensopivilla kuulokkeilla, joissa on kaksi seurattavaa ohjainta. Repositorion järjestelmävaatimuksiin kuuluvat Linux ja CUDA-yhteensopiva näytönohjain, Python 3.12, uv-pakettienhallinta sekä yli 32 Gt videomuistia oletustarkkuudella 480 x 832.

NVIDIA julkaisi myös vaiheittaisen ohjeen opettajamallin hienosäätöön ja Self-Forcing-tislaukseen, jotta kehittäjät voivat sovittaa järjestelmän muihin aineistoihin ja kehoihin, kun käytettävissä on synkronoitua videota ja yhteensopivia toimintojen esitysmuotoja. Tiedotteessa huomautetaan, että ohjainten integroinnissa on käytettävä samoja toimintojen käytäntöjä ja normalisointia kuin koulutuksessa. Mallikortin eettisissä näkökohdissa todetaan, että kehittäjillä on oltava asianmukaiset oikeudet ja luvat syötteenä käytettävään kuva- ja videosisältöön ja että luotu video ei sumenna syötteissä näkyviä ihmisiä tai niihin sisältyviä henkilökohtaisia terveystietoja.

Ilmoitetut rajoitukset ja tutkimussuunnat

NVIDIA toteaa, että visuaalinen realismi on validoinnin lähtökohta, ei todiste biomekaanisesta tarkkuudesta, eikä uskottavalta näyttävä simulaatio, jossa ohjauskomennot sivuutetaan, sovellu vuorovaikutteiseksi ympäristöksi. Tiedotteessa mainittuihin tutkimussuuntiin kuuluvat koko kolekystektomiatoimenpiteen mallintaminen selkein tehtävärajauksin ja onnistumiskriteerein, generatiivisen simuloinnin yhdistäminen numeeriseen simulointiin, arviointi kirurgien kanssa, useampien instrumenttien tukeminen sekä malliin suljetun ohjaussilmukan kautta kytkettyjen autonomisten kirurgisten toimintatapojen kehittäminen. NVIDIA esittää nämä tutkimussuuntina, ei vakiintuneina kliinisinä valmiuksina, ja toteaa, että Cosmos3-H-Dreams on tutkimussimulaattori, ei potilashoitoon validoitu järjestelmä.