NVIDIAs kirurgiske verdenmodell kjører nå live på en enkelt GPU

NVIDIA (NVDA ) har lansert en kirurgisk simulator som genererer operasjonsfeltet i sanntid, raskt nok for en kirurg eller en trenet robotpolitikk å styre scenen mens den produseres. Modellen, Cosmos-H-Dreams, kjører med omtrent 160 bilder per sekund på en enkelt RTX PRO 6000 GPU, opp fra omtrent 10 bilder per sekund for den offline-modellen det ble destillert fra, ifølge NVIDIAs egne tall. Vekter og serving-kode ble lagt ut 23. juli 2026, og selskapet publiserte den tekniske nedbrytingen fire dager senere.

Det er ingen fysikkmotor under. I stedet for å skrive tissue, suturer og instrumentkontakt for hånd, lærer modellen visuelle dynamikker fra parret kirurgisk video og robotkinematik, og så forutsier hva kameraet ville se neste. Den tar en initial ramme pluss en live-strøm av armkommandoer og genererer den følgende blokk av 12 ramer før den forbruker den neste batchen av handlinger. En nettleser-klient kan drive det fra et tastatur, en Meta Quest-hodeenhet kan kartlegge sporet kontrollerbevegelse til robothandling, og en lært kirurgisk politikk kan bli droppet i samme løkke i stedet for mennesket. Samme klasse modell har trukket inn alvorlig penger andre steder i industrien, inkludert Odysseys 310 millioner dollar Series B for verdenmodeller.

Hvordan rammehastigheten ble kjøpt

Cosmos-H-Dreams er en destillert elev av en langsommere modell. Læreren, Cosmos-H-Surgical-Simulator, er bygget på NVIDIAs 2-milliard-parameter Cosmos-Predict2.5 video-modell og produserer kirurgiske ruller i én passasje etter faktum, som passer til scoring en innspilt trajektori, men ikke til å drive en. Eleven ble trent til å fortsette fra sin egen genererte historie heller enn fra ren grunnhet, en prosedyre modellkortet kaller selv-forcing destillasjon, og den produserer hver latent ramme i to til fire støynivåtrinn heller enn lærerens mange. FlashDreams, NVIDIAs strømmende inferensbibliotek, dekker resten ved å holde en rullende cache av tidligere ramer og forhåndsgrippe det gjentatte GPU-arbeidet så maskinvaren ikke planlegger det på hver trinn.

Den utgitte kontrollpunktet gjør ett jobb: bord-søming på da Vinci Research Kit, en fysisk plattform akademiske laboratorier bruker til å utvikle og teste kirurgiske politikker. Den kjører med 288 x 512 piksler og aksepterer kommandoer med en effektiv 10 Hz. Dette er en benk-oppdrag, ikke en kropp.

Treningsblandingen er kanskje mer interessant enn rammehastigheten. I tillegg til vellykkede sømings- og knute-eksperimenter fra Johns Hopkins, beholdt NVIDIA med vilje feil og utenfor-distribusjonsepisoder: nåle-drops, missede kast, knuter som ikke holdt. Dens angitte grunn er at en simulator som er ment å score politikker må gjenskape konsekvensene av dårlige handlinger, ikke bare ideelle demonstrasjoner.

Versius får koblet inn

NVIDIA sier det har arbeidet med CMR Surgical og Cambridge Consultants, Capgemini-eide ingeniørfirma, for å koble modellen til kirurgkontrollen for CMR’s Versius-plattform og kjøre det live. CMR demonstrerte oppsettet for en kirurgisk publikum på en robotisk kirurgikonferanse i Florida i slutten av juli 2026. Selskapet har grunn til å være i denne løkken tidlig: NVIDIA krediterer det med å ha bidratt med nesten 500 timer anonymisert Versius-prosedyredata til Open-H Embodiment-datasettet modellfamilien ble forhåndstrent på, og CMR beskriver seg selv som den største bidragsyteren til dette datasettet.

CMR er også direkte om hva demonstrasjonen ikke er. En fotnote på sin utgivelse sier at simuleringsmodellen er “kun for forsknings- og demonstrasjonsformål”, er ikke en del av den godkjente Versius Plus-systemet, og er ikke ment for kliniske avgjørelser eller pasientpleie. Versius Plus selv er godkjent i USA kun for galleblærem fjerning hos voksne, med en gynekologisk anvendelse i vente. Reguleringsgodkjenning for kirurgisk hårdvara beveger seg fremdeles prosedyre for prosedyre, som Momentis’ Anovo-robot viste når det vant US-godkjenning for multiport-kirurgi. NVIDIA trekker samme linje i sin egen post: dette er en forsknings- og utviklingsplattform, ikke en diagnostisk system og ikke en kontroller for en fysisk kirurgisk robot.

Valideringsagendaen

Modellen er den generative halvdelen av Medical Physics Simulation-rammeverket NVIDIA åpnet kildekoden for 22. juli 2026 innen sin Isaac for Healthcare-stakk, hvor konvensjonelle solvere håndterer kontakt og friksjon og den lært modellen håndterer visuelle scenariodynamikker. Det er samme posisjon NVIDIA har tatt på fabrikkgulvet, leverer simuleringslaget andre leverandører bygger produkter på.

NVIDIAs post sier at det umiddelbare neste skrittet er å evaluere mer enn visuell kvalitet, og det foreslår en familie av lukkede test som målet for å se om den raskere versjonen er nøyaktig nok til å stole på:

• verktøy-spiss-rekkevidde og pose-nøyaktighet
• gjennomgangssyklus-trofasthet og stabilitet når instrumentene er inaktive
• drift over lange ruller
• enighet mellom simulerings- og reelle politiske resultater

Det nærmeste overføringsbeviset så langt kommer fra den tidligere linjen: en 2025-papir av NVIDIA og Johns Hopkins-forskere rapporterte sterk korrelasjon mellom ruller i den offline kirurgiske modellen og politiske resultater på en fysisk da Vinci-forskningsystem for suturpad-oppdrag, pluss preliminær samstemming på ex-vivo porcine gallblærefunksjon. Det var den langsomme to-veisk modellen heller enn den to-trinns eleven, og repositoriet selv noterer at den raskere skedulen koster litt trofasthet.

Å få tak i det er billig etter frontier-modell-standarder. Vektene bærer NVIDIAs åpne modell-lisens og serving-koden er Apache 2.0, med repositoriet som ber om en GPU med 12 GB minne, en gjeldende driver og Linux. Det er ingen teknisk rapport ennå; repositoriets lenke til en peker på en placeholder-fil. Video-kondisjonerte robotpolitikker er allerede i gang med å flytte til produksjonslinjer, som med mimic robotics’ FLUX-mimic på et Audi-anlegg, men kirurgi har en hardeste akseptanse-test. For laboratoriene som trener kirurgiske politikker, er spørsmålet som betyr om en score tjent innenfor denne simuleringsmodellen forutsier hva armen gjør på en virkelig suturpad. NVIDIA har navngitt denne benchmarken, og dens resultater er hva den neste runden av bevis skal dreie seg om.