NVIDIAs kirurgiske verdenmodel kører nu live på en enkelt GPU

NVIDIA (NVDA ) har udgivet en kirurgisk simulator, der genererer operationsfeltet i realtid, hurtigt nok til, at en kirurg eller en trænet robotpolitik kan styre scenen, mens den produceres. Modellen, Cosmos-H-Dreams, kører med omkring 160 billeder per sekund på en enkelt RTX PRO 6000 GPU, op fra cirka 10 billeder per sekund for den offline-model, den blev destilleret fra, ifølge NVIDIAs egne tal. Vægte og serveringskode blev offentliggjort den 23. juli 2026, og virksomheden offentliggjorde den tekniske gennemgang fire dage senere.

Der er ingen fysikmotor under. I stedet for at skabe væv, suturer og instrumentkontakt for hånd, lærer modellen visuelle dynamikker fra parret kirurgisk video og robotkinematik, og derefter forudser, hvad kameraet vil se næste. Den tager en initial ramme plus en live-stream af armkommandoer og genererer den følgende blok af 12 rammer, før den forbruger den næste batch af handlinger. En browserklient kan køre det fra et tastatur, en Meta Quest-hovedtelefon kan kortlægge sporet controllerbevægelse til robothandling, og en lært kirurgisk politik kan indsættes i samme løkke i stedet for mennesket. Den samme klasse af modeller har inddraget alvorligt penge andre steder i branchen, herunder Odysseys $310 million serie B til verdensmodeller.

Hvordan billedfrekvensen blev købt

Cosmos-H-Dreams er en destilleret elev af en langsommere model. Læreren, Cosmos-H-Surgical-Simulator, er bygget på NVIDIAs 2-milliard-parameter Cosmos-Predict2.5 video-model og producerer kirurgiske ruller i én omgang efterfølgende, hvilket passer til scoring af en optaget bane, men ikke til at køre den. Eleven blev trænet til at fortsætte fra sin egen genererede historie i stedet for fra ren grundsandhed, en procedure, som modelkortet kalder selv-forcerende destillation, og den producerer hver latent ramme i to til fire støjreduceringstrin i stedet for lærerens mange. FlashDreams, NVIDIAs streaming-inferencelibrary, dækker resten ved at holde en rullende cache af tidligere rammer og forudindtage det gentagne GPU-arbejde, så hardwaren ikke genplanlægger det på hver trin.

Den udgivne checkpoint gør ét job: bord-syning på da Vinci Research Kit, en fysisk platform, akademiske laboratorier bruger til at udvikle og teste kirurgiske politikker. Den kører med 288 x 512 pixel og accepterer kommandoer med en effektiv 10 Hz. Dette er en bench-opgave, ikke en krop.

Træningsblandingen er måske mere interessant end billedfrekvensen. Ved siden af succesfuld syning og knudebinding-demonstrationer fra Johns Hopkins, valgte NVIDIA bevidst at beholde fejl og ud-af-distributionsepisoder: nåle-drops, missede kast, knuder, der ikke holdt. Dens angivne grund er, at en simulator, der er beregnet til at score politikker, skal reproducere konsekvenserne af dårlige handlinger, ikke kun ideelle demonstrationer.

Versius bliver forbundet

NVIDIA siger, at de har arbejdet med CMR Surgical og Cambridge Consultants, det Capgemini-ejede ingeniørfirma, for at tilslutte modellen til kirurgens controller for CMR’s Versius-platform og køre den live. CMR demonstrerede opsætningen for en kirurgisk publikum på en robotkirurgiskonference i Florida i slutningen af juli 2026. Virksomheden har grund til at være i denne løkke tidligt: NVIDIA krediterer det for at bidrage med næsten 500 timers anonymiseret Versius-proceduredata til Open-H Embodiment-datasættet, model-familien blev fortrænet på, og CMR beskriver sig selv som den største bidragsyder til dette datasæt.

CMR er også direkte om, hvad demonstrationen ikke er. En fodnote på deres udgivelse angiver, at simulationen er “kun til forsknings- og demonstrationsformål”, ikke en del af den godkendte Versius Plus-system, og ikke beregnet til kliniske beslutninger eller patientpleje. Versius Plus selv er kun godkendt i USA til gallblæres fjernelse hos voksne, med en gynækologisk ansøgning i vente. Regulatorisk godkendelse af kirurgisk hardware bevæger sig stadig procedure for procedure, som Momentis’s Anovo-robot viste, da det vandt US-godkendelse til multiport-kirurgi. NVIDIA tegner den samme linje i sin egen post: Dette er en forsknings- og udviklingsplatform, ikke et diagnostisk system og ikke en controller for en fysisk kirurgisk robot.

Valideringsdagsordenen

Modellen er den generative halvdel af Medical Physics Simulation-rammeværket, som NVIDIA åbnede kildekoden for den 22. juli 2026 inden for sin Isaac for Healthcare-stak, hvor konventionelle solvere håndterer kontakt og friktion, og den lærede model håndterer visuelle scenodynamik. Det er samme position, NVIDIA har indtaget på fabriksgulvet, forsyner simulationsskiktet, som andre leverandører bygger produkter på.

NVIDIAs post siger, at det næste skridt er at evaluere mere end visuel kvalitet, og det foreslår en familie af lukkede test som målet for, om den hurtige version er nøjagtig nok til at stole på:

• værktøj-spids-niveau og pose-akkurat
• griber-cyklus-trofasthed og stabilitet, når instrumenterne er inaktive
• drift over lange ruller
• enighed mellem simuleret og reel politik-udgang

Den nærmeste overførselsbevis kommer fra den tidligere linje: en 2025-papir af NVIDIA- og Johns Hopkins-forskere rapporterede en stærk korrelation mellem ruller i den offline-kirurgiske model og politik-udgange på et fysisk da Vinci-forskningsystem til sutur-pad-opgaver, plus foreløbige sammenligninger på ex-vivo porcine gallblæser. Det var den langsomme to-vejs-model i stedet for den to-trins-elev, og repository selv bemærker, at den hurtigere skema koster noget trofasthed.

At få fat på det er billigt efter frontier-model-standard. Vægte bærer NVIDIAs åbne model-licens, og serveringskoden er Apache 2.0, med repository, der beder om en GPU med 12 GB hukommelse, en aktuel driver og Linux. Der er ingen teknisk rapport endnu; repositorys link til en peger på en placeholder-fil. Video-betingede robotpolitikker er allerede på vej til produktionslinjer, som med mimic robotics FLUX-mimic på et Audi-anlæg, men kirurgi har en hårdere accepttest. For laboratorier, der træner kirurgiske politikker, er spørgsmålet, der betyder noget, om en score, der er opnået inde i denne simulator, forudser, hvad armen gør på en rigtig sutur-pad. NVIDIA har navngivet denne benchmark, og dets resultater er, hvad den næste runde af beviser vil dreje sig om.