NVIDIAs kirurgiska världmodell körs nu live på en GPU

NVIDIA (NVDA ) har släppt en kirurgisk simulator som genererar operationsfältet i realtid, tillräckligt snabbt för en kirurg eller en tränad robotpolicy att styra scenen medan den produceras. Modellen, Cosmos-H-Dreams, körs med cirka 160 bilder per sekund på en enda RTX PRO 6000 GPU, upp från cirka 10 bilder per sekund för den offline-modell den destillerades från, enligt NVIDIAs egna siffror. Vikter och serverkod laddades upp den 23 juli 2026, och företaget publicerade den tekniska nedbrytningen fyra dagar senare.

Det finns ingen fysikmotor under. Istället för att skapa vävnad, suturer och instrumentkontakt för hand, lär sig modellen visuella dynamik från parade kirurgiska videor och robotkinematik, och förutsäger sedan vad kameran skulle se nästa. Den tar en initial bild plus en live-ström av armkommandon och genererar följande block av 12 bilder innan den konsumerar nästa batch av åtgärder. En webbklient kan köra den från ett tangentbord, en Meta Quest-huvudenhet kan mappa spårad kontrollrörelse till robotåtgärder, och en lärd kirurgisk policy kan läggas till i samma loop i stället för en människa. Samma klass av modell har dragit in allvarliga pengar på andra håll i branschen, inklusive Odysseys 310 miljoner dollar i serie B för världsmodeller.

Hur bildfrekvensen köptes

Cosmos-H-Dreams är en destillerad elev av en långsammare modell. Läraren, Cosmos-H-Surgical-Simulator, är byggd på NVIDIAs 2-miljardersparametrar Cosmos-Predict2.5 videomodell och producerar kirurgiska rullningar i en passage efteråt, vilket passar för att poängsätta en inspelad bana men inte för att köra en. Eleven tränades för att fortsätta från sin egen genererade historia snarare än från ren grund sanning, en procedur som modellkortet kallar själv-tvångsdestillation, och den producerar varje latent bild i två till fyra avläsningssteg snarare än lärarens många. FlashDreams, NVIDIAs strömmande inferensbibliotek, täcker resten genom att hålla en rullande cache av tidigare bilder och förkapning av upprepad GPU-arbete så att hårdvaran inte omplanerar det på varje steg.

Den släppta kontrollpunkten gör ett jobb: bordssuturering på da Vinci Research Kit, en fysisk plattform som akademiska laboratorier använder för att utveckla och testa kirurgiska policys. Den körs med 288 x 512 pixlar och accepterar kommandon vid en effektiv 10 Hz. Detta är en bänkuppgift, inte en kropp.

Träningsblandningen är förmodligen mer intressant än bildfrekvensen. Utöver framgångsrika suturering- och knutningsdemonstrationer från Johns Hopkins, höll NVIDIA medvetet kvar misslyckanden och utom distributions episoder: nålfall, missade kast, knutar som inte höll. Deras angivna anledning är att en simulator som är avsedd att poängsätta policys måste reproducera konsekvenserna av dåliga åtgärder, inte bara idealiska demonstrationer.

Versius kopplas in

NVIDIA säger att de arbetade med CMR Surgical och Cambridge Consultants, det Capgemini-ägda ingenjörsföretaget, för att ansluta modellen till kirurgkontrollen för CMR:s Versius-plattform och köra den live. CMR demonstrerade setupen för en kirurgisk publik vid en robotkirurgi-konferens i Florida i slutet av juli 2026. Företaget har anledning att vara i denna loop tidigt: NVIDIA tillskriver det bidragande nästan 500 timmar av anonymiserad Versius-procedurdata till Open-H Embodiment-datasetet som modellfamiljen var förtränad på, och CMR beskriver sig själv som den största bidragsgivaren till detta dataset.

CMR är också direkt om vad demonstrationen inte är. En fotnot på deras release anger att simuleringen är “för forsknings- och demonstrationsändamål endast”, är inte en del av den godkända Versius Plus-systemet och är inte avsedd för kliniska beslut eller patientvård. Versius Plus i sig är godkänt i USA endast för gallblåsanläggning hos vuxna, med en gynekologisk ansökan som väntar. Regulatoriskt godkännande för kirurgisk hårdvara rör sig fortfarande procedur för procedur, som Momentis Anovo-robot visade när den vann US-godkännande för multiport-kirurgi. NVIDIA drar samma linje i sin egen inlägg: detta är en forsknings- och utvecklingsplattform, inte en diagnostisk system och inte en kontroll för en fysisk kirurgisk robot.

Valideringsagendan

Modellen är den generativa halvan av Medical Physics Simulation-ramverket som NVIDIA öppnade källkoden för den 22 juli 2026 inom sin Isaac för Healthcare-stack, där konventionella solvers hanterar kontakt och friktion och den lärdade modellen hanterar visuella scen-dynamik. Det är samma position som NVIDIA har tagit på fabriksgolvet, tillhandahåller simuleringslagret som andra leverantörer bygger produkter på.

NVIDIAs inlägg säger att det omedelbara nästa steget är att utvärdera mer än visuell kvalitet, och det föreslår en familj av slutna-loop-tester som mått på om den snabba versionen är tillräckligt exakt för att lita på:

• verktygstips och pose-precision
• grepp-cykel trohet och stabilitet när instrumenten är inaktiva
• drift över långa rullningar
• överensstämmelse mellan simulerade och verkliga policy-resultat

Det närmaste överföringsbeviset hittills kommer från den tidigare linjen: en 2025 artikel av NVIDIA- och Johns Hopkins-forskare rapporterade stark korrelation mellan rullningar i den offline-kirurgiska modellen och policy-resultat på ett fysiskt da Vinci-forskningsystem för sutur-pads-uppgifter, plus preliminär alignment på ex-vivo porcine gallblåsanläggning. Det var den långsammare dubbelriktade modellen snarare än den snabbare elev, och repositoryt själv noterar att den snabbare schemat kostar lite trohet.

Att få tag på det är billigt enligt frontier-modell-standarder. Vikterna har NVIDIAs öppna modell-licens och serverkoden är Apache 2.0, med repositoryt som begär en GPU med 12 GB minne, en aktuell drivrutin och Linux. Det finns ingen teknisk rapport ännu; repositoryts länk till en pekar på en placeholder-fil. Video-villkorsbaserade robotpolicys flyttar redan in på produktionslinjer, som mimic robotics FLUX-mimic på en Audi-anläggning, men kirurgi har en hårdare acceptanstest. För laboratorierna som tränar kirurgiska policys är frågan som betyder något om en poäng som erhållits inuti denna simulator förutsäger vad armen gör på en verklig sutur-pad. NVIDIA har namngivit den här benchmarken, och dess resultat är vad nästa omgång av bevis kommer att vända på.