Il modello di mondo chirurgico di NVIDIA ora funziona in tempo reale su una sola GPU

NVIDIA (NVDA ) ha rilasciato un simulatore chirurgico che genera il campo operatorio in tempo reale, abbastanza veloce per un chirurgo o una politica robotica addestrata per guidare la scena mentre viene prodotta. Il modello, Cosmos-H-Dreams, funziona a circa 160 fotogrammi al secondo su una sola GPU RTX PRO 6000, rispetto ai circa 10 fotogrammi al secondo del modello offline da cui è stato distillato, secondo i dati di NVIDIA. I pesi e il codice di servizio sono stati pubblicati il 23 luglio 2026 e la società ha pubblicato la panoramica tecnica quattro giorni dopo.

Non c’è un motore fisico sottostante. Invece di creare tessuti, suture e contatto strumento a mano, il modello apprende la dinamica visiva da video chirurgici e cinematiche robotiche accoppiate, quindi prevede cosa vedrebbe la telecamera dopo. Richiede un fotogramma iniziale più un flusso di comandi di armi in tempo reale e genera il blocco successivo di 12 fotogrammi prima di consumare il prossimo batch di azioni. Un client del browser può guidarlo da una tastiera, un headset Meta Quest può mappare il movimento del controller tracciato in azioni robotiche e una politica chirurgica appresa può essere inserita nello stesso ciclo al posto dell’essere umano. La stessa classe di modello ha raccolto denaro serio altrove nell’industria, incluso Odyssey’s $310 million Series B per modelli di mondo.

Come è stato acquistato il frame rate

Cosmos-H-Dreams è uno studente distillato di un modello più lento. L’insegnante, Cosmos-H-Surgical-Simulator, è costruito sul modello video Cosmos-Predict2.5 di NVIDIA da 2 miliardi di parametri e produce rollout chirurgici in un passaggio dopo i fatti, il che si adatta allo scoring di una traiettoria registrata ma non alla guida. Lo studente è stato addestrato a continuare dalla propria storia generata invece che dalla verità fondamentale pulita, una procedura che la scheda del modello chiama distillazione auto-forzante, e produce ogni fotogramma latente in due-quattro passaggi di denoising invece dei molti dell’insegnante. FlashDreams, la libreria di inferenza in streaming di NVIDIA, copre il resto mantenendo una cache rollante di fotogrammi precedenti e pre-acquisendo il lavoro GPU ripetuto in modo che l’hardware non lo ripiani su ogni passo.

Il checkpoint rilasciato fa un solo lavoro: sutura su un tavolo con il kit di ricerca da Vinci, una piattaforma fisica che i laboratori accademici utilizzano per sviluppare e testare politiche chirurgiche. Funziona a 288 x 512 pixel e accetta comandi a un effettivo 10 Hz. Questo è un compito di panca, non di corpo.

La miscela di addestramento è probabilmente più interessante del frame rate. Oltre a dimostrazioni di sutura e legatura del nodo di successo da Johns Hopkins, NVIDIA ha mantenuto intenzionalmente episodi di fallimento e fuori-distribuzione: cadute di aghi, lanci mancati, nodi che non hanno retto. La sua ragione dichiarata è che un simulatore destinato a valutare le politiche deve riprodurre le conseguenze di azioni scarse, non solo dimostrazioni ideali.

Versius si collega

NVIDIA afferma di aver lavorato con CMR Surgical e Cambridge Consultants, la società di ingegneria di proprietà di Capgemini, per collegare il modello al controller del chirurgo per la piattaforma Versius e farlo funzionare in tempo reale. CMR ha dimostrato l’impostazione a un pubblico chirurgico a una conferenza di chirurgia robotica in Florida a fine luglio 2026. La società ha un motivo per essere in questo ciclo presto: NVIDIA accredita di aver contribuito con quasi 500 ore di dati di procedura Versius anonimi al set di dati Open-H Embodiment su cui la famiglia di modelli è stata pre-addestrata, e CMR si descrive come il più grande contributore di quel set di dati.

CMR è anche diretto su cosa la dimostrazione non è. Una nota a piè di pagina nel suo rilascio afferma che la simulazione è “a scopo di ricerca e dimostrazione solo”, non fa parte del sistema Versius Plus autorizzato e non è destinata a decisioni cliniche o cure dei pazienti. Versius Plus stesso è autorizzato negli Stati Uniti solo per la rimozione della cistifellea negli adulti, con un’applicazione ginecologica in sospeso. L’autorizzazione regolatoria per l’hardware chirurgico si muove ancora procedura per procedura, come Momentis’s Anovo robot ha mostrato quando ha ottenuto l’autorizzazione FDA per la chirurgia multiporta. NVIDIA traccia la stessa linea nel suo post: questo è una piattaforma di ricerca e sviluppo, non un sistema diagnostico e non un controller per un robot chirurgico fisico.

L’agenda di convalida

Il modello è la metà generativa del framework di simulazione di fisica medica che NVIDIA ha open-source il 22 luglio 2026 all’interno del suo stack Isaac per la sanità, dove i solutori convenzionali gestiscono il contatto e l’attrito e il modello appreso gestisce la dinamica della scena visiva. È la stessa posizione che NVIDIA ha assunto sul pavimento di fabbrica, fornendo lo strato di simulazione che altri vendor costruiscono prodotti su.

Il post di NVIDIA afferma che il prossimo passo immediato è valutare più della qualità visiva, e propone una famiglia di test a ciclo chiuso come misura di quanto la versione veloce sia abbastanza precisa da essere affidabile:

• precisione di raggiungimento e posa dello strumento
• fidelità e stabilità del ciclo di presa quando gli strumenti sono inattivi
• deriva su rollout lunghi
• accordo tra esiti di politica simulati e reali

La prova di trasferimento più vicina finora proviene dalla linea di discendenza precedente: un documento del 2025 di ricercatori NVIDIA e Johns Hopkins ha riportato una forte correlazione tra rollout nel modello chirurgico offline e esiti di politica su un sistema di ricerca da Vinci fisico per compiti di suture-pad, più un allineamento preliminare su lavoro di gallbladder porcino ex-vivo. Quello era il modello bidirezionale lento piuttosto che lo studente a due passi, e il repository stesso nota che la tabella più veloce costa un po’ di fedeltà.

Ottenere le mani su di esso è economico secondo gli standard del modello di frontiera. I pesi portano la licenza del modello aperto di NVIDIA e il codice di servizio è Apache 2.0, con il repository che chiede una GPU con 12 GB di memoria, un driver corrente e Linux. Non c’è ancora un rapporto tecnico; il link del repository a uno punta a un file placeholder. Le politiche robotiche condizionate da video stanno già spostando le linee di produzione, come con mimic robotics’ FLUX-mimic in un impianto Audi, ma la chirurgia ha un test di accettazione più duro. Per i laboratori che addestrano le politiche chirurgiche, la domanda che conta è se un punteggio guadagnato all’interno di questo simulatore prevede cosa fa il braccio su un vero suture-pad. NVIDIA ha nominato quel benchmark, e i suoi risultati sono ciò su cui si baserà la prossima serie di prove.