NVIDIA rilascia Cosmos3-H-Dreams, un modello chirurgico del mondo in tempo reale

Il 20 ottobre 2026 NVIDIA ha rilasciato Cosmos3-H-Dreams, un modello generativo del mondo in tempo reale, condizionato dalle azioni e destinato alla chirurgia robotica, perfezionato su registrazioni cliniche di colecistectomie eseguite con il sistema Versius di CMR Surgical. Il checkpoint del modello e il codice complementare sono stati pubblicati lo stesso giorno.

In un annuncio scritto da NVIDIA su Hugging Face, l’azienda ha dichiarato che, per quanto ne sappia, Cosmos3-H-Dreams è il primo simulatore chirurgico generativo in tempo reale addestrato su registrazioni cliniche di colecistectomie a supportare il controllo cinematico in diretta. Basato su Cosmos 3 e accelerato con FlashDreams, la libreria di inferenza in streaming di NVIDIA, il modello funziona in modo interattivo su una singola GPU NVIDIA RTX PRO 6000, secondo quanto riportato nell’annuncio.

La scheda del modello indica come date di rilascio il 20 ottobre 2026 sia su GitHub sia su Hugging Face e afferma che il modello è pronto per l’uso commerciale o non commerciale secondo la NVIDIA Open Model License. Tra gli usi previsti cita la valutazione di policy per la robotica chirurgica in simulazione, l’esplorazione interattiva di modelli del mondo tramite teleoperazione e la generazione di dati sintetici per la colecistectomia robotica; si rivolge a ricercatori nel campo della robotica chirurgica, sviluppatori di IA per la sanità, istituzioni accademiche e aziende di robotica chirurgica.

Dalla sutura su un tavolo operatorio agli scenari clinici

Cosmos3-H-Dreams succede a Cosmos-H-Dreams, un modello basato su Cosmos-Predict2.5 e destinato alla sutura su un tavolo operatorio con dVRK. In quanto modello fondazionale del mondo, il sistema precedente apprendeva le dinamiche visive direttamente da video sincronizzati e dalla cinematica del robot, senza modellare esplicitamente la geometria della scena, la deformazione dei tessuti e le interazioni fisiche. La nuova versione porta questo approccio negli scenari clinici, dove i tessuti si tendono sotto trazione, i riflessi cambiano, le strutture vengono occluse e il fumo modifica la visibilità; in questi contesti, piccoli errori di generazione possono accumularsi nel corso di sequenze prolungate e alterare gradualmente la geometria degli strumenti o la struttura anatomica.

Architettura e pipeline di distillazione

Il modello si basa su Cosmos3-H-Embodied-Nano, un modello da 16 miliardi di parametri addestrato sul dataset Open-H-Embodiment, e specializza un modello insegnante bidirezionale usando video e dati cinematici selezionati di colecistectomie. Cosmos3-H-Dreams ha circa 15,17 miliardi di parametri e usa un’architettura Mixture-of-Transformers, che abbina un modulo di ragionamento Qwen3-VL-8B-Instruct a un modulo esperto di generazione basata sulla diffusione latente; opera sulle rappresentazioni latenti del VAE Wan2.2 e include livelli di incorporamento delle azioni per il condizionamento cinematico.

L’interfaccia delle azioni usa 28 dimensioni per ogni passo temporale, con 14 dimensioni per braccio che comprendono traslazione relativa all’ancora, rotazione 6D, posizione della ganascia, attivazione dell’energia elettrochirurgica, un pulsante della levetta analogica e gli assi della levetta analogica. Per la configurazione Versius, l’interfaccia è stata ampliata da 20 dimensioni; i pesi preaddestrati per posa e ganascia sono stati mantenuti, mentre i nuovi ingressi di controllo sono stati inizializzati a zero. L’addestramento usa video a 832 x 480, con le azioni sincronizzate a 10 Hz: l’annuncio precisa che questa frequenza di campionamento è distinta dalla velocità di generazione durante l’esecuzione.

Il modello insegnante bidirezionale è stato perfezionato prima su 24 fotogrammi futuri per 2.000 iterazioni e poi su un orizzonte di 72 fotogrammi per 4.400 iterazioni, corrispondenti rispettivamente a 2,4 e 7,2 secondi a 10 Hz. La distillazione ha trasformato il modello insegnante a 72 fotogrammi, che usava 35 passaggi di campionamento, in un modello studente causale a blocchi mediante teacher forcing causale per 1.000 iterazioni; sono seguite 300 iterazioni di Self-Forcing con distillazione basata sull’allineamento delle distribuzioni rispetto al modello insegnante fisso. Il modello studente rilasciato genera video in modo autoregressivo con una cache key/value e quattro passaggi di denoising per fotogramma latente; ogni fotogramma latente elabora quattro vettori di azione futuri (0,4 secondi a 10 Hz) e produce quattro nuovi fotogrammi video, consentendo la generazione in streaming.

Un secondo checkpoint rilasciato usa due passaggi di denoising. NVIDIA afferma che il modello a due passaggi è stato addestrato separatamente, anziché essere il modello a quattro passaggi eseguito con un numero inferiore di passaggi di campionamento, e che la riduzione dei passaggi di denoising velocizza l’inferenza a scapito della qualità visiva. Lo streaming avviene tramite FlashDreams con un modulo FadeMem adattato, che consolida la cache key/value in crescita durante le sequenze prolungate e affianca Self-Forcing nella gestione della cronologia generata.

Dati di addestramento e valutazione su dati esclusi

Il perfezionamento ha utilizzato registrazioni cliniche proprietarie di colecistectomie eseguite con CMR Surgical Versius, tratte da 4.792 episodi per un totale di circa 17 milioni di fotogrammi a 60 Hz e con risoluzione 1080p, ricampionati a 10 Hz. Durante gli interventi i chirurghi teleoperavano il robot; le etichette delle azioni sono state ricavate automaticamente dalla telemetria del robot, mentre la visibilità degli strumenti è stata etichettata manualmente.

La selezione dei campioni ha mantenuto solo le finestre in cui esattamente due strumenti erano visibili e in uso in ogni fotogramma nativo a 60 Hz delle finestre di contesto e future; l’abbinamento di riferimento prevedeva una pinza Cadiere a sinistra e un uncino monopolare a destra. Sono state escluse le finestre con comandi attivi della telecamera superiori a una soglia fissa. Il set di addestramento comprendeva 64 registrazioni e circa 526 minuti unici di video, con 183.528 istanti di inizio delle finestre per l’orizzonte di 24 fotogrammi; per l’orizzonte di 72 fotogrammi usato nella distillazione comprendeva circa 436 minuti distribuiti su 106.820 istanti di inizio delle finestre. Le registrazioni sono state suddivise a livello di episodio: circa il 98 per cento dei minuti unici è stato usato per l’addestramento e circa il 2 per cento è stato escluso.

La validazione su dati esclusi dall’addestramento copre circa 10,6 minuti tratti da 10 registrazioni, pari a circa 6.400 fotogrammi a 10 Hz. I pannelli di valutazione fissi ricavati da queste registrazioni contengono ciascuno 48 casi di qualità e 12 casi di controllo delle azioni, integrati da test di rotazione con rotazioni degli strumenti neutre, di ±5° e di ±15°, e da rollout continui di 30,4 secondi per la revisione visiva. La scheda descrive i contenuti come video endoscopici intra-addominali e telemetria robotica provenienti da procedure cliniche su pazienti umani, che mostrano anatomia e strumenti chirurgici anziché volti o altre immagini identificative, senza audio né testo.

Prestazioni, licenza e codice

La scheda del modello riporta 30,0 fotogrammi al secondo a 832 x 480 con quattro passaggi di diffusione e 43,2 FPS con due passaggi su una RTX PRO 6000 Blackwell Workstation Edition, 20,2 e 31,2 FPS sull’edizione Max-Q e 16,9 FPS su DGX Spark a una risoluzione ridotta di 512 x 288. L’esecuzione interattiva in tempo reale è stata convalidata su una singola RTX PRO 6000 e su DGX Spark; il modello funziona anche su una Hopper H100. Le microarchitetture supportate sono NVIDIA Blackwell e Hopper; il sistema operativo supportato è Linux. Per l’addestramento e l’inferenza nativa è stata usata la precisione mista BF16, mentre i pesi sono stati esportati in FP32.

Il repository GitHub complementare è distribuito con licenza Apache-2.0 e consente di riprodurre azioni registrate con output in formato MP4, oltre a controllare il sistema in tempo reale da un visore compatibile con WebXR dotato di due controller tracciati. Il repository indica tra i requisiti di sistema Linux con una GPU compatibile con CUDA, Python 3.12, il gestore di pacchetti uv e oltre 32 GB di VRAM con la configurazione predefinita di 480 x 832.

NVIDIA ha inoltre pubblicato una procedura dettagliata per l’affinamento del modello insegnante e la distillazione Self-Forcing, così che gli sviluppatori possano adattare il sistema ad altri set di dati e ad altre configurazioni d’incarnazione, usando video sincronizzati e rappresentazioni delle azioni compatibili; l’annuncio precisa che le integrazioni dei controller devono adottare le stesse convenzioni e la stessa normalizzazione delle azioni usate nell’addestramento. Le considerazioni etiche riportate nella scheda del modello stabiliscono che gli sviluppatori devono disporre dei diritti e delle autorizzazioni necessari per i contenuti di immagini e video in ingresso e che i video generati non oscureranno le persone né le informazioni sanitarie personali eventualmente presenti negli input.

Limiti dichiarati e direzioni di ricerca

NVIDIA afferma che il realismo visivo è un punto di partenza per la validazione, non una prova di accuratezza biomeccanica, e che un rollout dall’aspetto plausibile che ignora i comandi di controllo non può fungere da ambiente interattivo. Tra le direzioni di ricerca elencate nell’annuncio figurano la modellazione dell’intera procedura di colecistectomia, con chiari confini delle attività e criteri di successo, il collegamento tra simulazione generativa e numerica, la valutazione con chirurghi, il supporto a un maggior numero di strumenti e lo sviluppo di strategie chirurgiche autonome integrate con il modello in un ciclo chiuso. NVIDIA presenta queste possibilità come direzioni di ricerca, non come capacità cliniche già consolidate, e afferma che Cosmos3-H-Dreams è un simulatore di ricerca, non un sistema convalidato per l’assistenza ai pazienti.