NVIDIA lansează Cosmos3-H-Dreams, un model al lumii chirurgicale în timp real

Pe 20 octombrie 2026, NVIDIA a lansat Cosmos3-H-Dreams, un model generativ al lumii pentru chirurgia robotică, condiționat de acțiuni și destinat utilizării în timp real, ajustat fin pe înregistrări clinice de colecistectomii realizate cu sistemul CMR Surgical Versius. Punctul de control al modelului și codul aferent au fost publicate în aceeași zi.

Într-un anunț redactat de NVIDIA pe Hugging Face, compania a afirmat că, din câte știe, Cosmos3-H-Dreams este primul simulator chirurgical generativ în timp real, antrenat pe înregistrări clinice de colecistectomii, care permite controlul cinematic în timp real. Alimentat de Cosmos 3 și accelerat cu FlashDreams, biblioteca NVIDIA pentru inferență în flux, modelul funcționează interactiv pe o singură placă grafică NVIDIA RTX PRO 6000, potrivit anunțului.

Fișa modelului indică datele lansării, 20 octombrie 2026, atât pe GitHub, cât și pe Hugging Face, și precizează că modelul poate fi folosit în scopuri comerciale sau necomerciale în baza licenței NVIDIA Open Model License. Printre utilizările prevăzute se numără evaluarea în simulare a politicilor pentru robotică chirurgicală, explorarea interactivă a modelului lumii prin teleoperare și generarea de date sintetice pentru colecistectomia robotică. Modelul se adresează cercetătorilor în robotică chirurgicală, dezvoltatorilor de inteligență artificială în domeniul sănătății, instituțiilor academice și companiilor de robotică chirurgicală.

De la sutura pe masă la scene clinice

Cosmos3-H-Dreams este succesorul lui Cosmos-H-Dreams, un model construit pe Cosmos-Predict2.5 și destinat suturii pe masă cu dVRK. În calitate de model fundamental al lumii, sistemul anterior a învățat dinamica vizuală direct din înregistrări video sincronizate și din cinematica robotului, fără să modeleze explicit geometria scenei, deformarea țesuturilor și interacțiunile fizice. Noua versiune extinde această abordare la scene clinice, în care țesuturile se întind sub tracțiune, reflexiile se modifică, structurile sunt obstrucționate, iar fumul schimbă vizibilitatea; în aceste condiții, erorile mici de generare se pot acumula în secvențe lungi și pot modifica treptat geometria instrumentelor sau structura anatomică.

Arhitectura și fluxul de distilare

Modelul se bazează pe Cosmos3-H-Embodied-Nano, un model cu 16 miliarde de parametri, antrenat pe setul de date Open-H-Embodiment, și specializează un model profesor bidirecțional pe înregistrări video și date cinematice atent selecționate din colecistectomii. Cosmos3-H-Dreams are aproximativ 15,17 miliarde de parametri și folosește o arhitectură Mixture-of-Transformers, care combină un modul de raționament Qwen3-VL-8B-Instruct cu un expert în generare prin difuzie latentă. Acesta operează asupra reprezentărilor latente Wan2.2 VAE și folosește straturi de încorporare a acțiunilor pentru condiționarea cinematică.

Interfața de acțiune folosește 28 de dimensiuni pentru fiecare pas temporal, dintre care 14 pentru fiecare braț, reprezentând translația relativă la punctul de ancorare, rotația 6D, poziția fălcilor, activarea energiei electrochirurgicale, un buton al joystickului și axele joystickului. Interfața a fost extinsă de la 20 de dimensiuni pentru configurația Versius, păstrând ponderile preantrenate pentru poziție și fălci și inițializând cu zero noile intrări de control. Antrenarea folosește înregistrări video la 832 x 480, cu acțiunile sincronizate la 10 Hz; anunțul precizează că această frecvență de eșantionare este diferită de debitul de generare în timpul execuției.

Modelul profesor bidirecțional a fost mai întâi ajustat fin pe 24 de cadre viitoare, timp de 2.000 de iterații, apoi pe un orizont de 72 de cadre, timp de 4.400 de iterații, corespunzătoare unor durate de 2,4 și 7,2 secunde la 10 Hz. Prin distilare, modelul profesor pe 72 de cadre, care folosea 35 de pași de eșantionare, a fost transformat într-un model student cu cauzalitate pe blocuri, prin forțare cauzală cu modelul profesor timp de 1.000 de iterații, urmată de 300 de iterații de Self-Forcing cu distilare prin potrivirea distribuțiilor față de modelul profesor fix. Modelul student lansat generează video autoregresiv, folosind o memorie cache cheie/valoare și patru pași de denoizare pentru fiecare cadru latent; fiecare cadru latent utilizează patru vectori de acțiune viitoare (0,4 secunde la 10 Hz) și produce patru cadre video noi, permițând generarea în flux.

Un al doilea punct de control lansat folosește doi pași de denoizare. NVIDIA precizează că modelul cu doi pași este antrenat separat, nu este modelul cu patru pași rulat cu mai puțini pași de eșantionare, și că reducerea numărului de pași de denoizare accelerează inferența, în detrimentul calității vizuale. Generarea în flux se realizează prin FlashDreams, cu un modul FadeMem adaptat, care compactează memoria cache cheie/valoare aflată în creștere în timpul secvențelor lungi de generare, completând modul în care Self-Forcing gestionează istoricul generat.

Datele de antrenare și evaluarea pe date neincluse la antrenare

Ajustarea fină a folosit înregistrări clinice proprietare de colecistectomii, realizate cu CMR Surgical Versius, selectate din 4.792 de episoade care însumează aproximativ 17 milioane de cadre la 60 Hz și o rezoluție de 1080p, eșantionate la 10 Hz. Chirurgii au teleoperat robotul în timpul intervențiilor; etichetele acțiunilor au fost generate automat din telemetria robotului, iar vizibilitatea instrumentelor a fost etichetată manual.

La selectarea eșantioanelor s-au păstrat doar secvențele în care exact două instrumente erau vizibile și angajate în fiecare cadru original la 60 Hz din fiecare fereastră de istoric și viitor. Asocierea de referință era un graspator Cadiere în stânga și un cârlig monopolar în dreapta; au fost excluse secvențele cu comenzi active ale camerei care depășeau un prag fix. Setul de antrenare a cuprins 64 de înregistrări și aproximativ 526 de minute unice de video, cu 183.528 de începuturi de secvență pentru orizontul de 24 de cadre și aproximativ 436 de minute, repartizate în 106.820 de începuturi de secvență, pentru orizontul de 72 de cadre utilizat la distilare. Înregistrările au fost împărțite la nivel de episod: aproximativ 98 la sută din minutele unice au fost folosite pentru antrenare, iar aproximativ 2 la sută au fost rezervate pentru evaluare.

Validarea pe datele rezervate acoperă aproximativ 10,6 minute din 10 înregistrări, adică în jur de 6.400 de cadre la 10 Hz. Panourile fixe de evaluare extrase din aceste înregistrări conțin fiecare 48 de cazuri de evaluare a calității, plus 12 cazuri de control al acțiunilor, la care se adaugă teste de rotație cu instrumentul în poziție neutră și rotit cu ±5° și ±15°, precum și secvențe continue de 30,4 secunde pentru evaluare vizuală. Fișa modelului descrie conținutul ca fiind format din videoclipuri endoscopice intraabdominale și telemetrie robotică din proceduri clinice efectuate pe pacienți umani, care prezintă anatomie și instrumente chirurgicale, nu fețe sau alte imagini care ar putea identifica persoanele, și nu conține audio sau text.

Performanță, licențiere și cod

Fișa modelului raportează o viteză de 30,0 cadre pe secundă la rezoluția de 832 x 480, cu patru pași de difuzie, și de 43,2 FPS cu doi pași, pe o placă RTX PRO 6000 Blackwell Workstation Edition; pe ediția Max-Q, vitezele sunt de 20,2 și 31,2 FPS, iar pe DGX Spark sunt de 16,9 FPS, la rezoluția redusă de 512 x 288. Servirea interactivă în timp real a fost validată pe un singur RTX PRO 6000 și pe DGX Spark, iar modelul rulează și pe un Hopper H100. Microarhitecturile acceptate sunt NVIDIA Blackwell și Hopper, sistemul de operare acceptat este Linux, iar pentru antrenare și inferență nativă s-a folosit precizie mixtă BF16; greutățile au fost exportate ca FP32.

Depozitul GitHub asociat este licențiat sub Apache-2.0 și permite atât redarea acțiunilor înregistrate cu ieșire în format MP4, cât și controlul în timp real de la o cască compatibilă cu WebXR, dotată cu două controlere urmărite. Depozitul enumeră cerințele de sistem, printre care Linux cu un GPU compatibil cu CUDA, Python 3.12, managerul de pachete uv și peste 32 GB de VRAM la configurația implicită de 480 x 832.

NVIDIA a publicat și o rețetă pas cu pas pentru ajustarea fină a modelului profesor și distilarea Self-Forcing, astfel încât dezvoltatorii să poată adapta sistemul la alte seturi de date și alte configurații de întruchipare, folosind videoclipuri sincronizate și reprezentări compatibile ale acțiunilor; anunțul precizează că integrările controlerelor trebuie să folosească aceleași convenții pentru acțiuni și aceeași normalizare ca în timpul antrenării. Considerațiile etice din fișa modelului precizează că dezvoltatorii trebuie să dețină drepturile și permisiunile necesare pentru conținutul de imagine și video introdus ca intrare și că videoclipurile generate nu vor estompa persoanele sau informațiile personale despre sănătate incluse în datele de intrare.

Limitări declarate și direcții de cercetare

NVIDIA afirmă că realismul vizual este un punct de plecare pentru validare, nu o dovadă a acurateței biomecanice, și că o secvență simulată cu aspect plauzibil, dar care ignoră comenzile de control, nu poate servi drept mediu interactiv. Printre direcțiile de cercetare enumerate în anunț se numără modelarea întregii proceduri de colecistectomie, cu delimitări clare ale sarcinilor și criterii de reușită, conectarea simulării generative cu cea numerică, evaluarea împreună cu chirurgii, acceptarea unui număr mai mare de instrumente și dezvoltarea unor politici chirurgicale autonome, cuplate la model într-o buclă închisă. NVIDIA prezintă aceste aspecte drept direcții de cercetare, nu capabilități clinice consacrate, și afirmă că Cosmos3-H-Dreams este un simulator destinat cercetării, nu un sistem validat pentru îngrijirea pacienților.