NVIDIA vydává Cosmos3-H-Dreams, model světa pro robotickou chirurgii v reálném čase

NVIDIA vydala 20. října 2026 model Cosmos3-H-Dreams, generativní model světa pro robotickou chirurgii v reálném čase podmíněný akcemi, který byl doladěn na klinických záznamech cholecystektomií pořízených systémem CMR Surgical Versius. Kontrolní bod modelu i doprovodný kód byly zveřejněny téhož dne.

V oznámení společnosti NVIDIA na Hugging Face společnost uvedla, že podle jejích znalostí je Cosmos3-H-Dreams prvním generativním chirurgickým simulátorem v reálném čase, který byl natrénován na klinických záznamech cholecystektomií a podporuje živé kinematické řízení. Model využívá Cosmos 3 a běží interaktivně na jediném GPU NVIDIA RTX PRO 6000; podle oznámení jej urychluje FlashDreams, knihovna společnosti NVIDIA pro streamovací inferenci.

Karta modelu uvádí jako datum vydání 20. října 2026 na GitHubu i Hugging Face a potvrzuje, že model je připraven ke komerčnímu i nekomerčnímu použití na základě licence NVIDIA Open Model License. Jako zamýšlené způsoby využití uvádí vyhodnocování politik pro robotickou chirurgii v simulaci, interaktivní průzkum modelu světa prostřednictvím teleoperace a generování syntetických dat pro robotickou cholecystektomii. Model je určen výzkumníkům v oblasti chirurgické robotiky, vývojářům umělé inteligence ve zdravotnictví, akademickým institucím a společnostem působícím v oblasti chirurgické robotiky.

Od šití na stolním simulátoru ke klinickým scénám

Cosmos3-H-Dreams navazuje na Cosmos-H-Dreams, model postavený na Cosmos-Predict2.5, který byl zaměřen na šití na stolním simulátoru dVRK. Předchozí systém jako základní model světa poznával vizuální dynamiku přímo ze synchronizovaného videa a kinematiky robota, místo aby výslovně modeloval geometrii scény, deformaci tkání a fyzikální interakce. Nové vydání tento přístup přenáší do klinických scén, v nichž se tkáň při tahu napíná, odlesky se mění, struktury se zakrývají a kouř ovlivňuje viditelnost. Drobné chyby při generování se navíc mohou během dlouhých simulací kumulovat a postupně měnit geometrii nástrojů nebo anatomické struktury.

Architektura a proces distilace

Model vychází z Cosmos3-H-Embodied-Nano, modelu se 16 miliardami parametrů natrénovaného na datové sadě Open-H-Embodiment, a specializuje obousměrný učitelský model na pečlivě vybraných videozáznamech cholecystektomií a kinematických datech. Samotný Cosmos3-H-Dreams má přibližně 15,17 miliardy parametrů a využívá architekturu Mixture-of-Transformers, která kombinuje větev pro uvažování Qwen3-VL-8B-Instruct s expertem pro generování pomocí latentní difuze. Pracuje s latentními reprezentacemi VAE modelu Wan2.2 a pro kinematické podmiňování používá vrstvy pro vkládání akcí.

Rozhraní pro zadávání akcí používá 28 dimenzí na časový krok, přičemž 14 dimenzí pro každé rameno zahrnuje translaci relativní k referenčnímu bodu, 6D rotaci, polohu čelistí, aktivaci elektrochirurgické energie, tlačítko ovládací páčky a její osy. Rozhraní bylo pro platformu Versius rozšířeno z 20 dimenzí; předtrénované váhy pro polohu a čelisti zůstaly zachovány a nové řídicí vstupy byly inicializovány nulami. Trénování využívá video s rozlišením 832 x 480 a akce zarovnané na frekvenci 10 Hz. Oznámení upozorňuje, že tato vzorkovací frekvence se liší od rychlosti generování při běhu modelu.

Obousměrný učitelský model byl nejprve doladěn na 24 budoucích snímcích během 2 000 iterací a poté na horizontu 72 snímků během 4 400 iterací, což při frekvenci 10 Hz odpovídá 2,4 a 7,2 sekundy. Distilace převedla učitelský model s horizontem 72 snímků, který používal 35 vzorkovacích kroků, na blokově kauzální studentský model pomocí kauzální metody teacher forcing v průběhu 1 000 iterací. Následovalo 300 iterací metody Self-Forcing s distilací přizpůsobující distribuci vůči pevně danému učitelskému modelu. Vydaný studentský model generuje video autoregresivně pomocí mezipaměti klíčů a hodnot a čtyř kroků odšumování na latentní snímek. Každý latentní snímek zpracuje čtyři budoucí vektory akcí (0,4 sekundy při frekvenci 10 Hz) a vytvoří čtyři nové videosnímky, což umožňuje průběžné generování.

Druhý vydaný kontrolní bod modelu používá dva kroky odšumování. NVIDIA uvádí, že model se dvěma kroky je natrénován samostatně, nejde tedy o model se čtyřmi kroky spuštěný s menším počtem vzorkovacích kroků. Menší počet kroků odšumování podle společnosti zrychluje inferenci na úkor nižší vizuální kvality. Streamování zajišťuje FlashDreams spolu s upraveným modulem FadeMem, který během dlouhých simulací průběžně slučuje narůstající mezipaměť klíčů a hodnot a doplňuje tak způsob, jakým Self-Forcing zpracovává generovanou historii.

Trénovací data a vyhodnocení na vyčleněných datech

K doladění byly použity proprietární klinické záznamy cholecystektomií pořízené systémem CMR Surgical Versius. Pocházely ze 4 792 epizod o celkovém rozsahu přibližně 17 milionů snímků při frekvenci 60 Hz a rozlišení 1080p; jejich vzorkovací frekvence byla snížena na 10 Hz. Chirurgové během zákroků ovládali robota na dálku. Štítky akcí byly automaticky odvozeny z telemetrie robota a viditelnost nástrojů byla označena ručně.

Do výběru vzorků byla zařazena pouze okna, v nichž byly ve všech původních snímcích s frekvencí 60 Hz každého historického i budoucího okna viditelné a aktivně používané přesně dva nástroje. Standardní dvojici tvořil vlevo úchopový nástroj Cadiere a vpravo monopolární háček. Okna s aktivními povely pro kameru překračujícími pevně stanovený práh byla vyřazena. Trénovací sada obsahovala 64 záznamů a přibližně 526 jedinečných minut videa; pro horizont 24 snímků zahrnovala 183 528 počátků oken a pro horizont 72 snímků používaný při distilaci přibližně 436 minut napříč 106 820 počátky oken. Záznamy byly rozděleny podle epizod: přibližně 98 procent jedinečných minut bylo použito k trénování a přibližně 2 procenta byla vyčleněna.

Validace na odložených datech zahrnuje přibližně 10,6 minuty záznamu z 10 nahrávek, tedy zhruba 6 400 snímků při frekvenci 10 Hz. Pevně stanovené evaluační sady sestavené z těchto nahrávek obsahují každá 48 případů pro hodnocení kvality a 12 případů pro řízení akcí; doplňují je zkoušky rotace nástrojů v neutrální poloze a při otočení o ±5° a ±15° a nepřetržité simulované průběhy v délce 30,4 sekundy určené k vizuálnímu posouzení. Karta modelu popisuje obsah jako nitrobřišní endoskopické video a telemetrii robota z klinických zákroků na lidských pacientech, zachycující anatomii a chirurgické nástroje, nikoli obličeje nebo jiné identifikační záběry; neobsahuje zvuk ani text.

Výkon, licence a kód

Karta modelu uvádí výkon 30,0 snímku za sekundu při rozlišení 832 x 480 se čtyřmi kroky difuze a 43,2 FPS se dvěma kroky na RTX PRO 6000 Blackwell Workstation Edition, 20,2 a 31,2 FPS na edici Max-Q a 16,9 FPS na DGX Spark při sníženém rozlišení 512 x 288. Interaktivní provoz v reálném čase byl ověřen na jednom zařízení RTX PRO 6000 a na DGX Spark; model běží také na Hopper H100. Podporovanými mikroarchitekturami jsou NVIDIA Blackwell a Hopper, podporovaným operačním systémem je Linux a při trénování i nativní inferenci se používala smíšená přesnost BF16; váhy byly exportovány jako FP32.

Doprovodný repozitář na GitHubu je licencován pod Apache-2.0 a umožňuje přehrávat zaznamenané akce s výstupem ve formátu MP4 i živé ovládání pomocí náhlavní soupravy kompatibilní s WebXR a dvou sledovaných ovladačů. Mezi systémové požadavky uvedené v repozitáři patří Linux s GPU podporujícím CUDA, Python 3.12, správce balíčků uv a více než 32 GB VRAM při výchozí konfiguraci 480 x 832.

NVIDIA zveřejnila také podrobný postup pro dolaďování učitelského modelu a destilaci metodou Self-Forcing, aby vývojáři mohli systém přizpůsobit jiným datovým sadám a ztělesněním se synchronizovaným videem a kompatibilními reprezentacemi akcí; oznámení uvádí, že integrace ovladačů musí používat stejné konvence akcí a normalizaci jako při trénování. V části věnované etickým aspektům karta modelu uvádí, že vývojáři musí mít k obrazovému a videoobsahu na vstupu příslušná práva a oprávnění a že generované video nerozmaže osoby ani osobní zdravotní údaje obsažené ve vstupních datech.

Uvedená omezení a směry dalšího výzkumu

NVIDIA uvádí, že vizuální realističnost je výchozím bodem validace, nikoli důkazem biomechanické přesnosti, a že simulovaný průběh, který vypadá věrohodně, ale ignoruje řídicí příkazy, nemůže sloužit jako interaktivní prostředí. Oznámení uvádí mezi směry dalšího výzkumu modelování celého průběhu cholecystektomie s jasně vymezenými úkoly a kritérii úspěchu, propojení generativní a numerické simulace, hodnocení za účasti chirurgů, podporu většího počtu nástrojů a vývoj autonomních chirurgických strategií uzavřeně propojených s modelem. NVIDIA tyto směry označuje za oblasti výzkumu, nikoli za zavedené klinické možnosti, a uvádí, že Cosmos3-H-Dreams je výzkumný simulátor, nikoli validovaný systém pro péči o pacienty.