NVIDIA Merilis Model Dunia Bedah Waktu Nyata Cosmos3-H-Dreams

Pada 20 Oktober 2026, NVIDIA merilis Cosmos3-H-Dreams, model dunia generatif waktu nyata yang dikondisikan oleh tindakan untuk bedah robotik, yang disempurnakan menggunakan rekaman klinis kolesistektomi dari sistem CMR Surgical Versius. Titik pemeriksaan model beserta kode pendampingnya diterbitkan pada hari yang sama.

Dalam pengumuman yang ditulis NVIDIA di Hugging Face, perusahaan tersebut menyatakan bahwa sejauh yang diketahuinya, Cosmos3-H-Dreams adalah simulator bedah generatif waktu nyata pertama yang dilatih menggunakan rekaman klinis kolesistektomi dan mendukung kendali kinematik langsung. Didukung oleh Cosmos 3 dan dipercepat dengan FlashDreams, pustaka inferensi streaming milik NVIDIA, model ini berjalan secara interaktif pada satu GPU NVIDIA RTX PRO 6000, menurut pengumuman tersebut.

Kartu model mencantumkan tanggal rilis 20 Oktober 2026 di GitHub dan Hugging Face, serta menyatakan bahwa model ini siap digunakan untuk keperluan komersial maupun nonkomersial berdasarkan NVIDIA Open Model License. Kartu tersebut menyebut evaluasi kebijakan robotika bedah dalam simulasi, eksplorasi model dunia secara interaktif melalui teleoperasi, dan pembuatan data sintetis untuk kolesistektomi robotik sebagai tujuan penggunaan model. Model ini ditujukan bagi peneliti robotika bedah, pengembang AI di bidang kesehatan, lembaga akademis, dan perusahaan robotika bedah.

Dari Penjahitan di Atas Meja ke Lingkungan Klinis

Cosmos3-H-Dreams merupakan penerus Cosmos-H-Dreams, model yang dibangun di atas Cosmos-Predict2.5 dan ditujukan untuk penjahitan dVRK di atas meja. Sebagai model fondasi dunia, sistem sebelumnya mempelajari dinamika visual secara langsung dari video tersinkronisasi dan kinematika robot, alih-alih memodelkan geometri adegan, deformasi jaringan, dan interaksi fisik secara eksplisit. Rilis baru ini menerapkan pendekatan tersebut di lingkungan klinis, tempat jaringan meregang saat ditarik, pantulan cahaya berubah, struktur tertutup dari pandangan, dan asap mengubah visibilitas. Di lingkungan ini, kesalahan kecil dalam proses simulasi berkelanjutan dapat terakumulasi dan secara bertahap mengubah geometri instrumen atau struktur anatomi.

Arsitektur dan Alur Kerja Distilasi

Model ini dibangun di atas Cosmos3-H-Embodied-Nano, model berparameter 16 miliar yang dilatih menggunakan himpunan data Open-H-Embodiment, lalu mengkhususkan model guru dua arah menggunakan video dan data kinematika kolesistektomi yang telah dikurasi. Cosmos3-H-Dreams sendiri memiliki sekitar 15,17 miliar parameter dan menggunakan arsitektur campuran transformer yang memadukan menara penalaran Qwen3-VL-8B-Instruct dengan pakar generasi difusi laten. Model ini bekerja dengan representasi laten VAE Wan2.2 dan lapisan penyematan tindakan untuk pengondisian kinematik.

Antarmuka tindakan menggunakan 28 dimensi pada setiap langkah waktu, dengan 14 dimensi untuk setiap lengan yang mencakup translasi relatif terhadap titik jangkar, rotasi 6D, posisi rahang, aktivasi energi bedah listrik, tombol thumbstick, dan sumbu thumbstick. Antarmuka ini dikembangkan dari 20 dimensi untuk perwujudan Versius; bobot pose dan rahang hasil prapelatihan dipertahankan, sedangkan masukan kendali baru diinisialisasi dengan nilai nol. Pelatihan menggunakan video beresolusi 832 x 480 dengan tindakan yang diselaraskan pada 10 Hz, tingkat pengambilan sampel yang, menurut pengumuman tersebut, berbeda dari laju pembuatan saat model dijalankan.

Model guru dua arah pertama-tama disempurnakan menggunakan 24 bingkai masa depan selama 2.000 iterasi, kemudian dengan cakrawala 72 bingkai selama 4.400 iterasi; pada 10 Hz, durasi keduanya setara dengan 2,4 dan 7,2 detik. Distilasi mengubah model guru 72 bingkai, yang menggunakan 35 langkah pengambilan sampel, menjadi model siswa kausal berbasis blok melalui pemaksaan guru kausal selama 1.000 iterasi. Tahap ini diikuti 300 iterasi Self-Forcing dengan distilasi pencocokan distribusi terhadap model guru tetap. Model siswa yang dirilis menghasilkan video secara autoregresif dengan cache key/value dan empat langkah penghilangan derau untuk setiap bingkai laten. Setiap bingkai laten menggunakan empat vektor tindakan masa depan (0,4 detik pada 10 Hz) dan menghasilkan empat bingkai video baru, sehingga memungkinkan simulasi berkelanjutan secara streaming.

Titik pemeriksaan kedua yang dirilis menggunakan dua langkah penghilangan derau. NVIDIA menyatakan bahwa model dua langkah dilatih secara terpisah, bukan model empat langkah yang dijalankan dengan lebih sedikit langkah pengambilan sampel, dan bahwa pengurangan jumlah langkah penghilangan derau mempercepat inferensi dengan mengorbankan kualitas visual. Streaming berjalan melalui FlashDreams dengan modul FadeMem yang telah diadaptasi untuk mengonsolidasikan cache key/value yang terus bertambah selama simulasi berkelanjutan yang panjang, sebagai pelengkap bagi mekanisme Self-Forcing dalam menangani riwayat yang dihasilkan.

Data Pelatihan dan Evaluasi pada Data yang Tidak Disertakan dalam Pelatihan

Penyempurnaan model menggunakan rekaman klinis kolesistektomi milik CMR Surgical yang bersifat eksklusif, berasal dari 4.792 episode dengan total sekitar 17 juta bingkai pada 60 Hz dan resolusi 1080p, lalu disampel ulang menjadi 10 Hz. Dokter bedah mengoperasikan robot melalui teleoperasi selama prosedur; label tindakan diperoleh secara otomatis dari telemetri robot, sedangkan visibilitas instrumen diberi label secara manual.

Pemilihan sampel hanya mempertahankan jendela saat tepat dua instrumen terlihat dan digunakan pada setiap baris 60 Hz asli di setiap jendela riwayat dan masa depan. Pasangan yang dijadikan acuan terdiri atas penjepit Cadiere di kiri dan kait monopolar di kanan. Jendela dengan perintah kamera aktif yang melampaui ambang batas tetap dikecualikan. Himpunan data pelatihan mencakup 64 rekaman dan sekitar 526 menit unik video, dengan 183.528 titik awal jendela untuk cakrawala 24 bingkai. Untuk cakrawala 72 bingkai yang digunakan dalam distilasi, himpunan tersebut mencakup sekitar 436 menit dari 106.820 titik awal jendela. Rekaman dibagi berdasarkan episode; sekitar 98 persen dari keseluruhan menit unik digunakan untuk pelatihan dan sekitar 2 persen disisihkan.

Validasi pada data yang tidak disertakan dalam pelatihan mencakup sekitar 10,6 menit dari 10 rekaman, atau sekitar 6.400 bingkai pada 10 Hz. Setiap panel evaluasi tetap yang diambil dari rekaman ini memuat 48 kasus kualitas ditambah 12 kasus kendali tindakan, serta uji rotasi alat pada posisi netral dan rotasi ±5° serta ±15°, dan simulasi berkelanjutan selama 30,4 detik untuk ditinjau secara visual. Kartu model menjelaskan bahwa kontennya berupa video endoskopi intraabdomen dan telemetri robot dari prosedur klinis pada pasien manusia, yang menampilkan anatomi dan instrumen bedah, bukan wajah atau tampilan lain yang dapat mengidentifikasi seseorang, serta tidak memuat audio atau teks.

Performa, Lisensi, dan Kode

Kartu model melaporkan performa 30,0 bingkai per detik pada resolusi 832 x 480 dengan empat langkah difusi dan 43,2 FPS dengan dua langkah pada RTX PRO 6000 Blackwell Workstation Edition, 20,2 dan 31,2 FPS pada edisi Max-Q, serta 16,9 FPS pada DGX Spark dengan resolusi yang diturunkan menjadi 512 x 288. Penyajian interaktif waktu nyata telah divalidasi pada satu RTX PRO 6000 dan pada DGX Spark, dan model ini juga dapat dijalankan pada Hopper H100. Mikroarsitektur yang didukung adalah NVIDIA Blackwell dan Hopper, sistem operasi yang didukung adalah Linux, dan presisi campuran BF16 digunakan untuk pelatihan serta inferensi native, sementara bobot model diekspor sebagai FP32.

Repositori pendamping di GitHub berlisensi Apache-2.0 dan mendukung pemutaran ulang tindakan yang direkam ke keluaran MP4, serta kendali langsung dari headset yang kompatibel dengan WebXR dengan dua pengendali terlacak. Repositori tersebut mencantumkan persyaratan sistem, termasuk Linux dengan GPU yang mendukung CUDA, Python 3.12, pengelola paket uv, dan VRAM lebih dari 32GB pada konfigurasi bawaan 480 x 832.

NVIDIA juga menerbitkan panduan langkah demi langkah untuk penyempurnaan model dengan guru dan distilasi Self-Forcing agar pengembang dapat menyesuaikan sistem ini dengan set data dan wujud perwujudan lain yang memiliki video tersinkronisasi serta representasi tindakan yang kompatibel; pengumuman tersebut mencatat bahwa integrasi pengendali harus menggunakan konvensi tindakan dan normalisasi yang sama dengan yang digunakan dalam pelatihan. Bagian pertimbangan etis pada kartu model menyatakan bahwa pengembang harus memiliki hak dan izin yang sesuai atas konten gambar dan video masukan, serta bahwa video yang dihasilkan tidak akan memburamkan orang atau informasi kesehatan pribadi yang disertakan dalam masukan.

Keterbatasan yang Disebutkan dan Arah Penelitian

NVIDIA menyatakan bahwa realisme visual merupakan titik awal untuk validasi, bukan bukti keakuratan biomekanis, dan bahwa simulasi rollout yang tampak masuk akal tetapi mengabaikan perintah kendali tidak dapat berfungsi sebagai lingkungan interaktif. Pengumuman tersebut mencantumkan sejumlah arah penelitian, termasuk pemodelan seluruh prosedur kolesistektomi dengan batas tugas dan kriteria keberhasilan yang jelas, menghubungkan simulasi generatif dengan simulasi numerik, melakukan evaluasi bersama ahli bedah, mendukung lebih banyak instrumen, serta mengembangkan kebijakan bedah otonom yang dipadukan dengan model dalam loop tertutup. NVIDIA menyajikan hal-hal ini sebagai arah penelitian, bukan kemampuan klinis yang sudah terbukti, dan menyatakan bahwa Cosmos3-H-Dreams adalah simulator penelitian, bukan sistem tervalidasi untuk perawatan pasien.