NVIDIA, Cosmos3-H-Dreams Gerçek Zamanlı Cerrahi Dünya Modelini Yayınladı

NVIDIA, 20 Ekim 2026’da, CMR Surgical Versius sisteminden alınan klinik kolesistektomi kayıtlarıyla ince ayar yapılmış, robotik cerrahiye yönelik gerçek zamanlı, eylem koşullu üretken bir dünya modeli olan Cosmos3-H-Dreams’i yayımladı. Model kontrol noktası ve yardımcı kod da aynı gün yayımlandı.

Hugging Face’te NVIDIA tarafından yayımlanan bir duyuruda şirket, bildiği kadarıyla Cosmos3-H-Dreams’in canlı kinematik kontrolü destekleyen, klinik kolesistektomi kayıtlarıyla eğitilmiş ilk gerçek zamanlı üretken cerrahi simülatörü olduğunu belirtti. Cosmos 3’ten güç alan ve NVIDIA’nın akış çıkarımı kütüphanesi FlashDreams ile hızlandırılan model, duyuruya göre tek bir NVIDIA RTX PRO 6000 GPU üzerinde etkileşimli olarak çalışıyor.

Model kartında, hem GitHub hem de Hugging Face için yayın tarihi 20 Ekim 2026 olarak belirtiliyor ve modelin NVIDIA Open Model License kapsamında ticari veya ticari olmayan kullanıma hazır olduğu ifade ediliyor. Kartta modelin amaçlanan kullanım alanları arasında simülasyonda cerrahi robotik politikalarının değerlendirilmesi, etkileşimli teleoperasyonla dünya modelinin keşfedilmesi ve robotik kolesistektomi için sentetik veri üretilmesi sayılıyor. Model; cerrahi robotik araştırmacılarını, sağlık hizmetleri alanında yapay zekâ geliştirenleri, akademik kurumları ve cerrahi robotik şirketlerini hedefliyor.

Masaüstü Sütürasyondan Klinik Sahnelere

Cosmos3-H-Dreams, dVRK ile masaüstü sütürasyona odaklanan ve Cosmos-Predict2.5 üzerine kurulu Cosmos-H-Dreams’in yerini alıyor. Bir dünya temel modeli olan önceki sistem, sahne geometrisini, doku deformasyonunu ve fiziksel etkileşimleri açıkça modellemek yerine görsel dinamikleri eşzamanlı video ve robot kinematiğinden doğrudan öğrendi. Yeni sürüm, bu yaklaşımı dokuların çekiş altında gerildiği, yansımaların değiştiği, yapıların görüşten çıktığı ve dumanın görünürlüğü etkilediği klinik sahnelere taşıyor. Bu sahnelerde küçük üretim hataları, uzun süreli akışlarda birikerek alet geometrisini veya anatomik yapıyı zaman içinde değiştirebiliyor.

Mimari ve Damıtma Süreci

Model, Open-H-Embodiment veri kümesi üzerinde eğitilmiş 16 milyar parametreli Cosmos3-H-Embodied-Nano üzerine kurulu ve özenle seçilmiş kolesistektomi videoları ile kinematik veriler kullanılarak çift yönlü bir öğretmen modeline özgü hâle getiriliyor. Cosmos3-H-Dreams’in kendisi yaklaşık 15,17 milyar parametreye sahip ve kinematik koşullandırma için eylem gömme katmanlarıyla birlikte çalışan, Qwen3-VL-8B-Instruct akıl yürütme kulesini gizil difüzyon üretim uzmanıyla eşleştiren Mixture-of-Transformers mimarisini kullanıyor. Model, Wan2.2 VAE gizil temsilleri üzerinde çalışıyor.

Eylem arayüzü her zaman adımında 28 boyut kullanıyor. Her kol için ayrılan 14 boyut; ankora göre ötelemeyi, 6 boyutlu dönüşü, çene konumunu, elekt cerrahi enerji etkinleştirmesini, bir başparmak çubuğu düğmesini ve başparmak çubuğu eksenlerini kapsıyor. Versius donanımına yönelik arayüz, 20 boyuttan 28 boyuta genişletildi; önceden eğitilmiş poz ve çene ağırlıkları korundu, yeni kontrol girdileri ise sıfır başlangıç değerleriyle başlatıldı. Eğitimde, eylemlerin 10 Hz’de eşleştirildiği 832 x 480 çözünürlüklü videolar kullanılıyor. Duyuruda bu örnekleme hızının, çalışma zamanı üretim hızından farklı olduğu belirtiliyor.

Çift yönlü öğretmen modeli önce 24 gelecek kare üzerinde 2.000 yinelemeyle, ardından 72 karelik bir ufukta 4.400 yinelemeyle ince ayardan geçirildi. 10 Hz’de bunlar sırasıyla 2,4 ve 7,2 saniyeye karşılık geliyor. Damıtma sürecinde, 35 örnekleme adımı kullanan 72 karelik öğretmen modeli, 1.000 yineleme boyunca nedensel öğretmen zorlaması uygulanarak blok-nedensel bir öğrenci modele dönüştürüldü. Ardından sabit öğretmen modele karşı dağılım eşleştirmeli damıtma yöntemiyle 300 yineleme Self-Forcing uygulandı. Yayımlanan öğrenci model, anahtar/değer önbelleği kullanarak videoyu otoregresif biçimde üretiyor ve her gizil kare için dört gürültü giderme adımı uyguluyor. Her gizil kare, dört gelecek eylem vektörünü (10 Hz’de 0,4 saniye) işliyor ve akış hâlinde üretimi mümkün kılacak şekilde dört yeni video karesi oluşturuyor.

Yayımlanan ikinci bir kontrol noktası iki gürültü giderme adımı kullanıyor. NVIDIA, iki adımlı modelin, dört adımlı modelin daha az örnekleme adımıyla çalıştırılmış hâli olmadığını; ayrı olarak eğitildiğini belirtiyor. Ayrıca daha az gürültü giderme adımının görsel kaliteyi düşürme pahasına çıkarımı hızlandırdığını söylüyor. Akış, uzun süreli üretimlerde büyüyen anahtar/değer önbelleğini birleştiren, uyarlanmış bir FadeMem modülüyle FlashDreams üzerinden yürütülüyor. Bu modül, Self-Forcing’in üretilmiş geçmişi yönetme yöntemini tamamlıyor.

Eğitim Verileri ve Eğitim Dışında Tutulan Verilerle Değerlendirme

İnce ayarda, CMR Surgical Versius sisteminden alınan ve mülkiyete tabi klinik kolesistektomi kayıtları kullanıldı. Bu kayıtlar, 60 Hz ve 1080p çözünürlükte toplam yaklaşık 17 milyon kare içeren 4.792 vakadan seçildi ve 10 Hz’e düşürülen örnekleme hızıyla kullanıldı. İşlemler sırasında cerrahlar robotu teleoperasyonla yönetti; eylem etiketleri robot telemetrisinden otomatik olarak türetildi, aletlerin görünürlüğü ise elle etiketlendi.

Örnek seçiminde, her geçmiş ve gelecek penceresinin yerel 60 Hz hızındaki her satırında tam olarak iki aletin görünür ve kullanımda olduğu pencereler tutuldu. Standart eşleştirme olarak solda Cadiere grasper, sağda monopolar kanca kullanıldı. Sabit bir eşiği aşan etkin kamera komutlarının bulunduğu pencereler çıkarıldı. Eğitim kümesi 64 kayıttan ve yaklaşık 526 benzersiz dakikalık videodan oluşuyordu. Damıtma işleminde kullanılan 24 karelik ufuk için 183.528 pencere başlangıcı; 72 karelik ufuk içinse 106.820 pencere başlangıcına yayılan yaklaşık 436 dakikalık video kullanıldı. Kayıtlar vaka düzeyinde bölündü; benzersiz dakikaların yaklaşık yüzde 98’i eğitimde kullanılırken yaklaşık yüzde 2’si eğitim dışında tutuldu.

Eğitim dışında tutulan doğrulama verisi, 10 kayıttan alınan yaklaşık 10,6 dakikayı ve 10 Hz hızında yaklaşık 6.400 kareyi kapsıyor. Bu kayıtlardan oluşturulan sabit değerlendirme kümelerinin her birinde 48 kalite vakası ve 12 eylem kontrolü vakası bulunuyor. Bunlara nötr durumda ve araçların ±5° ve ±15° döndürüldüğü dönüş testleri ile görsel inceleme için 30,4 saniyelik kesintisiz model çalıştırmaları da ekleniyor. Model kartında içerik; insan hastalar üzerinde gerçekleştirilen klinik işlemlerden alınmış, karın içini gösteren endoskopik video ve robot telemetrisi olarak tanımlanıyor. Yüzler veya kimliği belirleyebilecek diğer görüntüler yerine anatomi ve cerrahi aletler gösteriliyor; ses ya da metin bulunmuyor.

Performans, Lisanslama ve Kod

Model kartında, RTX PRO 6000 Blackwell Workstation Edition üzerinde 832 x 480 çözünürlükte ve dört difüzyon adımıyla saniyede 30,0 kare; iki adımla ise saniyede 43,2 kare hızına ulaşıldığı bildiriliyor. Max-Q sürümünde hızlar saniyede 20,2 ve 31,2 kare; daha düşük olan 512 x 288 çözünürlükte DGX Spark’ta ise saniyede 16,9 kare. Gerçek zamanlı etkileşimli sunum, tek bir RTX PRO 6000 ve DGX Spark üzerinde doğrulandı; model ayrıca Hopper H100 üzerinde de çalışıyor. Desteklenen mikro mimariler NVIDIA Blackwell ve Hopper, desteklenen işletim sistemi Linux. Eğitimde ve yerel çıkarımda BF16 karma hassasiyeti kullanıldı; ağırlıklar FP32 olarak dışa aktarıldı.

GitHub’daki yardımcı depo, Apache-2.0 lisansı altında sunuluyor ve kaydedilmiş eylemleri yeniden oynatarak MP4 çıktısı oluşturmayı, ayrıca iki takip edilen kontrol cihazına sahip WebXR uyumlu bir başlık üzerinden canlı kontrolü destekliyor. Depoda, Linux ve CUDA destekli bir GPU, Python 3.12, uv paket yöneticisi ve varsayılan 480 x 832 yapılandırmasında 32 GB’tan fazla VRAM dâhil olmak üzere sistem gereksinimleri listeleniyor.

NVIDIA ayrıca geliştiricilerin sistemi, eşzamanlı video ve uyumlu eylem gösterimleri içeren diğer veri kümelerine ve robot yapılandırmalarına uyarlayabilmesi için öğretmen ince ayarı ve Self-Forcing damıtımına yönelik adım adım bir tarif yayımladı. Duyuruda, kontrol cihazı entegrasyonlarının eğitimde kullanılan eylem kurallarını ve normalleştirmeyi aynen izlemesi gerektiği belirtiliyor. Model kartının etik değerlendirmelerine göre geliştiriciler, girdi olarak kullanılan görüntü ve video içerikleri için uygun haklara ve izinlere sahip olmalı; ayrıca oluşturulan videoda, girdilerde yer alan kişiler veya kişisel sağlık bilgileri bulanıklaştırılmayacak.

Belirtilen Sınırlamalar ve Araştırma Yönelimleri

NVIDIA, görsel gerçekçiliğin biyomekanik doğruluğun kanıtı değil, doğrulama için bir başlangıç noktası olduğunu belirtiyor. Ayrıca, kontrol komutlarını dikkate almayan ve gerçekçi görünen bir model çalıştırmasının etkileşimli bir ortam işlevi göremeyeceğini vurguluyor. Duyuruda, açık görev sınırları ve başarı ölçütleriyle kolesistektomi işleminin tamamını modellemek, üretken simülasyonu sayısal simülasyonla birleştirmek, cerrahlarla değerlendirme yapmak, daha fazla aleti desteklemek ve modele kapalı döngüde bağlı otonom cerrahi politikaları geliştirmek gibi araştırma yönelimleri sıralanıyor. NVIDIA, bunların kanıtlanmış klinik yetenekler değil, araştırma yönelimleri olduğunun altını çiziyor ve Cosmos3-H-Dreams’in hasta bakımında kullanımı doğrulanmış bir sistem değil, bir araştırma simülatörü olduğunu belirtiyor.