NVIDIA ने Cosmos3-H-Dreams रियल-टाइम सर्जिकल वर्ल्ड मॉडल जारी किया

NVIDIA ने 20 अक्टूबर, 2026 को Cosmos3-H-Dreams जारी किया। यह रोबोटिक सर्जरी के लिए रियल-टाइम, क्रिया-आधारित जनरेटिव वर्ल्ड मॉडल है, जिसे CMR Surgical Versius सिस्टम से ली गई क्लिनिकल कोलेसिस्टेक्टॉमी रिकॉर्डिंग पर फ़ाइन-ट्यून किया गया है। मॉडल चेकपॉइंट और उससे जुड़ा कोड भी उसी दिन प्रकाशित किए गए।

Hugging Face पर NVIDIA द्वारा लिखित एक घोषणा में कंपनी ने कहा कि उसकी जानकारी के अनुसार, Cosmos3-H-Dreams क्लिनिकल कोलेसिस्टेक्टॉमी रिकॉर्डिंग पर प्रशिक्षित पहला रियल-टाइम जनरेटिव सर्जिकल सिम्युलेटर है, जो लाइव काइनेमैटिक नियंत्रण को समर्थन देता है। Cosmos 3 से संचालित और NVIDIA की स्ट्रीमिंग-इन्फ़रेंस लाइब्रेरी FlashDreams से तेज़ किया गया यह मॉडल, घोषणा के अनुसार, एक NVIDIA RTX PRO 6000 GPU पर इंटरैक्टिव ढंग से चलता है।

मॉडल कार्ड में GitHub और Hugging Face, दोनों पर रिलीज़ की तारीख 20 अक्टूबर, 2026 दी गई है। इसमें बताया गया है कि NVIDIA Open Model License के तहत मॉडल व्यावसायिक और गैर-व्यावसायिक, दोनों तरह के उपयोग के लिए तैयार है। इसमें सिम्युलेशन में सर्जिकल रोबोटिक्स की नीतियों का मूल्यांकन, इंटरैक्टिव टेलीऑपरेटेड वर्ल्ड-मॉडल अन्वेषण और रोबोटिक कोलेसिस्टेक्टॉमी के लिए सिंथेटिक डेटा तैयार करना इसके निर्धारित उपयोग बताए गए हैं। इसका लक्षित उपयोगकर्ता-वर्ग सर्जिकल रोबोटिक्स के शोधकर्ता, स्वास्थ्य सेवा क्षेत्र में AI विकासकर्ता, शैक्षणिक संस्थान और सर्जिकल रोबोटिक्स कंपनियाँ हैं।

टेबलटॉप पर टाँके लगाने से लेकर क्लिनिकल दृश्यों तक

Cosmos3-H-Dreams, Cosmos-H-Dreams का अगला संस्करण है। Cosmos-Predict2.5 पर आधारित यह पुराना मॉडल dVRK टेबलटॉप पर टाँके लगाने के काम के लिए बनाया गया था। वर्ल्ड फ़ाउंडेशन मॉडल के रूप में, पुराने सिस्टम ने दृश्य की ज्यामिति, ऊतक के विरूपण और भौतिक अंतःक्रियाओं का स्पष्ट मॉडल बनाने के बजाय, समकालिक वीडियो और रोबोट की काइनेमैटिक्स से सीधे दृश्य-गतिशीलता सीखी। नया संस्करण इस तरीके को क्लिनिकल दृश्यों तक ले जाता है, जहाँ खिंचाव के दौरान ऊतक फैलता है, प्रतिबिंब बदलते हैं, संरचनाएँ नज़र से ओझल हो जाती हैं और धुआँ दृश्यता को प्रभावित करता है। ऐसे दृश्यों में लंबे रोलआउट के दौरान जनरेशन की छोटी-छोटी त्रुटियाँ जमा हो सकती हैं और धीरे-धीरे उपकरणों की ज्यामिति या शारीरिक संरचना को बदल सकती हैं।

आर्किटेक्चर और डिस्टिलेशन की प्रक्रिया

यह मॉडल Cosmos3-H-Embodied-Nano पर आधारित है, जो 16 अरब पैरामीटर वाला मॉडल है और Open-H-Embodiment डेटासेट पर प्रशिक्षित किया गया था। इसे चुनिंदा कोलेसिस्टेक्टॉमी वीडियो और काइनेमैटिक्स पर द्विदिश शिक्षक मॉडल के रूप में विशेषीकृत किया गया है। Cosmos3-H-Dreams में स्वयं लगभग 15.17 अरब पैरामीटर हैं। इसका Mixture-of-Transformers आर्किटेक्चर, तर्क के लिए Qwen3-VL-8B-Instruct टावर को जनरेशन के लिए लेटेंट-डिफ्यूज़न विशेषज्ञ के साथ जोड़ता है। यह काइनेमैटिक कंडीशनिंग के लिए ऐक्शन एम्बेडिंग लेयरों के साथ Wan2.2 VAE लेटेंट पर काम करता है।

ऐक्शन इंटरफ़ेस में हर समय-चरण के लिए 28 आयाम हैं। प्रत्येक बाँह के 14 आयामों में एंकर के सापेक्ष स्थानांतरण, 6D घूर्णन, जबड़े की स्थिति, इलेक्ट्रोसर्जिकल ऊर्जा का सक्रियण, एक थंबस्टिक बटन और थंबस्टिक की दिशाएँ शामिल हैं। Versius रोबोटिक व्यवस्था के लिए इंटरफ़ेस को 20 से बढ़ाकर 28 आयामों का किया गया; पहले से प्रशिक्षित पोज़ और जबड़े के भार को जस का तस रखा गया और नए नियंत्रण इनपुट के भार शून्य से आरंभ किए गए। प्रशिक्षण में 832 x 480 रिज़ॉल्यूशन का वीडियो इस्तेमाल हुआ, जिसके ऐक्शन 10 Hz पर समकालिक किए गए थे। घोषणा के अनुसार, यह सैंपलिंग दर रनटाइम पर जनरेशन की गति से अलग है।

द्विदिश शिक्षक मॉडल को पहले भविष्य के 24 फ़्रेमों पर 2,000 पुनरावृत्तियों के लिए और फिर 72 फ़्रेमों की अवधि पर 4,400 पुनरावृत्तियों के लिए फ़ाइन-ट्यून किया गया। 10 Hz पर ये अवधियाँ क्रमशः 2.4 और 7.2 सेकंड के बराबर हैं। डिस्टिलेशन के दौरान 35 सैंपलिंग चरणों वाले 72-फ़्रेम शिक्षक मॉडल को, 1,000 पुनरावृत्तियों में कारणात्मक शिक्षक-फ़ोर्सिंग के ज़रिए ब्लॉक-कारणात्मक छात्र मॉडल में बदला गया। इसके बाद स्थिर शिक्षक मॉडल के विरुद्ध वितरण-मिलान डिस्टिलेशन के साथ Self-Forcing की 300 पुनरावृत्तियाँ की गईं। जारी छात्र मॉडल की-वैल्यू कैश और हर लेटेंट फ़्रेम पर डीनॉइज़िंग के चार चरणों का उपयोग करके ऑटोरिग्रेसिव तरीके से वीडियो बनाता है। हर लेटेंट फ़्रेम भविष्य के चार ऐक्शन वेक्टर (10 Hz पर 0.4 सेकंड) लेता है और वीडियो के चार नए फ़्रेम बनाता है, जिससे स्ट्रीमिंग रोलआउट संभव होता है।

रिलीज़ के दूसरे चेकपॉइंट में डीनॉइज़िंग के दो चरण इस्तेमाल होते हैं। NVIDIA का कहना है कि दो-चरण वाला मॉडल अलग से प्रशिक्षित किया गया है; यह चार-चरण वाले मॉडल को कम सैंपलिंग चरणों के साथ चलाने का नतीजा नहीं है। कंपनी के अनुसार, डीनॉइज़िंग के कम चरणों से इन्फ़रेंस तेज़ होता है, लेकिन दृश्य गुणवत्ता घटती है। स्ट्रीमिंग FlashDreams के ज़रिए चलती है, जिसमें लंबे रोलआउट के दौरान बढ़ते की-वैल्यू कैश को समेकित करने के लिए अनुकूलित FadeMem मॉड्यूल है। यह, जनरेट किए गए इतिहास को संभालने वाली Self-Forcing प्रक्रिया का पूरक है।

प्रशिक्षण डेटा और अलग रखे गए डेटा पर मूल्यांकन

फ़ाइन-ट्यूनिंग के लिए CMR Surgical Versius की मालिकाना क्लिनिकल कोलेसिस्टेक्टॉमी रिकॉर्डिंग का उपयोग किया गया। ये रिकॉर्डिंग 4,792 प्रक्रियाओं से ली गई थीं और इनमें कुल लगभग 17 मिलियन फ़्रेम थे; वीडियो 60 Hz और 1080p रिज़ॉल्यूशन पर था, जिसे घटाकर 10 Hz किया गया। प्रक्रियाओं के दौरान सर्जनों ने रोबोट को टेलीऑपरेट किया। ऐक्शन लेबल रोबोट टेलीमेट्री से स्वचालित रूप से निकाले गए, जबकि उपकरणों की दृश्यता के लेबल हाथ से दिए गए।

नमूने चुनते समय केवल वे विंडो रखी गईं जिनके हर हिस्ट्री और फ़्यूचर विंडो की प्रत्येक मूल 60 Hz पंक्ति में ठीक दो उपकरण दिखाई दे रहे थे और सक्रिय थे। मानक जोड़ी के रूप में बाईं ओर Cadiere ग्रास्पर और दाईं ओर मोनोपोलर हुक रखा गया। एक निश्चित सीमा से अधिक सक्रिय कैमरा कमांड वाली विंडो हटा दी गईं। प्रशिक्षण सेट में 64 रिकॉर्डिंग और वीडियो के लगभग 526 अलग-अलग मिनट शामिल थे। डिस्टिलेशन में इस्तेमाल की गई 24-फ़्रेम अवधि के लिए 183,528 विंडो आरंभ-बिंदु थे; 72-फ़्रेम अवधि के लिए 106,820 विंडो आरंभ-बिंदुओं में लगभग 436 मिनट की रिकॉर्डिंग शामिल थी। रिकॉर्डिंग को प्रक्रिया के स्तर पर अलग-अलग हिस्सों में बाँटा गया: अलग-अलग मिनटों में से लगभग 98 प्रतिशत प्रशिक्षण के लिए और लगभग 2 प्रतिशत मूल्यांकन के लिए अलग रखे गए।

रखे गए सत्यापन डेटा में 10 रिकॉर्डिंग से लगभग 10.6 मिनट और 10 Hz पर करीब 6,400 फ़्रेम शामिल हैं। इन रिकॉर्डिंग से चुने गए प्रत्येक निश्चित मूल्यांकन सेट में गुणवत्ता के 48 मामले और कार्रवाई-नियंत्रण के 12 मामले हैं। इनके साथ तटस्थ स्थिति में तथा टूल को ±5° और ±15° घुमाकर परीक्षण और दृश्य समीक्षा के लिए 30.4 सेकंड तक लगातार चलाए गए क्रम भी शामिल हैं। मॉडल कार्ड के अनुसार, सामग्री में मानव रोगियों पर की गई नैदानिक प्रक्रियाओं के दौरान का पेट के भीतर का एंडोस्कोपिक वीडियो और रोबोट टेलीमेट्री शामिल है। इसमें शरीर की रचना और शल्य उपकरण दिखाई देते हैं, चेहरे या पहचान उजागर करने वाले अन्य दृश्य नहीं; इसमें ऑडियो या टेक्स्ट भी नहीं है।

प्रदर्शन, लाइसेंसिंग और कोड

मॉडल कार्ड के अनुसार, RTX PRO 6000 Blackwell Workstation Edition पर 832 x 480 रिज़ॉल्यूशन और डिफ्यूज़न के चार चरणों के साथ गति 30.0 फ़्रेम प्रति सेकंड है, जबकि दो चरणों के साथ यह 43.2 FPS है। Max-Q Edition पर गति क्रमशः 20.2 और 31.2 FPS है, और कम किए गए 512 x 288 रिज़ॉल्यूशन पर DGX Spark में 16.9 FPS है। एक RTX PRO 6000 और DGX Spark पर वास्तविक समय में संवादात्मक सेवा देने की पुष्टि की गई है; यह मॉडल Hopper H100 पर भी चलता है। समर्थित माइक्रोआर्किटेक्चर NVIDIA Blackwell और Hopper हैं, समर्थित ऑपरेटिंग सिस्टम Linux है, और प्रशिक्षण तथा मूल अनुमान-प्रक्रिया के लिए BF16 मिश्रित परिशुद्धता का उपयोग किया गया। वज़न FP32 के रूप में निर्यात किए गए हैं।

सहयोगी GitHub रिपॉज़िटरी Apache-2.0 लाइसेंस के तहत उपलब्ध है। इसमें रिकॉर्ड की गई कार्रवाइयों को MP4 आउटपुट के रूप में फिर से चलाने के साथ-साथ, दो ट्रैक किए गए नियंत्रकों वाले WebXR-संगत हेडसेट से लाइव नियंत्रण की सुविधा है। रिपॉज़िटरी में सिस्टम की आवश्यकताओं में CUDA-सक्षम GPU वाला Linux, Python 3.12, uv पैकेज मैनेजर और डिफ़ॉल्ट 480 x 832 कॉन्फ़िगरेशन में 32GB से अधिक VRAM शामिल हैं।

NVIDIA ने शिक्षक मॉडल के साथ फाइन-ट्यूनिंग और Self-Forcing डिस्टिलेशन के लिए चरण-दर-चरण विधि भी प्रकाशित की है, ताकि डेवलपर समकालिक वीडियो और संगत कार्रवाई निरूपण वाले अन्य डेटासेट और रोबोटिक रूपों के लिए सिस्टम को अनुकूलित कर सकें। घोषणा में कहा गया है कि नियंत्रक एकीकरण में प्रशिक्षण के समान ही कार्रवाई परिपाटियों और सामान्यीकरण का उपयोग करना आवश्यक है। मॉडल कार्ड के नैतिक विचारों के अनुसार, डेवलपर के पास इनपुट छवि और वीडियो सामग्री के लिए उचित अधिकार और अनुमतियाँ होनी चाहिए। इनपुट में शामिल लोगों या निजी स्वास्थ्य जानकारी को जनरेट किए गए वीडियो में धुंधला नहीं किया जाएगा।

बताई गई सीमाएँ और अनुसंधान की दिशाएँ

NVIDIA का कहना है कि दृश्य यथार्थता सत्यापन की शुरुआत है, जैव-यांत्रिक सटीकता का प्रमाण नहीं। साथ ही, ऐसा क्रम जो देखने में विश्वसनीय लगे लेकिन नियंत्रण आदेशों की अनदेखी करे, संवादात्मक वातावरण के रूप में काम नहीं कर सकता। घोषणा में अनुसंधान की जिन दिशाओं का उल्लेख है, उनमें स्पष्ट कार्य-सीमाओं और सफलता के मानदंडों के साथ पूरी कोलेसिस्टेक्टॉमी प्रक्रिया का मॉडल बनाना, जनरेटिव और संख्यात्मक सिमुलेशन को जोड़ना, सर्जनों के साथ मूल्यांकन करना, अधिक उपकरणों का समर्थन करना और मॉडल के साथ क्लोज़्ड लूप में जुड़ी स्वायत्त शल्य-चिकित्सा नीतियाँ विकसित करना शामिल है। NVIDIA इन्हें स्थापित नैदानिक क्षमताओं के बजाय अनुसंधान की दिशाएँ बताता है और कहता है कि Cosmos3-H-Dreams एक अनुसंधान सिम्युलेटर है, रोगी देखभाल के लिए सत्यापित प्रणाली नहीं।