تُصدر NVIDIA نموذج Cosmos3-H-Dreams، نموذجًا آنيًا لعالم الجراحة

أصدرت NVIDIA في 20 أكتوبر 2026 نموذج Cosmos3-H-Dreams، وهو نموذج توليدي آني للعالم، مشروط بالأفعال ومخصص للجراحة الروبوتية، دُرّب ضبطه الدقيق على تسجيلات سريرية لعمليات استئصال المرارة باستخدام نظام Versius من CMR Surgical. ونُشرت نقطة تحقق النموذج والشفرة البرمجية المصاحبة في اليوم نفسه.

في إعلان نشرته NVIDIA على Hugging Face، قالت الشركة إن Cosmos3-H-Dreams هو، حسب علمها، أول محاكي جراحي توليدي آني دُرّب على تسجيلات سريرية لعمليات استئصال المرارة ويدعم التحكم الحركي المباشر. ويعمل النموذج، المدعوم بـCosmos 3 والمسرّع بواسطة مكتبة NVIDIA للاستدلال المتدفق FlashDreams، تفاعليًا على وحدة معالجة رسومات واحدة من طراز NVIDIA RTX PRO 6000، وفقًا للإعلان.

تذكر بطاقة النموذج تاريخ الإصدار، 20 أكتوبر 2026، على كل من GitHub وHugging Face، وتوضح أن النموذج جاهز للاستخدام التجاري أو غير التجاري بموجب ترخيص NVIDIA Open Model License. كما تحدد استخداماته المقصودة، وهي تقييم سياسات الروبوتات الجراحية في المحاكاة، واستكشاف نماذج العالم تفاعليًا عن بُعد، وإنشاء بيانات اصطناعية لجراحة استئصال المرارة الروبوتية. ويستهدف النموذج الباحثين في مجال الروبوتات الجراحية، ومطوري الذكاء الاصطناعي في الرعاية الصحية، والمؤسسات الأكاديمية، وشركات الروبوتات الجراحية.

من خياطة الأنسجة على الطاولة إلى المشاهد السريرية

يأتي Cosmos3-H-Dreams خلفًا لـCosmos-H-Dreams، وهو نموذج مبني على Cosmos-Predict2.5 استهدف خياطة الأنسجة على الطاولة باستخدام dVRK. وبصفته نموذجًا أساسيًا للعالم، تعلّم النظام السابق الديناميكيات البصرية مباشرةً من مقاطع فيديو متزامنة وحركيات الروبوت، بدلًا من نمذجة هندسة المشهد وتشوه الأنسجة والتفاعلات الفيزيائية صراحةً. وينقل الإصدار الجديد هذا النهج إلى المشاهد السريرية، حيث تتمدد الأنسجة تحت الشد، وتتغير الانعكاسات، وتحجب العوائق البنى، ويغير الدخان مدى وضوح الرؤية؛ وحيث يمكن أن تتراكم أخطاء التوليد الصغيرة على امتداد جولات التوليد الطويلة، فتغيّر تدريجيًا هندسة الأدوات أو البنية التشريحية.

البنية وخط أنابيب التقطير

يرتكز النموذج على Cosmos3-H-Embodied-Nano، وهو نموذج يضم 16 مليار مُعامل ودُرّب على مجموعة بيانات Open-H-Embodiment، ويخصص نموذجًا معلّمًا ثنائي الاتجاه باستخدام مقاطع فيديو وحركيات منتقاة لعمليات استئصال المرارة. ويضم Cosmos3-H-Dreams نفسه نحو 15.17 مليار مُعامل، ويستخدم بنية مزيج من المحولات تجمع بين برج استدلال Qwen3-VL-8B-Instruct وخبير توليد بالانتشار الكامن، ويعمل على التمثيلات الكامنة لمشفّر Wan2.2 VAE، مع طبقات لتضمين الأفعال بغرض تكييف النموذج مع الحركيات.

تستخدم واجهة الأفعال 28 بُعدًا لكل خطوة زمنية، بواقع 14 بُعدًا لكل ذراع، تشمل الإزاحة بالنسبة إلى نقطة الارتكاز، والدوران سداسي الأبعاد، وموضع الفك، وتفعيل الطاقة الكهروجراحية، وزر عصا التحكم، ومحاور عصا التحكم. ووُسّعت الواجهة من 20 بُعدًا لتلائم تجسيد Versius، مع الإبقاء على أوزان الوضعية والفك المدربة مسبقًا وتهيئة مدخلات التحكم الجديدة بقيم ابتدائية تساوي صفرًا. ويستخدم التدريب مقاطع فيديو بدقة 832 × 480، مع محاذاة الأفعال عند 10 هرتز؛ وهو معدل أخذ عينات يشير الإعلان إلى أنه يختلف عن معدل إنتاج التوليد أثناء التشغيل.

ضُبط النموذج المعلّم ثنائي الاتجاه أولًا ضبطًا دقيقًا على 24 إطارًا مستقبليًا خلال 2,000 تكرار، ثم على أفق من 72 إطارًا خلال 4,400 تكرار، بما يعادل 2.4 و7.2 ثانية عند 10 هرتز. وحوّل التقطير النموذج المعلّم ذي الأفق البالغ 72 إطارًا، الذي استخدم 35 خطوة أخذ عينات، إلى نموذج طالب سببي على مستوى الكتل، عبر إجبار سببي للنموذج المعلّم على مدى 1,000 تكرار، أعقبه 300 تكرار من Self-Forcing مع تقطير لمطابقة التوزيع مقابل النموذج المعلّم الثابت. وينتج نموذج الطالب المُتاح الفيديو تكراريًا ذاتيًا باستخدام ذاكرة تخزين مؤقت للمفاتيح والقيم وأربع خطوات لإزالة الضوضاء لكل إطار كامن؛ إذ يستهلك كل إطار كامن أربعة متجهات أفعال مستقبلية (0.4 ثانية عند 10 هرتز)، وينتج أربعة إطارات فيديو جديدة، ما يتيح التوليد المتدفق.

تستخدم نقطة تحقق ثانية من الإصدار خطوتين لإزالة الضوضاء. وتوضح NVIDIA أن نموذج الخطوتين دُرّب بصورة منفصلة، وليس باستخدام نموذج الخطوات الأربع مع عدد أقل من خطوات أخذ العينات، وأن تقليل خطوات إزالة الضوضاء يسرّع الاستدلال على حساب انخفاض الجودة البصرية. ويجري البث عبر FlashDreams باستخدام وحدة FadeMem معدّلة تدمج ذاكرة تخزين المفاتيح والقيم المتنامية خلال جولات التوليد الطويلة، مكملةً بذلك معالجة Self-Forcing للسجل المُولّد.

بيانات التدريب والتقييم على بيانات مستبعدة

استخدم الضبط الدقيق تسجيلات سريرية مملوكة لشركة CMR Surgical لعمليات استئصال المرارة باستخدام Versius، مأخوذة من 4,792 حالة بلغ مجموعها نحو 17 مليون إطار بدقة 1080p ومعدل 60 هرتز، ثم خُفّضت عيناتها إلى 10 هرتز. وتحكّم الجراحون بالروبوت عن بُعد أثناء الإجراءات؛ واستُخلصت تسميات الأفعال تلقائيًا من بيانات القياس عن بُعد للروبوت، فيما وُسِم ظهور الأدوات يدويًا.

اقتصر اختيار العينات على النوافذ التي ظهرت فيها أداتان بالضبط وكانتا مستخدمتين في كل إطار من إطارات 60 هرتز الأصلية ضمن نافذتي التاريخ والمستقبل، مع اعتماد ملقط Cadiere الأيسر والخطاف أحادي القطب الأيمن بوصفهما الزوج القياسي، واستُبعدت النوافذ التي تضمنت أوامر نشطة للكاميرا تتجاوز عتبة ثابتة. وتألفت مجموعة التدريب من 64 تسجيلًا ونحو 526 دقيقة فريدة من الفيديو، مع 183,528 بداية نافذة لأفق الـ24 إطارًا، ونحو 436 دقيقة موزعة على 106,820 بداية نافذة لأفق الـ72 إطارًا المستخدم في التقطير. وقُسّمت التسجيلات على مستوى الحالة، مع استخدام نحو 98 بالمئة من الدقائق الفريدة للتدريب واستبعاد نحو 2 بالمئة منها.

يشمل التحقق على بيانات محجوبة نحو 10.6 دقائق من 10 تسجيلات، أي قرابة 6,400 إطار بمعدل 10 هرتز. وتضم كل مجموعة تقييم ثابتة مستمدة من هذه التسجيلات 48 حالة لتقييم الجودة و12 حالة للتحكم بالفعل، إلى جانب اختبارات دوران للأداة عند وضع محايد ودوران بزاوية ±5° و±15°، ومقاطع متواصلة مدتها 30.4 ثانية لمراجعتها بصريًا. وتصف بطاقة النموذج المحتوى بأنه فيديو تنظيري داخل البطن وبيانات قياس عن بُعد للروبوت من إجراءات سريرية أُجريت على مرضى بشريين، ويُظهر تشريح الجسم والأدوات الجراحية بدلًا من الوجوه أو غيرها من المشاهد التي تكشف الهوية، ولا يتضمن أي صوت أو نص.

الأداء والترخيص والشفرة البرمجية

تفيد بطاقة النموذج بأنه يحقق 30.0 إطارًا في الثانية بدقة 832 x 480 مع أربع خطوات انتشار، و43.2 إطارًا في الثانية مع خطوتين، على RTX PRO 6000 Blackwell Workstation Edition، و20.2 و31.2 إطارًا في الثانية على إصدار Max-Q، و16.9 إطارًا في الثانية على DGX Spark بدقة مخفضة تبلغ 512 x 288. وقد جرى التحقق من تشغيل الخدمة التفاعلية الآنية على جهاز RTX PRO 6000 واحد وعلى DGX Spark، كما يعمل النموذج على Hopper H100. وتشمل البنى الدقيقة المدعومة NVIDIA Blackwell وHopper، ونظام التشغيل المدعوم هو Linux، واستخدمت دقة BF16 المختلطة في التدريب والاستدلال الأصلي، مع تصدير الأوزان بصيغة FP32.

يتيح المستودع المرافق على GitHub، المرخّص بموجب Apache-2.0، إعادة تشغيل الإجراءات المسجلة وإخراجها بصيغة MP4، فضلًا عن التحكم المباشر باستخدام خوذة متوافقة مع WebXR ومزوّدة بوحدتي تحكم متتبعتين. ويورد المستودع متطلبات النظام، ومنها Linux مع وحدة معالجة رسومات تدعم CUDA، وPython 3.12، ومدير الحزم uv، وأكثر من 32GB من ذاكرة الفيديو VRAM عند استخدام الإعداد الافتراضي بدقة 480 x 832.

نشرت NVIDIA أيضًا وصفة تفصيلية خطوة بخطوة للضبط الدقيق للمعلم وللتقطير باستخدام Self-Forcing، كي يتمكن المطورون من تكييف النظام مع مجموعات بيانات وتجسيدات أخرى، شريطة توافر فيديو متزامن وتمثيلات متوافقة للأفعال؛ وتشير الشركة في إعلانها إلى أن تكاملات وحدات التحكم يجب أن تستخدم اصطلاحات الأفعال نفسها وأساليب التطبيع المستخدمة في التدريب. وتنص اعتبارات الأخلاقيات الواردة في بطاقة النموذج على وجوب امتلاك المطورين الحقوق والأذونات اللازمة للمحتوى المرئي والمدخل، وعلى أن الفيديو المُنشأ لن يطمس الأشخاص أو المعلومات الصحية الشخصية الواردة في المدخلات.

القيود المعلنة واتجاهات البحث

توضح NVIDIA أن الواقعية البصرية نقطة انطلاق للتحقق، وليست دليلًا على الدقة الميكانيكية الحيوية، وأن المحاكاة التي تبدو معقولة لكنها تتجاهل أوامر التحكم لا تصلح بيئةً تفاعلية. ويعرض الإعلان اتجاهات بحثية تشمل نمذجة إجراء استئصال المرارة كاملًا مع تحديد واضح لمهام الإجراء ومعايير نجاحها، والربط بين المحاكاة التوليدية والعددية، والتقييم بمشاركة الجراحين، ودعم مزيد من الأدوات، وتطوير سياسات جراحية ذاتية تعمل بالتكامل مع النموذج ضمن حلقة مغلقة. وتعرض NVIDIA هذه المسارات بوصفها اتجاهات بحثية لا قدرات سريرية مثبتة، وتؤكد أن Cosmos3-H-Dreams محاكي بحثي وليس نظامًا معتمدًا لرعاية المرضى.