NVIDIA เปิดตัว Cosmos3-H-Dreams โมเดลโลกสำหรับการผ่าตัดแบบเรียลไทม์

เมื่อวันที่ 20 ตุลาคม 2026 NVIDIA เปิดตัว Cosmos3-H-Dreams ซึ่งเป็นโมเดลโลกเชิงกำเนิดสำหรับการผ่าตัดด้วยหุ่นยนต์ ทำงานแบบเรียลไทม์และมีเงื่อนไขตามการกระทำ โดยปรับแต่งเพิ่มเติมจากบันทึกภาพการผ่าตัดถุงน้ำดีในสถานพยาบาลที่บันทึกด้วยระบบ CMR Surgical Versius ทั้งจุดตรวจสอบของโมเดลและโค้ดประกอบได้รับการเผยแพร่ในวันเดียวกัน

ในประกาศที่ NVIDIA เผยแพร่บน Hugging Face บริษัทระบุว่า เท่าที่ทราบ Cosmos3-H-Dreams เป็นเครื่องจำลองการผ่าตัดเชิงกำเนิดแบบเรียลไทม์ตัวแรกที่ฝึกด้วยบันทึกภาพการผ่าตัดถุงน้ำดีในสถานพยาบาลและรองรับการควบคุมการเคลื่อนไหวแบบเรียลไทม์ โมเดลนี้ขับเคลื่อนด้วย Cosmos 3 และเร่งการทำงานด้วย FlashDreams ซึ่งเป็นไลบรารีการอนุมานแบบสตรีมมิงของ NVIDIA โดยทำงานแบบโต้ตอบได้บน GPU NVIDIA RTX PRO 6000 เพียงตัวเดียว ตามที่ระบุในประกาศ

เอกสารข้อมูลโมเดลระบุวันเผยแพร่เป็นวันที่ 20 ตุลาคม 2026 ทั้งบน GitHub และ Hugging Face และแจ้งว่าโมเดลพร้อมใช้งานทั้งในเชิงพาณิชย์และไม่ใช่เชิงพาณิชย์ภายใต้ NVIDIA Open Model License เอกสารระบุวัตถุประสงค์การใช้งาน ได้แก่ การประเมินนโยบายหุ่นยนต์ผ่าตัดในสภาพแวดล้อมจำลอง การสำรวจโมเดลโลกแบบโต้ตอบผ่านการควบคุมระยะไกล และการสร้างข้อมูลสังเคราะห์สำหรับการผ่าตัดถุงน้ำดีด้วยหุ่นยนต์ โดยมุ่งเป้าไปที่นักวิจัยด้านหุ่นยนต์ผ่าตัด นักพัฒนาปัญญาประดิษฐ์ด้านสุขภาพ สถาบันการศึกษา และบริษัทหุ่นยนต์ผ่าตัด

จากการเย็บแผลบนโต๊ะทดลองสู่ฉากการผ่าตัดจริง

Cosmos3-H-Dreams เป็นรุ่นต่อจาก Cosmos-H-Dreams ซึ่งพัฒนาบน Cosmos-Predict2.5 และมุ่งเน้นการเย็บแผลบนโต๊ะทดลองด้วย dVRK ในฐานะโมเดลพื้นฐานโลก ระบบรุ่นก่อนเรียนรู้พลวัตทางภาพโดยตรงจากวิดีโอและจลนศาสตร์ของหุ่นยนต์ที่ซิงโครไนซ์กัน แทนที่จะจำลองเรขาคณิตของฉาก การเปลี่ยนรูปของเนื้อเยื่อ และปฏิสัมพันธ์ทางกายภาพอย่างชัดเจน รุ่นใหม่นำแนวทางนี้ไปใช้กับฉากการผ่าตัดจริง ซึ่งเนื้อเยื่อยืดออกเมื่อถูกดึง แสงสะท้อนเปลี่ยนตำแหน่ง โครงสร้างต่าง ๆ ถูกบดบัง และควันทำให้การมองเห็นเปลี่ยนไป อีกทั้งข้อผิดพลาดเล็กน้อยในการสร้างภาพอาจสะสมระหว่างการจำลองต่อเนื่องเป็นเวลานาน จนค่อย ๆ เปลี่ยนรูปทรงของเครื่องมือหรือโครงสร้างทางกายวิภาค

สถาปัตยกรรมและกระบวนการกลั่นกรองโมเดล

โมเดลนี้พัฒนาต่อยอดจาก Cosmos3-H-Embodied-Nano ซึ่งเป็นโมเดลขนาด 16 พันล้านพารามิเตอร์ที่ฝึกด้วยชุดข้อมูล Open-H-Embodiment และนำโมเดลครูแบบสองทิศทางมาปรับให้เชี่ยวชาญเฉพาะด้านด้วยวิดีโอและข้อมูลจลนศาสตร์จากการผ่าตัดถุงน้ำดีที่คัดสรรแล้ว Cosmos3-H-Dreams มีพารามิเตอร์ประมาณ 15.17 พันล้านตัว และใช้สถาปัตยกรรม Mixture-of-Transformers ซึ่งประกอบด้วยส่วนประมวลผลการให้เหตุผล Qwen3-VL-8B-Instruct และส่วนผู้เชี่ยวชาญด้านการสร้างภาพด้วยการแพร่กระจายในปริภูมิแฝง โดยทำงานกับค่าปริภูมิแฝงจาก Wan2.2 VAE พร้อมชั้นฝังข้อมูลการกระทำเพื่อกำหนดเงื่อนไขจากจลนศาสตร์

ส่วนติดต่อสำหรับการกระทำใช้ 28 มิติในแต่ละช่วงเวลา โดยมี 14 มิติต่อแขน ครอบคลุมการเลื่อนตำแหน่งเทียบกับจุดยึด การหมุน 6 มิติ ตำแหน่งขากรรไกร การเปิดใช้พลังงานไฟฟ้าศัลยกรรม ปุ่มก้านควบคุม และแกนของก้านควบคุม ส่วนติดต่อนี้ขยายจาก 20 มิติสำหรับหุ่นยนต์ Versius โดยคงน้ำหนักที่ฝึกไว้ล่วงหน้าสำหรับท่าทางและขากรรไกร และกำหนดค่าเริ่มต้นของอินพุตควบคุมใหม่เป็นศูนย์ การฝึกใช้วิดีโอความละเอียด 832 x 480 โดยจัดแนวข้อมูลการกระทำที่ 10 Hz ซึ่งประกาศระบุว่าเป็นอัตราการสุ่มตัวอย่างที่แตกต่างจากอัตราการสร้างข้อมูลขณะทำงาน

โมเดลครูแบบสองทิศทางได้รับการปรับแต่งเพิ่มเติมเป็นขั้นแรกด้วยเฟรมอนาคต 24 เฟรม ผ่านการวนซ้ำ 2,000 รอบ จากนั้นจึงฝึกด้วยกรอบเวลา 72 เฟรม ผ่านการวนซ้ำ 4,400 รอบ ซึ่งเทียบเท่ากับ 2.4 และ 7.2 วินาทีที่ 10 Hz ตามลำดับ กระบวนการกลั่นกรองโมเดลแปลงโมเดลครูที่ครอบคลุม 72 เฟรมและใช้ขั้นตอนการสุ่มตัวอย่าง 35 ขั้น ให้เป็นโมเดลนักเรียนแบบเหตุเป็นผลเป็นบล็อก โดยใช้การบังคับให้โมเดลครูทำงานแบบมีเหตุเป็นผลตลอดการวนซ้ำ 1,000 รอบ ตามด้วย Self-Forcing อีก 300 รอบ ซึ่งใช้การกลั่นกรองให้การกระจายตรงกันโดยเทียบกับโมเดลครูที่ตรึงค่าไว้ โมเดลนักเรียนที่เผยแพร่สร้างวิดีโอแบบออโตรีเกรสซีฟโดยใช้แคชคีย์/แวลู และขั้นตอนลดสัญญาณรบกวน 4 ขั้นต่อเฟรมแฝง แต่ละเฟรมแฝงใช้เวกเตอร์การกระทำในอนาคต 4 ชุด (0.4 วินาทีที่ 10 Hz) และสร้างเฟรมวิดีโอใหม่ 4 เฟรม จึงรองรับการจำลองต่อเนื่องแบบสตรีมมิง

จุดตรวจสอบอีกรุ่นที่เผยแพร่ใช้ขั้นตอนลดสัญญาณรบกวน 2 ขั้น NVIDIA ระบุว่าโมเดลแบบ 2 ขั้นนี้ผ่านการฝึกแยกต่างหาก ไม่ใช่การนำโมเดลแบบ 4 ขั้นมาลดจำนวนขั้นตอนการสุ่มตัวอย่าง และการใช้ขั้นตอนลดสัญญาณรบกวนน้อยลงช่วยให้อนุมานได้เร็วขึ้น แต่แลกกับคุณภาพภาพที่ลดลง การทำงานแบบสตรีมมิงใช้ FlashDreams ร่วมกับโมดูล FadeMem ที่ปรับให้เหมาะสม โดยโมดูลนี้รวบรวมแคชคีย์/แวลูที่เพิ่มขึ้นระหว่างการจำลองต่อเนื่องเป็นเวลานาน เพื่อเสริมการจัดการประวัติข้อมูลที่สร้างขึ้นของ Self-Forcing

ข้อมูลฝึกและการประเมินด้วยข้อมูลที่กันไว้

การปรับแต่งเพิ่มเติมใช้บันทึกภาพการผ่าตัดถุงน้ำดีในสถานพยาบาลของ CMR Surgical Versius ซึ่งเป็นข้อมูลกรรมสิทธิ์จากการผ่าตัด 4,792 ครั้ง รวมประมาณ 17 ล้านเฟรม ที่ 60 Hz และความละเอียด 1080p โดยลดอัตราการสุ่มตัวอย่างเหลือ 10 Hz ศัลยแพทย์ควบคุมหุ่นยนต์จากระยะไกลระหว่างการผ่าตัด ระบบสร้างป้ายกำกับการกระทำโดยอัตโนมัติจากข้อมูลโทรมาตรของหุ่นยนต์ ส่วนการมองเห็นเครื่องมือได้รับการกำกับป้ายกำกับด้วยมือ

การคัดเลือกตัวอย่างเก็บไว้เฉพาะช่วงข้อมูลที่มองเห็นและใช้งานเครื่องมือพอดี 2 ชิ้นในทุกแถวที่อัตรา 60 Hz ดั้งเดิมของแต่ละช่วงย้อนหลังและช่วงอนาคต โดยกำหนดให้คีมจับ Cadiere อยู่ทางซ้ายและตะขอขั้วเดี่ยวอยู่ทางขวาเป็นคู่มาตรฐาน พร้อมตัดช่วงที่มีคำสั่งควบคุมกล้องซึ่งทำงานอยู่และเกินค่าขีดจำกัดที่กำหนดไว้ตายตัวออก ชุดฝึกประกอบด้วยบันทึกภาพ 64 รายการและวิดีโอที่ไม่ซ้ำกันประมาณ 526 นาที โดยมีจุดเริ่มต้นของหน้าต่างข้อมูล 183,528 จุดสำหรับกรอบเวลา 24 เฟรม ส่วนกรอบเวลา 72 เฟรมที่ใช้ในการกลั่นกรองมีวิดีโอประมาณ 436 นาทีจากจุดเริ่มต้นของหน้าต่างข้อมูล 106,820 จุด การแบ่งบันทึกภาพทำในระดับครั้งการผ่าตัด โดยใช้เวลาวิดีโอที่ไม่ซ้ำกันประมาณ 98 เปอร์เซ็นต์สำหรับการฝึก และกันไว้ประมาณ 2 เปอร์เซ็นต์

การตรวจสอบความถูกต้องด้วยข้อมูลที่กันไว้ครอบคลุมวิดีโอประมาณ 10.6 นาทีจากบันทึก 10 รายการ หรือราว 6,400 เฟรมที่ 10 Hz ชุดประเมินแบบตายตัวที่คัดมาจากบันทึกเหล่านี้แต่ละชุดมีกรณีทดสอบด้านคุณภาพ 48 กรณี และกรณีทดสอบการควบคุมการกระทำ 12 กรณี พร้อมการทดสอบการหมุนเครื่องมือที่ตำแหน่งกลาง ที่ ±5° และ ±15° ตลอดจนการจำลองต่อเนื่อง 30.4 วินาทีเพื่อใช้ตรวจสอบภาพ การ์ดระบุว่าเนื้อหาประกอบด้วยวิดีโอส่องกล้องภายในช่องท้องและข้อมูลเทเลเมทรีจากหุ่นยนต์ ซึ่งบันทึกจากหัตถการทางคลินิกในผู้ป่วยมนุษย์ โดยแสดงกายวิภาคและเครื่องมือผ่าตัด ไม่ใช่ใบหน้าหรือภาพอื่นที่ระบุตัวบุคคลได้ และไม่มีเสียงหรือข้อความ

ประสิทธิภาพ การอนุญาตให้ใช้สิทธิ์ และโค้ด

การ์ดโมเดลรายงานประสิทธิภาพ 30.0 เฟรมต่อวินาทีที่ความละเอียด 832 x 480 เมื่อใช้ขั้นตอน diffusion สี่ขั้น และ 43.2 FPS เมื่อใช้สองขั้น บน RTX PRO 6000 Blackwell Workstation Edition; ได้ 20.2 และ 31.2 FPS บนรุ่น Max-Q และ 16.9 FPS บน DGX Spark ที่ความละเอียดลดลงเหลือ 512 x 288 มีการตรวจสอบการให้บริการแบบโต้ตอบเรียลไทม์บน RTX PRO 6000 เครื่องเดียวและบน DGX Spark แล้ว และโมเดลยังทำงานบน Hopper H100 ได้ด้วย สถาปัตยกรรมย่อยที่รองรับคือ NVIDIA Blackwell และ Hopper ส่วนระบบปฏิบัติการที่รองรับคือ Linux การฝึกและการอนุมานแบบ native ใช้ความแม่นยำผสม BF16 และส่งออกน้ำหนักโมเดลเป็น FP32

คลังเก็บโค้ด GitHub ที่มาพร้อมกันเผยแพร่ภายใต้สัญญาอนุญาต Apache-2.0 และรองรับทั้งการเล่นซ้ำการกระทำที่บันทึกไว้เพื่อส่งออกเป็น MP4 และการควบคุมแบบเรียลไทม์ผ่านเฮดเซ็ตที่รองรับ WebXR ซึ่งใช้คอนโทรลเลอร์แบบติดตามตำแหน่งสองตัว คลังดังกล่าวระบุข้อกำหนดของระบบไว้ ได้แก่ Linux ที่ใช้ GPU ซึ่งรองรับ CUDA ได้, Python 3.12, ตัวจัดการแพ็กเกจ uv และ VRAM มากกว่า 32GB เมื่อใช้การกำหนดค่าเริ่มต้นที่ 480 x 832

NVIDIA ยังเผยแพร่สูตรแบบทีละขั้นตอนสำหรับการปรับแต่งโมเดลครูด้วย fine-tuning และการกลั่นโมเดลแบบ Self-Forcing เพื่อให้นักพัฒนาปรับระบบให้เข้ากับชุดข้อมูลและรูปแบบตัวแทนอื่น ๆ ที่มีวิดีโอซิงโครไนซ์และรูปแบบการแทนการกระทำที่เข้ากันได้ ประกาศระบุว่าการเชื่อมต่อคอนโทรลเลอร์ต้องใช้รูปแบบการกระทำและการปรับมาตรฐานเดียวกับที่ใช้ในการฝึก ข้อพิจารณาด้านจริยธรรมในการ์ดโมเดลระบุว่านักพัฒนาต้องมีสิทธิ์และได้รับอนุญาตอย่างเหมาะสมสำหรับภาพและวิดีโอที่ป้อนเข้าไป และวิดีโอที่สร้างขึ้นจะไม่เบลอบุคคลหรือข้อมูลสุขภาพส่วนบุคคลที่อยู่ในข้อมูลนำเข้า

ข้อจำกัดที่ระบุไว้และแนวทางการวิจัย

NVIDIA ระบุว่าความสมจริงของภาพเป็นเพียงจุดเริ่มต้นสำหรับการตรวจสอบความถูกต้อง ไม่ใช่หลักฐานยืนยันความแม่นยำทางชีวกลศาสตร์ และการจำลองต่อเนื่องที่ดูสมจริงแต่ไม่สนใจคำสั่งควบคุมก็ไม่สามารถใช้เป็นสภาพแวดล้อมแบบโต้ตอบได้ ประกาศระบุแนวทางการวิจัยไว้หลายประการ ได้แก่ การสร้างแบบจำลองกระบวนการผ่าตัดถุงน้ำดีออกทั้งหมด โดยกำหนดขอบเขตของงานและเกณฑ์ความสำเร็จให้ชัดเจน การเชื่อมโยงการจำลองแบบสร้างข้อมูลกับการจำลองเชิงตัวเลข การประเมินร่วมกับศัลยแพทย์ การรองรับเครื่องมือเพิ่มเติม และการพัฒนานโยบายการผ่าตัดแบบอัตโนมัติที่เชื่อมโยงกับโมเดลในวงปิด NVIDIA นำเสนอสิ่งเหล่านี้ในฐานะแนวทางการวิจัย ไม่ใช่ความสามารถทางคลินิกที่ได้รับการยืนยันแล้ว และระบุว่า Cosmos3-H-Dreams เป็นเครื่องจำลองเพื่อการวิจัย ไม่ใช่ระบบที่ผ่านการตรวจสอบความถูกต้องสำหรับการดูแลผู้ป่วย