NVIDIA เปิดตัว GR00T 2 สำหรับหุ่นยนต์ที่เรียนรู้จากวิดีโอของมนุษย์

NVIDIA เปิดตัว GR00T 2 เมื่อวันที่ 9 พฤศจิกายน 2026 ณ งาน Conference on Robot Learning (CoRL) ที่เมืองออสติน และรายงานว่ารุ่นที่ฝึกด้วยวิดีโอของมนุษย์บางส่วนทำงานสำเร็จแบบ zero-shot ได้ 40% ใน 50 งานที่ไม่มีอยู่ในข้อมูลฝึกของหุ่นยนต์เป้าหมาย

GR00T 2 ใช้ทรานส์ฟอร์เมอร์ขนาด 2 พันล้านพารามิเตอร์ที่พัฒนาบน Cosmos-Predict2.5-2B โดยผสานภาพจากกล้องล่าสุด สถานะของหุ่นยนต์ และคำสั่งที่เขียนเป็นข้อความ เพื่อสร้างภาพที่คาดว่าจะเห็นในอนาคตและลำดับการกระทำถัดไป เช็กพอยต์ที่ฝึกไว้ล่วงหน้าเพียงชุดเดียวรองรับทั้งแขนหุ่นยนต์ที่มีมือจับแบบขนาน มือที่เคลื่อนไหวคล่องแคล่ว และหุ่นยนต์ฮิวแมนนอยด์ แม้ NVIDIA จะนำเสนอโมเดลนี้ว่าเป็นแบบเปิด แต่หน้าวิจัยระบุว่าโค้ดจะพร้อมใช้งานในเดือนธันวาคม

การฝึกล่วงหน้าผสานวิดีโอจากมุมมองบุคคลที่หนึ่งของมนุษย์ 402,730 ชั่วโมง การสาธิตการใช้มือจับแบบถือด้วยมือ 10,184 ชั่วโมง ครอบคลุม 2,897 งาน และการควบคุมหุ่นยนต์ทางไกล 23,500 ชั่วโมง ชุดข้อมูล Human-1M-100K เปิดให้ใช้ข้อมูลของมนุษย์จำนวน 100,000 ชั่วโมง ซึ่งรวมถึงวิดีโอ คำอธิบายประกอบภาษา และข้อมูลการเคลื่อนไหวของศีรษะและมือ ภายใต้สัญญาอนุญาต CC BY 4.0 ที่อนุญาตให้ใช้ได้ทั้งเชิงพาณิชย์และไม่ใช่เชิงพาณิชย์

การทดสอบข้ามรูปแบบร่างกายแสดงให้เห็นว่าทักษะถ่ายโอนระหว่างร่างกายต่างแบบและปรับใช้ได้อย่างไรโดยอาศัยข้อมูลหุ่นยนต์เพียงเล็กน้อย NVIDIA รายงานว่า การจัดวางกระดาษกรองที่เรียนรู้จากการสาธิตของมนุษย์โดยไม่ใช้การควบคุมทางไกลเฉพาะงานทำสำเร็จ 65% ส่วนการประกอบรถดัมพ์ของเล่นที่ถ่ายโอนทักษะจากมือจับแบบถือด้วยมือไปยังแขนหุ่นยนต์ YAM ทำสำเร็จ 60% ในการประเมิน Dexter GR00T 2 ทำได้อย่างน้อยหนึ่งครั้งในการทดลองกับงาน 40 งาน อัตราความสำเร็จเฉลี่ยอยู่ที่ 71% เมื่อมีการสาธิตหนึ่งครั้งต่องาน และ 95% เมื่อมีห้าครั้ง โดยการสาธิตทั้งห้าครั้งให้ข้อมูลหุ่นยนต์ไม่ถึงสามนาทีต่องาน จากนั้นจึงปรับแต่งอะแดปเตอร์ต่อประมาณ 30 นาทีบน RTX 5090 หนึ่งเครื่อง

เอกสารไวท์เปเปอร์ทางเทคนิคระบุเงื่อนไขของผลการทดลองที่ใช้การสาธิตห้าครั้งไว้ด้วยว่า งานที่นำมาประเมินเป็นงานที่คัดเลือกจากกลุ่มงานซึ่งโมเดลเรียนรู้ได้ด้วยการฝึกห้ารอบและมีอัตราความสำเร็จอย่างน้อย 80% ดังนั้น ค่าเฉลี่ยจึงสูงส่วนหนึ่งเพราะวิธีการคัดเลือกดังกล่าว

การฝึกจำลองมุ่งสู่ความแม่นยำ

รากฐานของการจำลองคือ Isaac Lab 3.0 ซึ่งพร้อมใช้งานทั่วไปตั้งแต่วันที่ 20 ตุลาคม 2026 โดยมี API สำหรับงานชุดเดียวที่ใช้ได้กับระบบฟิสิกส์ การเรนเดอร์ และการแสดงผล Newton รองรับวัตถุแข็ง วัสดุที่เปลี่ยนรูปได้ และอนุภาค อีกทั้งเวิร์กโฟลว์จำนวนมากยังทำงานได้โดยไม่ต้องติดตั้ง Isaac Sim แบบเต็มรูปแบบ ในการทดสอบมาตรฐานด้านการควบคุมวัตถุอย่างคล่องแคล่วด้วยข้อมูลภาพ NVIDIA รายงานว่า Isaac Lab 3.0 ที่ทำงานร่วมกับ Newton มีอัตราการประมวลผลการฝึกสูงกว่า Isaac Lab 2.3 ที่ใช้ PhysX ได้สูงสุด 2.5 เท่า

AlphaNIST ใช้การฝึกฝนในสภาพแวดล้อมจำลองขนาดใหญ่กับงาน 20 รายการจาก NIST Assembly Task Board ซึ่งรวมถึงชิ้นส่วนที่มีขนาดเล็กเพียง 4 มิลลิเมตร นโยบายร่วมเพียงชุดเดียวได้รับการฝึกโดยใช้รางวัลความสำเร็จแบบใช่หรือไม่ใช่เท่านั้น NVIDIA รายงานว่านโยบายนี้มีอัตราความสำเร็จในการฝึก 98.2% เทียบกับ 81.4% สำหรับนโยบายแยกตามงาน โดยใช้เวลา GPU น้อยกว่าราว 39 เท่า ทั้งหมดนี้เป็นผลจากการฝึกในสภาพแวดล้อมจำลอง

เบื้องหลัง AlphaNIST คือ การสุ่มตัวอย่างที่ชี้นำด้วยความสำเร็จ ซึ่งพัฒนาโดย University of Washington and NVIDIA วิธีนี้มุ่งให้มีการฝึกกับรูปแบบการกำหนดค่าที่อยู่ใกล้ขีดความสามารถของนโยบาย โดยเฉพาะรูปแบบที่นโยบายแก้ได้ราวครึ่งหนึ่งของครั้งที่ทดลอง ผู้พัฒนาวิธีนี้รายงานว่าสามารถขยายการทำงานได้อย่างมีประสิทธิภาพเกินหนึ่งล้านสภาพแวดล้อมจำลอง และถ่ายโอนนโยบายการประกอบที่อาศัยข้อมูลภาพ RGB ไปยังฮาร์ดแวร์ UR5e จริงได้แบบ zero-shot

การทดสอบมาตรฐานรับมือความหลากหลายในภาคอุตสาหกรรม

Isaac Lab-Arena เป็นส่วนประเมินผล เฟรมเวิร์กโอเพนซอร์สนี้สร้างการประเมินที่ทำซ้ำได้จากองค์ประกอบแบบโมดูลาร์ และทำงานข้ามสภาพแวดล้อมจำลองที่เร่งความเร็วด้วย GPU พร้อมวิเคราะห์ความล้มเหลวเพื่อชี้ให้เห็นว่าเงื่อนไขใดต้องนำไปฝึกอีกครั้ง NVIDIA ระบุว่าเวอร์ชันตัวอย่างสำหรับนักพัฒนา 0.4 จะเปิดตัวในงาน CoRL

DexBench v1.0 ซึ่งพัฒนาโดย RLWRLD ร่วมกับ NVIDIA ประกอบด้วยงาน 15 รายการในฉากร้านค้าปลีก โลจิสติกส์ สายการประกอบ และบริการอาหารและเครื่องดื่มในโรงแรม ส่วน VABAR จาก UC Berkeley และ NVIDIA ครอบคลุมการคัดแยกและแขวนเครื่องมือ การประกบเฟือง การบรรจุหลอดฉีดยา ตลอดจนการสอดและจัดเส้นทางสายเคเบิล โดยมีคลังทักษะ 33 รายการรองรับ หน้าข้อมูลโครงการ VABAR ระบุว่าระดับความยากสองระดับที่มีอยู่ในปัจจุบันเป็นชุดตรวจสอบความถูกต้อง ส่วนชุดทดสอบที่ยากกว่านั้นยังอยู่ระหว่างการพัฒนา

เอเจนต์เพิ่มความสามารถในการกู้คืนและรองรับข้อจำกัดใหม่

เฟรมเวิร์ก Graph-as-Policy ของ UC Berkeley ใช้เอเจนต์หลายตัวประกอบกราฟทักษะหุ่นยนต์แบบมีทิศทางที่ตีความได้ ทดลองใช้งานในสภาพแวดล้อมจำลอง และปรับโครงสร้างกับพารามิเตอร์หลังเกิดความล้มเหลว โครงการรายงานว่าการทดลองซ้อมสิบรอบทำให้ผลลัพธ์ของ Make Popcorn เพิ่มจาก 33% ในช่วงแรกเป็น 94% ในการจำลอง และ 90% หรือ 18 จาก 20 ครั้ง เมื่อทดสอบกับหุ่นยนต์จริง การทดสอบมาตรฐานในปัจจุบันเน้นการควบคุมวัตถุที่แทบไม่มีการเคลื่อนไหว ส่วนวัสดุที่เปลี่ยนรูปได้ พลวัต และเป้าหมายที่เคลื่อนที่ยังเป็นงานในอนาคต

GR00T 2 ใช้เอเจนต์ให้เหตุผลเพื่อจัดลำดับทักษะ ติดตามความคืบหน้า และเรียกใช้ขั้นตอนกู้คืนเมื่อชิ้นส่วนตกหล่นหรืองานหยุดชะงัก ขณะที่โมเดลจัดการงานควบคุมวัตถุที่มีการสัมผัสซับซ้อน NVIDIA รายงานว่าเมื่อใช้ข้อมูลแก้ไขร่วมกับเอเจนต์ดังกล่าว การประกอบเครื่องบินของเล่นสำเร็จ 98 ครั้ง รถแทรกเตอร์ของเล่น 97 ครั้ง และรถ Hot Wheels 97 ครั้ง จากการทดลองของเล่นแต่ละชนิด 100 ครั้ง โดยเริ่มจากชิ้นส่วนที่เทกระจัดกระจายแบบสุ่ม ส่วนการปรับแต่งด้วยข้อมูลกำกับดูแลเพียงอย่างเดียวทำได้ 69, 51 และ 23 ครั้งตามลำดับ

เอกสารไวท์เปเปอร์รายงานแยกต่างหากว่า อัตราความสำเร็จเฉลี่ยอยู่ที่ประมาณ 70% ในการทดสอบมาตรฐานหลังการฝึกที่ต้องทำงานต่อเนื่องหลายขั้นตอน ในงานคัดแยกขยะโดยใช้ภาพนำทาง หุ่นยนต์ต้องรอเอเจนต์เป็นเวลามัธยฐาน 38% ของระยะเวลาการทำงานหนึ่งรอบ ซึ่งแสดงให้เห็นต้นทุนด้านเวลาแฝงจากการกำกับดูแลของเอเจนต์

NVIDIA ระบุว่า Nexuni กำลังทดสอบ GR00T 2 สำหรับการจัดการงานซักรีด ส่วน Foxconn กำลังนำไปใช้กับระบบอัตโนมัติในการผลิตเซิร์ฟเวอร์ และ Siemens กำลังประเมินกรณีการใช้งานในภาคอุตสาหกรรม งานที่เปิดเผยมีเพียงการทดสอบและการประเมินผล โดยยังไม่มีการประกาศนำไปใช้งานจริงในสายการผลิต

บทสรุปของเอกสารไวท์เปเปอร์แบ่งปัจจัยที่ทำให้ระบบมีความน่าเชื่อถือออกเป็นการฝึกฝนล่วงหน้าเพื่อให้ครอบคลุมงานหลากหลาย การสาธิตวิธีแก้ไขและการเรียนรู้แบบเสริมกำลังเพื่อเพิ่มความแม่นยำ และเอเจนต์ที่ช่วยด้านความจำ การตรวจสอบ และการกู้คืน สำหรับผู้ใช้ในภาคอุตสาหกรรม ตัวชี้วัดที่เป็นประโยชน์จึงอยู่ที่เวิร์กโฟลว์ทั้งหมดของ GR00T 2 และปริมาณการกำกับดูแลที่แต่ละงานต้องใช้ ความท้าทายที่ยังต้องแก้ก่อนนำไปใช้งานคือการรักษาความน่าเชื่อถือที่รายงานไว้ พร้อมกับลดเวลาที่ใช้ในการปรับให้เข้ากับแต่ละงานและเวลารอเอเจนต์ ซึ่งผลการทดสอบของ NVIDIA เองได้บันทึกไว้