Ai2 เปิดตัว ToyBlocks เพื่อทดสอบการเรียนรู้และความล้มเหลวของหุ่นยนต์

เมื่อวันที่ 6 พฤศจิกายน 2026 Ai2 เปิดตัว ToyBlocks ซึ่งเป็นสภาพแวดล้อมแรกในเฟรมเวิร์ก FoundationWorlds โดยผสานการจำลองหุ่นยนต์แบบเปิดเข้ากับการสาธิตที่สร้างขึ้น โมเดลที่ฝึกแล้ว 2 โมเดล และเครื่องมือประเมินผล เฟรมเวิร์กนี้ออกแบบมาเพื่อให้การทดลองเรียนรู้ของหุ่นยนต์ทำซ้ำได้ และช่วยให้ตรวจสอบที่มาของความล้มเหลวได้ง่ายขึ้น

สภาพแวดล้อมนี้จำลองแขนหุ่นยนต์และบล็อกที่มีป้ายกำกับวางอยู่บนโต๊ะ นอกจากงานผลัก พลิก และซ้อนบล็อกแล้ว ยังมีงานค้นหา คัดแยก และจัดเรียงด้วย โดยอาจซ่อนตัวอักษรหรือภาพที่จำเป็นบนบล็อกไว้ หุ่นยนต์จึงต้องพลิกบล็อกก่อนตัดสินใจว่าควรวางไว้ตรงไหน การเปลี่ยนขนาดบล็อก ความสูงของโต๊ะ และคุณสมบัติอื่น ๆ ระหว่างฉากต่าง ๆ ช่วยทดสอบว่านโยบายควบคุมรับมือกับรูปทรงเรขาคณิตที่เปลี่ยนไปได้หรือไม่

ขอบเขตที่จำกัดนี้ช่วยให้ Ai2 พัฒนาคุณสมบัติ 4 ประการได้พร้อมกัน ได้แก่ ฟิสิกส์และภาพที่น่าเชื่อถือ การสร้างงานและชุดสาธิตในปริมาณมาก ปัญหาที่ต้องใช้ทั้งการให้เหตุผลและความคล่องแคล่วในการเคลื่อนไหว ตลอดจนความครอบคลุมของงานที่ขอบเขตนี้รองรับได้

การสาธิตอัตโนมัติและโมเดลแบบเปิด

การเรียนรู้แบบเสริมกำลังและการวางแผนการเคลื่อนไหวช่วยสร้างทักษะสำหรับงานระยะสั้นใน Isaac Lab ของ Nvidia การสร้างทักษะสามารถใช้สถานะจำลองที่เข้าถึงข้อมูลได้ครบถ้วน ซึ่งรวมถึงตำแหน่งและทิศทางของบล็อกที่แม่นยำ แทนการประเมินจากภาพกล้อง จึงทำให้พฤติกรรมที่หากไม่เช่นนั้นต้องใช้การควบคุมหุ่นยนต์จริงจากระยะไกลเป็นไปโดยอัตโนมัติ จากนั้นตัววางแผนงานและการเคลื่อนไหวจะเลือกและเรียงลำดับทักษะเพื่อสร้างชุดสาธิตที่มีป้ายกำกับ Ai2 ระบุว่าแผนหลายร้อยแผนสามารถทำงานพร้อมกันบน GPU ตัวเดียวได้ ด้วยความเร็วสูงสุด 24 เท่าของเวลาจริง

นักวิจัยสามารถปรับสัดส่วนของชุดข้อมูลฝึกที่ได้ให้เน้นทักษะบางอย่างเป็นพิเศษ และประเมินนโยบายควบคุมด้วยงานที่กันไว้ไม่ให้ปรากฏในการฝึก วิธีนี้ทำให้เครื่องมือสร้างข้อมูลเป็นตัวควบคุมการทดลอง ไม่ใช่เพียงแหล่งเพิ่มขนาดชุดข้อมูล

เป้าหมายเขียนเป็นข้อกำหนดการวางแผน PDDL ใน คลังเก็บ ToyBlocks ทำให้ระบบประเมินผลให้คะแนนทั้งการทำงานสำเร็จและความคืบหน้าระหว่างทางได้ โดยไม่ต้องสร้างตัวชี้วัดเฉพาะสำหรับแต่ละงาน ชุดสาธิตจัดเก็บในรูปแบบ LeRobot นโยบายแบบลำดับชั้นสามารถแทนที่องค์ประกอบระดับใดระดับหนึ่งด้วยออราเคิลที่ให้แผนหรือการกระทำที่ถูกต้อง เพื่อแยกการตัดสินใจที่ผิดพลาดออกจากการสั่งงานมอเตอร์ที่ขัดข้องได้ นอกจากนี้ สถานะที่ล้มเหลวยังสามารถส่งกลับไปยังกระบวนการสร้างข้อมูลเพื่อสร้างชุดสาธิตและวิธีกู้คืนสถานการณ์ใหม่ได้

Ai2 รายงานว่าเวอร์ชันแรกประกอบด้วยชุดสาธิตงานระยะยาว 85,336 ชุด โดยแต่ละชุดมีชุดสาธิตทักษะประมาณ 6–12 ชุด ขึ้นอยู่กับชุดข้อมูล ครอบคลุมการทำงานของหุ่นยนต์เกือบ 1,600 ชั่วโมง และ 144 ล้านเฟรม ชุดข้อมูลสาธารณะ ใช้ข้อมูล LeRobot ในรูปแบบ Parquet ภายใต้สัญญาอนุญาต ODC-BY และแบ่งเป็นชุดระดับง่าย ปานกลาง และยาก โค้ดหลักใช้สัญญาอนุญาต Apache-2.0 ส่วนโมดูลย่อยที่ระบุและแอสเซ็ตที่ดาวน์โหลดมานั้นใช้สัญญาอนุญาตของตนเอง

การ์ดข้อมูลโมเดลของ Ai2 แบ่งนโยบายควบคุมที่เผยแพร่ออกเป็น 2 ระดับ ได้แก่ Molmo2-4B-tb ซึ่งเป็นโมเดลที่มีพารามิเตอร์ประมาณ 4.5 พันล้านตัว ใช้ภาพจากกล้องด้านหน้าและเป้าหมายที่เป็นข้อความเพื่อสร้างแผนสั้น ๆ การกระทำถัดไป และจุดเป้าหมาย ส่วน ManiFlow-tb ซึ่งมีพารามิเตอร์ 322.5 ล้านตัว ใช้ภาพจากกล้องด้านหน้าและกล้องที่ข้อมือจับภาพ สถานะหุ่นยนต์ ข้อมูลงาน และแผนที่ความร้อนของเป้าหมาย เพื่อสร้างชุดการกระทำ

การทดสอบการปรับใช้กับงานใหม่และการทดลองตัวแทน

การทดลองด้านมิติพื้นที่ครอบคลุมงานซ้อน แยก พลิก และหมุน โดยแยกการประมาณค่าภายในช่วงที่ใช้ฝึกออกจากการคาดคะเนนอกช่วงดังกล่าว ตัวอย่างเช่น ฝึกให้หุ่นยนต์ใช้บล็อกในบริเวณหนึ่งของพื้นที่ทำงาน แล้วทดสอบในอีกบริเวณหนึ่ง หรือกันความสูงของการซ้อนบางระดับไว้ไม่ให้ใช้ฝึก Ai2 รายงานว่า ManiFlow, π0.5 และ MolmoAct 2 ปรับใช้กับงานใหม่ได้ไม่ดีในช่วงแรก แม้ผ่านการฝึกด้วยข้อมูลขนาดใหญ่ และสรุปว่าความสามารถในการปรับใช้กับงานใหม่ของโมเดลการกระทำยังห่างไกลจากการแก้ปัญหาได้แล้ว

การทดสอบตัวแทนแบบเอเจนต์เผยให้เห็นจุดอ่อนอีกแบบหนึ่ง Ai2 ระบุว่าระบบที่ใช้ Claude Opus 5.5 แก้โจทย์จัดเรียงบล็อกแบบคลาสสิกจากคำบรรยายข้อความได้ครบทั้ง 30 ข้อ และทำได้ครบทั้ง 30 ข้อเช่นกันเมื่อเลือกลำดับการกระทำแบบวงปิดจากภาพกล้องที่ถ่ายซ้ำ ในฉากค้นหาตัวอักษรที่มีบล็อกได้สูงสุด 8 ชิ้นนั้น 50% ไม่มีตัวอักษรที่ต้องใช้ จึงต้องระบุว่าเป็นโจทย์ที่เป็นไปไม่ได้ เอเจนต์ทำภารกิจสำเร็จหรือระบุได้ถูกต้องว่าไม่สามารถทำได้ใน 63% ของกรณี ความสับสนระหว่างตัวอักษรที่คล้ายกันเป็นสาเหตุ 13% และการวางแนวตัวอักษรไม่ถูกต้องเป็นสาเหตุ 15%

การทดลองตัวแทนครั้งที่สามเปิดโอกาสให้ระบบทดสอบพฤติกรรมของทักษะที่ไม่คาดคิด และเขียนคำอธิบายทักษะใหม่จากผลที่ได้ Ai2 รายงานว่าคำอธิบายที่เรียนรู้ขึ้นมาใหม่ช่วยเพิ่มอัตราความสำเร็จจาก 24% เมื่อใช้คำอธิบายเริ่มต้น เป็น 63% ซึ่งสูงกว่า 36% ที่ทำได้ด้วยคำอธิบายซึ่งผู้เชี่ยวชาญเขียนขึ้น

การทดสอบหุ่นยนต์จริงและข้อจำกัด

สำหรับการประเมินกับหุ่นยนต์จริง โมเดลที่ฝึกด้วยข้อมูลจำลองจาก ToyBlocks ทั้งหมดถูกนำมาทำงานโดยไม่มีตัวอย่างการฝึกจากโลกจริง บนแขนหุ่นยนต์ Franka FR3 ที่ติดตั้งกริปเปอร์ Robotiq การกำหนดค่าฉากทั้ง 30 แบบมีบล็อก 4–10 ชิ้น ซึ่งล้วนเป็นจำนวนที่พบระหว่างการฝึก จะนับว่าตอนการทำงานหนึ่งครั้งประสบความสำเร็จก็ต่อเมื่อบล็อกที่เกี่ยวข้องไปถึงตำแหน่งและทิศทางเป้าหมายโดยไม่ชนสิ่งใด การแทรกแซงของผู้ควบคุมเพื่อหยุดการเคลื่อนไหวที่ไม่ปลอดภัยจะนับเป็นความล้มเหลว

เพื่อลดช่องว่างระหว่างการจำลองกับโลกจริง Ai2 ปรับแรงเสียดทานของข้อต่อและความเฉื่อยของแขนในแบบจำลองให้สอดคล้องกับวิถีการเคลื่อนที่จริง การสร้างข้อมูลสุ่มปรับขนาดวัตถุ แรงเสียดทาน และความสูงของโต๊ะ รวมถึงสภาพแสง ฉากหลัง วัสดุ และพารามิเตอร์ของกล้อง

Ai2 รายงานว่า ManiFlow มีอัตราความสำเร็จของทักษะย่อยอยู่ที่ 80.0% ในการจำลอง และ 81.1% เมื่อใช้แขนหุ่นยนต์จริง ระบบ Molmo 2–ManiFlow แบบลำดับชั้นทำงานสำเร็จใน 55.5% ของรอบการทดลองจำลอง (111 จาก 200 รอบ) และ 50.0% ของรอบการทดลองกับหุ่นยนต์จริง (15 จาก 30 รอบ)

Ai2 ระบุข้อจำกัดของผลลัพธ์ดังกล่าวไว้สองประเด็น การประเมินระบบลำดับชั้นกับหุ่นยนต์จริงใช้การตั้งค่าในการจำลองที่ง่ายที่สุด โดยมองเห็นตัวอักษรบนบล็อกและวางบล็อกตั้งตรง และยังต้องทดลองเพิ่มเติมเพื่อยืนยันความเชื่อมั่นทางสถิติในงานต่าง ๆ นอกจากนี้ การ์ดข้อมูลของ ManiFlow ยังบันทึกอัตราความสำเร็จตั้งแต่ 54% ถึง 59% จากการทดลอง 4 ครั้ง โดยใช้รอบการทดลองจำลอง 128 รอบชุดเดิม เนื่องจากการจำลองและการอนุมานแบบประมวลผลเป็นชุดไม่ได้ให้ผลลัพธ์ที่เหมือนกันทุกบิต

Ai2 วางแผนเผยแพร่รุ่นที่สองซึ่งจะมีชุดข้อมูลขนาดใหญ่ขึ้น ทักษะมากขึ้น และการประเมินประสิทธิภาพที่ครอบคลุมยิ่งขึ้น รวมถึงการฝึกเสริมกำลังที่ผสานรวมไว้อย่างสมบูรณ์ ซึ่งไม่มีอยู่ในแพ็กเกจปัจจุบัน แนวทางระยะยาวยังรวมถึงการควบคุมด้วยแขนสองข้าง มือที่มีความคล่องแคล่วและเซนเซอร์ตรวจจับแรงกับการสัมผัส ตลอดจนการโต้ตอบกับกองบล็อกที่ไม่ได้จัดเรียง

ดังนั้น สิ่งที่ ToyBlocks มอบให้ในทันทีคือการควบคุมการทดลอง นักวิจัยสามารถปรับสัดส่วนข้อมูลผสมที่ใช้ฝึก แยกการวางแผนออกจากการลงมือทำ และนำข้อผิดพลาดกลับไปใช้สร้างข้อมูลได้ ผลลัพธ์เบื้องต้นยังแสดงให้เห็นข้อจำกัดของระบบด้วย โดยความสามารถในการนำสิ่งที่เรียนรู้จากการจำลองไปใช้กับสถานการณ์อื่นยังอ่อน และการประเมินกับหุ่นยนต์จริงยังมีขอบเขตแคบ จึงต้องพิจารณาอัตราการถ่ายโอนทักษะในระยะแรกเหล่านี้อย่างระมัดระวัง เมื่อต้องประเมินว่าหุ่นยนต์เรียนรู้ได้ไกลเพียงใดนอกเหนือจากโลกของบล็อก