โรบอท Dyna ทรенинг DYNA-2 ด้วยวิดีโอของมนุษย์มากกว่า 1 ล้านชั่วโมง ไม่ต้องใช้ข้อมูลจากโรบอท

การอ้างสิทธิ์นี้มีความสำคัญเนื่องจากข้อจำกัดของสาขานี้อยู่ที่ไหน นโยบายโรบอททั่วไปได้รับการฝึกฝนอย่างมากจากข้อมูลการดำเนินการทางโทรโอบอท: มนุษย์นำทางโรบอทผ่านงานทีละชั่วโมง ข้อมูลนั้นมีค่าใช้จ่ายสูงและใช้เวลานานในการรวบรวม และมันจำกัดความสามารถในการปรับขนาดของแบบจำลองพื้นฐานของโรบอท DYNA-2 มีการเดิมพันว่าความเข้าใจเชิงกายภาพที่โรบอทต้องการสามารถเรียนรู้จากวิดีโอของมนุษย์ที่ทำสิ่งต่างๆ แล้วถ่ายโอนไปยังฮาร์ดแวร์ของโรบอท

“ด้วยการสร้างแบบจำลอง World-Action ที่จินตนาการว่าโลกกายภาพจะเคลื่อนไหวอย่างไรก่อนที่จะดำเนินการ เราให้โรบอทมีเหตุผลเชิงพื้นที่และฟิสิกส์ติดต่อที่แบบจำลองวิชั่น-ภาษาแบบดั้งเดิมไม่มี”

วิธีที่ DYNA-2 เรียนรู้จากวิดีโอโดยไม่ต้องเห็นโรบอท

สถาปัตยกรรมนี้เป็นแบบจำลอง World-Action ที่ Dyna เรียกว่า ซึ่งสร้างขึ้นจากวิดีโอการสร้างมากกว่าการปรับตัวของวิชั่น-ภาษา-การดำเนินการที่ได้ครอบงำสาขานี้ ในระหว่างการฝึกฝนแบบพรี-เทรนิง แบบจำลองจะดำเนินเป้าหมายคู่ (การคาดการณ์เฟรมถัดไปและการดำเนินการถัดไป) เหนือข้อมูลวิดีโอของมนุษย์ บริษัทระบุว่าสิ่งนี้ทำให้แบบจำลองมีแบบจำลองฟิสิกส์ติดต่อและเหตุผลเชิงพื้นที่ที่สามารถถ่ายโอนได้ระหว่างการแสดงออก: แขนโรบอทแบบไม่เคลื่อนไหว โพรโทไทป์แบบมนุษย์ และมือที่มีนิ้วห้าข้อ แม้ว่าโรบอทเหล่านั้นจะไม่ปรากฏในการฝึกฝนแบบพรี-เทรนิง

การปรับผลลัพธ์ให้เหมาะสมกับแพลตฟอร์มเฉพาะต้องใช้เวลาเพียงไม่กี่ชั่วโมงในการปรับให้เหมาะสมในท้องถิ่น ไม่ใช่สัปดาห์ของการรวบรวมข้อมูล ในกรณีหนึ่ง Dyna อ้างว่า 13 นาทีของข้อมูลเพียงพอสำหรับการสอนมือโรบอทห้านิ้วให้เปิดฝากระปุก ในการประเมิน 15 งานที่ใช้มาตรฐาน นโยบายที่ฝึกฝนจากข้อมูลของมนุษย์มากขึ้นแสดงผลการทำงานที่ดีกว่านโยบายที่ฝึกฝนจากข้อมูลน้อยกว่า กราฟการปรับขนาดที่บริษัทชี้ให้เห็นว่าเป็นหลักฐานที่แสดงว่ากราฟนี้มีอยู่

การเปรียบเทียบที่ชัดเจนที่สุดคือการเปรียบเทียบกับแบบจำลองก่อนหน้าของ Dyna DYNA-1 ซึ่งเป็นแบบจำลองวิชั่น-ภาษา-การดำเนินการแบบดั้งเดิมที่ใช้ในการปรับใช้เชิงพาณิชย์ของบริษัท ได้เผชิญหน้ากับ DYNA-2 ในการประเมินเชิงกายภาพแบบตัวต่อตัวภายใต้ขั้นตอนการฝึกฝนและชุดข้อมูลที่ตรงกัน ในงานที่ต้องใช้ความชำนาญ เช่น การตัดอาหารและการทำความสะอาดพื้นที่ทำงาน Dyna ระบุว่า DYNA-2 ฟื้นตัวจากความผิดปกติทางกายภาพโดยไม่ต้องมีการแทรกแซงจากมนุษย์ ในขณะที่แบบจำลอง VLA พื้นฐานล้มเหลวและต้องการการรีเซ็ตด้วยมือ การใช้ขั้นตอนการฝึกฝนร่วมวิดีโอยังเพิ่มคะแนนการปฏิบัติตามคำแนะนำ 133% ในงานที่ต้องใช้การเคลื่อนไหวที่แตกต่างกันในการตอบสนองต่อคำสั่งของผู้ใช้

DYNA-2 โดยตัวเลข

• 1 ล้าน+ ชั่วโมง ของวิดีโอของมนุษย์แบบ egocentric ในการฝึกฝนแบบพรี-เทรนิง — ที่บริษัทอธิบายว่าเป็นประสบการณ์การตื่นตัวต่อเนื่องประมาณ 170 ปี
• 20% → 80–90% อัตราความสำเร็จของงานในงานผลิตที่ต้องมีความแม่นยำสูง จากการฝึกฝนแบบพรี-เทรนิงเพียงอย่างเดียว
• 1.55x มากกว่าจำนวนงานที่ DYNA-1 ทำเสร็จในงานที่ใช้มาตรฐานจริง
• 87% vs. 46% อัตราการผ่านการทดสอบที่ไซต์ปรับใช้ของลูกค้า DYNA-2 เทียบกับ DYNA-1
• 13 นาที ของข้อมูลเพียงพอสำหรับการสอนมือโรบอทห้านิ้วให้เปิดฝากระปุก
• 133% การปรับปรุงคะแนนการปฏิบัติตามคำแนะนำจากขั้นตอนการฝึกฝนร่วมวิดีโอ
• 10 ล้านชั่วโมง: ขนาดข้อมูลการฝึกฝนที่ Dyna ระบุว่าแนวทางนี้เปิดทางสู่

การปรับใช้ของ Dyna เป็นสถานที่ทดสอบแล้ว

DYNA-2 มาถึงบนพื้นฐานเชิงพาณิชย์ที่มีความ具体มากสำหรับบริษัทที่มีอายุน้อยเช่นนี้ โรบอทของ Dyna ที่ใช้ DYNA-1 ได้รับการปรับใช้ในระดับผลิตที่โรงแรม ร้านอาหาร ร้านซักผ้า และยิม วัสดุของบริษัทอธิบายว่า DYNA-1 พับเสื้อได้มากกว่า 40 ตัวต่อชั่วโมงและทำงาน 16 ชั่วโมงต่อวันที่ไซต์ของลูกค้า โดยมีอัตราความสำเร็จมากกว่า 99% ในการดำเนินงาน 24 ชั่วโมงต่อเนื่อง

รอยเท้าการปรับใช้นี้ยังเป็นวงล้อข้อมูลที่อยู่เบื้องหลังการวิจัยด้วย

เส้นทางที่บริษัทระบุจากจุดนี้คือการปรับขนาด: หากกราฟการปรับขนาดของวิดีโอของมนุษย์ยังคงอยู่ Dyna ระบุว่าการฝึกฝนบน 10 ล้านชั่วโมงจะกลายเป็นเรื่องของการรวบรวมวิดีโอมากกว่าการสร้างฟลีตของอุปกรณ์โทรโอบอท ผลลัพธ์ 1 ล้านชั่วโมงเป็นหลักฐานที่แสดงว่ากราฟนี้มีอยู่ การที่กราฟนี้จะยังคงอยู่ที่ 10 เท่าคือคำถามทางวิศวกรรมที่เปิดกว้าง — และเป็นคำถามที่ Dyna ใช้ในการวางแผนเส้นทางของตน