โรบอทสอนตัวเองเดินผ่านการเรียนรู้แบบเสริมกำลัง

ในขณะที่ Boston Dynamics และ โรบอทที่เต้นรำ มักจะได้รับความสนใจส่วนใหญ่ มีการพัฒนาที่สำคัญเกิดขึ้นเบื้องหลังที่ไม่ได้รับการครอบคลุมอย่างเพียงพอ หนึ่งในนั้นมาจากห้องปฏิบัติการที่ University of Berkeley ซึ่งโรบอทชื่อ Cassie สามารถสอนตัวเองเดินผ่านการเรียนรู้แบบเสริมกำลัง

หลังจากการทดลองและข้อผิดพลาด คู่ขาโรบอทได้เรียนรู้ที่จะเดินใน môi trườngจำลองก่อนที่จะถูกทดสอบในโลกแห่งความเป็นจริง ในตอนแรก โรบอทแสดงความสามารถในการเดินในทิศทางทั้งหมด เดินขณะย่อตัวลง เปลี่ยนตำแหน่งเมื่อถูกผลักออกจากสมดุล และปรับตัวให้เข้ากับพื้นผิวต่างๆ

โรบอท Cassie เป็นตัวอย่างแรกของโรบอทสองขาที่ใช้การเรียนรู้แบบเสริมกำลังในการเดิน

ความประทับใจของโรบอทที่เต้นรำ

ในขณะที่โรบอท เช่น โรบอทจาก Boston Dynamics นั้นเป็นเรื่องที่น่าประทับใจและทำให้คนส่วนใหญ่ที่ดูพวกมันรู้สึกประทับใจ มีหลายปัจจัยที่สำคัญที่สุด คือ โรบอทเหล่านี้ถูกเขียนโปรแกรมและจัดเรียงล่วงหน้าเพื่อให้ได้ผลลัพธ์ แต่นี่ไม่ใช่วิธีการที่ต้องการในสถานการณ์จริง

นอกห้องปฏิบัติการ โรบอทต้องมีความทนทาน ความยืดหยุ่น และความสามารถในการจัดการกับสถานการณ์ที่ไม่คาดคิด ซึ่งสามารถทำได้โดยการทำให้พวกมันสามารถจัดการกับสถานการณ์ดังกล่าวได้ด้วยตนเอง

Zhongyu Li เป็นส่วนหนึ่งของทีมที่ทำงานกับ Cassie ที่ University of Berkeley

“วิดีโอนี้อาจทำให้บางคนเชื่อว่านี่เป็นปัญหาที่แก้ไขได้ง่าย” Li กล่าว “แต่เรายังมีระยะทางไกลที่จะไปถึงจุดนั้นเพื่อให้โรบอทที่มีรูปร่างเหมือนมนุษย์สามารถทำงานได้อย่างน่าเชื่อถือและอาศัยอยู่ใน môi trườngของมนุษย์”

https://www.youtube.com/watch?v=goxCjGPQH7U

การเรียนรู้แบบเสริมกำลัง

เพื่อสร้างโรบอทดังกล่าว ทีมจาก University of Berkeley ได้พึ่งพาการเรียนรู้แบบเสริมกำลัง ซึ่งได้ถูกใช้โดยบริษัท เช่น DeepMind เพื่อฝึกอัลกอริทึมให้ชนะมนุษย์ในเกมที่ซับซ้อน nhất การเรียนรู้แบบเสริมกำลังเป็น基于การลองผิดลองถูก โดยโรบอทเรียนรู้จากข้อผิดพลาดของมันเอง

โรบอท Cassie ใช้การเรียนรู้แบบเสริมกำลังเพื่อเรียนรู้ที่จะเดินใน môi trườngจำลอง ซึ่งไม่ใช่ครั้งแรกที่วิธีการนี้ถูกใช้ แต่โดยปกติแล้วไม่ได้ถูกนำออกจาก môi trườngจำลองและเข้าสู่โลกแห่งความเป็นจริง แม้เพียงเล็กน้อยก็สามารถทำให้โรบอทล้มเหลวในการเดิน

นักวิจัยใช้สอง môi trườngจำลองแทนหนึ่ง โดย môi trườngแรกเป็น môi trườngฝึกอบรมแบบเปิดชื่อ MuJoCo ใน môi trườngแรกนี้ อัลกอริทึมจะลองผิดลองถูกและเรียนรู้จากห้องสมุดของการเคลื่อนไหวที่เป็นไปได้ และใน môi trườngที่สองชื่อ SimMechanics โรบอททดสอบการเคลื่อนไหวเหล่านั้นในสถานการณ์ที่เหมือนจริงมากขึ้น

หลังจากพัฒนาในสอง môi trườngจำลอง อัลกอริทึมไม่ต้องการการปรับแต่งอีกต่อไป มันพร้อมที่จะทำงานในโลกแห่งความเป็นจริงแล้ว ไม่เพียงแต่เดินเท่านั้น แต่ยังสามารถทำได้มากกว่านั้น ตามนักวิจัย Cassie สามารถฟื้นตัวหลังจากที่มอเตอร์สองตัวในขาโรบอทล้มเหลว

ในขณะที่ Cassie อาจไม่มีทุกอย่างเหมือนกับโรบอทอื่นๆ แต่มันกลับเป็นเรื่องที่น่าประทับใจในหลายๆ ด้าน มัน还有ผลกระทบต่อเทคโนโลยีในด้านการใช้งานจริง เนื่องจากรถที่สามารถเดินได้สามารถใช้ในหลายๆ ภาคส่วน