AI ของ Google สอนหุ่นยนต์ถึงวิธีการเคลื่อนที่โดยการเฝ้าดูสุนัข

แม้แต่หุ่นยนต์ที่ทันสมัยที่สุดบางตัวในปัจจุบันก็ยังเคลื่อนไหวในลักษณะที่ค่อนข้างเกะกะและกระตุก เพื่อให้หุ่นยนต์เคลื่อนไหวได้เหมือนจริงและลื่นไหลมากขึ้น นักวิจัยของ Google ได้พัฒนาระบบ AI ที่สามารถ เรียนรู้จากการเคลื่อนไหวของสัตว์จริง ทีมวิจัยของ Google ได้เผยแพร่ กระดาษพิมพ์ล่วงหน้า ซึ่งให้รายละเอียดแนวทางของพวกเขาเมื่อปลายสัปดาห์ที่แล้ว ในกระดาษและเอกสารประกอบ โพสต์บล็อกทีมวิจัยอธิบายเหตุผลที่อยู่เบื้องหลังระบบ ผู้เขียนรายงานเชื่อว่าการให้หุ่นยนต์มีการเคลื่อนไหวที่เป็นธรรมชาติมากขึ้นสามารถช่วยให้พวกเขาบรรลุภารกิจในโลกแห่งความเป็นจริงที่ต้องใช้การเคลื่อนไหวที่แม่นยำ เช่น การส่งสิ่งของระหว่างชั้นต่างๆ ของอาคาร

ตามที่ VentureBeat รายงานทีมวิจัยใช้การเรียนรู้แบบเสริมแรงในการฝึกหุ่นยนต์ นักวิจัยเริ่มต้นด้วยการรวบรวมคลิปการเคลื่อนไหวของสัตว์จริงๆ และใช้เทคนิค Reinforcement Learning (RL) เพื่อผลักดันให้หุ่นยนต์เลียนแบบการเคลื่อนไหวของสัตว์ในคลิปวิดีโอ ในกรณีนี้ นักวิจัยฝึกหุ่นยนต์โดยใช้คลิปหนีบสุนัข ซึ่งออกแบบในเครื่องจำลองฟิสิกส์ โดยสั่งให้หุ่นยนต์สี่ขา Unitree Laikago เลียนแบบการเคลื่อนไหวของสุนัข หลังจากฝึกหุ่นยนต์แล้ว หุ่นยนต์ก็สามารถเคลื่อนไหวที่ซับซ้อน เช่น กระโดด หมุนตัว และเดินได้อย่างรวดเร็วด้วยความเร็วประมาณ 2.6 ไมล์ต่อชั่วโมง

ข้อมูลการฝึกประกอบด้วยตัวอย่างสุนัขประมาณ 200 ล้านตัวอย่างที่เคลื่อนไหว ติดตามในการจำลองทางฟิสิกส์ การเคลื่อนไหวต่างๆ นั้นดำเนินการผ่านฟังก์ชั่นการให้รางวัลและนโยบายที่เจ้าหน้าที่ได้เรียนรู้ หลังจากสร้างนโยบายในการจำลองแล้ว นโยบายเหล่านี้จะถูกถ่ายโอนไปยังโลกแห่งความเป็นจริงโดยใช้เทคนิคที่เรียกว่าการปรับพื้นที่แฝง เนื่องจากเครื่องจำลองทางฟิสิกส์ที่ใช้ในการฝึกหุ่นยนต์สามารถจำลองการเคลื่อนไหวในโลกแห่งความจริงได้บางแง่มุมเท่านั้น นักวิจัยจึงสุ่มใช้การก่อกวนต่างๆ ในการจำลอง โดยมีจุดประสงค์เพื่อจำลองการทำงานภายใต้เงื่อนไขต่างๆ

จากข้อมูลของทีมวิจัย พวกเขาสามารถปรับนโยบายการจำลองให้เหมาะกับหุ่นยนต์ในโลกแห่งความเป็นจริง โดยใช้ข้อมูลเพียงแปดนาทีที่รวบรวมจากการทดลองต่างๆ กว่า 50 ครั้ง นักวิจัยสามารถแสดงให้เห็นว่าหุ่นยนต์ในโลกแห่งความเป็นจริงสามารถเลียนแบบการเคลื่อนไหวเฉพาะที่แตกต่างกันได้หลากหลาย เช่น การวิ่งเหยาะๆ การหมุนตัว การกระโดด และการเว้นจังหวะ พวกเขายังสามารถเลียนแบบแอนิเมชั่นที่สร้างโดยศิลปินแอนิเมชั่น เช่น การกระโดดและเลี้ยวรวมกัน

นักวิจัยสรุปสิ่งที่ค้นพบในกระดาษ:

“เราแสดงให้เห็นว่าการใช้ประโยชน์จากข้อมูลการเคลื่อนไหวอ้างอิง วิธีการเรียนรู้แบบเดี่ยวสามารถสังเคราะห์ตัวควบคุมโดยอัตโนมัติสำหรับพฤติกรรม [ของ] ที่หลากหลายสำหรับหุ่นยนต์ที่มีขา ด้วยการรวมตัวอย่างเทคนิคการปรับใช้โดเมนที่มีประสิทธิภาพเข้ากับกระบวนการฝึกอบรม ระบบของเราสามารถเรียนรู้นโยบายที่ปรับเปลี่ยนได้ในการจำลองที่สามารถปรับได้อย่างรวดเร็วสำหรับการปรับใช้ในโลกแห่งความเป็นจริง”

นโยบายการควบคุมที่ใช้ในระหว่างกระบวนการเรียนรู้แบบเสริมแรงมีข้อจำกัด เนื่องจากข้อจำกัดที่กำหนดโดยฮาร์ดแวร์และอัลกอริธึม จึงมีบางสิ่งที่หุ่นยนต์ไม่สามารถทำได้ พวกเขาไม่สามารถวิ่งหรือกระโดดสูงได้ เป็นต้น นโยบายที่เรียนรู้ยังไม่แสดงความเสถียรมากนักเมื่อเทียบกับการเคลื่อนไหวที่ออกแบบด้วยตนเอง ทีมวิจัยต้องการทำงานให้ไกลขึ้นโดยทำให้ผู้ควบคุมแข็งแกร่งขึ้นและสามารถเรียนรู้จากข้อมูลประเภทต่างๆ ตามหลักการแล้ว เฟรมเวิร์กเวอร์ชันอนาคตจะสามารถเรียนรู้จากข้อมูลวิดีโอได้