นักวิจัยพบว่าการได้ยินสามารถปรับปรุงการรับรู้ของหุ่นยนต์

หุ่นยนต์ในปัจจุบันส่วนใหญ่พึ่งพาการมองเห็นและการสัมผัสเพื่อทำงานใน môi trườngของตน แต่นี่อาจเปลี่ยนแปลงไปด้วยการวิจัยใหม่ที่ออกมาจากมหาวิทยาลัยคาร์เนกีเมลลอน (CMU) กลุ่มนักวิจัยพบว่าการรับรู้ของหุ่นยนต์สามารถปรับปรุงได้ด้วยการได้ยิน

การวิจัยนี้เป็นการศึกษาขนาดใหญ่ครั้งแรกเกี่ยวกับการโต้ตอบระหว่างเสียงและการกระทำของหุ่นยนต์ ตามที่นักวิจัยที่สถาบันหุ่นยนต์ของ CMU กล่าวไว้ กลุ่มนักวิจัยพบว่าเสียงสามารถมีบทบาทในการช่วยให้หุ่นยนต์แบ่งแยก objects ได้ และหุ่นยนต์สามารถใช้การได้ยินเพื่อกำหนดประเภทของการกระทำที่ทำให้เกิดเสียง และเสียงสามารถช่วยคาดการณ์คุณสมบัติทางกายภาพของ objects ใหม่ๆ

Lerrel Pinto เป็นนักศึกษาระดับ博士ในด้านหุ่นยนต์ที่ CMU และจะเข้าร่วมเป็นอาจารย์ที่มหาวิทยาลัยนิวยอร์กในฤดูใบไม้ร่วงนี้

“มีงานวิจัยเบื้องต้นในด้านอื่นๆ ที่บ่งชี้ว่าเสียงสามารถมีประโยชน์ แต่ยังไม่ชัดเจนว่ามันจะมีประโยชน์มากน้อยเพียงใดในด้านหุ่นยนต์” Pinto กล่าว

Pinto และกลุ่มนักวิจัยพบว่าอัตราการทำงานที่สูงถึง 76 เปอร์เซ็นต์สำหรับหุ่นยนต์ที่ใช้เสียงในการจำแนก objects ได้สำเร็จ

เนื่องจากผลลัพธ์ตรงกับสิ่งที่กลุ่มค้นหา พวกเขาจะสำรวจตัวเลือกอื่นๆ เช่น การติดตั้งไม้เท้าสำหรับหุ่นยนต์ เพื่อให้สามารถระบุ objects ได้โดยการกดทับ

ผลการวิจัยของกลุ่มได้รับการนำเสนอในเดือนกรกฎาคมที่การประชุมวิชาการ Robotics Science and Systems การประชุมนี้จัดขึ้นแบบออนไลน์ และทีมงานยังรวมถึง Abhinav Gupta อาจารย์ประจำด้านหุ่นยนต์ และ Dhiraj Gandhi นักวิจัยที่ Facebook (META ) Artificial Intelligence Research’s Pittsburgh Lab

https://www.youtube.com/watch?v=z38-WCZ7Rb8&feature=emb_title

การวิจัยและชุดข้อมูล

การวิจัยนี้ได้รับการดำเนินการโดยการสร้างชุดข้อมูลขนาดใหญ่ และบันทึกวิดีโอและเสียงของ objects ทั่วไป 60 ชิ้น รวมถึงบล็อกเล่นของเด็ก เครื่องมือมือ อップเปิ้ล รองเท้า และลูกเทนนิส การบันทึกเกิดขึ้นเมื่อ objects เหล่านี้ถูกทิ้งและกระแทกกันในถาด

ชุดข้อมูลนี้ได้รับการเผยแพร่หลังจากการบันทึกการโต้ตอบประมาณ 15,000 ครั้ง

Tilt-Bot

การโต้ตอบเหล่านี้ถูกบันทึกโดย Tilt-Bot ซึ่งเป็นถาดสี่เหลี่ยมที่เชื่อมต่อกับแขนหุ่นยนต์ Sawyer แขนหุ่นยนต์ Sawyer ยังถูกใช้ในการดัน objects บนพื้นผิว เพื่อรวบรวมข้อมูลประเภทอื่นๆ

การวิจัยเกี่ยวกับวิธีที่เสียงสามารถส่งผลกระทบต่อหุ่นยนต์ที่มีความฉลาดได้รับการศึกษาเป็นเวลานาน แต่สิ่งที่ใหม่คือชุดข้อมูลขนาดใหญ่นี้

หนึ่งในผลการวิจัยใหม่คือหุ่นยนต์สามารถใช้ประสบการณ์และสิ่งที่ได้เรียนรู้เกี่ยวกับเสียงของ objects ชุดหนึ่งเพื่อคาดการณ์คุณสมบัติทางกายภาพของ objects ชุดอื่นที่ไม่เคยเห็นมาก่อน

“ฉันคิดว่าสิ่งที่น่าตื่นเต้นจริงๆ คือเมื่อมันล้มเหลว มันจะล้มเหลวในเรื่องที่คุณคาดหวังว่ามันจะล้มเหลว” Pinto กล่าว ตัวอย่างเช่น หุ่นยนต์ไม่สามารถใช้เสียงเพื่อแบ่งแยกบล็อกสีแดงและบล็อกสีเขียวได้ “แต่ถ้ามันเป็น objects ที่แตกต่างกัน เช่น บล็อกและถ้วย มันสามารถระบุได้”

การวิจัยนี้ได้รับการสนับสนุนจาก Defense Advanced Research Projects Agency และ Office of Naval Research