Peneliti Menemukan Bahwa Pendengaran Dapat Meningkatkan Persepsi Robot

Robot saat ini sebagian besar bergantung pada penglihatan dan sentuhan untuk beroperasi di lingkungan mereka, tetapi hal ini dapat berubah dengan penelitian baru yang keluar dari Carnegie Mellon University (CMU). Sebuah kelompok peneliti menemukan bahwa persepsi robot dapat ditingkatkan melalui pendengaran. 

Penelitian ini adalah studi besar pertama tentang interaksi antara suara dan tindakan robot, menurut peneliti di Institut Robotika CMU. Kelompok ini menemukan bahwa suara dapat memainkan peran dalam membantu robot membedakan antara objek. Melalui penggunaan pendengaran, robot juga dapat menentukan jenis tindakan yang menyebabkan suara, dan suara dapat membantu memprediksi sifat fisik objek baru.

Lerrel Pinto adalah Ph.D di bidang robotika di CMU dan akan menjadi bagian dari fakultas Universitas New York pada musim gugur ini.

“Banyak pekerjaan awal di bidang lain menunjukkan bahwa suara dapat berguna, tetapi tidak jelas seberapa berguna itu di robotika,” kata Pinto.

Pinto dan kelompok peneliti menemukan bahwa tingkat kinerja cukup tinggi, yaitu 76 persen akurasi untuk robot yang menggunakan suara untuk mengklasifikasikan objek dengan sukses. 

Karena hasilnya sesuai dengan apa yang kelompok cari, mereka sekarang akan menjelajahi pilihan lain, seperti memasang tongkat instrumen pada robot. Ini akan memungkinkan mereka untuk mengidentifikasi objek dengan mengetuknya.

Temuan kelompok ini dipresentasikan pada bulan Juli di konferensi virtual Robotics Science and Systems. Tim ini juga termasuk Abhinav Gupta, profesor asosiasi robotika, dan Dhiraj Gandhi, ilmuwan peneliti di Facebook (META ) Artificial Intelligence Research’s Pittsburgh Lab.

https://www.youtube.com/watch?v=z38-WCZ7Rb8&feature=emb_title

Studi dan Dataset

Studi ini dilakukan dengan peneliti membuat dataset besar dan merekam video dan audio dari 60 objek umum. Beberapa objek tersebut adalah balok mainan, alat tangan, apel, sepatu, dan bola tenis. Perekaman dilakukan saat objek bergulir dan bertabrakan di atas nampan.

Dataset kemudian dirilis setelah dikatalogkan sekitar $15.000 interaksi. 

Tilt-Bot 

Interaksi ini direkam oleh apa yang disebut Tilt-Bot, yaitu nampan persegi yang terhubung ke lengan robot Sawyer. Sawyer juga digunakan untuk mendorong objek di permukaan, mengumpulkan jenis data lain.

Studi tentang bagaimana suara dapat mempengaruhi robot pintar telah ada selama beberapa waktu, tetapi apa yang baru adalah dataset besar ini. 

Salah satu temuan baru adalah bahwa robot dapat menggunakan pengalaman dan apa yang dipelajari tentang suara dari satu set objek untuk memprediksi sifat fisik dari set objek lain yang tidak terlihat.

“Saya pikir apa yang benar-benar menarik adalah bahwa ketika itu gagal, itu akan gagal pada hal-hal yang Anda harapkan itu gagal,” kata Pinto. Misalnya, robot tidak dapat menggunakan suara untuk membedakan antara balok merah atau balok hijau. “Tapi jika itu adalah objek yang berbeda, seperti balok versus cangkir, itu bisa membedakannya.”

Penelitian ini didukung oleh Defense Advanced Research Projects Agency dan Office of Naval Research.