Ilmuwan Membawa Sensitivitas Ujung Jari Ekstrem ke Robot

Tim ilmuwan di Max Planck Institute for Intelligent Systems (MPI-IS) telah memperkenalkan sensor haptik lembut yang tangguh yang mengandalkan penglihatan komputer dan jaringan saraf dalam untuk memperkirakan di mana objek bersentuhan dengan sensor. Ini juga dapat memperkirakan seberapa besar gaya yang diterapkan.

Penelitian baru, yang diterbitkan di Nature Machine Intelligence, akan membantu robot merasakan lingkungannya dengan akurat seperti manusia dan hewan.

Sensor Berbentuk Ibu Jari dengan Kerangka

Sensor ini berbentuk seperti ibu jari dan terbuat dari cangkang lembut yang dibangun di sekitar kerangka ringan. Kerangka ini berfungsi seperti tulang untuk menstabilkan jaringan ibu jari yang lembut, dan terbuat dari elastomer yang dicampur dengan serpihan aluminum yang reflektif. Ini menciptakan warna abu-abu yang mencegah cahaya eksternal masuk. Di dalam jari ada kamera fish-eye 160 derajat yang merekam gambar berwarna yang diterangi oleh LED.

Penampilan pola warna di dalam sensor ini berubah tergantung pada objek yang menyentuh cangkang sensor, dan kamera dengan cepat merekam gambar dan memberikan data jaringan saraf dalam.

Setiap perubahan kecil dalam cahaya pada setiap piksel dideteksi oleh algoritma, dan dalam sebagian detik, model pembelajaran mesin memetakan di mana jari bersentuhan dengan objek. Ini juga menentukan kekuatan gaya dan arah gaya.

Georg Martius adalah Pemimpin Kelompok Penelitian Max Planck di MPI-IS dan kepala Kelompok Pembelajaran Otonom.

“Kami mencapai kinerja penginderaan yang luar biasa ini melalui desain mekanik inovatif dari cangkang, sistem penggambaran yang disesuaikan di dalam, pengumpulan data otomatis, dan pembelajaran dalam yang canggih,” kata Martius.

Huanbo Sun adalah mahasiswa Ph.D. Martius.

“Struktur hibrida unik kami dari cangkang lembut yang mengelilingi kerangka kaku memastikan sensitivitas dan kekuatan yang tinggi. Kamera kami dapat mendeteksi bahkan deformasi permukaan yang sangat kecil dari satu gambar saja,” kata Sun.

Menurut Katherine J. Kuchenbecker, Direktur Departemen Kecerdasan Haptik di MPI-IS, sensor baru ini akan sangat berguna.

“Sensor haptik lembut sebelumnya hanya memiliki area penginderaan yang kecil, rapuh, dan sulit dibuat, dan sering tidak dapat merasakan gaya paralel dengan kulit, yang sangat penting untuk manipulasi robotik seperti memegang gelas air atau menggeser koin di atas meja,” kata Kuchenbecker.

Mengajarkan Sensor untuk Belajar

Untuk sensor dapat belajar, Sun mengembangkan testbed yang menghasilkan data pelatihan untuk model pembelajaran mesin untuk belajar. Data ini membantu model memahami korelasi antara perubahan piksel gambar mentah dan gaya yang diterapkan. Sekitar 200.000 pengukuran dihasilkan dari testbed yang menyelidiki sensor di sekitar permukaannya, dan model dilatih dalam satu hari.

“Desain perangkat keras dan perangkat lunak yang kami tampilkan dalam pekerjaan kami dapat dipindahkan ke berbagai bagian robot dengan bentuk dan persyaratan presisi yang berbeda. Arsitektur pembelajaran mesin, pelatihan, dan proses inferensi semua umum dan dapat diterapkan pada banyak desain sensor lainnya,” kata Huanbo Sun.