Sistem AI Dapat Mengenali Gerakan Tangan dengan Akurasi Tinggi

Sebuah sistem kecerdasan buatan (AI) baru yang dapat mengenali gerakan tangan telah dikembangkan oleh ilmuwan dari Universitas Teknologi Nanyang, Singapura (NTU Singapura). Teknologi ini bekerja dengan menggabungkan elektronik yang menyerupai kulit dengan penglihatan komputer.

Pengembangan sistem AI untuk mengenali gerakan tangan manusia telah berlangsung selama sekitar 10 tahun, dan saat ini digunakan dalam robot bedah, peralatan pemantau kesehatan, dan sistem permainan.

Sistem pengenalan gerakan tangan AI awalnya hanya visual, dan input dari sensor yang dapat dikenakan telah diintegrasikan untuk memperbaikinya. Ini disebut “penggabungan data”. Salah satu kemampuan penginderaan disebut “somatosensori”, dan sensor yang dapat dikenakan dapat mereproduksinya.

Presisi pengenalan gerakan tangan masih sulit dicapai karena kualitas data yang rendah dari sensor yang dapat dikenakan. Ini terjadi karena ukuran sensor yang besar dan kontak yang buruk dengan pengguna, serta efek dari objek yang terhalang dan pencahayaan yang buruk.

Tantangan lebih lanjut datang dari integrasi data visual dan sensorik, karena dataset yang tidak cocok perlu diproses secara terpisah dan akhirnya digabungkan di akhir. Proses ini tidak efisien dan menyebabkan waktu respons yang lebih lambat.

Tim NTU mengembangkan beberapa cara untuk mengatasi tantangan ini, termasuk penciptaan sistem “bioinspirasi” penggabungan data yang bergantung pada sensor regangan yang dapat ditekuk yang terbuat dari nanotube karbon berdinding tunggal. Tim juga mengandalkan AI sebagai cara untuk merepresentasikan bagaimana kulit dan penglihatan diproses bersama-sama di otak.

Tiga pendekatan jaringan neural digabungkan menjadi satu sistem untuk mengembangkan sistem AI. Tiga jenis jaringan neural tersebut adalah: jaringan neural konvolusional, jaringan neural sparse, dan jaringan neural multilayer.

Dengan menggabungkan ketiganya, tim dapat mengembangkan sistem yang dapat lebih akurat mengenali gerakan tangan manusia dibandingkan dengan metode lain.

Profesor Chen Xiaodon adalah penulis utama studi ini. Ia berasal dari Sekolah Ilmu Bahan dan Teknik di NTU.

“Arsitektur penggabungan data kami memiliki fitur bioinspirasi yang unik yang mencakup sistem buatan manusia yang menyerupai hierarki fusi somatosensori-visual di otak. Kami percaya bahwa fitur-fitur ini membuat arsitektur kami unik dibandingkan dengan pendekatan lain yang ada.”

Chen juga merupakan Direktur Pusat Inovasi Perangkat Fleksibel (iFLEX) di NTU.

“Dibandingkan dengan sensor yang dapat dikenakan yang kaku dan tidak membentuk kontak yang cukup intim dengan pengguna untuk pengumpulan data yang akurat, inovasi kami menggunakan sensor regangan yang dapat ditekuk yang nyaman melekat pada kulit manusia. Ini memungkinkan pengambilan sinyal yang berkualitas tinggi, yang sangat penting untuk tugas pengenalan presisi tinggi,” kata Chen.

Temuan dari tim yang terdiri dari ilmuwan dari NTU Singapura dan Universitas Teknologi Sydney (UTS) dipublikasikan pada bulan Juni di jurnal ilmiah Nature Electronics.

Menguji Sistem

Tim menguji sistem AI bioinspirasi dengan robot yang dikendalikan melalui gerakan tangan. Robot itu dipandu melalui labirin, dan hasilnya menunjukkan bahwa sistem pengenalan gerakan tangan AI dapat memandu robot melalui labirin tanpa kesalahan. Ini dibandingkan dengan sistem pengenalan visual yang membuat enam kesalahan di labirin yang sama.

Pengujian dalam kondisi yang buruk, seperti kebisingan dan pencahayaan yang buruk, sistem AI masih mempertahankan akurasi yang tinggi. Tingkat akurasi pengenalan mencapai lebih dari 96,7%.

Dr Wang Ming dari Sekolah Ilmu Bahan dan Teknik di NTU Singapura adalah penulis utama studi ini.

“Rahasia di balik akurasi tinggi dalam arsitektur kami terletak pada kenyataan bahwa informasi visual dan somatosensori dapat berinteraksi dan saling melengkapi pada tahap awal sebelum melakukan interpretasi yang kompleks,” kata Ming. “Sebagai hasilnya, sistem dapat mengumpulkan informasi yang koheren dengan data yang kurang berlebihan dan kurang ambigu, sehingga menghasilkan akurasi yang lebih baik.”

Menurut pandangan independen dari Profesor Markus Antonietti, Direktur Institut Max Planck untuk Koloid dan Antarmuka di Jerman, “Temuan dari makalah ini membawa kita satu langkah lebih dekat ke dunia yang lebih pintar dan lebih didukung mesin. Sama seperti penemuan smartphone yang telah merevolusi masyarakat, pekerjaan ini memberi kita harapan bahwa kita bisa suatu hari nanti mengendalikan semua dunia sekitar kita dengan keandalan dan presisi yang tinggi melalui gerakan.”

“Tidak ada aplikasi yang terbatas untuk teknologi seperti ini di pasar untuk mendukung masa depan ini. Misalnya, dari kendali robot jarak jauh di tempat kerja pintar hingga eksoskeleton untuk orang tua.”

Tim penelitian sekarang akan bekerja pada sistem VR dan AR berdasarkan sistem AI bioinspirasi.