Kemajuan AR dan VR dengan Kamera Pergelangan Tangan Baru

Realitas tambah (AR) dan realitas virtual (VR) telah maju satu langkah lebih jauh dengan penciptaan perangkat yang dikenakan di pergelangan tangan untuk estimasi pose tangan 3D. Perangkat ini dibuat oleh peneliti di Tokyo Institute of Technology (Tokyo Tech), bersama dengan tim dari Carnegie Mellon University, University of St Andrews, dan University of New South Wales.

Poin utama dari sistem baru ini adalah kamera yang dapat mengambil gambar di bagian belakang tangan. Ini dilakukan melalui penggunaan jaringan neural yang disebut DorsalNet. Jaringan neural ini dapat mengidentifikasi gerakan dinamis.

Penggunaan perangkat AR dan VR meningkat, terutama di industri seperti kesehatan, olahraga, dan hiburan. Pengembangan baru ini akan membantu memindahkan industri dari metode yang lebih besar dan berat yang saat ini digunakan, yang termasuk sarung tangan besar yang membuat gerakan alami menjadi sulit.

Sistem Pengenalan Pose Tangan 3D

Tim peneliti dipimpin oleh Hideki Koike di Tokyo Tech.

Menurut peneliti, “Karya ini adalah yang pertama berbasis visi untuk estimator pose tangan 3D waktu nyata menggunakan fitur visual dari daerah dorsal tangan. Sistem ini terdiri dari kamera yang didukung oleh jaringan neural yang disebut DorsalNet yang dapat mengestimasi pose tangan 3D dengan akurat dengan mendeteksi perubahan di bagian belakang tangan.”

Perangkat ini memiliki kamera dan dikenakan di pergelangan tangan, dan bertindak sebagai sistem pengenalan pose tangan 3D. Aspek paling penting dari perangkat, yang bisa mirip dengan jam tangan pintar, adalah bahwa itu dapat mengambil gerakan tangan bahkan ketika lingkungan dan perangkat itu sendiri bergerak.

Akurasi dan Pengujian Pendahuluan

Penelitian menunjukkan bahwa sistem yang baru dikembangkan ini memiliki kinerja yang lebih baik daripada upaya sebelumnya. Secara khusus, ini memiliki akurasi rata-rata 20% lebih tinggi dalam mengenali gerakan dinamis. Ketika datang untuk mengidentifikasi 11 jenis genggam yang berbeda, memiliki tingkat akurasi 75%.

Pengujian pendahuluan menunjukkan bahwa sistem dapat digunakan untuk mengontrol perangkat pintar. Aplikasi ini termasuk hal-hal seperti mengubah waktu jam tangan pintar dengan hanya mengubah sudut jari. Selain itu, peneliti menunjukkan bagaimana itu dapat bertindak sebagai mouse virtual atau keyboard, memungkinkan tindakan seperti rotasi pergelangan tangan untuk mengontrol pointer.

Menurut peneliti, masih akan ada perbaikan yang diperlukan untuk sistem ini agar dapat digunakan di dunia nyata. Misalnya, mereka akan perlu menggunakan kamera yang lebih maju dengan kecepatan bingkai yang lebih tinggi untuk mengambil gerakan pergelangan tangan yang lebih cepat, serta menangani berbagai kondisi pencahayaan yang berbeda.

Penelitian ini akan disajikan di Simposium ACM ke-33 tentang Perangkat Lunak dan Teknologi Antarmuka Pengguna (UIST), yang dijadwalkan akan diadakan secara virtual pada tanggal 20-23 Oktober 2020.