Sensor Bio-Inspiratif Inovatif Mendeteksi Gerakan dan Memprediksi Trajektori untuk Berbagai Aplikasi

Peneliti di Aalto University telah mengembangkan sensor bio-inspiratif inovatif yang dapat mendeteksi objek bergerak dalam satu frame video dan secara akurat memprediksi gerakan masa depan mereka. Digambarkan dalam sebuah Nature Communications paper, sensor canggih ini memiliki berbagai potensi aplikasi di bidang seperti penginderaan visi dinamis, inspeksi otomatis, kontrol proses industri, panduan robot, dan teknologi pengemudi otonom.

Sistem deteksi gerakan tradisional memerlukan banyak komponen dan algoritma kompleks yang melakukan analisis frame-by-frame, menghasilkan ketidakefisienan dan konsumsi energi tinggi. Untuk mengatasi keterbatasan ini, tim Aalto University mencari inspirasi dari sistem visual manusia dan menciptakan teknologi visi neuromorfik yang menggabungkan penginderaan, memori, dan pemrosesan menjadi satu perangkat yang dapat mendeteksi gerakan dan memprediksi trajektori.

Fotomemristor: Inti Teknologi Baru

Teknologi peneliti ini dibangun pada array fotomemristor, perangkat listrik yang menghasilkan arus listrik sebagai respons terhadap cahaya. Fotomemristor memiliki karakteristik unik: arus tidak berhenti segera ketika cahaya dimatikan, tetapi memudar secara bertahap. Fitur ini memungkinkan fotomemristor untuk “mengingat” paparan cahaya terbaru, memungkinkan sensor yang terdiri dari array perangkat ini untuk menangkap tidak hanya informasi saat ini tentang adegan, tetapi juga memori dinamis dari momen-momen sebelumnya.

“Karakteristik unik dari teknologi kami adalah kemampuan untuk mengintegrasikan serangkaian gambar optik dalam satu frame,” jelas Hongwei Tan, rekan peneliti yang memimpin studi ini. “Informasi dari setiap gambar disematkan dalam gambar-gambar berikutnya sebagai informasi tersembunyi. Dengan kata lain, frame terakhir dalam video juga memiliki informasi tentang semua frame sebelumnya. Ini memungkinkan kami untuk mendeteksi gerakan lebih awal dalam video dengan menganalisis hanya frame terakhir dengan jaringan saraf tiruan sederhana. Hasilnya adalah unit penginderaan kompak dan efisien.”

Menunjukkan Kemampuan Teknologi

Untuk menunjukkan teknologi mereka, peneliti menggunakan video yang menampilkan huruf-huruf sebuah kata satu per satu. Meskipun semua kata berakhir dengan huruf “E”, sensor visi konvensional tidak dapat membedakan apakah “E” di layar mengikuti huruf-huruf lain dalam “APPLE” atau “GRAPE”. Namun, array fotomemristor dapat menggunakan informasi tersembunyi dalam frame terakhir untuk menyimpulkan huruf-huruf yang mendahuluinya dan memprediksi kata dengan akurasi hampir 100%.

Dalam eksperimen lain, tim menunjukkan sensor video simulasi orang bergerak dengan tiga kecepatan berbeda. Sistem tidak hanya dapat mengenali gerakan dengan menganalisis satu frame, tetapi juga memprediksi frame berikutnya dengan akurasi.

Implikasi untuk Kendaraan Otonom dan Transportasi Cerdas

Deteksi gerakan akurat dan prediksi trajektori sangat penting untuk teknologi pengemudi otonom dan sistem transportasi cerdas. Kendaraan otonom bergantung pada prediksi yang akurat tentang bagaimana mobil, sepeda, pejalan kaki, dan objek lain akan bergerak untuk membuat keputusan yang tepat. Dengan mengintegrasikan sistem pembelajaran mesin ke dalam array fotomemristor, peneliti menunjukkan bahwa sistem terintegrasi mereka dapat memprediksi gerakan masa depan berdasarkan pemrosesan in-sensor dari frame yang mengandung semua informasi.

“Pengenalan gerakan dan prediksi oleh solusi memori dan komputasi in-sensor kompak kami menyediakan peluang baru dalam robotika otonom dan interaksi manusia-mesin,” kata Professor Sebastiaan van Dijken. “Informasi in-frame yang kami peroleh dalam sistem kami menggunakan fotomemristor menghindari aliran data berlebih, memungkinkan pengambilan keputusan yang efisien energi dalam waktu nyata.”