AI Dapat Mengidentifikasi Seseorang dari Satu Langkah Kaki

Inisiatif penelitian baru telah menghasilkan sistem berbiaya rendah yang mampu mengidentifikasi seseorang berdasarkan suara langkah kakinya, dari satu langkah saja.

Dalam makalah Passive mUlti-peRson idEntification via Deep Footstep Separation and Recognition (PURE), kolaborasi antara peneliti dari Nanyang Technological University dan University of Kentucky, antara lain, tingkat identifikasi didirikan hingga 90%, dari sampel audio yang sangat singkat.

Lima profil langkah kaki yang berbeda ditangkap dalam PURE.

Arsitektur untuk PURE bergantung pada data dari array mikrofon komoditas, dengan penangkapan audio mentah dinonaktifkan melalui pengurangan kebisingan latar belakang spektral. Di mana rasio sinyal ke kebisingan tinggi, termasuk percakapan yang terjadi pada saat penangkapan, algoritma pemisahan sumber diaktifkan untuk melakukan ekstraksi diskrit dari langkah kaki.

Audio langkah kaki diperjelas dan dianalisis melalui adaptasi domain adversarial, dengan kerangka yang terdiri dari ekstraktor fitur, prediktor identitas, dan diskriminator domain.

Perangkat Keras untuk PURE

Perangkat yang digunakan untuk PURE adalah array mikrofon yang terintegrasi dalam rig kustom berbasis Raspberry Pi 4.

Mikrofon menangkap audio pada tingkat tertinggi yang tersedia untuk sinyal ‘structure borne’ (kaki menghubungi tanah), karena data ini memiliki durasi yang sangat singkat, dan perlu menjadi sangat rinci. Namun, langkah kaki ‘air-borne’ (suara kaki membuat dalam busur menuju kontak berikutnya dengan tanah) di-downsample ke 16kHz untuk menghemat kapasitas pemrosesan lokal untuk langkah kaki ‘structure-borne’.

Peneliti mensintesis dataset pelatihan dari Footsteps Sound Effects Soundboard, serta dari Footsteps Sound Effects dari Epidemic Sound. Komponen audio dari berbagai Ted Talks digunakan untuk menghasilkan data pelatihan untuk proses ekstraksi langkah kaki dari percakapan latar belakang.

Mencegah ‘Serangan Ulang’ dalam Pengenalan Langkah Kaki

Sistem ini perlu tahan terhadap ‘serangan ulang’, di mana seorang penyerang mungkin merekam pola langkah kaki tertentu dan memutarnya kembali dengan harapan bahwa sistem akan mengidentifikasi rekaman sebagai pengguna langsung.

Untuk menggagalkan ini, PURE menganalisis Waktu-Kedatangan (ToA) dalam langkah kaki ‘kontak’, dan Sudut-Kedatangan (AoA) dalam langkah kaki ‘udara’.

Kurangnya informasi dinamis dalam langkah kaki yang diputar ulang mengungkapkannya dengan cukup mudah, meskipun perlu untuk mempertimbangkan hal ini saat memproses data. Dengan mengamati ketidakteraturan alami dari langkah kaki, dan juga kecepatannya dalam konteks lingkungan (karena tidak mungkin seseorang berlari atau berjalan perlahan, misalnya, di lingkungan kantor), maka memungkinkan untuk memastikan bahwa data yang diterima adalah asli.

Proyek ini menggunakan teknik beamforming untuk menghitung ToA, tetapi ekstraksi AoA lebih kompleks, memerlukan jaringan neural R-Net yang, lagi-lagi, menggunakan pembelajaran adversarial untuk menghitung jarak langkah kaki. Ini pada dasarnya sama dengan model jaringan neural sebelumnya, kecuali bahwa prediktor identitas digantikan dengan estimator jarak.

Akurasi

PURE diuji dalam berbagai lingkungan akustik, dan menggunakan berbagai kecepatan berjalan dalam jarak yang berbeda. Ketika jumlah orang yang membuat langkah kaki meningkat, akurasi secara alami menurun, begitu pula ketika kecepatan sumber langkah kaki multiple meningkat.

Namun, tergantung pada adaptasi domain, hasilnya selama 100 percobaan menemukan bahwa sistem dapat mengidentifikasi pengguna dari 3-5 langkah kaki dengan akurasi berkisar dari 90,73% hingga 96,53%; dari 2-3 langkah kaki dengan akurasi berkisar dari 88,16% hingga 95,92%; dan dari satu langkah kaki dengan akurasi berkisar dari 81,75% hingga 88,6%.

Peneliti memprediksikan kemungkinan aplikasi yang luas untuk PURE, karena biaya perangkat keras komoditas yang rendah, dan fakta bahwa itu juga outperforms sistem serupa dalam hal latensi dan akurasi, sambil menjadi tahan terhadap gangguan lingkungan dan serangan ulang.

Pertumbuhan Analisis Gait

Bidang penelitian mesin ini telah berfokus pada penglihatan komputer selama sepuluh tahun terakhir, dan menerima dorongan budaya ketika digunakan sebagai perangkat plot dalam Mission Impossible: Rogue Nation (2015).

Hingga saat ini, teknologi pengenalan gait telah diusulkan untuk digunakan dalam perawatan lansia, rehabilitasi pasca operasi, dan lebih kontroversial untuk penyajian iklan yang dipersonalisasi dalam lingkungan ritel, meskipun sistem seperti ini jelas memiliki potensi penggunaan untuk pemantauan karyawan di lingkungan yang aman.

Pada 2018, dilaporkan bahwa otoritas Tiongkok menggunakan analisis gait berbasis visi dari perusahaan pengembangan AI Watrix sebagai aspek dalam sistem pengawasan publik tertutup.

Pengenalan gait juga telah diimplementasikan dengan memantau reflektansi sinyal Wi-Fi.

Namun, semua pendekatan ini memiliki keterbatasan bawaan, baik memerlukan kondisi pencahayaan yang tidak dapat dijamin, pandangan yang tidak terhalang, peralatan khusus yang sangat mahal, kondisi lokal yang terlalu spesifik, atau peralatan yang dipakai tubuh, antara lain.