AI Mengungkap Aktivitas Rahasia yang Dibocorkan oleh Dinding Kosong

Kolaborasi penelitian, termasuk kontributor dari NVIDIA dan MIT, telah mengembangkan metode pembelajaran mesin yang dapat mengidentifikasi orang tersembunyi hanya dengan mengamati iluminasi tidak langsung pada dinding terdekat, bahkan ketika orang-orang tidak berada di dekat sumber cahaya. Metode ini memiliki akurasi hampir 94% dalam mengidentifikasi jumlah orang tersembunyi, dan juga dapat mengidentifikasi aktivitas spesifik dari orang tersembunyi dengan memperbesar kilatan cahaya yang tidak terlihat oleh mata manusia dan metode amplifikasi gambar standar.

Gangguan cahaya yang tidak terlihat, diperbesar oleh metode baru, yang menggunakan jaringan saraf konvolusi untuk mengidentifikasi area perubahan. Sumber: https://www.youtube.com/watch?v=K4PapXyX-bI

Makalah baru ini berjudul Apa yang Dapat Dipelajari dengan Menatap Dinding Kosong, dengan kontribusi dari NVIDIA dan MIT, serta Institut Teknologi Israel.

Pendekatan sebelumnya untuk ‘melihat di sekitar dinding’ telah bergantung pada sumber cahaya yang dapat dikendalikan, atau pengetahuan sebelumnya tentang sumber oklusi yang diketahui, sedangkan metode baru ini dapat digeneralisasi ke ruangan baru mana pun, tanpa memerlukan kalibrasi ulang. Dua jaringan saraf konvolusi yang mengidentifikasi orang tersembunyi menggunakan data yang diperoleh dari hanya 20 adegan.

Proyek ini ditujukan untuk situasi keamanan yang berisiko tinggi, untuk operasi pencarian dan penyelamatan, tugas pengawasan kepolisian umum, skenario respons darurat, untuk deteksi jatuh di antara orang tua, dan sebagai sarana untuk mendeteksi pejalan kaki tersembunyi untuk kendaraan otonom.

Evaluasi Pasif

Seperti yang sering terjadi dengan proyek penglihatan komputer, tugas utama adalah mengidentifikasi, mengklasifikasikan, dan mengoperasikan perubahan keadaan yang dipersepsikan dalam aliran gambar. Menggabungkan perubahan tersebut menghasilkan pola tanda tangan yang dapat digunakan untuk mengidentifikasi jumlah individu atau mendeteksi aktivitas satu atau lebih individu.

Penelitian ini membuka kemungkinan evaluasi adegan pasif sepenuhnya, tanpa perlu menggunakan permukaan reflektif, sinyal Wi-Fi, radar, suara atau kondisi khusus lainnya yang diperlukan dalam upaya penelitian lainnya dalam beberapa tahun terakhir yang telah berusaha untuk menetapkan kehadiran manusia tersembunyi dalam lingkungan yang berbahaya atau kritis.

Skenario pengumpulan data contoh yang digunakan untuk penelitian baru. Subjek diposisikan dengan hati-hati untuk tidak menghasilkan bayangan atau menghalangi cahaya secara langsung, dan tidak ada permukaan reflektif atau vektor ‘curang’ lainnya yang diizinkan. Sumber: https://arxiv.org/pdf/2108.13027.pdf

Secara efektif, cahaya ambient untuk skenario yang diantisipasi untuk aplikasi akan mengalahkan gangguan cahaya minor yang disebabkan oleh cahaya yang dipantulkan dari orang-orang yang tersembunyi di tempat lain dalam adegan. Peneliti menghitung bahwa kontribusi gangguan cahaya dari individu akan biasanya kurang dari 1% dari cahaya total yang terlihat.

Menghilangkan Pencahayaan Statis

Untuk mengekstrak gerakan dari gambar dinding yang tampaknya statis, perlu dihitung rata-rata temporal dari video dan menghapusnya dari setiap bingkai. Pola gerakan yang dihasilkan biasanya berada di bawah ambang batas kebisingan dari bahkan peralatan video berkualitas baik, dan sebenarnya sebagian besar gerakan terjadi dalam ruang piksel negatif.

Untuk mengatasi hal ini, peneliti menurunkan sampel video dengan faktor 16 dan meningkatkan kembali footage yang dihasilkan dengan faktor 50, sambil menambahkan tingkat abu-abu tengah untuk membedakan kehadiran piksel negatif (yang tidak dapat dihitung oleh kebisingan sensor video dasar).

Perbedaan antara dinding yang dilihat manusia, dan gangguan yang diekstrak dari individu tersembunyi. Karena kualitas gambar adalah masalah utama dalam penelitian ini, silakan merujuk ke video resmi di akhir artikel untuk gambar yang lebih berkualitas.

Jendela kesempatan untuk memahami gerakan sangat rapuh, dan dapat dipengaruhi bahkan oleh kedipan cahaya pada frekuensi 60 Hz AC. Oleh karena itu, gangguan alami ini juga harus dievaluasi dan dihapus dari footage sebelum gerakan yang disebabkan oleh orang akan muncul.

Akhirnya, sistem menghasilkan plot waktu-ruang yang menandakan jumlah penghuni kamar tersembunyi – tanda tangan visual diskrit:

Plot waktu-ruang tanda tangan yang mewakili jumlah orang tersembunyi yang berbeda dalam sebuah ruangan.

Aktivitas manusia yang berbeda juga akan menghasilkan gangguan tanda tangan yang dapat diklasifikasikan dan kemudian dikenali:

Plot waktu-ruang tanda tangan untuk tidak aktif, berjalan, berjongkok, mengangkat tangan, dan melompat.

Untuk menghasilkan alur kerja pembelajaran mesin otomatis untuk pengenalan orang tersembunyi, footage yang beragam dari 20 skenario yang sesuai digunakan untuk melatih dua jaringan saraf yang beroperasi pada konfigurasi yang secara umum sama – satu untuk menghitung jumlah orang dalam sebuah adegan, dan yang lain untuk mengidentifikasi gerakan yang terjadi.

Pengujian

Peneliti menguji sistem yang dilatih dalam sepuluh lingkungan dunia nyata yang tidak terlihat yang dirancang untuk merekayasa keterbatasan yang diantisipasi untuk penerapan akhir. Sistem ini dapat mencapai akurasi hingga 94,4% (dalam 256 bingkai – biasanya hanya lebih dari 8 detik video) dalam mengklasifikasikan jumlah orang tersembunyi, dan hingga 93,7% akurasi (dalam kondisi yang sama) dalam mengklasifikasikan aktivitas. Meskipun akurasi menurun dengan jumlah bingkai yang lebih sedikit, itu tidak menurun secara linier, dan bahkan 64 bingkai akan mencapai tingkat akurasi 79,4% untuk ‘jumlah-orang’ evaluasi (dibandingkan dengan hampir 95% untuk empat kali jumlah bingkai).

Meskipun metode ini robust terhadap perubahan cuaca, itu berjuang dalam adegan yang diterangi oleh televisi, atau dalam keadaan di mana orang-orang mengenakan pakaian monoton yang sama dengan warna dinding yang memantulkan.

Lebih banyak detail penelitian, termasuk footage yang lebih berkualitas dari ekstraksi, dapat dilihat dalam video resmi di bawah.