AI Mengungkap Aktivitas Rahasia yang Dibongkar oleh Dinding Kosong

Sebuah kolaborasi penelitian, termasuk kontributor dari NVIDIA dan MIT, telah mengembangkan metode pembelajaran mesin yang dapat mengidentifikasi orang-orang tersembunyi hanya dengan mengamati iluminasi tidak langsung pada dinding terdekat, bahkan ketika orang-orang tersebut tidak berada di dekat sumber cahaya. Metode ini memiliki akurasi hampir 94% ketika mencoba mengidentifikasi jumlah orang tersembunyi, dan juga dapat mengidentifikasi aktivitas spesifik dari orang tersembunyi dengan memperbesar cahaya yang tidak terlihat oleh mata manusia dan metode amplifikasi gambar standar.

Perubahan cahaya yang tidak terlihat, diperbesar oleh metode baru, yang menggunakan jaringan saraf konvolusional untuk mengidentifikasi area perubahan. Sumber: https://www.youtube.com/watch?v=K4PapXyX-bI

Makalah baru paper ini berjudul Apa yang Dapat Dipelajari dengan Menatap Dinding Kosong, dengan kontribusi dari NVIDIA dan MIT, serta Israel Institute of Technology.

Pendekatan sebelumnya untuk ‘melihat di sekitar dinding’ telah bergantung pada sumber cahaya yang dapat dikendalikan, atau pengetahuan sebelumnya tentang sumber oklusi yang diketahui, sedangkan metode baru ini dapat digeneralisasi ke ruangan baru mana pun, tanpa memerlukan kalibrasi ulang. Dua jaringan saraf konvolusional yang mengidentifikasi orang-orang tersembunyi menggunakan data yang diperoleh dari hanya 20 adegan.

Proyek ini ditujukan untuk situasi risiko tinggi, keamanan-kritis, untuk operasi pencarian dan penyelamatan, tugas pengawasan kepolisian umum, skenario respons darurat, untuk deteksi jatuh di antara orang tua, dan sebagai sarana untuk mendeteksi pejalan kaki tersembunyi untuk kendaraan otonom.

Evaluasi Pasif

Seperti yang sering terjadi dengan proyek penglihatan komputer, tugas sentral adalah mengidentifikasi, mengklasifikasikan, dan mengoperasikan perubahan keadaan yang dipersepsikan dalam aliran gambar. Menggabungkan perubahan ini menghasilkan pola tanda tangan yang dapat digunakan untuk mengidentifikasi jumlah individu atau mendeteksi aktivitas satu atau lebih individu.

Karya ini membuka kemungkinan evaluasi adegan pasif yang lengkap, tanpa perlu menggunakan permukaan reflektif, sinyal Wi-Fi, radar, suara atau ‘keadaan khusus’ lainnya yang diperlukan dalam upaya penelitian lainnya dalam beberapa tahun terakhir yang telah mencoba untuk menetapkan kehadiran manusia tersembunyi dalam lingkungan berbahaya atau kritis.

Skenario pengumpulan data contoh yang digunakan untuk penelitian baru. Subjek-subjek tersebut diposisikan dengan hati-hati untuk tidak menghasilkan bayangan atau menghalangi cahaya secara langsung, dan tidak ada permukaan reflektif atau vektor ‘curang’ lainnya yang diizinkan. Sumber: https://arxiv.org/pdf/2108.13027.pdf

Secara efektif, cahaya ambient untuk skenario yang dibayangkan untuk aplikasi akan mengalahkan perubahan kecil yang disebabkan oleh cahaya yang dipantulkan dari orang-orang tersembunyi di tempat lain dalam adegan. Para peneliti menghitung bahwa kontribusi gangguan cahaya dari individu-individu tersebut biasanya kurang dari 1% dari cahaya total yang terlihat.

Menghilangkan Pencahayaan Statis

Untuk mengekstrak gerakan dari gambar dinding yang tampaknya statis, perlu untuk menghitung rata-rata temporal dari video dan menghapusnya dari setiap bingkai. Pola pergerakan yang dihasilkan biasanya berada di bawah ambang kebisingan dari bahkan peralatan video berkualitas baik, dan sebenarnya sebagian besar gerakan terjadi dalam ruang piksel negatif.

Untuk mengatasi hal ini, para peneliti menurunkan sampel video dengan faktor 16 dan meningkatkan kembali footage yang dihasilkan dengan faktor 50, sambil menambahkan tingkat abu-abu tengah untuk membedakan kehadiran piksel negatif (yang tidak dapat diperhitungkan oleh kebisingan sensor video dasar).

Perbedaan antara dinding yang dipersepsikan oleh manusia, dan gangguan yang diekstrak dari individu tersembunyi. Karena kualitas gambar adalah masalah sentral dalam penelitian ini, silakan merujuk ke video resmi di akhir artikel untuk gambar dengan kualitas yang lebih tinggi.

Jendela kesempatan untuk mempersepsikan gerakan sangat rapuh, dan dapat dipengaruhi bahkan oleh kedipan cahaya pada frekuensi 60 Hz AC. Oleh karena itu, gangguan alami ini juga harus dievaluasi dan dihapus dari footage sebelum gerakan yang disebabkan oleh orang akan muncul.

Akhirnya, sistem ini menghasilkan plot ruang-waktu yang menandakan jumlah penghuni ruangan tersembunyi yang spesifik – tanda tangan visual diskrit:

Plot ruang-waktu tanda tangan yang mewakili jumlah orang tersembunyi di ruangan.

Aktivitas manusia yang berbeda juga akan menghasilkan gangguan tanda tangan yang dapat diklasifikasikan dan kemudian dikenali:

Plot ruang-waktu tanda tangan untuk tidak aktif, berjalan, berjongkok, mengangkat tangan, dan melompat.

Untuk menghasilkan alur kerja pembelajaran mesin otomatis untuk pengenalan orang tersembunyi, footage yang beragam dari 20 skenario yang sesuai digunakan untuk melatih dua jaringan saraf yang beroperasi pada konfigurasi yang secara umum sama – satu untuk menghitung jumlah orang dalam adegan, dan yang lain untuk mengidentifikasi gerakan yang terjadi.

Pengujian

Para peneliti menguji sistem yang dilatih dalam sepuluh lingkungan dunia nyata yang tidak terlihat yang dirancang untuk merekayasa keterbatasan yang diantisipasi untuk penerapan akhir. Sistem ini dapat mencapai akurasi hingga 94,4% (selama 256 bingkai – biasanya sekitar 8 detik video) dalam mengklasifikasikan jumlah orang tersembunyi, dan hingga 93,7% akurasi (dalam kondisi yang sama) dalam mengklasifikasikan aktivitas. Meskipun akurasi menurun dengan jumlah bingkai sumber yang lebih sedikit, itu tidak menurun secara linear, dan bahkan 64 bingkai akan mencapai tingkat akurasi 79,4% untuk evaluasi ‘jumlah orang’ (dibandingkan dengan hampir 95% untuk empat kali jumlah bingkai).

Meskipun metode ini tahan terhadap perubahan cuaca dalam pencahayaan, itu berjuang dalam adegan yang diterangi oleh televisi, atau dalam keadaan di mana orang-orang mengenakan pakaian monoton dengan warna yang sama dengan dinding reflektif.

Lebih banyak detail tentang penelitian, termasuk footage dengan kualitas yang lebih tinggi dari ekstraksi, dapat dilihat dalam video resmi di bawah.