AI Mengungkap Aktivitas Rahasia yang Diungkap oleh Dinding Kosong

Kolaborasi penelitian, termasuk kontributor dari NVIDIA dan MIT, telah mengembangkan metode pembelajaran mesin yang dapat mengidentifikasi orang-orang yang tersembunyi hanya dengan mengamati pencahayaan tidak langsung di dinding terdekat, bahkan ketika orang tersebut tidak berada di dekat sumber cahaya yang menerangi. Metode ini memiliki akurasi mendekati 94% ketika mencoba mengidentifikasi jumlah orang yang tersembunyi, dan juga dapat mengidentifikasi aktivitas spesifik orang yang tersembunyi dengan memperkuat pantulan cahaya secara besar-besaran yang tidak terlihat oleh mata manusia dan metode standar amplifikasi gambar.

Gangguan cahaya yang tak terlihat, diperkuat dengan metode baru, yang menggunakan jaringan saraf konvolusional untuk mengidentifikasi area perubahan. Sumber: https://www.youtube.com/watch?v=K4PapXyX-bI

Baru kertas berjudul Yang Dapat Anda Pelajari dengan Menatap Dinding Kosong, dengan kontribusi dari NVIDIA dan MIT, serta Institut Teknologi Israel.

Pendekatan sebelumnya untuk 'melihat di balik dinding' mengandalkan sumber cahaya yang dapat dikontrol, atau pengetahuan sebelumnya tentang sumber oklusi yang diketahui, sementara teknik baru ini dapat digeneralisasi ke ruangan baru mana pun, tanpa perlu kalibrasi ulang. Dua jaringan saraf konvolusional yang mengidentifikasi orang-orang tersembunyi menggunakan data yang diperoleh hanya dari 20 adegan.

Proyek ini ditujukan untuk situasi kritis keamanan berisiko tinggi, untuk operasi pencarian dan penyelamatan, tugas pengawasan penegakan hukum umum, skenario tanggap darurat, untuk deteksi jatuh di antara orang tua, dan sebagai sarana untuk mendeteksi pejalan kaki tersembunyi untuk kendaraan otonom.

Evaluasi Pasif

Seperti yang sering terjadi pada proyek visi komputer, tugas utamanya adalah mengidentifikasi, mengklasifikasikan, dan mengoperasionalkan perubahan keadaan yang dirasakan dalam aliran gambar. Penggabungan perubahan akan menghasilkan pola tanda tangan yang dapat digunakan untuk mengidentifikasi sejumlah individu atau untuk mendeteksi aktivitas satu atau lebih individu.

Karya tersebut membuka kemungkinan evaluasi pemandangan yang benar-benar pasif, tanpa perlu menggunakan permukaan reflektif, Sinyal Wi-Fi, radar, suara atau 'keadaan khusus' lainnya yang diperlukan dalam upaya penelitian lain dalam beberapa tahun terakhir yang berupaya untuk menetapkan keberadaan manusia yang tersembunyi di lingkungan yang berbahaya atau kritis.

Contoh skenario pengumpulan data yang digunakan dalam penelitian baru ini. Subjek diposisikan dengan hati-hati agar tidak menimbulkan bayangan atau menghalangi cahaya secara langsung, dan permukaan reflektif atau vektor 'curang' lainnya tidak diperbolehkan. Sumber: https://arxiv.org/pdf/2108.13027.pdf

Secara efektif, cahaya sekitar untuk skenario tipikal yang dipertimbangkan untuk aplikasi akan mengatasi gangguan kecil apa pun yang disebabkan oleh pantulan cahaya dari orang yang tersembunyi di tempat lain dalam pemandangan. Para peneliti menghitung bahwa kontribusi gangguan cahaya individu biasanya kurang dari 1% dari total cahaya tampak.

Menghilangkan Pencahayaan Statis

Untuk mengekstrak gerakan dari gambar dinding yang tampak statis, perlu dihitung rata-rata temporal video dan menghilangkannya dari setiap bingkai. Pola gerakan yang dihasilkan biasanya berada di bawah ambang batas noise, bahkan pada peralatan video berkualitas baik sekalipun, dan pada dasarnya sebagian besar gerakan terjadi dalam ruang piksel negatif.

Untuk memperbaiki ini, para peneliti menurunkan sampel video dengan faktor 16 dan meningkatkan rekaman yang dihasilkan dengan faktor 50, sambil menambahkan tingkat dasar abu-abu menengah untuk membedakan keberadaan piksel negatif (yang tidak dapat dipertanggungjawabkan oleh video dasar). kebisingan sensor).

Perbedaan antara dinding yang dirasakan manusia, dan gangguan yang diekstraksi dari individu yang tersembunyi. Karena kualitas gambar adalah masalah utama dalam penelitian ini, silakan lihat video resmi di akhir artikel untuk mendapatkan gambar dengan kualitas lebih tinggi.

Jendela kesempatan untuk merasakan gerakan sangat rapuh, dan dapat dipengaruhi bahkan oleh kedipan lampu pada frekuensi AC 60 Hz. Oleh karena itu gangguan alami ini juga harus dievaluasi dan dihapus dari rekaman sebelum gerakan yang disebabkan oleh manusia muncul.

Terakhir, sistem menghasilkan plot ruang-waktu yang menandakan sejumlah tertentu penghuni ruangan tersembunyi – tanda tangan visual yang terpisah:

Plot ruang-waktu tanda tangan yang mewakili jumlah orang tersembunyi yang berbeda di sebuah ruangan.

Aktivitas manusia yang berbeda juga akan mengakibatkan gangguan khas yang dapat diklasifikasikan dan kemudian dikenali:

Tanda tangan plot ruang-waktu untuk tidak aktif, berjalan, berjongkok, melambaikan tangan, dan melompat.

Untuk menghasilkan alur kerja otomatis berbasis pembelajaran mesin untuk pengenalan orang tersembunyi, rekaman bervariasi dari 20 skenario yang sesuai digunakan untuk melatih dua jaringan saraf yang beroperasi pada konfigurasi yang sangat mirip – satu untuk menghitung jumlah orang dalam sebuah adegan, dan yang lainnya untuk mengidentifikasi setiap gerakan yang terjadi.

pengujian

Para peneliti menguji sistem yang telah dilatih di sepuluh lingkungan dunia nyata yang belum pernah dilihat sebelumnya, yang dirancang untuk menciptakan kembali batasan yang diantisipasi untuk penerapan akhir. Sistem ini mampu mencapai akurasi hingga 94.4% (lebih dari 256 bingkai – biasanya lebih dari 8 detik video) dalam mengklasifikasikan jumlah orang yang tersembunyi, dan akurasi hingga 93.7% (dalam kondisi yang sama) dalam mengklasifikasikan aktivitas. Meskipun akurasi menurun seiring berkurangnya bingkai sumber, penurunannya tidak linear, dan bahkan 64 bingkai akan mencapai tingkat akurasi 79.4% untuk evaluasi 'jumlah orang' (dibandingkan hampir 95% untuk empat kali lipat jumlah bingkai).

Meskipun metode ini kuat terhadap perubahan pencahayaan berbasis cuaca, ia kesulitan dalam adegan yang diterangi oleh televisi, atau dalam keadaan di mana orang-orang mengenakan pakaian monoton dengan warna yang sama dengan dinding pantulan.

Rincian lebih lanjut dari penelitian, termasuk rekaman ekstraksi berkualitas lebih tinggi, dapat dilihat di video resmi di bawah ini.