Sintesis Gambar Manusia dari Gelombang Radio yang Dipantulkan

Peneliti dari Cina telah mengembangkan metode untuk mensintesis gambar manusia yang hampir fotorealistis tanpa menggunakan kamera, dengan menggunakan gelombang radio dan Jaringan Adversarial Generatif (GAN). Sistem yang mereka kembangkan dilatih pada gambar nyata yang diambil dalam cahaya yang baik, tetapi mampu menangkap ‘snapshot’ manusia yang relatif autentik bahkan dalam kondisi gelap – dan bahkan melalui penghalang besar yang akan menyembunyikan orang dari kamera konvensional.

Gambar tersebut bergantung pada ‘peta panas’ dari dua antena radio, satu menangkap data dari atas ke bawah, dan lainnya merekam gangguan gelombang radio dari posisi ‘berdiri’.

Hasil foto dari eksperimen bukti konsep peneliti memiliki aspek ‘tanpa wajah’, seperti dalam film J-Horror:

RFGAN dilatih pada gambar orang nyata dalam lingkungan yang dikontrol dan pada peta panas gelombang radio yang merekam aktivitas manusia. Setelah mempelajari fitur dari data, RFGAN dapat menghasilkan snapshot berdasarkan data RF baru. Hasil gambar adalah perkiraan, berdasarkan resolusi rendah sinyal RF yang tersedia. Proses ini bekerja bahkan dalam lingkungan yang gelap, dan melalui berbagai penghalang potensial. Sumber: https://arxiv.org/pdf/2112.03727.pdf

Untuk melatih GAN, yang disebut RFGAN, peneliti menggunakan data yang cocok dari kamera RGB standar, dan dari peta panas gelombang radio yang dikonkatkan yang dihasilkan pada saat yang sama dengan pengambilan gambar. Gambar orang yang disintesis dalam proyek baru cenderung kabur dalam cara yang mirip dengan fotografi Daguerreotype awal, karena resolusi gelombang radio yang digunakan sangat rendah, dengan resolusi kedalaman 7,5cm, dan resolusi sudut sekitar 1,3 derajat.

Di atas, gambar yang diberikan ke jaringan GAN – di bawah, dua peta panas, horizontal dan vertikal, yang menggambarkan orang dalam ruangan, dan yang disintesis sendiri dalam arsitektur menjadi representasi 3D dari data yang diganggu.

Makalah baru ini, yang berjudul RFGAN: Sintesis Manusia Berbasis Gelombang Radio, berasal dari enam peneliti dari Universitas Ilmu Pengetahuan dan Teknologi Elektronik Cina.

Data dan Arsitektur

Karena tidak ada dataset atau proyek sebelumnya yang memiliki cakupan yang sama, dan fakta bahwa sinyal RF belum pernah digunakan sebelumnya dalam kerangka sintesis gambar GAN, peneliti harus mengembangkan metodologi baru.

Arsitektur inti RFGAN.

Normalisasi adaptif digunakan untuk menafsirkan gambar peta panas ganda selama pelatihan, sehingga mereka sesuai secara spasial dengan data gambar yang ditangkap.

Perangkat penangkap RF adalah radar gelombang milimeter (mmWave) yang dikonfigurasi sebagai dua array antena, horizontal dan vertikal. Frekuensi Modulasi Gelombang Kontinu (FMCW) dan antena linier digunakan untuk transmisi.

Generator menerima bingkai sumber sebagai lapisan input, dengan representasi peta panas RF yang mengatur jaringan melalui normalisasi pada level lapisan konvolusional.

Data

Data dikumpulkan dari refleksi sinyal RF dari antena gelombang milimeter pada frekuensi 20hz, dengan video manusia yang ditangkap secara bersamaan pada 10fps yang sangat rendah. Sembilan adegan indoor ditangkap, menggunakan enam relawan, masing-masing mengenakan pakaian yang berbeda untuk berbagai sesi pengumpulan data.

Hasilnya adalah dua dataset yang berbeda, RF-Activity dan RF-Walk, yang pertama berisi 68.860 gambar orang dalam berbagai posisi (seperti bersila dan berjalan), bersama dengan 137.760 bingkai peta panas yang sesuai; dan yang kedua berisi 67.860 bingkai berjalan acak manusia, bersama dengan 135.720 pasang peta panas yang terkait.

Data, sesuai dengan konvensi, dibagi secara tidak merata antara pelatihan dan pengujian, dengan 55.225 bingkai gambar dan 110.450 pasang peta panas digunakan untuk pelatihan, dan sisanya disimpan untuk pengujian. Bingkai tangkapan RGB diubah ukurannya menjadi 320×180, dan peta panas diubah ukurannya menjadi 201×160.

Model tersebut kemudian dilatih dengan Adam pada tingkat pembelajaran yang konsisten sebesar 0,0002 untuk generator dan diskriminator, pada epoch 80 dan ukuran batch yang sangat kecil sebesar 2. Pelatihan dilakukan melalui PyTorch pada GPU GTX-1080 konsumen yang memiliki 8gb VRAM, yang umumnya dianggap cukup modest untuk tugas tersebut (menjelaskan ukuran batch yang kecil).

Meskipun peneliti menyesuaikan beberapa metrik konvensional untuk menguji realisme output (terperinci dalam makalah), dan melakukan tes ablasio yang biasa, tidak ada pekerjaan sebelumnya yang setara untuk mengukur kinerja RFGAN.

Minat Terbuka dalam Sinyal Rahasia

RFGAN bukanlah proyek pertama yang mencoba menggunakan frekuensi radio untuk membangun gambar volumetrik tentang apa yang terjadi di sebuah ruangan. Pada 2019, peneliti dari MIT CSAIL mengembangkan arsitektur yang disebut RF-Avatar, yang mampu mengembalikan manusia 3D berdasarkan sinyal frekuensi radio dalam jangkauan Wi-Fi, di bawah kondisi penghalangan yang parah.

Dalam proyek MIT CSAIL pada 2019, gelombang radio digunakan untuk menghilangkan penghalangan, bahkan termasuk dinding dan pakaian, untuk merekreasikan subjek yang ditangkap dalam alur kerja CGI yang lebih tradisional. Sumber: https://people.csail.mit.edu/mingmin/papers/rf-avatar.pdf

Peneliti makalah baru juga mengakui pekerjaan sebelumnya yang terkait dengan pemetaan lingkungan menggunakan gelombang radio (tidak ada yang mencoba merekreasikan manusia yang fotorealistis), yang berusaha untuk mengestimasi kecepatan manusia; lihat melalui dinding dengan Wi-Fi; mengevaluasi pose manusia; dan bahkan mengenali gerakan manusia, di antara tujuan lainnya.

Transferabilitas dan Aplikasi yang Lebih Luas

Peneliti kemudian berusaha untuk melihat apakah penemuan mereka terlalu cocok untuk lingkungan dan keadaan pelatihan awal, meskipun makalah tersebut menawarkan sedikit detail tentang fase eksperimen ini. Mereka menyatakan:

‘Untuk menginstal model kami di adegan baru, kami tidak perlu melatih seluruh model dari awal. Kami dapat memperbarui RFGAN yang sudah dilatih menggunakan sedikit data (sekitar 40 detik data) untuk mendapatkan hasil yang sama.’

Dan melanjutkan:

‘Fungsi kerugian dan hiperparameter sama dengan tahap pelatihan. Dari hasil kuantitatif, kami menemukan bahwa model RFGAN yang sudah dilatih dapat menghasilkan bingkai aktivitas manusia yang diinginkan dalam adegan baru setelah memperbarui dengan sedikit data, yang berarti model yang kami usulkan memiliki potensi untuk digunakan secara luas.’

Berdasarkan detail makalah tentang aplikasi teknologi baru ini, tidak jelas apakah jaringan yang dibuat oleh peneliti ‘fit-trained’ secara eksklusif untuk subjek asli, atau apakah peta panas RF dapat menduga detail seperti warna pakaian, karena ini tampaknya memisahkan dua jenis frekuensi yang terlibat dalam metode penangkapan optik dan radio.

Bagaimanapun, RFGAN adalah cara baru menggunakan kekuatan imitasi dan representatif Jaringan Adversarial Generatif untuk menciptakan bentuk pengawasan baru – satu yang dapat beroperasi dalam kegelapan dan melalui dinding, dengan cara yang bahkan lebih mengesankan daripada upaya baru-baru ini untuk melihat sekitar sudut dengan cahaya yang dipantulkan.

8 Desember 2021 (hari pertama publikasi), 20:04 WIB+2 – menghapus kata yang berulang. – MA