Sintésis Gambar Manusa Tina Gelombang Radio Reflected

Panaliti ti Cina parantos ngembangkeun metode pikeun nyintésis gambar fotoréal caket jalma tanpa kaméra, nganggo gelombang radio sareng Jaringan Adversarial Generatif (GAN). Sistem anu aranjeunna ciptakeun dilatih dina gambar nyata anu dicandak dina cahaya anu saé, tapi mampuh nyandak 'snapshots' manusa anu rélatif otentik sanajan kaayaan poék - komo ngaliwatan halangan utama anu bakal nyumputkeun jalma tina kaméra konvensional.

Gambar-gambar ngandelkeun 'peta panas' tina dua anteneu radio, hiji nyandak data tina siling ka handap, sareng anu sanésna ngarékam gangguan gelombang radio tina posisi 'ngadeg'.

Poto anu dihasilkeun tina percobaan bukti-of-konsép panalungtik boga faceless, aspék 'J-Horror':

RFGAN dilatih dina gambar jalma nyata dina lingkungan anu dikontrol sareng dina peta gelombang radio anu ngarékam kagiatan manusa. Sanggeus diajar fitur tina data, RFGAN lajeng bisa ngahasilkeun snapshots dumasar kana data RF anyar. Gambar anu dihasilkeun mangrupa perkiraan, dumasar kana resolusi kawates sinyal RF frékuénsi low sadia. Prosés ieu jalan sanajan di lingkungan darkened, sarta ngaliwatan rupa-rupa halangan poténsial. Sumber: https://arxiv.org/pdf/2112.03727.pdf

Pikeun ngalatih GAN, dijuluki RFGAN, para panalungtik ngagunakeun data anu cocog tina kaméra RGB standar, sareng tina heatmaps radio anu saluyu anu dihijikeun anu dihasilkeun dina waktos anu pasti. Gambar jalma anu disintésis dina proyék anyar condong kabur dina cara anu sami sareng fotografi Daguerreotype awal, sabab résolusi gelombang radio anu dianggo rendah pisan, kalayan résolusi jero 7.5cm, sareng résolusi sudut sakitar 1.3 derajat.

Luhur, gambar fed kana jaringan Gan - handap, dua heatmaps, horizontal sarta vertikal, nu characterize jalma di kamar, jeung nu disintésis sorangan jero arsitektur kana ngagambarkeun 3D tina data perturbed.

nu anyar keretas, judulna RFGAN: RF-Dumasar Sintésis Manusa, asalna ti genep peneliti ti Universitas Élmu Elektronik jeung Téhnologi Cina.

Data jeung Arsitéktur

Kusabab kurangna set data atanapi proyék sateuacana anu ngabagi ruang lingkup ieu, sareng kanyataan yén sinyal RF henteu acan dianggo sateuacanna dina kerangka sintésis gambar GAN, panalungtik kedah ngembangkeun metodologi novel.

Arsitéktur inti RFGAN.

Normalisasi adaptif ieu dipaké pikeun napsirkeun gambar heatmap kembar salila latihan, ambéh maranéhanana pakait spasial jeung data gambar direbut.

Alat néwak RF nyaéta radar gelombang milimeter (mmWave) anu dikonpigurasikeun salaku dua susunan anteneu, horizontal sareng vertikal. Frequency Modulated Continuous Wave (FMCW) sareng anteneu linier dianggo pikeun transceiving.

Generator narima pigura sumber salaku lapisan input, kalawan RF lebur (heatmap) ngagambarkeun orchestrating jaringan ngaliwatan normalisasi dina tingkat lapisan convolutional.

data

Data dikumpulkeun tina pantulan sinyal RF tina anteneu mmWave ngan ukur 20hz, sareng pidéo manusa sakaligus dicandak dina 10fps pisan. Salapan pamandangan jero ruangan ditéwak, ngagunakeun genep sukarelawan, anu masing-masing ngagem baju anu béda pikeun sagala rupa sési pangumpulan data.

Hasilna nyaéta dua set data anu béda, RF-Kagiatan jeung RF-Leumpang, urut ngandung 68,860 gambar jalma dina posisi béda (sapertos squat jeung leumpang), bareng jeung 137,760 pigura heatmap nu saluyu; sarta dimungkinkeun ngandung 67,860 pigura leumpang acak manusa, bareng jeung 135,720 pasang heatmaps pakait.

Data, numutkeun konvénsi, dibagi henteu rata antara latihan sareng uji, kalayan 55,225 pigura gambar sareng 110, 450 pasang peta panas anu dianggo pikeun latihan, sareng sésana ditahan pikeun uji. Pigura newak RGB ukuranana jadi 320×180, sarta heatmaps ukuranana jadi 201×160.

Modél ieu teras dilatih sareng Adam dina laju diajar anu konsisten 0.0002 pikeun generator sareng diskriminator, dina jaman 80 sareng ukuran bets (pisan jarang) 2. Latihan lumangsung via PyTorch dina GTX tunggal tingkat konsumen. -1080 GPU, anu 8gb of VRAM bakal umumna dianggap rada modest pikeun tugas sapertos (ngajelaskeun ukuran bets low).

Padahal panalungtik diadaptasi sababaraha metrics konvensional pikeun nguji realisme kaluaran (wincik dina kertas), sarta ngalaksanakeun tés ablation adat, euweuh gawé sarimbag saméméhna ngalawan nu keur ngukur kinerja RFGAN.

Buka Minat dina Sinyal Rahasia

RFGAN sanes proyék munggaran anu nyobian nganggo frekuensi radio pikeun ngawangun gambar volumetrik ngeunaan naon anu lumangsung di kamar. Dina 2019 peneliti ti MIT CSAIL ngembangkeun hiji arsitéktur disebut RF-Avatar, sanggup ngarekonstruksikeun manusa 3D dumasar kana sinyal frékuénsi radio dina rentang Wi-Fi, dina kaayaan occlusion parna.

Dina proyék MIT CSAIL ti 2019, gelombang radio dianggo pikeun ngaleungitkeun halangan, bahkan kalebet témbok sareng baju, pikeun nyiptakeun deui subjek anu direbut dina alur kerja dumasar CGI anu langkung tradisional. Sumber: https://people.csail.mit.edu/mingmin/papers/rf-avatar.pdf

Panaliti makalah anyar ogé ngaku padamelan sateuacana anu aya hubunganana sareng pemetaan lingkungan kalayan gelombang radio (henteu aya anu nyobian nyiptakeun deui manusa fotoréal), anu narékahan pikeun estimasi laju manusa; tingali ngaliwatan tembok kalawan Wi-Fi; meunteun pose manusa; komo mikawanoh gestures manusa, diantara rupa-rupa tujuan séjén.

Transferability na Lega Applicability

Para panalungtik teras angkat pikeun ningali naha panemuanna langkung pas kana lingkungan néwak awal sareng kaayaan latihan, sanaos makalah nawiskeun sababaraha detil ngeunaan fase percobaan ieu. Aranjeunna negeskeun:

'Pikeun nyebarkeun modél urang dina adegan anyar, urang henteu kedah ngalatih deui sadayana modél ti mimiti. Urang tiasa nyaluyukeun RFGAN anu tos dilatih nganggo sakedik data (kira-kira 40an data) pikeun kéngingkeun hasil anu sami.'

Sareng teraskeun:

'Fungsi leungitna sarta hyperparameters sarua jeung tahap latihan. Tina hasil kuantitatif, urang mendakan yén modél RFGAN anu tos dilatih tiasa ngahasilkeun pigura kagiatan manusa anu dipikahoyong dina pamandangan énggal saatos nyéépkeun kalayan ngan ukur sakedik data, anu hartosna modél anu diajukeun urang ngagaduhan poténsi pikeun dianggo sacara lega.'

Dumasar kana detil tulisan ngeunaan aplikasi mani tina téknik anyar ieu, éta henteu écés naha jaringan anu diciptakeun ku panalungtik nyaéta 'cocog-dilatih' sacara éksklusif pikeun subjek asli, atanapi naha RF-heatmaps tiasa nyimpulkeun detil sapertos warna pakéan. , sabab ieu sigana nyéépkeun dua jinis frékuénsi anu béda dina padika optik sareng radio.

Barina ogé, RFGAN mangrupakeun cara novél ngagunakeun kakuatan imitative jeung wakil tina Generative Adversarial Networks pikeun nyieun bentuk panjagaan anyar jeung intriguing - hiji anu berpotensi beroperasi dina poék jeung ngaliwatan tembok, dina cara malah leuwih impressive ti usaha panganyarna. ka tingali juru buleud kalayan cahaya reflected.

8 Désémber 2021 (poé publikasi munggaran), 8:04 GMT+2 - ngaleungitkeun kecap anu diulang. – MA