Inimkujutise süntees peegeldunud raadiolainetest

Hiina teadlased on välja töötanud meetodi, mis võimaldab sünteesida fotoreaalseid pilte inimestest ilma kaamerata, kasutades raadiolaineid ja Generatiivsed võistlusvõrgustikud (GAN-id). Nende välja töötatud süsteem on treenitud reaalsetele piltidele, mis on tehtud heas valguses, kuid on võimeline jäädvustama inimestest suhteliselt autentseid "hetkvõtteid" isegi pimedas – ja isegi suurte takistuste kaudu, mis varjaksid inimesi tavaliste kaamerate eest.

Kujutised põhinevad kahe raadioantenni soojuskaartidel, millest üks salvestab andmeid laest allapoole ja teine ​​raadiolainete häireid seisvast asendist.

Teadlaste kontseptsiooni tõestamise katsetest saadud fotodel on näotu J-Horrori aspekt:

RFGAN on koolitatud kontrollitud keskkondades reaalsete inimeste piltide ja inimtegevust salvestavate raadiolainete soojuskaartide kohta. Olles õppinud andmetest funktsioone, saab RFGAN luua uute raadiosagedusandmete põhjal hetktõmmiseid. Saadud pilt on ligikaudne, mis põhineb saadaolevate madala sagedusega RF-signaalide piiratud eraldusvõimel. See protsess toimib isegi pimedas keskkonnas ja läbi erinevate võimalike takistuste. Allikas: https://arxiv.org/pdf/2112.03727.pdf

GAN-i koolitamiseks, dubleeritud RFGAN, kasutasid teadlased standardse RGB-kaamera ja ühendatud vastavate raadiosoojuskaartide andmeid, mis loodi täpselt jäädvustamise hetkel. Sünteesitud inimeste kujutised kipuvad uues projektis olema sarnaselt varase Dagerrotüüpia fotograafiaga häguseks, kuna kasutatud raadiolainete eraldusvõime on väga madal, sügavuslahutusvõime on 7.5 cm ja nurkeraldusvõime umbes 1.3 kraadi.

Üleval GAN-võrku toidetud pilt – allpool kaks soojuskaarti, horisontaalne ja vertikaalne, mis iseloomustavad ruumis viibivat inimest ja mis sünteesitakse ise arhitektuuri sees häiritud andmete 3D-esitluseks.

Uus paberpealkirjaga RFGAN: RF-põhine inimese süntees, pärineb Hiina elektroonikateaduse ja -tehnoloogia ülikooli kuuelt teadurilt.

Andmed ja arhitektuur

Kuna puudusid varasemad andmestikud või projektid, mis seda ulatust jagasid, ja asjaolu, et RF-signaale ei ole varem GAN-i kujutise sünteesi raamistikus kasutatud, pidid teadlased välja töötama uudsed metoodikad.

RFGANi põhiarhitektuur.

Kahe soojuskaardi kujutiste tõlgendamiseks treeningu ajal kasutati adaptiivset normaliseerimist, et need vastaksid ruumiliselt jäädvustatud pildiandmetele.

RF-hõiveseadmed olid millimeeterlaine (mmWave) radarid, mis olid konfigureeritud kahe horisontaalse ja vertikaalse antennimassiivina. Ülekandmiseks kasutati sagedusmoduleeritud pidevlaine (FMCW) ja lineaarseid antenne.

Generaator võtab sisendkihina vastu lähtekaadri, kusjuures RF-sulatatud (soojuskaardi) esitus korraldab võrgu normaliseerimise teel konvolutsioonikihtide tasemel.

kuupäev

Andmed koguti RF-signaali peegeldustest mmWave'i antennilt sagedusel 20 Hz, kusjuures samaaegne inimese video jäädvustati väga madala kiirusega 10 kaadrit sekundis. Kuue vabatahtliku abil jäädvustati üheksa sisestseeni, kellest igaüks kandis andmete kogumise erinevatel seanssidel erinevat riietust.

Tulemuseks oli kaks erinevat andmekogumit, RF-aktiivsus ja RF-Walk, esimene sisaldab 68,860 XNUMX pilti erinevates positsioonides olevatest inimestest (nt kükitades ja kõndima) koos 137,760 67,860 vastava soojuskaardi raamiga; ja viimane sisaldab 135,720 XNUMX inimese juhuslikku kõndimisraami koos XNUMX XNUMX paari seotud soojuskaartidega.

Andmed jagunesid kokkuleppe kohaselt ebaühtlaselt koolituse ja testimise vahel, treenimiseks kasutati 55,225 110 pildikaadrit ja 450 320 soojuskaardi paari ning ülejäänud hoiti testimiseks tagasi. RGB-hõivekaadrite suurus muudeti 180 × 201-ni ja soojuskaartide suurust 160 × XNUMX-ni.

Seejärel koolitati mudelit Adamiga järjepideva õppimiskiirusega 0.0002 nii generaatori kui ka diskrimineerija jaoks, epohhil 80 ja (väga hõreda) partii suurusega 2. Koolitus toimus PyTorchi kaudu tarbijatasemel GTX tallal. -1080 GPU, mille 8gb VRAM-i peetaks sellise ülesande jaoks üldiselt üsna tagasihoidlikuks (selgitab väikese partii mahtu).

Kuigi teadlased kohandasid mõningaid tavapäraseid mõõdikuid väljundi realistlikkuse testimiseks (üksikasjalikult kirjeldatud artiklis) ja viisid läbi tavapärased ablatsioonitestid, ei olnud RFGAN-i jõudluse mõõtmiseks samaväärset eelnevat tööd.

Avatud huvi salasignaalide vastu

RFGAN ei ole esimene projekt, mis üritab kasutada raadiosagedusi ruumis toimuva mahulise pildi loomiseks. MIT CSAILi teadlased töötasid 2019. aastal välja arhitektuuri nimega RF-Avatar, võimeline 3D-inimeste rekonstrueerimine põhineb raadiosagedussignaalidel Wi-Fi levialas, rasketes oklusioonitingimustes.

MIT CSAIL projektis alates 2019. aastast kasutati raadiolaineid oklusioonide eemaldamiseks, sealhulgas seinte ja riiete eemaldamiseks, et taasluua jäädvustatud objektid traditsioonilisemas CGI-põhises töövoos. Allikas: https://people.csail.mit.edu/mingmin/papers/rf-avatar.pdf

Uue töö uurijad tunnustavad ka lõdvalt seotud varasemat tööd raadiolainete abil keskkonna kaardistamise alal (ükski neist ei ürita fotoreaalseid inimesi taasluua), mille eesmärk oli hinnata inimese kiirust; vaata läbi seinte WiFi-ga; hinnata inimese poose; ja ühtlane tunnevad ära inimese žeste, mitmete muude eesmärkide hulgas.

Ülekantavus ja laiem rakendatavus

Seejärel asusid teadlased uurima, kas nende avastus sobis liiga algse püüdmiskeskkonna ja treeningtingimustega, kuigi paberil on katse selle etapi kohta vähe üksikasju. Nad väidavad:

„Meie mudeli uude stseeni juurutamiseks ei pea me kogu mudelit algusest peale ümber õpetama. Sarnaste tulemuste saamiseks saame eelkoolitatud RFGAN-i peenhäälestada, kasutades väga vähe andmeid (umbes 40 sekundi andmeid).

Ja jätkake:

"Kaotuse funktsioonid ja hüperparameetrid on treeningfaasiga samad. Kvantitatiivsete tulemuste põhjal leiame, et eelkoolitatud RFGAN-mudel võib pärast peenhäälestamist luua uues stseenis soovitud inimtegevuse kaadreid, kasutades vaid väheseid andmeid, mis tähendab, et meie pakutud mudelil on potentsiaali laialdaseks kasutamiseks.

Tuginedes paberi üksikasjadele selle uue tehnika põhilise rakenduse kohta, pole selge, kas teadlaste loodud võrgustik on „sobiv” ainult algsetele katsealustele või kas RF-soojuskaardid suudavad tuletada selliseid üksikasju nagu riiete värv. , kuna see näib puudutavat kahte erinevat tüüpi sagedust, mis on seotud optiliste ja raadiohõivemeetoditega.

Mõlemal juhul on RFGAN uudne viis kasutada generatiivsete võistlevate võrgustike imiteerivaid ja esinduslikke jõude, et luua uus ja intrigeeriv jälgimisvorm – selline, mis võib potentsiaalselt toimida pimedas ja läbi seinte, veelgi muljetavaldavamal viisil kui hiljutised jõupingutused. juurde vaata ümaraid nurki peegeldunud valgusega.

8. detsember 2021 (esimese avaldamise päev), 8:04 GMT+2 – korduv sõna eemaldatud. – MA