Ihmisen kuvan synteesi heijastetuista radioaalloista

Kiinalaiset tutkijat ovat kehittäneet menetelmän, jolla voidaan syntetisoida lähes valokuvamaisia kuvia ihmisistä ilman kameroiden tarvetta, käyttäen radioaaltoja ja Generative Adversarial Networks (GANs) -tekniikkaa. Heidän kehittämänsä järjestelmä on koulutettu todellisilla kuvilla, jotka on otettu hyvissä valoolosuhteissa, mutta se pystyy kuvaamaan suhteellisen aidon “valokuvamaisen” otoksen ihmisistä, vaikka olosuhteet ovatkin pimeät – ja jopa suurten esteiden läpi, jotka piilottaisivat ihmiset perinteisiltä kameroilta.

Kuvat perustuvat “lämpökarttoihin” kahdesta radioantennista, joista toinen kerää tietoa katosta alaspäin ja toinen tallentaa radioaaltoperturbatioita “seisovasta” asemasta.

Tutkijoiden kokeellisen koehenkilön tulokset ovat kasvottomia, “J-Horror”-tyyppisiä:

RFGAN on koulutettu todellisilla kuvilla ihmisistä kontrolloiduissa ympäristöissä ja radioaaltolämpökarttoilla, jotka tallentavat ihmistoimintaa. Opettanut ominaisuuksia tiedoista, RFGAN voi sitten luoda valokuvamaisia otoksia uusien RF-tietojen perusteella. Tuloksena oleva kuva on approksimaatio, joka perustuu matalataajuisen RF-signaalin rajoitettuun resoluutioon. Tämä prosessi toimii jopa pimeissä ympäristöissä ja monien mahdollisten esteiden läpi. Lähde: https://arxiv.org/pdf/2112.03727.pdf

Kouluttaakseen GANin, jota kutsutaan RFGAN:ksi, tutkijat käyttivät yhdistettyjä tietoja standardista RGB-kamerasta ja vastaavista radioaaltolämpökartasta, jotka tuotettiin täsmälleen valokuvan ottamisen hetkellä. Syntetisoiduissa kuvissa uudessa projektissa ihmiset ovat usein sumearsia, samalla tavoin kuin varhaisissa Daguerreotype-valokuvissa, koska käytettyjen radioaaltojen resoluutio on hyvin alhainen, syvyyden resoluutiolla 7,5 cm ja kulman resoluutiolla noin 1,3 astetta.

Yllä, kuva joka syötetään GAN-verkkoon – alla, kaksi lämpökarttaa, vaaka- ja pystysuora, jotka luonnehtivat henkilöä huoneessa ja jotka syntetisoidaan itse arkkitehtuurissa 3D-representaatioksi häiriintyneistä tiedoista.

Uusi artikkeli, joka on nimeltään RFGAN: RF-pohjainen ihmisen synteesi, on peräisin kuudelta tutkijalta Kiinan Elektroniikan ja Tietotekniikan Yliopistosta.

Tiedot ja Arkkitehtuuri

Johtuen siitä, että aiemmin ei ollut olemassa mitään aiempaa tietokantoja tai projekteja, joilla oli sama laajuus, ja se, että RF-signaaleja ei ollut aiemmin käytetty GAN-kuvasynteesirungossa, tutkijoiden oli kehitettävä uusia menetelmiä.

RFGANin ydinarkkitehtuuri.

Adaptiivista normalisointia käytettiin tulkkaamaan kaksi lämpökarttaa koulutuksen aikana, jotta ne vastaavat tilallisesti tallennettujen kuvatietojen kanssa.

RF-kaappauslaitteet olivat millimetriaaltoisia (mmWave) radareita, jotka oli määritetty kahdeksi antennimatriisiksi, vaaka- ja pystysuoraksi. Taajuusmuuttuva jatkuva aalto (FMCW) ja lineaariset antennit käytettiin lähettämiseen ja vastaanottamiseen.

Generaattori saa lähdekehyksen syötteenä, ja RF-yhdistetty (lämpökartta) esitys ohjaa verkkoa normalisoinnin kautta konvoluutiokerrosten tasolla.

Tiedot

Tiedot kerättiin RF-signaalin heijastuksista mmWave-antennista vain 20 Hz:n taajuudella, samanaikaisesti kuin ihmisten video tallennettiin hyvin alhaisella 10 fps:llä. Yhdeksän sisätilakohtauksia tallennettiin, joissa kuusi vapaaehtoista osallistujaa osallistui, ja jokainen heistä puki eri vaatteita eri tietojenkeruussessioissa.

Tuloksena oli kaksi erillistä tietokantaa, RF-Toiminta ja RF-Kävely, joista ensimmäinen sisälsi 68 860 kuvaa ihmisistä eri asennoissa (kuten polvistunut ja kävelevä), yhdessä 137 760 vastaavan lämpökarttkehyksen kanssa; ja jälkimmäinen sisälsi 67 860 ihmisen satunnaisen kävelykehyksen, yhdessä 135 720 parin vastaavan lämpökartan kanssa.

Tiedot jaettiin epätasaisesti koulutus- ja testausjoukkoihin, joista 55 225 kuvakehykset ja 110 450 lämpökarttaparia käytettiin koulutukseen, ja loput pidettiin testaamiseen. RGB-kuvakehykset muunnettiin 320×180-kokoisiksi, ja lämpökartat muunnettiin 201×160-kokoisiksi.

Malli koulutettiin Adamilla tasaisella oppimisnopeudella 0,0002 sekä generaattorille että diskriminaattorille, 80 epochin ja (hyvin harvan) batch-koon 2. Koulutus tapahtui PyTorchilla kuluttajaluokan yksittäisellä GTX-1080-näytönohjaimella, jonka 8 Gt:n VRAM:ia pidettäisiin yleensä melko vaatimattomana tämänkaltaiselle tehtävälle (selittäen matalan batch-koon). Vaikka tutkijat sovelsivat joitakin perinteisiä mittareita tulosten realismin testaamiseen (yksityiskohtaisesti artikkelissa), ja suorittivat tavanomaiset ablaatiokokeet, ei ollut mitään vastaavaa aiempaa työtä, jota vasten RFGANin suorituskykyä voitiin mitata.

Avoin kiinnostus salattuihin signaaleihin

RFGAN ei ole ensimmäinen projekti, joka yrittää käyttää radiofrekvenssejä luomaan tilavuuskuva siitä, mitä tapahtuu huoneessa. Vuonna 2019 tutkijat MIT CSAIL:stä kehittivät arkkitehtuurin nimeltä RF-Avatar, joka pystyi rekonstruoimaan 3D-ihmisiä radiofrekvenssien avulla Wi-Fi-taajuudella, jopa voimakkaan peittävien olosuhteiden alla.

MIT CSAIL -projektissa vuonna 2019 radioaallot käytettiin poistamaan peittävyyksiä, jopa seiniä ja vaatteita, jotta voitiin rekonstruoida tallennetut kohteet perinteisemmässä CGI-pohjaisessa työvirrassa. Lähde: https://people.csail.mit.edu/mingmin/papers/rf-avatar.pdf

Uuden artikkelin tutkijat myöntävät myös löyhästi liittyvän aiemman työn ympäristön kartoittamisesta radioaalloilla (ei yrittänyt luoda fotorealistisia ihmisiä), joka pyrki arvioimaan ihmisen nopeutta; katso seinien läpi Wi-Fi:n avulla; arvioi ihmisen asentoja; ja jopa tunnisti ihmisen eleitä, muun muassa.

Siirtäminen ja laajempi soveltuvuus

Tutkijat asettivat sitten tarkastamaan, oliko heidän löytönsä ylikoulutettu alkuperäiseen tallennusympäristöön ja -olosuhteisiin, vaikka artikkeli tarjoaa vain vähän yksityiskohtia tästä kokeen vaiheesta. He väittävät:

‘Jotta voisimme ottaa mallimme käyttöön uudessa kohtauksessa, emme tarvitse kouluttaa koko mallia alusta alkaen. Voimme hienosäätää esikoulutettua RFGAN-mallia käyttäen hyvin vähän dataa (noin 40 sekunnin dataa) saadaksemme samanlaisia tuloksia.’