Synthese af menneskebillede fra reflekterede radiobølger

Forskere fra Kina har udviklet en metode til at syntetisere næsten fotorealistiske billeder af mennesker uden kameraer, ved at bruge radiobølger og Generative Adversarial Networks (GANs). Systemet, som de har udviklet, er trænet på virkelige billeder taget i godt lys, men er i stand til at fange relativt autentiske ‘snapshots’ af mennesker, selv når betingelserne er mørke – og selv gennem store forhindringer, som ville skjule menneskerne for konventionelle kameraer.

Billederne afhænger af ‘varme-kort’ fra to radiantenner, en som fanger data fra loftet ned, og en anden som optager radiobølge-forstyrrelser fra en ‘stående’ position.

De resulterende billeder fra forskernes proof-of-concept-eksperimenter har et ansigtsløst, ‘J-Horror’-aspekt:

RFGAN er trænet på billeder af virkelige mennesker i kontrollerede miljøer og på radiobølge-varme-kort, der optager menneskelig aktivitet. Efter at have lært funktioner fra data kan RFGAN derefter generere snapshots baseret på nye RF-data. Det resulterende billede er en approksimation, baseret på den begrænsede opløsning af de lave frekvens RF-signaler, der er tilgængelige. Denne proces virker, selv i mørklagte miljøer, og gennem en række potentielle forhindringer. Kilde: https://arxiv.org/pdf/2112.03727.pdf

Til at træne GAN, kaldet RFGAN, brugte forskerne matchet data fra et standard RGB-kamera og fra de samme radiobølge-varme-kort, der blev produceret på det præcise tidspunkt for optagelse. Billeder af syntetiserede mennesker i det nye projekt tenderer til at være udslettet på en måde, der ligner tidlige Daguerreotype-fotografier, fordi opløsningen af radiobølgerne, der bruges, er meget lav, med en dybdeopløsning på 7,5 cm og en vinkelopløsning på omkring 1,3 grader.

Ovenfor, billedet, der føres til GAN-netværket – nedenfor, de to varme-kort, horisontale og vertikale, der karakteriserer personen i rummet, og som syntetiseres selv inden for arkitekturen til en 3D-repræsentation af de forstyrrede data.

Den nye artikel, med titlen RFGAN: RF-baseret menneskesyntese, kommer fra seks forskere fra University of Electronic Science and Technology of China.

Data og Arkitektur

På grund af manglen på tidligere datasets eller projekter, der delte dette område, og det faktum, at RF-signaler ikke tidligere er blevet brugt i en GAN-billede-syntese-ramme, måtte forskerne udvikle nye metoder.

Kernearkitekturen af RFGAN.

Adaptiv normalisering blev brugt til at fortolke de to varme-kort-billeder under træning, så de korresponderer spatialt med de optagede billeddata.

RF-optageenhederne var millimeterbølge (mmWave)-radarer konfigureret som to antenne-arrays, horisontale og vertikale. Frequency Modulated Continuous Wave (FMCW) og lineære antenne-arrays blev brugt til transmission og modtagelse.

Generatoren modtager en kilde-billede som input-lag, med RF-fusioneret (varme-kort)-repræsentation, der orkestrerer netværket gennem normalisering på niveauet med convolutionelle lag.

Data

Data blev indsamlet fra RF-signal-refleksioner fra mmWave-antennen på en blot 20 Hz, med samtidig menneske-video optaget på en meget lav 10 fps. Ni indendørs-scener blev optaget, med seks frivillige, hver med forskellige klæder for forskellige sessioner af data-indsamlingen.

Resultatet var to distinkte datasets, RF-Aktivitet og RF-Gå, den første indeholdende 68.860 billeder af mennesker i varierende positioner (såsom knebøj og gå), sammen med 137.760 tilhørende varme-kort-rammer; og den sidste indeholdende 67.860 menneske-tilfældige gå-rammer, sammen med 135.720 par af tilhørende varme-kort.

Data, ifølge konvention, blev inddelt urent mellem træning og test, med 55.225 billed-rammer og 110.450 varme-kort-par brugt til træning, og resten holdt tilbage til test. RGB-billed-rammer blev ændret i størrelse til 320×180, og varme-kort ændret i størrelse til 201×160.

Modellen blev derefter trænet med Adam på en konstant læringsrate på 0,0002 for både generatoren og diskriminatoren, på en epoch på 80 og en (meget sparsom) batch-størrelse på 2. Træning fandt sted via PyTorch på en forbruger-niveau enkelt GTX-1080 GPU, hvis 8 GB VRAM generelt ville blive betragtet som ret beskedent til sådant et arbejde (forklarende den lave batch-størrelse).

Selv om forskerne tilpassede nogle konventionelle målinger til at teste realisme af output (detaljeret i artiklen), og gennemførte de sædvanlige ablations-tester, var der ingen tilsvarende tidligere arbejde, som kunne måle RFGANs præstation.

Åben interesse i hemmelige signaler

RFGAN er ikke det første projekt, der forsøger at bruge radiofrekvenser til at bygge en volumetrisk billed af, hvad der sker i et rum. I 2019 udviklede forskere fra MIT CSAIL en arkitektur kaldet RF-Avatar, der var i stand til at rekonstruere 3D-mennesker baseret på radiofrekvens-signaler i Wi-Fi-området, under svære betingelser af forhindring.

I MIT CSAIL-projektet fra 2019 blev radiobølger brugt til at fjerne forhindringer, selv inklusive vægge og tøj, for at genskabe optagede subjekter i en mere traditionel CGI-baseret arbejdsgang. Kilde: https://people.csail.mit.edu/mingmin/papers/rf-avatar.pdf

Forskerne bag den nye artikel erkender også løst relateret tidligere arbejde omkring miljø-kortlægning med radiobølger (ingen af dem forsøgte at genskabe fotorealistiske mennesker), der søger at estimere menneskelig hastighed; se gennem vægge med Wi-Fi; evaluere menneskelige stillinger; og endda genkende menneskelige gestus, blandt andre mål.

Overførbarhed og bredere anvendelighed

Forskerne satte derefter ud for at se, om deres opdagelse var over-tilpasset til den oprindelige optage-miljø og trænings-omstændigheder, selv om artiklen tilbyder få detaljer om denne fase af eksperimentet. De hævder:

‘For at implementere vores model i en ny scene, har vi ikke brug for at gen-træne hele modellen fra starten. Vi kan fin-justere den forhåndstrænede RFGAN ved hjælp af meget lidt data (omkring 40 sekunders data) for at få lignende resultater.’

Og fortsætter:

‘Tab-funktionerne og hyperparametrene er de samme som under trænings-stadiet. Fra de kvantitative resultater finder vi, at den forhåndstrænede RFGAN-model kan generere ønskværdige menneske-aktivitets-rammer i den nye scene efter fin-justering med kun lidt data, hvilket betyder, at vores foreslåede model har potentialet for at blive bredt anvendt.’

Basert på artiklens detaljer om denne seminale anvendelse af en ny teknik, er det ikke klart, om netværket, som forskerne har skabt, er ‘fit-trænet’ eksklusivt til de oprindelige subjekter, eller om RF-varme-kort kan slutte detaljer såsom farve af tøj, da dette synes at være en overgang mellem de to forskellige typer frekvenser, der er involveret i optisk og radiokaptur-metoder.

Uanset hvad, er RFGAN en ny måde at bruge de imiterende og repræsentative kræfter af Generative Adversarial Networks til at skabe en ny og interessant form for overvågning – en, der potentielt kan operere i mørke og gennem vægge, på en måde, der er endnu mere imponerende end seneste bestræbelser på at se rundt om hjørner med reflekteret lys.

8. december 2021 (dag for første udgivelse), 20:04 GMT+2 – fjernet gentaget ord. – MA