Synthese von menschlichen Bildern aus reflektierten Radiowellen

Forscher aus China haben eine Methode entwickelt, um nahezu photorealistische Bilder von Menschen ohne Kameras zu synthesieren, indem sie Radiowellen und Generative Adversarial Networks (GANs) verwenden. Das von ihnen entwickelte System wurde auf realen Bildern trainiert, die unter guten Lichtverhältnissen aufgenommen wurden, aber es ist in der Lage, relativ authentische “Schnappschüsse” von Menschen zu erstellen, auch wenn die Bedingungen dunkel sind – und sogar durch große Hindernisse, die Menschen vor herkömmlichen Kameras verbergen würden.

Die Bilder basieren auf “Heatmaps” von zwei Radioantennen, einer, die Daten von der Decke aus aufnimmt, und einer anderen, die Radiowellen-Störungen aus einer “stehenden” Position aufzeichnet.

Die resultierenden Fotos aus den Proof-of-Concept-Experimenten der Forscher haben ein gesichtsloses, “J-Horror”-ähnliches Aussehen:

RFGAN wird auf Bildern realer Menschen in kontrollierten Umgebungen und auf Radiowellen-Heatmaps trainiert, die menschliche Aktivität aufzeichnen. Nachdem es Merkmale aus den Daten gelernt hat, kann RFGAN dann Schnappschüsse basierend auf neuen RF-Daten erstellen. Das resultierende Bild ist eine Approximation, basierend auf dem begrenzten Auflösungsvermögen der verfügbaren niedrigen Frequenz-RF-Signale. Dieser Prozess funktioniert sogar in dunklen Umgebungen und durch verschiedene mögliche Hindernisse. Quelle: https://arxiv.org/pdf/2112.03727.pdf

Um das GAN, genannt RFGAN, zu trainieren, verwendeten die Forscher abgestimmte Daten von einer Standard-RGB-Kamera und von den entsprechenden Radio-Heatmaps, die zum gleichen Zeitpunkt der Aufnahme erstellt wurden. Bilder von synthetisierten Menschen in dem neuen Projekt tendieren dazu, in einer Weise verschwommen zu sein, die der frühen Daguerreotypie-Photographie ähnelt, da die Auflösung der verwendeten Radiowellen sehr niedrig ist, mit einer Tiefenauflösung von 7,5 cm und einer Winkelauflösung von etwa 1,3 Grad.

Oben, das Bild, das dem GAN-Netzwerk zugeführt wird – unten, die beiden Heatmaps, horizontal und vertikal, die die Person im Raum charakterisieren und die selbst innerhalb der Architektur in eine 3D-Darstellung der gestörten Daten synthetisiert werden.

Der neue Artikel, betitelt RFGAN: RF-basierte menschliche Synthese, stammt von sechs Forschern der Universität für Elektronikwissenschaft und -technologie Chinas.

Daten und Architektur

Aufgrund des Fehlens von vorherigen Datensätzen oder Projekten, die diesen Umfang hatten, und der Tatsache, dass RF-Signale noch nie in einem GAN-Bildsynthese-Rahmen verwendet wurden, mussten die Forscher neue Methoden entwickeln.

Die Kernarchitektur von RFGAN.

Adaptive Normalisierung wurde verwendet, um die Zwillings-Heatmap-Bilder während des Trainings zu interpretieren, so dass sie räumlich mit den aufgenommenen Bildern übereinstimmen.

Die RF-Aufnahmegeräte waren Millimeterwellen-Radare, die als zwei Antennen-Arrays konfiguriert waren, horizontal und vertikal. Frequenzmodulierte kontinuierliche Wellen (FMCW) und lineare Antennen wurden für die Sendung und Empfang verwendet.

Der Generator erhält ein Quellbild als Eingabeschicht, wobei die RF-Heatmap-Darstellung das Netzwerk durch Normalisierung auf der Ebene der Konvolutions-Schichten orchestriert.

Daten

Die Daten wurden von RF-Signal-Reflexionen von der Millimeterwellen-Antenne bei einer Frequenz von nur 20 Hz gesammelt, wobei gleichzeitig menschliche Videos bei einer sehr niedrigen Bildfrequenz von 10 Bildern pro Sekunde aufgenommen wurden. Neun Innenräume wurden aufgenommen, wobei sechs Freiwillige teilnahmen, die jeweils unterschiedliche Kleidung für verschiedene Sitzungen der Datenerfassung trugen.

Das Ergebnis waren zwei verschiedene Datensätze, RF-Aktivität und RF-Gehen, wobei der erste 68.860 Bilder von Menschen in verschiedenen Positionen (wie Kniebeugen und Gehen) enthielt, zusammen mit 137.760 entsprechenden Heatmap-Rahmen; und der zweite 67.860 menschliche zufällige Geh-Rahmen enthielt, zusammen mit 135.720 Paaren von zugehörigen Heatmaps.

Die Daten wurden, wie üblich, ungleichmäßig zwischen Training und Testen aufgeteilt, wobei 55.225 Bildrahmen und 110.450 Heatmap-Paare für das Training verwendet wurden und der Rest für das Testen zurückgehalten wurde. RGB-Aufnahmeframe wurden auf 320×180 verkleinert und Heatmaps auf 201×160.

Das Modell wurde dann mit Adam bei einer konstanten Lernrate von 0,0002 für sowohl den Generator als auch den Diskriminator trainiert, bei einer Epoche von 80 und einer (sehr sparsamen) Batch-Größe von 2. Das Training fand über PyTorch auf einem Consumer-Level-Sole-GTX-1080-GPU statt, dessen 8 GB VRAM im Allgemeinen als sehr bescheiden für eine solche Aufgabe angesehen werden (was die niedrige Batch-Größe erklärt).

Obwohl die Forscher einige konventionelle Metriken zur Überprüfung der Realistik der Ausgabe adaptierten (im Artikel detailliert) und die üblichen Ablations-Tests durchführten, gab es keine gleichwertige Vorarbeit, gegen die die Leistung von RFGAN gemessen werden konnte.

Offenes Interesse an geheimen Signalen

RFGAN ist nicht das erste Projekt, das versucht, Radiofrequenzen zu verwenden, um ein volumetrisches Bild von dem zu erstellen, was in einem Raum passiert. Im Jahr 2019 entwickelten Forscher von MIT CSAIL eine Architektur namens RF-Avatar, die in der Lage war, 3D-Menschen basierend auf Radiofrequenz-Signalen im Wi-Fi-Bereich unter schweren Bedingungen von Okklusion zu rekonstruieren.

Im MIT-CSAIL-Projekt von 2019 wurden Radiowellen verwendet, um Okklusionen, einschließlich Wände und Kleidung, zu entfernen, um aufgenommene Subjekte in einem traditionelleren CGI-basierten Workflow zu rekonstruieren. Quelle: https://people.csail.mit.edu/mingmin/papers/rf-avatar.pdf

Die Forscher des neuen Artikels erkennen auch lose verwandte Vorarbeiten rund um die Umgebungsabbildung mit Radiowellen (keine davon versuchte, photorealistische Menschen zu rekonstruieren), die versuchten, menschliche Geschwindigkeit zu schätzen; siehe durch Wände mit Wi-Fi; menschliche Posen auswerten; und sogar menschliche Gesten erkennen, unter anderem.

Übertragbarkeit und breitere Anwendbarkeit

Die Forscher versuchten dann, zu sehen, ob ihre Entdeckung auf die anfängliche Aufnahmumgebung und die Trainingsumstände überjustiert war, obwohl der Artikel nur wenige Details zu dieser Phase des Experiments bietet. Sie behaupten:

‘Um unser Modell in einer neuen Szene zu deployen, müssen wir es nicht von vorne trainieren. Wir können das vorgefertigte RFGAN mit sehr wenig Daten (ca. 40 Sekunden Daten) feinjustieren, um ähnliche Ergebnisse zu erzielen.’

Und fahren fort:

‘Die Verlustfunktionen und Hyperparameter sind dieselben wie bei der Trainingsphase. Aus den quantitativen Ergebnissen können wir feststellen, dass das vorgefertigte RFGAN-Modell in der Lage ist, wünschenswerte menschliche Aktivitätsrahmen in der neuen Szene zu erzeugen, nachdem es mit nur wenig Daten feinjustiert wurde, was bedeutet, dass unser vorgeschlagenes Modell das Potenzial für eine breite Verwendung hat.’

Basierend auf den Details des Artikels über diese seminale Anwendung einer neuen Technik ist es nicht klar, ob das Netzwerk, das die Forscher erstellt haben, ‘fit-getrainiert’ ist, um ausschließlich die ursprünglichen Subjekte zu erkennen, oder ob RF-Heatmaps Details wie die Farbe der Kleidung ableiten können, da dies zwischen den beiden verschiedenen Arten von Frequenzen oszilliert, die an der optischen und Radioaufnahme beteiligt sind.

Wie auch immer, RFGAN ist eine neue Möglichkeit, die imitierenden und repräsentativen Kräfte von Generative Adversarial Networks zu nutzen, um eine neue und faszinierende Form der Überwachung zu schaffen – eine, die möglicherweise im Dunkeln und durch Wände operieren kann, auf eine Weise, die noch beeindruckender ist als jüngste Bemühungen, um Ecken mit reflektiertem Licht zu sehen.

8. Dezember 2021 (Tag der ersten Veröffentlichung), 20:04 Uhr GMT+2 – wiederholtes Wort entfernt. – MA