İnsan Görüntüsü Sentezleme Yansıyan Radyo Dalgalarından

Çin’den araştırmacılar, kameralar olmadan, radyo dalgaları ve Generative Adversarial Networks (GANs) kullanarak insanların neredeyse fotoğrafik görüntülerini sentezleme yöntemi geliştirdiler. Geliştirdikleri sistem, iyi aydınlatılmış ortamlarda çekilen gerçek görüntülerle eğitilir, ancak karanlık koşullarda ve geleneksel kameraların görüntüleyemeyeceği büyük engeller arkasında bile insanların oldukça otantik ‘fotoğraflarını’ yakalayabilme özelliğine sahiptir.

Görüntüler, iki radyo antenden ‘ısı haritalarına’ dayanır, biri tavanın aşağısından veri yakalar, diğeri ise ‘ayakta’ pozisyondan radyo dalga bozulmalarını kaydeder.

Araştırmacıların kanıtlama amaçlı deneylerinin sonucu olan fotoğraflar, yüzsüz, ‘J-Horror’ benzeri bir görünüm sergiler:

RFGAN, gerçek insanların görüntülerine ve radyo dalgası ısı haritalarına dayalı olarak eğitilir ve insan faaliyetini kaydeder. Verilerden öğrenilen özelliklere dayanarak, RFGAN daha sonra yeni RF verilerine dayalı görüntüler oluşturabilir. Sonuç olan görüntü, düşük frekanslı RF sinyallerinin sınırlı çözünürlüğüne dayalı bir yaklaşımdır. Bu işlem karanlık ortamlarda ve çeşitli potansiyel engellerin arkasında da çalışır. Kaynak: https://arxiv.org/pdf/2112.03727.pdf

GAN’ı eğitmek için, RFGAN olarak adlandırılan araştırmacılar, standart bir RGB kameradan ve aynı anda üretilen ilgili radyo ısı haritalarından eşleştirilmiş verileri kullandılar. Yeni projedeki sentezlenen insanların görüntüleri, düşük çözünürlüklü radyo dalgalarının kullanılması nedeniyle, erken Daguerreotype fotoğrafçılığına benzer bir şekilde bulanıklaşır, çünkü kullanılan radyo dalgalarının çözünürlüğü çok düşüktür, 7.5 cm’lik bir derinlik çözünürlüğü ve yaklaşık 1.3 derecelik bir açısal çözünürlüğü vardır.

Üstte, GAN ağına verilen görüntü – altta, odadaki kişiyi karakterize eden ve mimari içinde bozulmuş verilerin 3D temsilini oluşturmak için kendiliğinden sentezlenen yatay ve dikey ısı haritaları.

Yeni makale, RFGAN: RF Tabanlı İnsan Sentezi olarak adlandırılmış ve Çin Elektronik Bilim ve Teknoloji Üniversitesi’nden altı araştırmacı tarafından yazılmıştır.

Veri ve Mimari

Bu kapsamda daha önce hiçbir veri kümesi veya proje olmadığından ve RF sinyallerinin daha önce GAN görüntü sentez çerçevesinde kullanılmadığından, araştırmacılar yeni metodolojiler geliştirmek zorunda kaldılar.

RFGAN’ın temel mimarisi.

Eğitim sırasında, ikiz ısı harita görüntülerini yorumlamak için uyarlanabilir normalize kullanıldı, böylece bunlar yakalanan görüntü verileri ile uzaysal olarak eşleşir.

RF yakalama cihazları, yatay ve dikey anten dizileri olarak yapılandırılan milimetre dalga (mmWave) radarlardı. Frekans Modüle Edilmiş Sürekli Dalga (FMCW) ve lineer antenler alıcı ve verici için kullanıldı.

Jeneratör, kaynak kareyi girdi katmanı olarak alır, RF birleştirilmiş (ısı haritası) temsil, normalleştirmeyiconvolutional katman seviyesinde ağa yön verir.

Veri

Veriler, mmWave antenden yalnızca 20Hz’de alınan RF sinyali yansımalardan ve aynı anda yakalanan insan videosundan toplandı. Dokuz iç mekan sahnesi, altı gönüllü kullanılarak ve her biri çeşitli veri toplama seanslarında farklı kıyafetler giyerek kaydedildi.

Sonuç, RF-Activity ve RF-Walk olarak adlandırılan iki ayrı veri kümesiydi, ilki 68.860 insan görüntüsünü (örneğin çömelme ve yürüme gibi) ve 137.760 ilgili ısı harita karesini, diğeri ise 67.860 insan rastgele yürüyüş karesini ve 135.720 çift ilgili ısı haritasını içeriyordu.

Veriler, geleneksel olarak, 55.225 görüntü karesi ve 110.450 ısı harita çifti eğitim için, geri kalanı ise test için kullanıldı. RGB yakalama kareleri 320×180’e, ısı haritaları ise 201×160’e yeniden boyutlandırıldı.

Model, Adam ile sabit bir öğrenme oranıyla (0.0002) hem jeneratör hem de ayrımcı için, 80 epoch ve çok düşük (2) bir toplu işleme boyutunda PyTorch kullanarak bir tüketici düzeyinde tek GTX-1080 GPU’da eğitildi. Eğitim, bu görev için oldukça mütevazı kabul edilen 8GB’lık VRAM ile gerçekleşti (düşük toplu işleme boyutunu açıklar).
Araştırmacılar, çıktı gerçekçiliğini test etmek için geleneksel bazı metriklere uyarlama yaptılar ve alışılmış abolisyon testlerini gerçekleştirdiler, ancak RFGAN’ın performansını ölçmek için önceki hiçbir çalışma bulunmuyordu.

Açık İlgi Gizli Sinyallerde

RFGAN, bir odadaki neler olup bittiğinin hacimsel bir resmini oluşturmak için radyo frekanslarını kullanmaya çalışan ilk proje değildir. 2019’da MIT CSAIL’den araştırmacılar, RF-Avatar olarak adlandırılan ve Wi-Fi aralığında radyo frekans sinyallerine dayalı olarak 3D insanları yeniden oluşturabilen bir mimari geliştirdiler.

MIT CSAIL projesinde, 2019’da radyo dalgaları, duvarlar ve kıyafetler dahil olmak üzere engelleri kaldırmak için kullanıldı, böylece geleneksel bir CGI tabanlı iş akışında yakalanan konular yeniden oluşturulabildi. Kaynak: https://people.csail.mit.edu/mingmin/papers/rf-avatar.pdf

Yeni makalenin yazarları, ayrıca, insanların hızını tahmin etmek; duvarların arkasından Wi-Fi ile; insan duruşlarını değerlendirmek; ve hatta insan jestlerini tanımak gibi çeşitli diğer hedeflere yönelik ilgili önceki çalışmaları da kabul eder.

Transfer Edilebilirlik ve Daha Geniş Uygulanabilirlik

Araştırmacılar, keşiflerinin ilk yakalama ortamına ve eğitim koşullarına aşırı uyarlanıp uyarlanmadığını görmek için bir deney gerçekleştirdiler, ancak makale bu deneyin bu aşaması hakkında fazla ayrıntı vermez. İddia ederler:

‘Modelimizi yeni bir sahneye dağıtmak için, tüm modeli baştan eğitmeye gerek yok. Çok az veri (yaklaşık 40 saniye veri) kullanarak önceden eğitilmiş RFGAN’ı ince ayarlayarak benzer sonuçlar elde edebiliriz.’