İnsan Görüntüsü Sentezi Reflekte Edilen Radyo Dalgalarından

Çin’den araştırmacılar, kameralar olmadan, radyo dalgaları ve Generative Adversarial Networks (GAN’ler) kullanarak insanların neredeyse fotoğrafik görüntülerini sentezleme yöntemi geliştirdiler. Geliştirdikleri sistem, iyi aydınlatılmış gerçek görüntüler üzerinde eğitilir, ancak karanlık koşullarda ve geleneksel kameraların peopleyi gizleyebilecek büyük engeller arkasında bile insanların oldukça otantik ‘anlık görüntülerini’ yakalayabilme yeteneğine sahiptir.

Görüntüler, iki radyo anteninden alınan ‘ısı haritalarına’ dayanır: biri tavana doğru veri toplar, diğeri ise ‘ayakta’ pozisyondan radyo dalgası bozulmalarını kaydeder.

Araştırmacıların kanıtlama amaçlı deneylerinin sonucu olan fotoğraflar, yüzsüz, ‘J-Horror’ benzeri bir görünüm sunar:

RFGAN, kontrol edilen ortamlardaki gerçek insan görüntülerine ve insan faaliyetini kaydeden radyo dalgası ısı haritalarına dayanarak eğitilir. Verilerden özellikler öğrenen RFGAN, daha sonra yeni RF verilerine dayanarak anlık görüntüler oluşturabilir. Sonuç, düşük frekanslı RF sinyallerinin sınırlı çözünürlüğüne dayanan bir yaklaşıktır. Bu işlem, karartılmış ortamlarda ve çeşitli potansiyel engellerde bile çalışır. Kaynak: https://arxiv.org/pdf/2112.03727.pdf

GAN’ı, yani RFGAN‘ı eğitmek için, araştırmacılar standart bir RGB kameradan ve aynı anda üretilen radyo ısı haritalarından eşleştirilmiş verileri kullandılar. Yeni projedeki sentezlenen insan görüntüleri, düşük çözünürlüklü radyo dalgalarının kullanıldığı için, erken Daguerreotype fotoğrafçılığına benzer bir şekilde bulanıklaşır; çünkü kullanılan radyo dalgalarının çözünürlüğü çok düşüktür, derinlik çözünürlüğü 7.5 cm ve açısal çözünürlüğü yaklaşık 1.3 derecedir.

Üstte, GAN ağına verilen görüntü – aşağıda, odadaki kişiyi karakterize eden ve mimarinin içinde bozulmuş verilerin 3D temsilini oluşturan yatay ve dikey ısı haritaları.

Yeni makale, RFGAN: RF Tabanlı İnsan Sentezi adlı altı Çin Elektronik Bilim ve Teknoloji Üniversitesi araştırmacısından gelir.

Veri ve Mimari

Bu kapsamda önceki hiçbir veri kümesi veya projenin olmaması ve RF sinyallerinin daha önce GAN görüntü sentezi çerçevesinde kullanılmaması nedeniyle araştırmacılar, yeni metodolojiler geliştirmek zorunda kaldılar.

RFGAN’ın temel mimarisi.

Eğitim sırasında, ikiz ısı haritalarını uzaysal olarak yakalanan görüntü verisiyle eşleştirmek için adaptif normalize etme kullanıldı.

RF yakalama cihazları, yatay ve dikey anten dizileri olarak yapılandırılan milimetre dalga (mmWave) radarlardı. Frekans Modüleli Sürekli Dalga (FMCW) ve lineer antenler iletim için kullanıldı.

Jeneratör, kaynak kareyi girdi katmanı olarak alır ve RF birleştirilmiş (ısı haritası) temsil, konvolüsyonel katman seviyesindeki normalize etme yoluyla ağı yönetir.

Veri

Veriler, mmWave anteninden sadece 20Hz’de alınan RF sinyal yansımalardan ve aynı anda çok düşük 10fps’de yakalanan insan videosundan toplandı. Altı gönüllü kullanan dokuz iç mekan sahnesi farklı oturumlar için çeşitli giysilerle kaydedildi.

Sonuç, RF-Activity ve RF-Walk adlı iki ayrı veri kümesiydi; ilki, çeşitli pozisyonlardaki (örneğin çömelme ve yürüme) insanların 68.860 görüntüsünü ve 137.760 karşılık gelen ısı haritası çerçevesini içerirken, ikincisi 67.860 insan rastgele yürüyüş çerçevesini ve 135.720 çift ilgili ısı haritasını içeriyordu.

Veriler, geleneksel olarak, 55.225 görüntü çerçevesi ve 110.450 ısı haritası çifti eğitim için, geri kalanı test için kullanılmak üzere eşitsiz bir şekilde bölündü. RGB yakalama çerçeveleri 320×180’e, ısı haritaları 201×160’e yeniden boyutlandırıldı.

Model, Adam ile tutarlı bir öğrenme oranıyla (0.0002) hem jeneratör hem de ayrımcı için, 80’inci epoch’ta ve çok düşük (2) bir toplu işleme boyutunda PyTorch aracılığıyla tek bir tüketici düzeyinde GTX-1080 GPU’sunda eğitildi; 8GB’lık VRAM, bu görev için genellikle oldukça mütevazı kabul edilir (düşük toplu işleme boyutunu açıklar).

Araştırmacılar, çıktı gerçekçiliğini test etmek için bazı geleneksel metriği uyarladılar (makalede ayrıntılı olarak açıklanmıştır) ve alışılagelmiş ablasyon testlerini gerçekleştirdiler, ancak RFGAN’ın performansını ölçmek için önceki bir çalışma bulunmuyordu.

Gizli Sinyallerdeki Açık İlgi

RFGAN, radyo frekanslarını kullanarak bir odadaki olayların hacimsel bir resmini oluşturmaya çalışan ilk proje değildir. 2019’da MIT CSAIL’den araştırmacılar, Wi-Fi aralığında radyo frekans sinyallerine dayanan ve 3D insanları yeniden oluşturabilen bir mimari geliştirdiler.

2019’daki MIT CSAIL projesinde, radyo dalgaları, duvarlar ve giysiler dahil engelleri kaldırmak için kullanıldı, böylece yakalanan konular daha geleneksel bir CGI tabanlı iş akışında yeniden oluşturulabildi. Kaynak: https://people.csail.mit.edu/mingmin/papers/rf-avatar.pdf

Araştırmacılar, radyo dalgalarıyla çevre haritalama (hiçbiri fotogerçekçi insanları yeniden oluşturmaya çalışmıyor) gibi ilgili önceki çalışmaları da kabul eder; bunlar, insan hızını tahmin etmeye; duvarların arkasından Wi-Fi ile; insan duruşlarını değerlendirmeye; ve hatta insan jestlerini tanımaya çalıştı.

Transfer Edilebilirlik ve Daha Geniş Uygulanabilirlik

Araştırmacılar, keşiflerinin ilk yakalama ortamına ve eğitim koşullarına özgü olup olmadığını görmek için bir deney yaptılar, ancak makale bu deneyin bu aşaması hakkında fazla ayrıntı vermez. Şunları iddia ederler:

‘Modelimizi yeni bir sahneye dağıtmak için, tüm modeli baştan eğitmeye gerek yoktur. Önceden eğitilmiş RFGAN’ı çok az veri (yaklaşık 40 saniye veri) kullanarak benzer sonuçlar elde etmek için ince ayarlayabiliriz.’

Ve devam eder:

‘Kayıp fonksiyonları ve hiperparametreler, eğitim aşamasıyla aynıdır. Nicel sonuçlardan, önceden eğitilmiş RFGAN modelinin, sadece biraz veri ile yeni bir sahnedeki insan faaliyeti çerçevelerini üretebildiğini görüyoruz, bu da önerdiğimiz modelin geniş bir şekilde kullanılabileceğini gösteriyor.’

Makalenin bu yeni tekniğin uygulamasına ilişkin ayrıntılarına dayanarak, araştırmacıların oluşturduğu ağın, orijinal konulara özgü ‘eğitilmiş’ olup olmadığı veya RF-ısı haritalarının giysi rengi gibi ayrıntıları çıkarıp çıkaramadığı net değildir, çünkü bu, optik ve radyo yakalama yöntemleri arasındaki iki farklı frekans türünü içerir.

Her halükarda, RFGAN, Generative Adversarial Networks’in taklit ve temsil güçlerini kullanarak, karanlıkta ve duvarların arkasında bile çalışabilen, hatta yansıtılan ışıkla köşelerin etrafını görmeye yönelik recent girişimlerden daha etkileyici bir şekilde working bir gözetim biçimi oluşturmak için yeni ve ilginç bir yol sunar.

8 Aralık 2021 (ilk yayımlanma günü), 20:04 GMT+2 – tekrar edilen kelime kaldırıldı. – MA