Yansıyan Radyo Dalgalarından İnsan Görüntüsü Sentezi

Çin'den araştırmacılar, radyo dalgalarını kullanarak insanların kamerası olmayan fotogerçekçi görüntülerini sentezlemek için bir yöntem geliştirdiler. Üretken Çekişmeli Ağlar (GAN'lar). Tasarladıkları sistem, iyi ışıkta çekilmiş gerçek görüntüler üzerinde eğitildi, ancak koşullar karanlık olduğunda ve hatta insanları geleneksel kameralardan gizleyecek büyük engellerin arasından bile insanların nispeten gerçekçi 'anlık görüntülerini' yakalayabiliyor.

Görüntüler, biri tavandan veri yakalayan ve diğeri "ayakta" bir konumdan radyo dalgası bozulmalarını kaydeden iki radyo anteninden alınan "ısı haritalarına" dayanıyor.

Araştırmacıların kavram kanıtı deneylerinden elde edilen fotoğrafların yüzsüz, 'J-Horror' yönü var:

RFGAN, kontrollü ortamlardaki gerçek insanların görüntüleri ve insan etkinliğini kaydeden radyo dalgası ısı haritaları üzerinde eğitilmiştir. Verilerden özellikleri öğrenen RFGAN, daha sonra yeni RF verilerine dayalı olarak anlık görüntüler oluşturabilir. Ortaya çıkan görüntü, mevcut düşük frekanslı RF sinyallerinin sınırlı çözünürlüğüne dayanan yaklaşık bir görüntüdür. Bu süreç, karanlık ortamlarda ve çeşitli potansiyel engellerin arasından bile çalışır. Kaynak: https://arxiv.org/pdf/2112.03727.pdf

GAN'ı eğitmek için RFGAN, araştırmacılar standart bir RGB kameradan ve tam yakalama anında üretilen birleştirilmiş karşılık gelen radyo ısı haritalarından eşleşen verileri kullandılar. Yeni projede sentezlenen insanların görüntüleri, erken dönem Dagerreyotipi fotoğrafçılığına benzer bir şekilde bulanık olma eğilimindedir, çünkü kullanılan radyo dalgalarının çözünürlüğü çok düşüktür, derinlik çözünürlüğü 7.5 cm ve açısal çözünürlüğü yaklaşık 1.3 derecedir.

Yukarıda, GAN ağına beslenen görüntü - aşağıda, odadaki kişiyi karakterize eden ve kendilerini mimari içinde bozulan verilerin 3 boyutlu bir temsilinde sentezleyen yatay ve dikey iki ısı haritası.

Yeni kâğıtbaşlıklı RFGAN: RF Tabanlı İnsan Sentezi, Çin Elektronik Bilimi ve Teknolojisi Üniversitesi'nden altı araştırmacıdan geliyor.

Veri ve Mimari

Bu kapsamı paylaşan önceki herhangi bir veri seti veya proje olmaması ve RF sinyallerinin daha önce bir GAN görüntü sentezi çerçevesinde kullanılmamış olması nedeniyle, araştırmacılar yeni metodolojiler geliştirmek zorunda kaldılar.

RFGAN'ın temel mimarisi.

Uyarlanabilir normalleştirme, eğitim sırasında ikiz ısı haritası görüntülerini yorumlamak için kullanıldı, böylece bunlar, yakalanan görüntü verileriyle uzamsal olarak karşılık geldi.

RF yakalama cihazları, yatay ve dikey olmak üzere iki anten dizisi olarak yapılandırılmış milimetre dalga (mmWave) radarlarıydı. Alıcı-verici için Frekans Modülasyonlu Sürekli Dalga (FMCW) ve lineer antenler kullanılmıştır.

Jeneratör, evrişimli katmanlar düzeyinde normalleştirme yoluyla ağı düzenleyen RF birleştirilmiş (ısı haritası) gösterimi ile bir girdi katmanı olarak bir kaynak çerçeve alır.

Veri

Veriler, mmWave anteninden yalnızca 20 hz'de RF sinyal yansımalarından toplandı ve eş zamanlı insan videosu çok düşük 10 fps'de yakalandı. Veri toplamanın çeşitli oturumları için her biri farklı giysiler giyen altı gönüllü kullanılarak dokuz iç mekan sahnesi çekildi.

Sonuç, iki farklı veri kümesiydi, RF Etkinliği ve RF Yürüyüşü68,860 kişinin çeşitli konumlardaki (örneğin çömelme ve yürümek), 137,760 karşılık gelen ısı haritası çerçevesiyle birlikte; ve ikincisi, 67,860 çift ilişkili ısı haritasıyla birlikte 135,720 insan rastgele yürüme çerçevesi içerir.

Geleneğe göre veriler, eğitim için kullanılan 55,225 görüntü çerçevesi ve 110 ısı haritası çifti ile eğitim ve test arasında eşit olmayan bir şekilde bölündü ve geri kalanı test için tutuldu. RGB yakalama çerçeveleri 450×320 olarak yeniden boyutlandırıldı ve ısı haritaları 180×201 olarak yeniden boyutlandırıldı.

Model daha sonra Adam ile hem üretici hem de ayrımcı için 0.0002'lik tutarlı bir öğrenme hızında, 80'lik bir çağda ve (çok seyrek) 2'lik bir parti boyutunda eğitildi. Eğitim, tüketici düzeyinde tek bir GTX üzerinde PyTorch aracılığıyla gerçekleştirildi. -1080 GPU, 8 gb VRAM'i genellikle böyle bir görev için oldukça mütevazı kabul edilir (düşük parti boyutunu açıklar).

Araştırmacılar, çıktının gerçekliğini test etmek için bazı geleneksel ölçümleri uyarlamış olsalar da (yazıda ayrıntılı olarak açıklanmıştır) ve geleneksel ablasyon testleri gerçekleştirmiş olsalar da, RFGAN'ın performansını ölçmek için daha önce yapılmış eşdeğer bir çalışma yoktu.

Gizli Sinyallere Açık İlgi

RFGAN, bir odada olup bitenlerin hacimsel bir resmini oluşturmak için radyo frekanslarını kullanmaya çalışan ilk proje değil. 2019'da MIT CSAIL'den araştırmacılar, adlı bir mimari geliştirdi. RF-Avatar, yapabilir 3D insanları yeniden inşa etmek şiddetli tıkanma koşulları altında Wi-Fi aralığındaki radyo frekansı sinyallerine dayalıdır.

2019'daki MIT CSAIL projesinde, yakalanan nesneleri daha geleneksel CGI tabanlı bir iş akışında yeniden oluşturmak için duvarlar ve giysiler dahil olmak üzere tıkanıklıkları gidermek için radyo dalgaları kullanıldı. Kaynak: https://people.csail.mit.edu/mingmin/papers/rf-avatar.pdf

Yeni makalenin araştırmacıları ayrıca, radyo dalgalarıyla (hiçbiri fotogerçek insanları yeniden yaratmaya çalışmıyor) çevre haritalama etrafında gevşek bir şekilde ilişkili önceki çalışmaları kabul ediyor. insan hızını tahmin et; görmek duvarlardan Wi-Fi ile; insan pozlarını değerlendir; ve hatta insan hareketlerini tanımak, diğer çeşitli hedeflerin yanı sıra.

Aktarılabilirlik ve Daha Geniş Uygulanabilirlik

Araştırmacılar daha sonra keşiflerinin ilk yakalama ortamına ve eğitim koşullarına fazla uyup uymadığını görmek için yola çıktılar, ancak makale deneyin bu aşaması hakkında birkaç ayrıntı sunuyor. İddia ediyorlar:

Modelimizi yeni bir sahnede konuşlandırmak için tüm modeli en baştan yeniden eğitmenize gerek yok. Benzer sonuçlar elde etmek için çok az veri (yaklaşık 40'lık veri) kullanarak önceden eğitilmiş RFGAN'da ince ayar yapabiliriz.'

Ve devam et:

'Kayıp fonksiyonları ve hiperparametreler, eğitim aşaması ile aynıdır. Kantitatif sonuçlardan, önceden eğitilmiş RFGAN modelinin, yalnızca çok az veriyle ince ayar yaptıktan sonra yeni sahnede arzu edilen insan etkinliği çerçevelerini oluşturabildiğini bulduk, bu da önerdiğimiz modelin yaygın olarak kullanılma potansiyeline sahip olduğu anlamına geliyor.'

Makalenin yeni bir tekniğin bu ufuk açıcı uygulamasıyla ilgili ayrıntılarına dayanarak, araştırmacıların oluşturduğu ağın yalnızca orijinal deneklere 'uyumlu' olup olmadığı veya RF ısı haritalarının giysi rengi gibi ayrıntıları çıkarsayıp çıkaramayacağı açık değil. , çünkü bu, optik ve radyo yakalama yöntemlerinde yer alan iki farklı frekans türünü birleştiriyor gibi görünüyor.

Her iki durumda da RFGAN, Üretici Düşman Ağlarının taklitçi ve temsili güçlerini yeni ve ilgi çekici bir gözetleme biçimi oluşturmak için kullanmanın yeni bir yoludur - potansiyel olarak karanlıkta ve duvarların ardından, son çabalardan bile daha etkileyici bir şekilde işleyebilen bir gözetleme. ile yansıyan ışıkla yuvarlak köşeleri görün.

8 Aralık 2021 (ilk yayın günü), 8:04pm GMT+2 – tekrarlanan kelime kaldırıldı. – MA