Синтеза на човечка слика од рефлектираните радио бранови

Истражувачи од Кина развија метод за синтетизирање блиску фотореални слики на луѓе без камери, со користење на радио бранови и Генеративни противнички мрежи (ГАН). Системот што го смислија е обучен на реални слики направени со добра светлина, но е способен да сними релативно автентични „снимки“ од луѓе дури и кога условите се темни - па дури и преку големи пречки што би ги сокриле луѓето од конвенционалните камери.

Сликите се потпираат на „топлински карти“ од две радио антени, едната снима податоци од таванот надолу, а другата снима пертурбации на радио брановите од „стоечка“ положба.

Фотографиите кои произлегуваат од експериментите за докажување на концептот на истражувачите имаат безличен, „J-Horror“ аспект:

RFGAN е обучен за слики на вистински луѓе во контролирани средини и на топлински мапи на радио бранови кои ја снимаат човечката активност. Откако ги научи карактеристиките од податоците, RFGAN потоа може да генерира снимки врз основа на нови RF податоци. Добиената слика е приближна, базирана на ограничената резолуција на достапните RF сигнали со ниска фреквенција. Овој процес работи дури и во затемнети средини и преку различни потенцијални пречки. Извор: https://arxiv.org/pdf/2112.03727.pdf

Да се ​​обучи ГАН, наречен RFGAN, истражувачите користеа соодветни податоци од стандардна RGB камера и од поврзаните соодветни радио топлински мапи кои беа произведени во точниот момент на снимање. Сликите на синтетизираните луѓе во новиот проект имаат тенденција да бидат заматени на начин сличен на фотографијата од раниот Дагеротип, бидејќи резолуцијата на користените радио бранови е многу ниска, со длабинска резолуција од 7.5 см и аголна резолуција од околу 1.3 степени.

Погоре, сликата се внесува во мрежата GAN - долу, двете мапи на топлина, хоризонтална и вертикална, кои ја карактеризираат личноста во просторијата, и кои самите се синтетизираат во архитектурата во 3D приказ на нарушените податоци.

Нови хартија, со наслов RFGAN: Човечка синтеза базирана на RF, доаѓа од шест истражувачи од Универзитетот за електронска наука и технологија во Кина.

Податоци и архитектура

Поради недостаток на какви било претходни збирки на податоци или проекти кои го делеле овој опсег и фактот што RF сигналите претходно не биле користени во рамката за синтеза на слики GAN, истражувачите мораа да развијат нови методологии.

Основната архитектура на RFGAN.

Прилагодливата нормализација беше искористена за интерпретација на двојните топлинска карта за време на тренингот, така што тие просторно кореспондираат со податоците од снимените слики.

Уредите за снимање RF беа радари со милиметарски бранови (mmWave) конфигурирани како две антени низи, хоризонтални и вертикални. За пренос се користеа фреквентно модулиран континуиран бран (FMCW) и линеарни антени.

Генераторот добива изворна рамка како влезен слој, со RF споена (топлинска карта) претстава која ја оркестрира мрежата преку нормализација на ниво на конволуционите слоеви.

податоци

Податоците беа собрани од рефлексиите на RF сигналот од антената mmWave на само 20 Hz, со симултано човечко видео снимено со многу ниски 10 fps. Беа снимени девет сцени во затворен простор, користејќи шест волонтери, од кои секоја носеше различна облека за различни сесии на собирањето податоци.

Резултатот беше две различни групи на податоци, RF-Активност RF-Прошетка, првата содржи 68,860 слики на луѓе на различни позиции (како на пр клеча одиме), заедно со 137,760 соодветни рамки за топлинска карта; а вториот содржи 67,860 човечки случајни рамки за одење, заедно со 135,720 пара поврзани топлински мапи.

Податоците, според конвенцијата, беа нерамномерно поделени помеѓу обуката и тестирањето, со 55,225 рамки за слики и 110 парови на топлинска карта користени за обука, а останатите се задржани за тестирање. Рамките за снимање RGB беа променети на 450 × 320, а големината на топлинските карти на 180 × 201.

Моделот потоа беше обучен со Адам со постојана стапка на учење од 0.0002 и за генераторот и за дискриминаторот, во епоха од 80 и (многу ретка) големина на серии од 2. Обуката се одвиваше преку PyTorch на единствен GTX на ниво на потрошувачи -1080 GPU, чии 8 GB VRAM генерално би се сметале за прилично скромни за таква задача (објаснувајќи ја малата големина на серијата).

Иако истражувачите приспособија некои конвенционални метрики за тестирање на реализмот на излезот (детално во трудот) и ги спроведоа вообичаените тестови за аблација, немаше еквивалентна претходна работа според која би можеле да се измерат перформансите на RFGAN.

Отворен интерес за тајни сигнали

RFGAN не е првиот проект кој се обидува да користи радиофреквенции за да изгради волуметриска слика за тоа што се случува во просторијата. Во 2019 година, истражувачите од MIT CSAIL развија архитектура наречена RF-Аватар, способен за реконструкција на 3D луѓе врз основа на радиофреквентни сигнали во опсегот на Wi-Fi, при тешки услови на оклузија.

Во проектот MIT CSAIL од 2019 година, радио брановите беа користени за отстранување на оклузии, дури и вклучувајќи ѕидови и облека, со цел да се рекреираат снимените предмети во потрадиционален работен тек базиран на CGI. Извор: https://people.csail.mit.edu/mingmin/papers/rf-avatar.pdf

Истражувачите на новиот труд, исто така, ја признаваат лабаво поврзаната претходна работа околу мапирањето на животната средина со радио бранови (ниту еден од нив не се обидува да рекреира фотореални луѓе), што се обиде да проценете ја брзината на човекот; види низ ѕидови со Wi-Fi; процени човечки пози; и дури препознава човечки гестови, меѓу разни други цели.

Преносливост и поширока применливост

Истражувачите потоа тргнаа да видат дали нивното откритие е премногу приспособено на првичното опкружување за снимање и околностите за обука, иако трудот нуди малку детали за оваа фаза од експериментот. Тие тврдат:

„За да го распоредиме нашиот модел во нова сцена, не треба да го преквалификуваме целиот модел од самиот почеток. Можеме да го прилагодиме претходно обучениот RFGAN користејќи многу малку податоци (околу податоци од 40-тите) за да добиеме слични резултати.'

И продолжи:

„Функциите за загуба и хиперпараметрите се исти со фазата на тренирање. Од квантитативните резултати, откриваме дека претходно обучениот RFGAN модел може да генерира пожелни рамки за човечка активност во новата сцена по фино подесување со само малку податоци, што значи дека нашиот предложен модел има потенцијал да биде широко користен.'

Врз основа на деталите на трудот за оваа семинална примена на нова техника, не е јасно дали мрежата што ја создадоа истражувачите е „обучена“ исклучиво за оригиналните субјекти или дали RF-топлинските карти можат да заклучат детали како бојата на облеката , бидејќи се чини дека ова ги опфаќа двата различни типа на фреквенции вклучени во методите за оптичко и радио снимање.

Како и да е, RFGAN е нов начин за користење на имитативните и репрезентативните моќи на Generative Adversarial Networks за да се создаде нова и интригантна форма на надзор - онаа што потенцијално би можела да работи во темнина и низ ѕидови, на начин уште поимпресивен од неодамнешните напори до види тркалезни агли со рефлектирана светлина.

8 декември 2021 година (ден на првото објавување), 8:04 часот по Гринич+2 – отстранет повторениот збор. – М-р