Креирање окружења за неуралну претрагу и спасавање уз помоћ Мега-НеРФ-а

Нова истраживачка сарадња између Царнегие Меллон-а и компаније за технологију аутономне вожње Арго АИ развила је економичну методу за генерисање динамичких пролазних окружења заснованих на Неурал Радианце Фиелдс (НеРФ), користећи снимке снимљене дроновима.

Мега-НеРФ нуди интерактивне летове засноване на снимцима дронова, са ЛОД-ом на захтев. За више детаља (у бољој резолуцији), погледајте видео који је уграђен на крају овог чланка. Извор: Мега-НеРФ-Фулл – Руббле Флитхроугх  – хттпс://ввв.иоутубе.цом/ватцх?в=т_кфРмЗтР7к

Нови приступ, назван Мега-НеРФ, постиже 40к убрзање у поређењу са просечним стандардом рендеровања Неурал Радианце Фиелдс, као и нуди нешто значајно другачије од стандарда резервоари и храмови који се понављају у новим НеРФ радовима.

Нови папир је насловљен Мега-НеРФ: Скалабилна конструкција НеРФ-ова великих размера за виртуелне пролазе, и долази од три истраживача у Царнегие Меллон, од којих један такође представља Арго АИ.

Моделирање НеРФ пејзажа за потрагу и спасавање

Аутори сматрају да је тражење и спасавање (САР) вероватно оптималан случај употребе њихове технике. Када процењују САР пејзаж, беспилотне летелице су тренутно ограничене и пропусним опсегом и ограничењима трајања батерије, и стога обично нису у могућности да добију детаљну или свеобухватну покривеност пре него што се врате у базу, у ком тренутку су њихови прикупљени подаци преобраћен на статичне 2Д карте из ваздуха.

Аутори наводе:

„Ми замишљамо будућност у којој неуронско приказивање подиже ову анализу у 3Д, омогућавајући тимовима за реаговање да прегледају терен као да лете дроном у реалном времену на нивоу детаља који је далеко изнад могућег са класичном структуром из покрета ( СфМ).'

Задатак са овим случајем употребе, аутори су настојали да створе сложен модел заснован на НеРФ-у који се може обучити у току једног дана, с обзиром да се очекивани животни век преживелих у операцијама трагања и спасавања смањује до 80% током прва 24 сата.

Аутори примећују да су скупови података за снимање дроном неопходни за обуку Мега-НеРФ модела 'редови величине' већи од стандардног скупа података за НеРФ, и да капацитет модела мора бити знатно већи него у подразумеваној вилици или деривату НеРФ-а. Поред тога, интерактивност и истраживост су од суштинског значаја у карти терена за претрагу и спасавање, док стандардни НеРФ рендери у реалном времену очекују много ограниченији опсег унапред израчунатих могућих кретања.

Завади па владај

Да би се позабавили овим проблемима, аутори су креирали алгоритам геометријског груписања који задатак дели на подмодуле и ефективно креира матрицу суб-НеРФ-ова који се обучавају истовремено.

У тренутку рендеровања, аутори такође имплементирају алгоритам за визуелизацију тачно на време који је довољно осетљив да омогући пуну интерактивност без претеране претходне обраде, слично начину на који видео игре повећавају детаље на ставкама како се приближавају кориснику. гледишта, али који остају на мањем нивоу уштеде енергије и када су у даљини.

Ове економије, тврде аутори, воде ка бољим детаљима од претходних метода које покушавају да се баве веома широким предметним областима у интерактивном контексту. У смислу екстраполације детаља из видео снимака ограничене резолуције, аутори такође примећују визуелно побољшање Мега-НеРФ-а у односу на еквивалентну функционалност у ПленОцтреес УЦ Беркелеи.

Пројектно коришћење уланчаних суб-НеРФ-ова засновано је на КилоНеРФ-овима могућности рендеровања у реалном времену, признају аутори. Међутим, Мега-НеРФ одступа од овог приступа тако што заправо изводи 'схардинг' (дискретно скандирање аспеката сцене) током тренинга, а не КилоНеРФ-ов приступ постпроцесирању, који узима већ израчунату НеРФ сцену и касније је трансформише у истражну простор.

За подмодуле се креира дискретни скуп за обуку, који се састоји од пиксела слике за обуку чија путања може да се протеже кроз ћелију коју представља. Сходно томе, сваки модул се обучава потпуно одвојено од суседних ћелија. Извор: хттпс://аркив.орг/пдф/2112.10703.пдф

Аутори Мега-НеРФ карактеришу као 'преформулација НеРФ архитектуре која разграничава везе слојева на просторно свестан начин, олакшавајући побољшања ефикасности током тренинга и времена рендеровања'.

Концептуално поређење обуке и дискретизације података у НеРФ-у, НеРФ++и Мега-НеРФ. Извор: хттпс://меганерф.цмусатиалаб.орг/

Аутори тврде да Мега-НеРФ-ова употреба нових стратегија временске кохерентности избегава потребу за прекомерном претходном обрадом, превазилази суштинска ограничења на скали и доноси виши ниво детаља од претходних сличних радова, без жртвовања интерактивности или потребе за вишедневном обуком .

Истраживачи такође стављају на располагање велике скупове података који садрже хиљаде слика високе дефиниције добијених из снимака дронова који су снимили преко 100,000 квадратних метара земљишта око индустријског комплекса. Два доступна скупа података су 'зграда' 'Руббле'.

Побољшање претходног рада

Лист напомиње да су претходни напори на сличан начин, укључујући СнеРГ, ПленОцтрее и ФастНеРФ, сви се ослањају на неку врсту кеширања или пре-процесирања која додаје рачунске и/или временске трошкове који нису погодни за креирање виртуелних окружења за претрагу и спасавање.

Док КилоНеРФ изводи суб-НеРФ-ове из постојеће колекције вишеслојних перцептрона (МЛП), он је архитектонски ограничен на унутрашње сцене са ограниченом проширивости или капацитетом за решавање окружења већег обима. ФастНеРФ, у међувремену, складишти 'печену', унапред израчунату верзију НеРФ модела у наменску структуру података и омогућава крајњем кориснику да се креће кроз њу преко наменског МЛП-а, или путем рачунања сферне основе.

У сценарију КилоНеРФ, максимална резолуција сваког аспекта у сцени је већ израчуната и већа резолуција неће бити доступна ако корисник одлучи да 'зумира'.

Насупрот томе, НеРФ++ може природно да рукује неограниченим, спољашњим окружењима тако што ће потенцијални простор за истраживање поделити на регионе предњег и позадинског, од којих је сваки надгледан наменским МЛП моделом, који врши преливање зрака пре коначне композиције.

Коначно, НеРФ у дивљини, који се не бави директно неограниченим просторима, ипак побољшава квалитет слике у Пхототоурисм датасет, а његов изглед уграђивања су праћени у архитектури за Мега-НеРФ.

Аутори такође признају да је Мега-НеРФ инспирисан пројектима структуре из покрета (СфМ), посебно Вашингтонског универзитета Изградња Рима за један дан пројекат.

Темпорал Цохеренце

Као и ПленОцтрее, Мега-НеРФ унапред израчунава груби кеш боја и непрозирност у региону тренутног фокуса корисника. Међутим, уместо да сваки пут рачуна путање које се налазе у близини израчунате путање, као што то чини ПленОцтрее, Мега-НеРФ „чува“ и поново користи ове информације дељењем израчунатог стабла, пратећи растући тренд да се раздвоји НеРФ-ов чврсто везани бонтон за обраду. .

На левој страни, ПленОцтрее-ов прорачун за једнократну употребу. У средини, Мега-НеРФ-ова динамичка експанзија октостабла, у односу на тренутну позицију проласка. Тачно, октрее се поново користи за каснију навигацију.

Ова економичност израчунавања, према ауторима, значајно смањује оптерећење обраде коришћењем калкулација у лету као локалног кеша, уместо да их процењује и кешује све унапред, према недавној пракси.

Вођено узорковање

Након почетног узорковања, у складу са досадашњим стандардним моделима, Мега-НеРФ спроводи другу рунду вођеног узорковања зрака након прецизирања октрее, како би побољшао квалитет слике. За ово, Мега-НеРФ користи само један пролаз базиран на постојећим тежинама у структури података октрее.

Као што се може видети на слици изнад, из новог рада, стандардно узорковање троши ресурсе за прорачун тако што процењује превелику количину циљне области, док Мега-НеРФ ограничава прорачуне засноване на знању о томе где је геометрија присутна, пригушујући прорачуне изнад претходног. -поставити праг.

Подаци и обука

Истраживачи су тестирали Мега-НеРФ на различитим скуповима података, укључујући два претходно поменута, ручно израђена сета преузета са снимака дронова изнад индустријског тла. Први скуп података, Млин 19 – Зграда, садржи снимке снимљене на површини од 500 к 250 квадратних метара. Друга, Млин 19 – Шљунак, представља сличан снимак снимљен на суседном градилишту, у који су истраживачи поставили лутке које представљају потенцијалне преживеле у сценарију потраге и спасавања.

Из додатног материјала за рад: Лево, квадранти које треба покрити Дрон Папагај Анафи (на слици центар, а у даљини на десној фотографији).

Поред тога, архитектура је тестирана на неколико сцена из УрбанСцене3Д, из Центра за истраживање визуелног рачунарства на Универзитету Шенжен у Кини, који се састоји од ХД снимака великих урбаних средина снимљених дроном; анд тхе Куад 6к скуп података, из лабораторије ИУ Цомпутер Висион Лаб Универзитета Индијана.

Обука се одвијала преко 8 подмодула, сваки са 8 слојева од 256 скривених јединица, и накнадним РеЛУ слојем од 128 канала. За разлику од НеРФ-а, исти МЛП је коришћен за испитивање грубих и рафинираних узорака, смањујући укупну величину модела и дозвољавајући поновну употребу грубих мрежних излаза у следећој фази рендеровања. Аутори процењују да се тиме штеди 25% упита модела за сваки зрак.

1024 зрака узорковано је по групи под Адамом са почетном брзином учења од 5×10⁴, опадајући на 5×10^-5. Уграђивање изгледа је обрађено на исти начин као и горе поменуто НеРФ у дивљини. Мешовита прецизност узорковања (тренинг са нижом прецизношћу од 32-битног помичног зареза) је коришћен, а ширина МЛП-а је фиксирана на 2048 скривених јединица.

Тестирање и резултати

У тестовима истраживача, Мега-НеРФ је био у стању да снажно надмаши НеРФ, НеРФ++ и ДеепВиев након обуке за 500,000 итерација у горе поменутим скуповима података. Пошто је Мега-НеРФ циљни сценарио временски ограничен, истраживачи су споријим претходним оквирима дозволили додатно време преко границе од 24 сата и извештавају да их је Мега-НеРФ и даље надмашио, чак и с обзиром на ове предности.

Коришћени показатељи су били вршни однос сигнал-шум (ПСНР) Је ВГГ верзија ЛПИПС-а, и ССИМ. Обука се одвијала на једној машини опремљеној са осам В100 ГПУ-а – ефективно, на 256 ГБ ВРАМ-а и 5120 Тенсор језгара.

Резултати узорака из Мега-НеРФ експеримената (погледајте рад за проширене резултате у свим оквирима и скуповима података) показују да ПленОцтрее изазива значајну вокселизацију, док КилоНеРФ производи артефакте и генерално мутније резултате.

Страница пројекта је на https://meganerf.cmusatyalab.org/, а ослобођени код је на https://github.com/cmusatyalab/mega-nerf.

Први пут објављено 21. децембра 2021.