Noul CGI: Crearea de Cartiere Neuronale cu Block-NeRF

Câmpurile de Radianță Neuronală (NeRF) permit recrearea și explorarea obiectelor în interiorul rețelelor neuronale, utilizând doar fotografii din multiple puncte de vedere, fără complexitatea și costul metodelor tradiționale de CGI.

Cu toate acestea, procesul este computațional scump, ceea ce a limitat inițial mediile NeRF la scenarii de model de masă. Cu toate acestea, NeRF a fost adoptat de o comunitate de cercetare dedicată, care a permis, în ultimul an, reconstrucții exterioare, precum și oameni neurali editabili, precum și multe alte inovații.

Același lucru este valabil și pentru o nouă inițiativă de cercetare, care include participarea Google Research, care recunoaște posibilele limite dure pentru optimizarea NeRF și se concentrează în schimb pe coaserea mediilor NeRF pentru a crea cartiere la cerere, compuse din multiple instanțe NeRF coordonate.

Punct de vedere dintr-o rețea Block-NeRF de NeRF-uri legate. Vezi videoul încorporat la sfârșitul articolului și, de asemenea, linkul sursă pentru videouri suplimentare de înaltă rezoluție. Sursă: https://waymo.com/research/block-nerf/

Navigarea eficientă a rețelei de NeRF-uri legate face ca NeRF să fie scalabil și modular, oferind medii navigabile care încarcă părți suplimentare ale cartierului pe măsură ce sunt necesare, într-un mod similar cu metodele de optimizare a resurselor din jocurile video, unde ceea ce se află în spatele colțului este rareori încărcat până când devine clar că mediul va fi necesar.

Într-un efort major de a descompune aspecte separate, cum ar fi vremea și ora, Block-NeRF introduce, de asemenea, “coduri de apariție”, permițând schimbarea dinamică a orei zilei:

Schimbarea orei zilei cu Block-NeRF. Vezi videoul încorporat la sfârșitul articolului și, de asemenea, linkul sursă pentru videouri suplimentare de înaltă rezoluție. Sursă: https://waymo.com/research/block-nerf/

Noul articol sugerează că optimizarea NeRF se apropie de limita sa termică și că implementările viitoare ale mediilor de radianță neurală în realitatea virtuală, alte tipuri de sfere interactive și lucrări VFX vor depinde probabil de operațiuni paralele, similare cu modul în care Legea lui Moore a dat în cele din urmă loc arhitecturilor multi-nucleare, optimizărilor paralele și abordărilor noi de caching.

Autorii articolului (intitulat Block-NeRF: Sinteză Neurală de Vedere pentru Scenă Mare) au utilizat 2,8 milioane de imagini pentru a crea cea mai mare scenă neurală încercată vreodată – o serie de cartiere din San Francisco.

Block-NeRF navighează Catedrala Grace din San Francisco. Vezi videoul încorporat la sfârșitul articolului și, de asemenea, linkul sursă pentru videouri suplimentare de înaltă rezoluție. Sursă: https://waymo.com/research/block-nerf/

Autorul principal al articolului, reprezentând UC Berkley, este Matthew Tancik, co-inventatorul Câmpurilor de Radianță Neuronală, care a efectuat lucrarea în timp ce era intern la compania de tehnologie de conducere autonomă Waymo, gazda paginii de proiect. Inițiativa oferă, de asemenea, o prezentare video pe YouTube, încorporată la sfârșitul acestui articol, precum și multe exemple de videouri suplimentare și de sprijin la pagina de proiect.

Articolul este co-semnat de alți câțiva originatori NeRF, printre care Ben Mildenhall (Google Research), Pratul P. Srinivasan (Google Research) și Jonathan T. Barron (Google Research). Alți contribuitori sunt Vincent Casser, Xinchen Yan, Sabeek Pradhan, Henrik Kretzschmar și Vincent Casser, toți de la Waymo.

Block-NeRF a fost dezvoltat în primul rând ca o cercetare pentru medii virtuale pentru sisteme de vehicule autonome, inclusiv mașini și drone care se conduc singure.

Șoseaua Embarcadero dintr-un punct de vedere de 180 de grade în Block-NeRF. Vezi videoul încorporat la sfârșitul articolului și, de asemenea, linkul sursă pentru videouri suplimentare de înaltă rezoluție. Sursă: https://waymo.com/research/block-nerf/

Alți factori care pot fi schimbați dinamic în Block-NeRF sunt deschiderea obiectivului (vezi imaginea de mai sus), vremea și anotimpurile.

Cu toate acestea, schimbarea anotimpului poate cauza schimbări conexe în mediu, cum ar fi copaci fără frunze, ceea ce necesită un set de date de intrare și mai extins decât cel construit pentru Block-NeRF. Articolul afirmă:

‘[Frunzele] se schimbă sezonier și se mișcă în vânt; acest lucru duce la reprezentări estompate ale copacilor și plantelor. În mod similar, incoerențele temporale din datele de antrenare, cum ar fi lucrările de construcție, nu sunt gestionate în mod automat și necesită reantrenarea manuală a blocurilor afectate.’

Renderizarea Apocaliptică

Dacă aruncați o privire la videoul încorporat la sfârșitul articolului, veți observa o sparseness în stil Walking Dead a mediului Block-NeRF legat. Din diverse motive, nu în ultimul rând pentru a oferi un mediu simulat de start pentru sisteme robotice, mașini, pietoni și alte obiecte tranzitorii au fost intenționat eliminate din materialul sursă, dar acest lucru a lăsat în urmă unele artefacte, cum ar fi umbrele vehiculelor parcate “șterse”:

Umbra fantomă a unui vehicul șters. Sursă: https://waymo.com/research/block-nerf/

Pentru a se adapta la o varietate de medii de iluminare, cum ar fi zi sau noapte, rețelele au fost antrenate pentru a incorpora fluxuri de date desprinse legate de fiecare condiție dorită. În imaginea de mai jos, vedem fluxurile contributive pentru filmarea Block-NeRF a unei autostrăzi zi și noapte:

Fețele la cerere din spatele unei renderizări “baked” Block-NeRF, permițând unui utilizator să activeze noaptea la cerere. Sursă: https://waymo.com/research/block-nerf/

Considerații de Mediu și Etică

În ultimii ani, depunerile de cercetare au început să includă avertismente și declarații cu privire la posibilele implicații etice și de mediu ale lucrării propuse. În cazul Block-NeRF, autorii notează că cerințele de energie sunt ridicate și că contabilizarea obiectelor tranzitorii pe termen scurt și lung (cum ar fi frunzele de pe copaci și lucrările de construcție, respectiv) ar necesita scanări regulate ale datelor sursă, ceea ce duce la o “supraveghere” crescută în zonele urbane ale căror modele neurale trebuie să fie menținute actualizate.

Autorii afirmă:

‘În funcție de scala la care se aplică această lucrare, cerințele de calcul pot duce la sau înrăutăți daunele de mediu, dacă energia utilizată pentru calcul duce la creșterea emisiilor de carbon. Așa cum se menționează în articol, ne așteptăm la lucrări ulterioare, cum ar fi metodele de caching, care ar putea reduce cerințele de calcul și, astfel, atenua daunele de mediu.’

În ceea ce privește supravegherea, ei continuă:

‘Aplicarea viitoare a acestei lucrări poate implica eforturi și mai mari de colectare a datelor, ceea ce ridică preocupări suplimentare cu privire la confidențialitate. În timp ce imagini detaliate ale drumurilor publice pot fi găsite deja pe servicii precum Google Street View, metoda noastră ar putea promova scanări repetate și mai regulate ale mediului. Mai multe companii din domeniul vehiculelor autonome sunt, de asemenea, cunoscute pentru efectuarea de scanări regulate ale zonei utilizând flota lor de vehicule; cu toate acestea, unele dintre ele pot utiliza doar scanări LiDAR, care pot fi mai puțin sensibile decât colectarea de imagini cu cameră.’

Metode și Soluții

Mediile NeRF individuale pot fi reduse, în teorie, la orice dimensiune înainte de a fi asamblate într-un bloc NeRF. Acest lucru deschide calea pentru includerea granulară a conținutului care este, cu siguranță, supus schimbărilor, cum ar fi copacii, și pentru identificarea și gestionarea lucrărilor de construcție, care pot persista în timp pe perioade de până la ani de recapturare, dar sunt probabil să evolueze și să devină, în cele din urmă, entități consistente.

În această primă ieșire de cercetare, blocurile NeRF discrete sunt limitate la blocurile de oraș reale ale fiecărui mediu reprezentat, cusute împreună, cu o suprapunere de 50% care asigură o tranziție consistentă de la un bloc la altul pe măsură ce utilizatorul navighează rețeaua.

Fiecare bloc este constrâns de un filtru geografic. Autorii notează că această parte a cadrului este deschisă pentru automatizare și, surprinzător, că implementarea lor se bazează pe OpenStreetMap, și nu pe Google Maps.

Raza intersecției pentru un spațiu de render “activ” Block-NeRF. Sursă: Waymo

Blocurile sunt antrenate în paralel, cu blocurile necesare renderizate la cerere. Codurile de apariție inovatoare sunt, de asemenea, orchestrate între setul de blocuri, asigurând că nu se călătorește neașteptat în vreme, oră sau chiar într-un anotimp diferit.

Segmentele Block-NeRF sunt condiționate de expunere într-un mod analog cu High Dynamic Range (HDR) în materialul sursă fotografic. Sursă: Waymo

Capacitatea de a schimba iluminarea și alte variabile de mediu se datorează Optimizărilor Latente Generative introduse în NeRF în sălbăticie (NeRF-W), care, la rândul său, a derivat metoda din articolul de cercetare din 2019 al Facebook AI Optimizarea spațiului latent al rețelelor generative.

Un model de segmentare semantică originat pentru Panoptic-DeepLab în 2020 este utilizat pentru a bloca elemente nedorite (cum ar fi oameni și vehicule)

Date

Găsind că seturile de date urbane comune, cum ar fi CityScapes, nu erau potrivite pentru un astfel de detaliu intensiv, cum ar fi Block-NeRF, cercetătorii au creat propriul set de date. Datele cu imagini au fost capturate de la 12 camere care cuprind o vedere de 360 de grade, cu filmări realizate la 10 Hz cu o valoare de expunere scalară.

Cartiile din San Francisco acoperite au fost Alamo Square și Mission Bay. Pentru capturile din Alamo Square, o zonă de aproximativ 960m x 570m a fost acoperită, împărțită în 35 de instanțe Block-NeRF, fiecare antrenat pe date de la 38 la 48 de rulări diferite de colectare a datelor, cu un timp total de condus de 18-28 de minute.

Numărul de imagini care contribuie la fiecare Block-NeRF a variat între 64.575 și 108.216, iar timpul total de condus reprezentat pentru această zonă a fost de 13,4 ore, pe 1.330 de rulări diferite de colectare a datelor. Acest lucru a rezultat în 2.818.745 de imagini de antrenare doar pentru Alamo Square. Vezi articolul pentru detalii suplimentare despre colectarea de date pentru Mission Bay.

A fost publicat pentru prima dată pe 11 februarie 2022.