Unghiul lui Anderson

Noul CGI: Crearea de Cartiere Neuronale cu Block-NeRF

Martin Anderson
Adaugă Unite.AI la sursele tale preferate pe Google
Puncte cheieBlock-NeRF îmbină instanțe NeRF separate în cartiere scalabile și navigabile, încărcate…
Vezi mai mult
  • Block-NeRF îmbină instanțe NeRF separate în cartiere scalabile și navigabile, încărcate la cerere.
  • Codurile de aspect din Block-NeRF permit modificări dinamice, cum ar fi momentul zilei, fără a reantrena întreaga scenă.
  • Proiectul a folosit 2,8 milioane de imagini de la Waymo pentru a crea cea mai mare scenă neuronală a blocurilor din San Francisco.

Câmpurile de Radianță Neuronală (NeRF) permit recrearea și explorarea obiectelor în interiorul rețelelor neuronale, utilizând doar fotografii din multiple puncte de vedere, fără complexitatea și costul metodelor tradiționale de CGI.

Cu toate acestea, procesul este costisitor din punct de vedere computațional, ceea ce a limitat inițial mediile NeRF la scenarii de model de masă. Cu toate acestea, NeRF a fost adoptat de o comunitate de cercetare dedicată, care a permis, în ultimul an, reconstrucții exterioare, precum și oameni neurali editabili, precum și multe alte inovații.

Același lucru este valabil și pentru o nouă inițiativă de cercetare, care include participarea Google Research, care recunoaște posibilele limite dure pentru optimizarea NeRF și se concentrează în schimb pe coaserea mediilor NeRF pentru a crea cartiere la cerere, compuse din multiple instanțe NeRF coordonate.

Punct de vedere dintr-o rețea Block-NeRF de NeRF-uri legate. Vezi videoul încorporat la sfârșitul articolului și, de asemenea, linkul sursă pentru videouri suplimentare de înaltă rezoluție. Sursă: https://waymo.com/research/block-nerf/

Punct de vedere dintr-o rețea Block-NeRF de NeRF-uri legate. Vezi videoul încorporat la sfârșitul articolului și, de asemenea, linkul sursă pentru videouri suplimentare de înaltă rezoluție. Sursă: https://waymo.com/research/block-nerf/

Navigarea eficientă a rețelei de NeRF-uri legate face ca NeRF să fie scalabil și modular, oferind medii navigabile care încarcă părți suplimentare ale cartierului pe măsură ce sunt necesare, într-un mod similar cu metodele de optimizare a resurselor din jocurile video, unde ceea ce se află în spatele colțului este rareori încărcat până când devine clar că mediul va fi necesar.

Într-un efort major de a descompune aspecte separate, cum ar fi vremea și ora, Block-NeRF introduce, de asemenea, “coduri de aspect”, permițând schimbarea dinamică a orei zilei:

Schimbarea orei zilei cu Block-NeRF. Vezi videoul încorporat la sfârșitul articolului și, de asemenea, linkul sursă pentru videouri suplimentare de înaltă rezoluție. Sursă: https://waymo.com/research/block-nerf/

Schimbarea orei zilei cu Block-NeRF. Vezi videoul încorporat la sfârșitul articolului și, de asemenea, linkul sursă pentru videouri suplimentare de înaltă rezoluție. Sursă: https://waymo.com/research/block-nerf/

Noul articol sugerează că optimizarea NeRF se apropie de limita sa termică și că implementările viitoare ale mediilor de radianță neurală în realitatea virtuală, alte tipuri de sfere interactive și lucrări VFX vor depinde probabil de operațiuni paralele, similare cu modul în care Legea lui Moore a dat în cele din urmă loc arhitecturilor cu mai multe nuclee de procesare, optimizărilor paralele și abordărilor noi de caching.

Autorii articolului (intitulat Block-NeRF: Sinteză neurală scalabilă a imaginilor din perspective noi pentru scene de mari dimensiuni) au utilizat 2,8 milioane de imagini pentru a crea cea mai mare scenă neurală încercată vreodată – o serie de cartiere din San Francisco.

Block-NeRF navighează Catedrala Grace din San Francisco. Vezi videoul încorporat la sfârșitul articolului și, de asemenea, linkul sursă pentru videouri suplimentare de înaltă rezoluție. Sursă: https://waymo.com/research/block-nerf/

Block-NeRF navighează Catedrala Grace din San Francisco. Vezi videoul încorporat la sfârșitul articolului și, de asemenea, linkul sursă pentru videouri suplimentare de înaltă rezoluție. Sursă: https://waymo.com/research/block-nerf/

Autorul principal al articolului, reprezentând UC Berkeley, este Matthew Tancik, co-inventatorul Câmpurilor de Radianță Neuronală, care a efectuat lucrarea în timp ce era intern la compania de tehnologie de conducere autonomă Waymo, gazda paginii de proiect. Inițiativa oferă, de asemenea, o prezentare video pe YouTube, încorporată la sfârșitul acestui articol, precum și multe exemple de videouri suplimentare și de sprijin la pagina de proiect.

Articolul este co-semnat de alți câțiva originatori NeRF, printre care Ben Mildenhall (Google Research), Pratul P. Srinivasan (Google Research) și Jonathan T. Barron (Google Research). Alți contribuitori sunt Vincent Casser, Xinchen Yan, Sabeek Pradhan și Henrik Kretzschmar, toți de la Waymo.

Block-NeRF a fost dezvoltat în primul rând ca o cercetare pentru medii virtuale pentru sisteme de vehicule autonome, inclusiv mașini și drone care se conduc singure.

Șoseaua Embarcadero dintr-un punct de vedere de 180 de grade în Block-NeRF. Vezi videoul încorporat la sfârșitul articolului și, de asemenea, linkul sursă pentru videouri suplimentare de înaltă rezoluție. Sursă: https://waymo.com/research/block-nerf/

Șoseaua Embarcadero dintr-un punct de vedere de 180 de grade în Block-NeRF. Vezi videoul încorporat la sfârșitul articolului și, de asemenea, linkul sursă pentru videouri suplimentare de înaltă rezoluție. Sursă: https://waymo.com/research/block-nerf/

Alți factori care pot fi schimbați dinamic în Block-NeRF sunt deschiderea obiectivului (vezi imaginea de mai sus), vremea și anotimpurile.

Cu toate acestea, schimbarea anotimpului poate cauza schimbări conexe în mediu, cum ar fi copaci fără frunze, ceea ce necesită un set de date de intrare și mai extins decât cel construit pentru Block-NeRF. Articolul afirmă:

‘[Frunzele] se schimbă sezonier și se mișcă în vânt; acest lucru duce la reprezentări estompate ale copacilor și plantelor. În mod similar, incoerențele temporale din datele de antrenare, cum ar fi lucrările de construcție, nu sunt gestionate în mod automat și necesită reantrenarea manuală a blocurilor afectate.’

Renderizarea Apocaliptică

Dacă aruncați o privire la videoul încorporat la sfârșitul articolului, veți observa o atmosferă pustie în stil Walking Dead a mediului Block-NeRF legat. Din diverse motive, nu în ultimul rând pentru a oferi un mediu simulat de start pentru sisteme robotice, mașini, pietoni și alte obiecte tranzitorii au fost intenționat eliminate din materialul sursă, dar acest lucru a lăsat în urmă unele artefacte, cum ar fi umbrele vehiculelor parcate “șterse”:

Umbra fantomă a unui vehicul șters.

Umbra fantomă a unui vehicul șters. Sursă: https://waymo.com/research/block-nerf/

Pentru a se adapta la o varietate de medii de iluminare, cum ar fi zi sau noapte, rețelele au fost antrenate pentru a incorpora fluxuri de date desprinse legate de fiecare condiție dorită. În imaginea de mai jos, vedem fluxurile contributive pentru filmarea Block-NeRF a unei autostrăzi zi și noapte:

Componentele disponibile la cerere din spatele unei randări Block-NeRF aparent precalculate permit activarea iluminării nocturne. Sursă: https://waymo.com/research/block-nerf/

Componentele disponibile la cerere din spatele unei randări Block-NeRF aparent precalculate permit activarea iluminării nocturne. Sursă: https://waymo.com/research/block-nerf/

Considerații de Mediu și Etică

În ultimii ani, depunerile de cercetare au început să includă avertismente și declarații cu privire la posibilele implicații etice și de mediu ale lucrării propuse. În cazul Block-NeRF, autorii notează că cerințele de energie sunt ridicate și că contabilizarea obiectelor tranzitorii pe termen scurt și lung (cum ar fi frunzele de pe copaci și lucrările de construcție, respectiv) ar necesita scanări regulate ale datelor sursă, ceea ce duce la o “supraveghere” crescută în zonele urbane ale căror modele neurale trebuie să fie menținute actualizate.

Autorii afirmă:

‘În funcție de scala la care se aplică această lucrare, cerințele de calcul pot duce la sau înrăutăți daunele de mediu, dacă energia utilizată pentru calcul duce la creșterea emisiilor de carbon. Așa cum se menționează în articol, ne așteptăm la lucrări ulterioare, cum ar fi metodele de caching, care ar putea reduce cerințele de calcul și, astfel, atenua daunele de mediu.’

În ceea ce privește supravegherea, ei continuă:

‘Aplicarea viitoare a acestei lucrări poate implica eforturi și mai mari de colectare a datelor, ceea ce ridică preocupări suplimentare cu privire la confidențialitate. În timp ce imagini detaliate ale drumurilor publice pot fi găsite deja pe servicii precum Google Street View, metoda noastră ar putea promova scanări repetate și mai regulate ale mediului. Mai multe companii din domeniul vehiculelor autonome sunt, de asemenea, cunoscute pentru efectuarea de scanări regulate ale zonei utilizând flota lor de vehicule; cu toate acestea, unele dintre ele pot utiliza doar scanări LiDAR, care pot fi mai puțin sensibile decât colectarea de imagini cu cameră.’

Metode și Soluții

Mediile NeRF individuale pot fi reduse, în teorie, la orice dimensiune înainte de a fi asamblate într-o structură Block-NeRF. Acest lucru deschide calea pentru includerea granulară a conținutului care este, cu siguranță, supus schimbărilor, cum ar fi copacii, și pentru identificarea și gestionarea lucrărilor de construcție, care pot persista în timp pe perioade de până la ani de recapturare, dar sunt probabil să evolueze și să devină, în cele din urmă, entități consistente.

În această primă ieșire de cercetare, blocurile NeRF discrete sunt limitate la cvartalele reale ale fiecărui mediu reprezentat, cusute împreună, cu o suprapunere de 50% care asigură o tranziție consistentă de la un bloc la altul pe măsură ce utilizatorul navighează rețeaua.

Fiecare bloc este constrâns de un filtru geografic. Autorii notează că această parte a cadrului este deschisă pentru automatizare și, surprinzător, că implementarea lor se bazează pe OpenStreetMap, și nu pe Google Maps.

Raza intersecției pentru un spațiu activ de randare Block-NeRF. Sursă: Waymo

Raza intersecției pentru un spațiu de render “activ” Block-NeRF. Sursă: Waymo

Blocurile sunt antrenate în paralel, cu blocurile necesare renderizate la cerere. Codurile de aspect inovatoare sunt, de asemenea, orchestrate între setul de blocuri, asigurând că nu se călătorește neașteptat în vreme, oră sau chiar într-un anotimp diferit.

Segmentele Block-NeRF sunt condiționate de expunere într-un mod analog cu High Dynamic Range (HDR) în materialul sursă fotografic.

Segmentele Block-NeRF sunt condiționate de expunere într-un mod analog cu High Dynamic Range (HDR) în materialul sursă fotografic. Sursă: Waymo

Capacitatea de a schimba iluminarea și alte variabile de mediu se datorează Optimizărilor Latente Generative introduse în NeRF in the Wild (NeRF-W), care, la rândul său, a derivat metoda din articolul de cercetare din 2019 al Facebook AI Optimizarea spațiului latent al rețelelor generative.

Un model de segmentare semantică originat pentru Panoptic-DeepLab în 2020 este utilizat pentru a bloca elemente nedorite (cum ar fi oameni și vehicule)

Date

Găsind că seturile de date urbane comune, cum ar fi CityScapes, nu erau potrivite pentru un astfel de detaliu intensiv, cum ar fi Block-NeRF, cercetătorii au creat propriul set de date. Datele cu imagini au fost capturate de la 12 camere care cuprind o vedere de 360 de grade, cu filmări realizate la 10 Hz cu o valoare de expunere scalară.

Cartierele din San Francisco acoperite au fost Alamo Square și Mission Bay. Pentru capturile din Alamo Square, o zonă de aproximativ 960m x 570m a fost acoperită, împărțită în 35 de instanțe Block-NeRF, fiecare antrenat pe date de la 38 la 48 de rulări diferite de colectare a datelor, cu un timp total de condus de 18-28 de minute.

Numărul de imagini care contribuie la fiecare Block-NeRF a variat între 64.575 și 108.216, iar timpul total de condus reprezentat pentru această zonă a fost de 13,4 ore, pe 1.330 de rulări diferite de colectare a datelor. Acest lucru a rezultat în 2.818.745 de imagini de antrenare doar pentru Alamo Square. Vezi articolul pentru detalii suplimentare despre colectarea de date pentru Mission Bay.

 

A fost publicat pentru prima dată pe 11 februarie 2022.

Scriitor în învățare automată, specialist de domeniu în sinteza imaginilor umane. Fost șef al conținutului de cercetare la Metaphysic.ai, până la dizolvarea sa în Brahma.ai de la DNEG.
Site web: martinanderson.ai
Contact: martin@martinanderson.ai