NeRFocus: Aducând controlul ușor al focalizării la câmpurile de radianță neurală

Noi cercetări din China oferă o metodă pentru a obține controlul accesibil al efectelor de adâncime de câmp pentru câmpurile de radianță neurală (NeRF), permițând utilizatorului final să regleze focalizarea și să schimbe dinamic configurația lentilei virtuale în spațiul de renderizare.

Denominat NeRFocus, tehnica implementează o abordare inovatoare de “imagine cu lentilă subțire” pentru traversarea focalizării și inovează P-training, o strategie de antrenare probabilistică care elimină nevoia de seturi de date dedicate pentru adâncimea câmpului și simplifică un flux de lucru de antrenare cu focalizare.

Articolul articolul se numește NeRFocus: Câmp de radianță neurală pentru defocalizare sintetică 3D și provine de la patru cercetători de la Școala de Absolvenți din Shenzhen, Universitatea Peking, și Laboratorul Peng Cheng din Shenzhen, un institut finanțat de guvernul provincial Guangdong.

Abordarea locului de atenție foveală în NeRF

Dacă NeRF va lua vreodată locul său ca o tehnologie de conducere valabilă pentru realitatea virtuală și augmentată, va avea nevoie de o metodă ușoară de a permite renderizarea foveală realistă, unde majoritatea resurselor de renderizare se concentrează în jurul privirii utilizatorului, și nu sunt distribuite indiferent la o rezoluție mai mică în întregul spațiu vizual disponibil.

Din articolul din 2021 Foveated Neural Radiance Fields for Real-Time and Egocentric Virtual Reality, vedem locul de atenție într-un sistem de renderizare foveală inovator pentru NeRF. Sursă: https://arxiv.org/pdf/2103.16365.pdf

O parte esențială a autenticității implementărilor viitoare ale NeRF egocentrice va fi capacitatea sistemului de a reflecta capacitatea ochiului uman de a schimba focalizarea de-a lungul unui plan de perspectivă în retragere (vezi prima imagine de mai sus).

Acest gradient de focalizare este, de asemenea, un indicator perceptual al scării scenei; vederea de la un elicopter care zboară deasupra unui oraș va avea zero câmpuri de focalizare navigabile, deoarece întreaga scenă există dincolo de capacitatea de focalizare exterioară a utilizatorului, în timp ce examinarea unei scene miniaturale sau “în apropiere” nu numai că va permite “racking de focalizare”, dar ar trebui, din motive de realism, să conțină un câmp de adâncime îngust prin definiție.

Mai jos este un videoclip care demonstrează capacitățile inițiale ale NeRFocus, furnizat de autorul corespondent al articolului:

Dincolo de planurile focale restricționate

Conștienți de necesitatea controlului focalizării, o serie de proiecte NeRF din ultimii ani au făcut provizii pentru aceasta, deși toate încercările de până acum sunt, în esență, soluții de evaziune de un fel sau altul, sau implică rutine de post-procesare notabile care le fac contribuții improbabile la mediile în timp real în cele din urmă vizionate pentru tehnologiile câmpurilor de radianță neurală.

Controlul focalizării sintetice în cadrele de renderizare neurală a fost încercat prin diverse metode în ultimii 5-6 ani – de exemplu, prin utilizarea unei rețele de segmentare pentru a împrejmui datele din prim-plan și fundal, și apoi pentru a defocaliza generic fundalul – o soluție comună pentru efecte de focalizare cu două planuri simple.

Din articolul ‘Automatic Portrait Segmentation for Image Stylization’, o separare obișnuită, de tip animație, a planurilor de focalizare. Sursă: https://jiaya.me/papers/portrait_eg16.pdf

Reprezentările multiplane adaugă câteva “celule de animație” virtuale la acest paradigma, de exemplu, prin utilizarea estimării adâncimii pentru a tăia scena într-un gradient de planuri de focalizare distincte, și apoi orchestrarea kernel-urilor dependente de adâncime pentru a sintetiza blur.

În plus, și foarte relevant pentru medii AR/VR potențiale, disparitatea dintre cele două puncte de vedere ale unei configurații de cameră stereo poate fi utilizată ca o proxy de adâncime – o metodă propusă de Google Research în 2015.

Din articolul condus de Google Fast Bilateral-Space Stereo for Synthetic Defocus, diferența dintre cele două puncte de vedere oferă o hartă de adâncime care poate facilita blurarea. Cu toate acestea, această abordare este neautentică în situația imaginată mai sus, unde fotografia este clar făcută cu un obiectiv de 35-50mm (standard SLR), dar defocalizarea extremă a fundalului ar apărea doar cu un obiectiv care depășește 200mm, care are un plan de focalizare foarte constrâns care produce un câmp de adâncime îngust în medii umane normale. Sursă

Abordări de acest tip tind să demonstreze artefacte de margine, deoarece încearcă să reprezinte două sfere distincte și limitate de focalizare ca un gradient de focalizare continuă.

În 2021, inițiativa RawNeRF a oferit funcționalitate HDR, cu un control mai bun al situațiilor cu lumină slabă, și o capacitate aparent impresionantă de a regla focalizarea:

RawNeRF reglează focalizarea frumos (chiar dacă, în acest caz, în mod neautentic, din cauza planurilor de focalizare nerealiste), dar vine la un cost computațional ridicat. Sursă: https://bmild.github.io/rawnerf/

Cu toate acestea, RawNeRF necesită o precalculare greoaie pentru reprezentările sale multiplane ale NeRF antrenat, rezultând un flux de lucru care nu poate fi ușor adaptat la implementări mai ușoare sau cu latență mai mică ale NeRF.

Modelarea unei lentile virtuale

NeRF însuși se bazează pe modelul de imagine cu gaură de ac, care renderizează întreaga scenă în mod clar, într-un mod similar cu o scenă CGI implicită (înainte de diversele abordări care renderizează blurul ca efect post-procesare sau inerent, pe baza adâncimii câmpului).

NeRFocus creează o lentilă virtuală “subțire” (mai degrabă decât o “gaură de ac fără sticlă”) care calculează traiectoria fasciculului pentru fiecare pixel intrat și o renderizează direct, efectiv inversând procesul standard de captare a imaginii, care operează post facto pe intrarea de lumină care a fost deja afectată de proprietățile refractive ale designului lentilei.

Acest model introduce o gamă de posibilități pentru renderizarea conținutului în interiorul frustumului (cercurile mari de influență din imaginea de mai sus).

Calcularea culorii și densității corecte pentru fiecare perceptron multistrat (MLP) în această gamă mai largă de posibilități este o sarcină suplimentară. Acest lucru a fost rezolvat anterior prin aplicarea unui antrenament supravegheat la un număr mare de imagini DLSR, implicând crearea unor seturi de date suplimentare pentru un flux de lucru de antrenare probabilistic – efectiv implicând pregătirea și stocarea laborioasă a unor resurse calculate multiple care pot sau nu să fie necesare.

NeRFocus depășește acest lucru prin P-training, unde seturile de date de antrenare sunt generate pe baza unor operații de blur de bază. Astfel, modelul este format cu operații de blur innate și navigabile.

Diametrul deschiderii este setat la zero în timpul antrenamentului, iar probabilitățile predefinite sunt utilizate pentru a alege un kernel de blur la întâmplare. Acest diametru obținut este utilizat pentru a scala diametrele fiecărui con compus, permițând MLP-ului să prezică cu acuratețe radianța și densitatea frustumelor (cercurile mari din imaginile de mai sus, reprezentând zona de transformare pentru fiecare pixel)

Autorii noului articol observă că NeRFocus este potențial compatibil cu abordarea condusă de HDR a RawNeRF, care ar putea ajuta la renderizarea anumitor secțiuni dificile, cum ar fi evidențierile defocalizate și multe dintre celelalte efecte intense computațional care au provocat fluxurile de lucru CGI timp de treizeci de ani sau mai mult.

Procesul nu implică cerințe suplimentare de timp și/sau parametri în comparație cu abordările anterioare, cum ar fi NeRF de bază și Mip-NeRF (și, presupunem, Mip-NeRF 360, deși acest lucru nu este abordat în articol), și este aplicabil ca o extensie generală a metodologiei centrale a câmpurilor de radianță neurală. Primul publicat pe 12 martie 2022.