Adobe: Osvětlení skutečného světa pomocí neuronového vykreslování

Výzkumníci z Adobe vytvořili neurální vykreslovací systém pro skutečné vnitřní scény, který je schopen sofistikovaného přesvětlení, nabízí rozhraní v reálném čase a zvládá lesklé povrchy a odrazy – což je pozoruhodná výzva pro konkurenční metody syntézy obrazu, jako je Neural Radiance Fields (NeRF). .

Zde byla scéna skutečného světa rekonstruována z řady statických snímků, díky čemuž je scéna navigovatelná. Osvětlení lze přidávat a měnit barvu a kvalitu, zatímco odrazy zůstávají přesné a lesklé povrchy správně vyjadřují uživatelovu změnu světelných zdrojů a/nebo stylů. Zdroj: https://www.youtube.com/watch?v=d3ma4opFpgM

Nový systém umožňuje ovládání světelných aspektů skutečné 3D scény, která byla zachycena do neurálního prostoru, včetně stínů a odrazů, ve stylu Photoshopu a řízené GUI.

GUI umožňuje uživateli přidat (a upravit) světelný zdroj do reálné scény, která byla rekonstruována z malého počtu fotografií, a volně se v ní pohybovat, jako by to byl scénář ve stylu CGI.

Jedno papír, předložený ACM Transactions on Graphics a oprávněný Vnitřní neurální přesvětlení z volného pohledu z vícepohledového stereo, je výsledkem spolupráce mezi Adobe Research a výzkumníky z Université Côte d'Azur.

Zdroj: https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf (kliknutím zobrazíte plnou verzi)

Stejně jako u polí neuronového záření (NeRF), systém používá fotogrammetrii (vlevo nahoře), kde je pochopení scény odvozeno z omezeného počtu fotografií a „chybějící“ úhly pohledu jsou trénovány pomocí strojového učení, dokud nebude pro reklamu dostupný kompletní a zcela abstrahovaný model scény. hoc reinterpretace.

Systém byl trénován výhradně na syntetických (CGI) datech, ale s použitými 3D modely bylo zacházeno přesně tak, jak by se stalo, kdyby člověk pořizoval několik omezených fotografií skutečné scény pro neurální interpretaci. Obrázek nahoře ukazuje syntetickou scénu, která je znovu nasvícena, ale pohled na „ložnici“ na horním (animovaném) obrázku nahoře je odvozen ze skutečných fotografií pořízených ve skutečné místnosti.

Implicitní reprezentace scény je získána ze zdrojového materiálu prostřednictvím konvoluční neuronové sítě (CNN) a rozdělena do několika vrstev, včetně odrazivosti, zdrojové ozáření (radiozita/globální osvětlení) a albeda.

Architektura systému Adobe relighting. Vícepohledová datová sada je předzpracována a ze vstupních dat je vygenerována 3D geometrie sítě. Když je třeba přidat nové světlo, ozáření se vypočítá v reálném čase a syntetizuje se pohled v relitu. (kliknutím zobrazíte plnou verzi)

Algoritmus kombinuje aspekty tradičního ray tracingu (Monte Carlo) a Image-Based Rendering (IBR, neuronové vykreslování).

Přestože se značné množství nedávných výzkumů polí Neural Radiance Fields zabývalo extrakcí 3D geometrie z plochých obrázků, nabídka společnosti Adobe je poprvé, kdy bylo touto metodou demonstrováno vysoce sofistikované opětovné osvětlení.

Algoritmus také řeší další tradiční omezení NeRF a podobných přístupů, a to výpočtem kompletní odrazové mapy, kde je každé jednotlivé části obrazu přiřazen 100% reflexní materiál.

Zrcadlové textury mapují cesty osvětlení. (kliknutím zobrazíte plnou verzi)

S touto integrální mapou odrazivosti je možné „snížit“ odrazivost, aby se přizpůsobila různým úrovním odrazu v různých typech materiálů, jako je dřevo, kov a kámen. Mapa odrazivosti (výše) také poskytuje kompletní šablonu pro mapování paprsků, kterou lze znovu použít pro účely úpravy difuzního osvětlení.

Další vrstvy v systému neuronového vykreslování Adobe. (kliknutím zobrazíte plnou verzi)

Počáteční zachycení scény používá 250-350 RAW fotografií, ze kterých je pomocí Multi-View Stereo vypočítána síť. Data jsou shrnuta do 2D vstupních map prvků, které jsou poté znovu promítnuty do nového pohledu. Změny osvětlení se počítají zprůměrováním difúzních a lesklých vrstev snímané scény.

Vrstva zrcadlového obrazu je generována pomocí rychlého výpočtu jednopaprskového zrcadla (jeden odraz), který odhaduje původní zdrojové hodnoty a poté cílové hodnoty. Mapy, které obsahují informace o původním osvětlení scény, jsou uloženy v neurálních datech, podobně jako se často ukládají mapy radiozity s tradičními daty scén CGI.

Řešení reflexí neurálního vykreslování

Snad primárním úspěchem práce je oddělení informací o odrazivosti od difúzních a dalších vrstev v datech. Doba výpočtu je omezena tím, že je zajištěno, že živé pohledy s „odrazem“, jako jsou zrcadla, jsou počítány pouze pro pohled aktivního uživatele, nikoli pro celou scénu.

Výzkumníci tvrdí, že tato práce představuje poprvé, kdy byly možnosti přesvícení přizpůsobeny možnostem navigace ve volném zobrazení v jediném rámci pro scény, které musí realisticky reprodukovat reflexní povrchy.

K dosažení této funkce byly učiněny určité oběti a výzkumníci připouštějí, že dřívější metody, které používají složitější sítě pro zobrazení, demonstrují zlepšenou geometrii pro malé objekty. Budoucí směry přístupu Adobe budou zahrnovat použití geometrie pro jednotlivé pohledy, aby se tento aspekt zlepšil.