Adobe: Přesvětlení skutečného světa pomocí neuronového vykreslování

Výzkumníci z Adobe vytvořili neuronový systém pro vykreslování scén ze skutečného světa, který je schopen sofistikovaného přesvětlení, nabízí rozhraní v reálném čase a zpracovává lesklé povrchy a odrazy – což je významná výzva pro konkurenční metody syntézy obrazu, jako je Neural Radiance Fields (NeRF).

Zde je scéna ze skutečného světa rekonstruována z několika statických obrazů, což umožňuje procházet scénou. Osvětlení lze přidat a měnit barvu a kvalitu, zatímco odrazy zůstávají přesné a lesklé povrchy správně vyjadřují změny zdrojů osvětlení a/nebo stylů. Zdroj: https://www.youtube.com/watch?v=d3ma4opFpgM

Nový systém umožňuje kontrolu osvětlení scény v reálném čase, včetně stínů a odrazů, podobně jako v programu Photoshop.

Rozhraní umožňuje uživateli přidat (a upravit) zdroj osvětlení do scény ze skutečného světa, která byla rekonstruována z několika statických obrazů, a procházet scénou volně, jako by to byla scéna vytvořená pomocí CGI.

Článek, který byl předložen do ACM Transactions on Graphics a nazvaný Free-viewpoint Indoor Neural Relighting from Multi-view Stereo, je výsledkem spolupráce mezi Adobe Research a výzkumníky z Université Côte d’Azur.

Zdroj: https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf (kliknutím se zobrazí verze v plném rozlišení)

Stejně jako u Neural Radiance Fields (NeRF) používá systém fotogrammetrii (nahoře vlevo), kde je pochopení scény odvozeno z omezeného počtu fotografií, a „chybějící“ pohledy jsou trénovány pomocí strojového učení, dokud není k dispozici kompletní a zcela abstraktní model scény pro ad hoc reinterpretaci.

Systém byl trénován zcela na syntetických (CGI) datech, ale 3D modely, které byly použity, byly zacházeny přesně tak, jako by člověk pořizoval několik omezených fotografií skutečné scény pro neuronovou interpretaci. Obrázek výše ukazuje syntetickou scénu, která je přepínači osvětlena, ale „ložnice“ ve vrchním (animovaném) obrázku výše je odvozena z skutečných fotografií pořízených v skutečné místnosti.

Implicitní reprezentace scény je získána z původních materiálů pomocí Konvoluční neuronové sítě (CNN) a je rozdělena do několika vrstev, včetně odrazivosti, zdrojového záření (radiosity/globální osvětlení) a albedo.

Architektura systému Adobe pro přepínači osvětlení. Vícehledový datový soubor je předzpracován a generuje se 3D síťová geometrie z vstupních dat. Když je třeba přidat nové osvětlení, je záření vypočteno v reálném čase a přepínači pohled je syntetizován. (kliknutím se zobrazí verze v plném rozlišení)

Algoritmus kombinuje prvky tradičního ray tracing (Monte Carlo) a Image-Based Rendering (IBR, neuronové vykreslování).

Ačkoli se mnoho nedávných výzkumů Neural Radiance Fields zabývalo extrakcí 3D geometrie z plochých obrazů, nabídka Adobe je první případ, kdy byly demonstrovány vysoce pokročilé přepínači osvětlení pomocí této metody.

Algoritmus také řeší další tradiční omezení NeRF a podobných přístupů, tím, že vypočítává kompletní mapu odrazů, kde každá část obrazu je přiřazena 100% odrazivému materiálu.

Zrcadlové textury mapují osvětlovací cesty. (kliknutím se zobrazí verze v plném rozlišení)

S touto integrovanou mapou odrazivosti je možné „přepnout“ odrazivost, aby se přizpůsobila různým úrovním odrazivosti různých materiálů, jako je dřevo, kov a kámen. Mapa odrazivosti (nahoře) také poskytuje kompletní šablonu pro mapování paprsků, která může být znovu použita pro účely úpravy difuzního osvětlení.

Další vrstvy systému Adobe pro neuronové vykreslování. (kliknutím se zobrazí verze v plném rozlišení)

Počáteční zachycení scény používá 250-350 RAW fotografií, z nichž je vypočtena síťová geometrie pomocí Multi-View Stereo. Data jsou shrnuta do 2D vstupních map, které jsou poté reprojektovány do nového pohledu. Změny osvětlení jsou vypočteny průměrováním difuzních a lesklých vrstev zachycené scény.

Vrstva zrcadlového obrazu je generována pomocí rychlého jednopaprskového zrcadlového výpočtu (jedné odrazy), který odhaduje původní zdroj hodnot a poté cílové hodnoty. Mapy, které obsahují informace o původním osvětlení scény, jsou uloženy v neuronových datech, podobně jako radiosity mapy jsou často uloženy s tradičními CGI scénami.

Řešení neuronového vykreslování odrazů

Možná hlavním úspěchem této práce je oddělení informací o odrazivosti od difuzních a dalších vrstev v datech. Doba výpočtu je snížena tím, že „živé“ pohledy s „odrazivostí“ jsou vypočteny pouze pro aktivní uživatelský pohled, a nikoli pro celou scénu.

Výzkumníci tvrdí, že tato práce představuje první případ, kdy byly schopnosti přepínači osvětlení kombinovány s navigací volným pohledem v jediném rámci pro scény, které musí realisticky reprodukovat odrazivé povrchy.

Několik obětí bylo učiněno, aby se dosáhlo této funkcionality, a výzkumníci uznávají, že předchozí metody, které používají složitější síťové geometrie pro každý pohled, prokázaly lepší geometrii pro malé objekty. Budoucí směry pro přístup Adobe budou zahrnovat použití geometrie pro každý pohled, aby se zlepšila tato stránka.