Jednoznačná 3D rekonstrukce objektů pomocí konvolučních sítí prokázala pozoruhodné schopnosti. Modely jednoznačné 3D rekonstrukce generují 3D model libovolného objektu pomocí jediného obrazu jako referenci, což z ní činí jednu z nejžhavějších témat výzkumu v počítačovém vidění. 

Například uvažujme motorový kolo na výše uvedeném obrázku. Generování jeho 3D struktury vyžaduje složitý proces, který nejprve kombinuje signály z nízkoúrovňových obrazů s vysokou úrovní sémantických informací a znalostí o strukturním uspořádání částí. 

Vzhledem k složitosti procesu byla jednoznačná 3D rekonstrukce velkou výzvou v počítačovém vidění. V pokusu o zvýšení efektivity jednoznačné 3D rekonstrukce vyvinuli vývojáři Splatter Image, metodu, která má za cíl dosáhnout ultra-rychlé jednoznačné 3D tvaru a 3D vzhledu objektů. V jádru frameworku Splatter Image se používá metoda Gaussian Splatting k analýze 3D reprezentací, využívající rychlosti a kvality, které nabízí. 

Nedávno byla metoda Gaussian Splatting implementována mnoha modely multi-záběrové rekonstrukce pro reálné časy, lepší škálovatelnost a rychlé školení. S tím, že Splatter Image je prvním frameworkem, který implementuje metodu Gaussian Splatting pro úkoly jednoznačné rekonstrukce. 

V tomto článku budeme zkoumat, jak framework Splatter Image využívá metodu Gaussian Splatting k dosažení ultra-rychlé jednoznačné 3D rekonstrukce. Takže pojďme začít. 

Splatter Image : Pokus o Ultra-Rychlou Jednoznačnou 3D Rekonstrukci

Jak bylo zmíněno dříve, Splatter Image je ultra-rychlý přístup pro jednoznačnou 3D rekonstrukci objektů založený na metodě Gaussian Splatting. Splatter Image je prvním frameworkem počítačového vidění, který implementuje Gaussian Splatting pro monokulární 3D generaci objektů, protože tradičně, Gaussian Splatting pohání multi-záběrovou 3D rekonstrukci frameworků. Nicméně, co odlišuje framework Splatter Image od předchozích metod, je to, že je založen na učení, a rekonstrukce během testování vyžaduje pouze feed-forward hodnocení neuronové sítě. 

Splatter Image se fundamentálně spoléhá na renderovací kvality a vysokou rychlost zpracování metody Gaussian Splatting k generování 3D rekonstrukcí. Framework Splatter Image má přímý design: framework používá 2D obraz-obraz neuronovou síť k předpovědi 3D Gaussova rozložení pro každý vstupní obrazový pixel a mapuje vstupní obraz na jedno 3D Gaussovo rozložení pro pixel. Výsledné 3D Gaussovy rozložení mají podobu obrazu, nazývaného Splatter Image, a tyto Gaussovy rozložení také poskytují 360stupňovou reprezentaci obrazu. Proces je demonstrován na následujícím obrázku. 

Ačkoli je proces jednoduchý a přímý, existují některé klíčové výzvy, kterým framework Splatter Image čelí při použití metody Gaussian Splatting k generování 3D Gaussových rozložení pro jednoznačné 3D reprezentace. První hlavní překážkou je navrhnout neuronovou síť, která přijme obraz objektu jako vstup a vygeneruje odpovídající Gaussovo rozložení, reprezentující všechny strany obrazu jako výstup. K překonání tohoto, framework Splatter Image využívá fakt, že i když generované Gaussovo rozložení je množina nebo neuspořádaná sbírka položek, může být stále uloženo v uspořádané datové struktuře. V souladu s tím framework používá 2D obraz jako kontejner pro 3D Gaussovy rozložení, v důsledku čehož každý pixel v kontejneru obsahuje parametry jednoho Gaussova rozložení, včetně jeho vlastností, jako je tvar, průhlednost a barva. 

Ukládáním 3D Gaussových rozložení do obrazu, framework Splatter Image je schopen snížit rekonstrukční překážky, kterým čelí při učení obraz-obraz neuronové sítě. Používáním tohoto přístupu, rekonstrukční proces může být implementován pouze pomocí efektivních 2D operátorů místo spoléhání se na 3D operátory. Kromě toho, v frameworku Splatter Image, 3D reprezentace je směsí 3D Gaussových rozložení, což umožňuje frameworku využít renderovací rychlost a paměťovou efektivitu nabízenou metodou Gaussian Splatting, která zvyšuje efektivitu během školení i inferencí. Pokračujme, framework Splatter Image nejen generuje jednoznačné 3D reprezentace, ale také prokazuje pozoruhodnou efektivitu, protože může být školen i na jediném GPU na standardních 3D objektech. Kromě toho, framework Splatter Image může být rozšířen, aby přijímal několik obrazů jako vstup. Je schopen dosáhnout tohoto, registrováním jednotlivých Gaussových rozložení do společné referenční rámce a poté kombinací Gaussových rozložení předpověděných z jednotlivých pohledů. Framework také injektuje lehké vrstvy křížové pozornosti do své architektury, což umožňuje různým pohledům komunikovat mezi sebou během předpovědi. 

Z empirického hlediska je třeba poznamenat, že framework Splatter Image může produkovat 360stupňovou rekonstrukci objektu, i když vidí pouze jednu jeho stranu. Framework poté přiděluje různé Gaussovy rozložení v 2D sousedství k různým částem 3D objektu, aby zakódoval generovanou 360stupňovou informaci do 2D obrazu. Kromě toho, framework nastavuje průhlednost několika Gaussových rozložení na nulu, což je deaktivuje, a tím umožňuje jejich odstranění během post-processing. 

Shrnutí, framework Splatter Image je

1. Nový přístup k generování jednoznačných 3D objektových rekonstrukcí přenosem metody Gaussian Splatting. 
2. Rozšiřuje metodu pro multi-záběrovou 3D objektovou rekonstrukci. 
3. Dosahuje špičkového výkonu 3D objektové rekonstrukce na standardních benchmarcích s výjimečnou rychlostí a kvalitou. 

Splatter Image : Metodologie a Architektura

Gaussian Splatting

Jak bylo zmíněno dříve, metoda Gaussian Splatting je primární metodou implementovanou frameworkem Splatter Image k generování jednoznačných 3D objektových rekonstrukcí. V jednoduchých termínech, metoda Gaussian Splatting je rasterizační metodou pro rekonstrukci 3D obrazů a reálné časy, a renderování obrazů s více body pohledu. 3D prostor v obraze se nazývá Gaussovy rozložení, a techniky strojového učení se implementují k naučení parametrů každého Gaussova rozložení. Metoda Gaussian Splatting nevyžaduje školení během renderování, což usnadňuje rychlejší renderovací časy. Následující obrázek shrnuje architekturu 3D Gaussova rozložení. 

3D Gaussovo rozložení nejprve používá množinu vstupních obrazů k generování bodového mračna. Metoda Gaussian Splatting poté používá vstupní obrazy k odhadu vnějších parametrů kamery, jako je náklon a poloha, shodováním pixelů mezi obrazy, a tyto parametry se poté používají k výpočtu bodového mračna. Používáním různých technik strojového učení, metoda Gaussian Splatting poté optimalizuje čtyři parametry pro každé Gaussovo rozložení, jmenovitě: Pozici (kde se nachází), Kovarianci (rozsah jeho protažení nebo škálování v 3×3 matici), Barvu (jaký je RGB barevný schéma), a Alfa (měřící průhlednost). Proces optimalizace renderuje obraz pro každou kamerovou pozici a používá ho k určení parametrů blíže k původnímu obrazu. V důsledku toho, výsledné 3D Gaussovo rozložení je obraz, nazývaný Splatter Image, který se podobá původnímu obrazu nejvíce z kamerové pozice, ze které byl zachycen. 

Kromě toho, funkce průhlednosti a funkce barvy v metodě Gaussian Splatting poskytují radiance pole s pohledovým směrem 3D bodu. Framework poté renderuje radiance pole na obraz integrováním barev pozorovaných podél paprsku, který prochází pixelem. Metoda Gaussian Splatting reprezentuje tyto funkce jako kombinaci barevných Gaussových rozložení, kde střední hodnota Gaussova rozložení nebo střed spolu s kovariancí Gaussova rozložení pomáhá určit jeho tvar a velikost. Každé Gaussovo rozložení také má vlastnost průhlednosti a pohledově závislé barvy, které společně definují radiance pole. 

Splatter Image

Komponent renderéra mapuje množinu 3D Gaussových rozložení na obraz. K provedení jednoznačné 3D rekonstrukce, framework poté hledá inverzní funkci pro 3D Gaussova rozložení, která rekonstruuje směs 3D Gaussových rozložení z obrazu. Klíčovým zahrnutím zde je navrhnout efektivní, ale jednoduchý design pro inverzní funkci. Konkrétně, pro vstupní obraz, framework předpovídá Gaussovo rozložení pro každý jednotlivý pixel pomocí obraz-obraz neuronové architektury k výstupu obrazu, Splatter Image. Síť také předpovídá tvar, průhlednost a barvu. 

Nyní by se mohlo spekulovat, jak může framework Splatter Image rekonstruovat 3D reprezentaci objektu, i když má přístup pouze k jedné jeho straně? V reálném čase, framework Splatter Image učí se používat některé z dostupných Gaussových rozložení k rekonstrukci pohledu, a používá zbývající Gaussova rozložení k automatické rekonstrukci neviditelných částí obrazu. K maximalizaci své efektivity, framework může automaticky vypnout jakékoli Gaussova rozložení předpovídáním, zda je průhlednost nula. Pokud je průhlednost nula, Gaussova rozložení jsou vypnuta, a framework je nevykresluje, a jsou místo toho odstraněna během post-processing. 

Obrazová Úroveň Ztráty

Velkou výhodou využití rychlosti a efektivity nabízené metodou Gaussian Splatting je, že umožňuje frameworku renderovat všechny obrazy v každém iteraci, i pro dávkové s relativně větší velikostí dávkové. Kromě toho, to znamená, že framework není pouze schopen použít dekomponovatelné ztráty, ale může také použít obrazové úrovně ztrát, které se ne rozkládají na ztráty na pixel. 

Normalizace Škály

Je obtížné odhadnout velikost objektu pohledem na jeden obraz, a je obtížným úkolem vyřešit tuto ambiguitu, když je trénován se ztrátou. Stejný problém není pozorován v syntetických datech, protože všechny objekty jsou vykresleny se stejnými kamerovými intrikami a objekty jsou ve vzdálenosti od kamery, což nakonec pomáhá při řešení ambiguit. Nicméně, v datech se skutečnými obrazy, ambiguita je poměrně zřejmá, a framework Splatter Image používá několik metod předzpracování k aproximativnímu stanovení velikosti všech objektů. 

Pohledově Závislá Barva

K reprezentaci pohledově závislých barev, framework Splatter Image používá sférické harmonie k generalizaci barev za rámec Lambertovského barevného modelu. Pro každé konkrétní Gaussovo rozložení, model definuje koeficienty, které jsou předpovězeny sítí a sférickými harmoniemi. Pohledová změna transformuje pohledový směr v kamerovém zdroji na jeho odpovídající pohledový směr v rámci referenční. Model poté najde odpovídající koeficienty k nalezení transformované barvy funkce. Model je schopen to udělat, protože sférické harmonie jsou uzavřené pod rotací, spolu s každým jiným řádem. 

Neuronová Síťová Architektura

Většina architektury prediktoru, který mapuje vstupní obraz na kombinaci Gaussových rozložení, je identická s procesem použitým v frameworku SongUNet. Poslední vrstva v architektuře je nahrazena 1×1 konvoluční vrstvou s barevným modelem, který určuje šířku výstupních kanálů. Daný vstupní obraz, síť produkuje výstupní kanálový tensor jako výstup, a pro každý pixelový kanál, kóduje parametry, které jsou poté transformovány do offsetu, průhlednosti, rotace, hloubky a barvy. Framework poté používá ne-lineární funkce k aktivaci parametrů a získání Gaussových parametrů. 

Pro rekonstrukci 3D reprezentací s multi-pohledy, framework Splatter Image aplikuje stejnou síť na každý vstupní pohled, a poté používá pohledový přístup k kombinaci jednotlivých rekonstrukcí. Kromě toho, k usnadnění efektivní koordinace a výměny informací mezi pohledy v síti, framework Splatter Image provedl dvě modifikace v síti. První, framework podmíněně modeluje svou kamerovou pozici, a předává vektory kódováním každého vstupu pomocí sinusoidálního positionálního vložení, vedoucího k více dimenzím. Druhý, framework přidává vrstvy křížové pozornosti k usnadnění komunikace mezi funkcemi různých pohledů. 

Splatter Image : Experimenty a Výsledky

Framework Splatter Image měří kvalitu svých rekonstrukcí vyhodnocením kvality syntézy nových pohledů, protože framework používá zdrojový pohled a vykresluje 3D tvar k cílovým neviditelným pohledům k provedení rekonstrukcí. Framework vyhodnocuje svůj výkon měřením SSIM nebo Strukturální Podobnosti, Peak Signál-Šumového Poměru nebo PSNR, a Percepční Kvality nebo LPIPS skóre. 

Jednoznačná 3D Rekonstrukce Výkon

Následující tabulka demonstruje výkon modelu Splatter Image v úkolu jednoznačné 3D rekonstrukce na benchmarcích ShapeNet. 

Jak je vidět, framework Splatter Image překonává všechny deterministické rekonstrukční metody napříč LPIPS a SSIM skóre. Skóre ukazují, že model Splatter Image generuje obrazy s ostřejšími rekonstrukcemi. Kromě toho, model Splatter Image také překonává všechny deterministické základní metody z hlediska PSNR skóre, což znamená, že generované rekonstrukce jsou také přesnější. Kromě toho, kromě překonání všech deterministických metod, framework Splatter Image vyžaduje pouze relativní kamerové pozice ke zvýšení své efektivity během školení i testování. 

Následující obrázek demonstruje kvalitativní sílu frameworku Splatter Image, a jak je vidět, model generuje rekonstrukce s tenkými a zajímavými geometriemi, a zachycuje detaily kondicionovaných pohledů. 

Následující obrázek ukazuje, že rekonstrukce generované frameworkem Splatter Image nejsou pouze ostřejší, ale také mají lepší přesnost než předchozí modely, zejména v neobvyklých podmínkách s tenkými strukturami a omezenou viditelností. 

Multi-Pohledová 3D Rekonstrukce

K vyhodnocení svých multi-pohledových 3D rekonstrukčních schopností, framework Splatter Image je trénován na datech SpaneNet-SRN Cars pro dvou-pohledové předpovědi. Existující metody používají absolutní kamerovou pozici pro multi-pohledovou 3D rekonstrukci, což znamená, že model se učí spoléhat se primárně na kamerovou pozici objektu. Ačkoli to dělá práci, omezuje to aplikovatelnost modelů, protože absolutní kamerová pozice je často neznámá pro nový obraz objektu. 

Závěrečné Myšlenky

V tomto článku, jsme mluvili o Splatter Image, metodě, která má za cíl dosáhnout ultra-rychlé jednoznačné 3D tvaru a 3D vzhledu objektů. V jádru, framework Splatter Image používá metodu Gaussian Splatting k analýze 3D reprezentací, využívající rychlosti a kvality, které nabízí. Framework Splatter Image zpracovává obrazy pomocí standardní 2D CNN architektury k předpovědi pseudo-obrazu, který obsahuje jeden barevný Gaussovo rozložení pro každý pixel. Používáním metody Gaussian Splatting, framework Splatter Image je schopen kombinovat rychlé vykreslování s rychlým odhadem, což vede k rychlému školení a rychlejšímu hodnocení na skutečných a syntetických benchmarcích.