Jak funguje rekonstrukce 3D z jednoho pohledu?

Tradičně, modely pro rekonstrukci objektů z jednoho pohledu postavené na konvolučních neuronových sítích prokázaly pozoruhodné výsledky v úkolech rekonstrukce. V posledních letech, rekonstrukce 3D z jednoho pohledu se stala populárním výzkumným tématem v komunitě umělé inteligence. Bez ohledu na konkrétní metodologii, všechny modely rekonstrukce 3D z jednoho pohledu sdílejí společný přístup, který zahrnuje encoder-decoder síť ve své struktuře. Tato síť provádí komplexní úsudky o 3D struktuře ve výstupním prostoru.

V tomto článku, prozkoumáme, jak rekonstrukce 3D z jednoho pohledu funguje v reálném čase a současné výzvy, kterým tyto rámce čelí v úkolech rekonstrukce. Probereme různé klíčové komponenty a metody, které využívají modely rekonstrukce 3D z jednoho pohledu, a prozkoumáme strategie, které by mohly vylepšit výkon těchto rámců. Kromě toho, analyzujeme výsledky, které poskytují špičkové rámce, které využívají metody encoder-decoder. Pojďme se ponořit do toho.

Rekonstrukce 3D objektů z jednoho pohledu

Rekonstrukce 3D objektů z jednoho pohledu zahrnuje generování 3D modelu objektu z jednoho pohledu, nebo jednodušeji, z jednoho obrázku. Například, odvození 3D struktury objektu, jako je motocykl z obrázku, je komplexní proces. Kombinuje znalosti strukturálního uspořádání částí, nízkoúrovňových obrazových podnětů a vysokou úroveň sémantických informací. Tento spektrum zahrnuje dva hlavní aspekty: rekonstrukci a rozpoznání. Proces rekonstrukce rozlišuje 3D strukturu vstupního obrázku pomocí podnětů, jako je stínování, textura a vizuální efekty. Naopak, proces rozpoznání klasifikuje vstupní obrázek a načte vhodný 3D model z databáze.

Current modely rekonstrukce 3D objektů z jednoho pohledu se mohou lišit v architektuře, ale jsou sjednoceny zařazením encoder-decoder struktury ve své struktuře. V této struktuře, encoder mapuje vstupní obrázek na latentní reprezentaci, zatímco decoder provádí komplexní úsudky o 3D struktuře výstupního prostoru. Aby tato úloha byla úspěšně provedena, síť musí integrovat jak vysokou, tak nízkoúrovňovou informaci. Kromě toho, mnoho špičkových encoder-decoder metod se spoléhá na rozpoznání pro úkoly rekonstrukce 3D z jednoho pohledu, což omezuje jejich rekonstrukční schopnosti. Navíc, výkon moderních konvolučních neuronových sítí v rekonstrukci 3D objektů z jednoho pohledu lze překonat bez explicitního odvození 3D struktury objektu. Nicméně, dominance rozpoznání v konvolučních sítích v úkolech rekonstrukce objektů z jednoho pohledu je ovlivněna různými experimentálními postupy, včetně hodnocení protokolů a složení datového souboru. Tyto faktory umožňují rámcům najít krátkou cestu, v tomto případě, rozpoznání obrázků.

Tradičně, rámce rekonstrukce 3D objektů z jednoho pohledu přistupují k úkolu rekonstrukce pomocí přístupu tvaru z stínování, s texturou a rozostřením jako exotickými pohledy pro úkoly rekonstrukce. Tyto techniky, které používají jeden hloubkový podnět, jsou schopny poskytnout úsudky o viditelných částech povrchu. Kromě toho, mnoho rámců rekonstrukce 3D z jednoho pohledu používá více podnětů spolu se strukturálními znalostmi pro odhad hloubky z jednoho monokulárního obrázku, kombinace, která umožňuje těmto rámcům předpovědět hloubku viditelných povrchů. Novější rámce odhadu hloubky nasazují konvoluční neuronové sítě pro extrakci hloubky v monokulárním obrázku.

Nicméně, pro efektivní rekonstrukci 3D z jednoho pohledu, modely musí nejen rozlišovat 3D strukturu viditelných objektů v obrázku, ale také musí halucinovat neviditelné části v obrázku pomocí určitých předchozích znalostí získaných z dat. K tomu, většina modelů nasazuje trénované konvoluční neuronové sítě pro mapování 2D obrázků na 3D tvary pomocí přímé 3D supervize, zatímco mnoho dalších rámců nasazuje voxelovou reprezentaci 3D tvaru a používá latentní reprezentaci pro generování 3D konvolucí. Některé rámce také rozdělují výstupní prostor hierarchicky, aby vylepšily výpočetní a paměťovou efektivitu, což umožňuje modelu předpovědět vyšší rozlišení 3D tvarů. Nedávný výzkum se zaměřuje na použití slabších forem supervize pro předpověď 3D tvarů pomocí konvolučních neuronových sítí, buď srovnáním předpovězených tvarů a jejich skutečných předpovědí pro trénování tvarových regresorů, nebo pomocí více signálů učení pro trénování průměrných tvarů, které pomáhají modelu předpovědět deformace. Další důvod, proč je pokrok v rekonstrukci 3D z jednoho pohledu omezen, je omezené množství trénovacích dat dostupných pro tuto úlohu.

Pokračujeme, rekonstrukce 3D z jednoho pohledu je komplexní úloha, protože nejen interpretuje vizuální data geometricky, ale také sémanticky. Ačkoli nejsou zcela odlišné, pokrývají různé spektra od geometrické rekonstrukce k sémantickému rozpoznání. Úkoly rekonstrukce vyžadují pixelové rozlišení 3D struktury objektu v obrázku. Úkoly rekonstrukce nevyžadují sémantické pochopení obsahu obrázku a lze je dosáhnout pomocí nízkoúrovňových obrazových podnětů, včetně textury, barvy, stínování, stínů, perspektivy a rozostření. Naopak, rozpoznání je krajním případem použití obrazové sémantiky, protože úkoly rozpoznání používají celé objekty a odpovídají klasifikaci objektu ve vstupu a načtení odpovídajícího tvaru z databáze. Ačkoli úkoly rozpoznání mohou poskytnout robustní úsudky o částech objektu, které nejsou viditelné v obrázcích, sémantické řešení je proveditelné pouze tehdy, pokud lze jej vysvětlit objektem přítomným v databázi.

Ačkoli úkoly rozpoznání a rekonstrukce se mohou lišit od sebe významně, obě zanedbávají cenné informace obsažené ve vstupním obrázku. Je vhodné použít obě tyto úkoly v souladu s sebou, aby se získaly nejlepší možné výsledky a přesné 3D tvary pro rekonstrukci objektů, tj. pro optimální rekonstrukci 3D z jednoho pohledu, model by měl využívat strukturální znalosti, nízkoúrovňové obrazové podněty a vysokou úroveň pochopení objektu.

Rekonstrukce 3D z jednoho pohledu: Konvenční nastavení

Abyste vysvětlili konvenční nastavení a analyzovali nastavení rámce rekonstrukce 3D z jednoho pohledu, nasadíme standardní nastavení pro odhad 3D tvaru pomocí jednoho pohledu nebo obrázku objektu. Datový soubor použitý pro trénovací účely je datový soubor ShapeNet a vyhodnocuje výkon napříč 13 třídami, což umožňuje modelu pochopit, jak počet tříd v datovém souboru určuje výkon odhadu tvaru modelu.

Většina moderních konvolučních neuronových sítí používá jeden obrázek pro předpověď vysokého rozlišení 3D modelů a tyto rámce lze kategorizovat na základě reprezentace jejich výstupu: hloubkové mapy, bodové mračna a voxelové mřížky. Model používá OGN nebo Octree Generating Networks jako svou reprezentační metodu, která historicky překonala přístup voxelové mřížky a/nebo může pokrýt dominantní reprezentace výstupu. Na rozdíl s existujícími metodami, které využívají reprezentace výstupu, přístup OGN umožňuje modelu předpovědět vysoké rozlišení tvary a používá oktříny pro efektivní reprezentaci obsazeného prostoru.

Referenční hodnoty

Abyste vyhodnotili výsledky, model nasazuje dvě referenční hodnoty, které považují problém za čistou úlohu rozpoznání. První referenční hodnota je založena na shlukování, zatímco druhá referenční hodnota provádí vyhledání v databázi.

Shlukování

V referenční hodnotě shlukování, model používá algoritmus K-Means pro shlukování nebo seskupování trénovacích tvarů do K podkategorii a spouští algoritmus na 32*32*32 voxelizacích zhuštěných do vektoru. Po stanovení přiřazení shluku, model přepíná zpět na práci s modely s vyšším rozlišením. Model poté vypočítá průměrný tvar uvnitř každého shluku a prahové hodnoty průměrných tvarů, kde optimální hodnota je vypočtena maximalizací průměrné IoU nebo průniku nad modely. Jelikož model zná vztah mezi 3D tvary a obrázky v trénovacích datech, model může snadno spárovat obrázek se svou odpovídající třídou.

Vyhledání

Referenční hodnota vyhledání se učí vkládat tvary a obrázky do společného prostoru. Model zvažuje párové podobnosti 3D maticových tvarů v trénovacím souboru pro konstrukci vkládacího prostoru. Model dosahuje tohoto pomocí Multidimenzionálního Škálování se Sammonovou mapou pro komprimaci každé řádky v matici na nízko-rozlišenou deskriptor. Kromě toho, aby vypočítal podobnost mezi dvěma libovolnými tvary, model využívá deskriptor světelného pole. Kromě toho, model trénuje konvoluční neuronovou síť pro mapování obrázků na deskriptor pro vložení obrázků do prostoru.

Analýza

Modely rekonstrukce 3D z jednoho pohledu následují různé strategie, v důsledku čehož překonávají jiné modely v některých oblastech, zatímco v jiných oblastech selhávají. Pro srovnání různých rámců a vyhodnocení jejich výkonu, máme různé metriky, jednou z nich je průměrný skóre IoU.

Jak je vidět na obrázku výše, navzdory tomu, že mají různé architektury, současné špičkové modely rekonstrukce 3D poskytují téměř stejný výkon. Nicméně, je zajímavé poznamenat, že navzdory tomu, že je čistou metodou rozpoznání, referenční hodnota vyhledání překonává ostatní modely z hlediska průměrného a mediánového skóre IoU. Referenční hodnota shlukování poskytuje solidní výsledky, překonávající rámce AtlasNet, OGN a Matryoshka. Nicméně, nejneočekávanějším výsledkem této analýzy je, že Oracle (ORCL ) NN překonává všechny ostatní metody, ačkoli využívá perfektní architekturu vyhledání. Ačkoli výpočet průměrného skóre IoU pomáhá při srovnání, neposkytuje úplný obraz, protože variace výsledků je vysoká bez ohledu na model.

Společné metriky hodnocení

Modely rekonstrukce 3D z jednoho pohledu často využívají různé metriky hodnocení pro analýzu jejich výkonu na široké škále úkolů. Následující jsou některé z běžně používaných metrik hodnocení.

Průnik nad unionem

Průměrný průnik nad unionem je metrika, která se běžně používá jako kvantitativní měření pro posouzení modelů rekonstrukce 3D z jednoho pohledu. Ačkoli IoU poskytuje některé informace o výkonu modelu, není považován za jedinou metriku pro hodnocení metody, protože indikuje kvalitu tvaru předpovězeného modelem pouze tehdy, pokud jsou hodnoty dostatečně vysoké s významnou diskrepancí mezi nízkými a středními skóre pro dva dané tvary.

Chamferova vzdálenost

Chamferova vzdálenost je definována na bodových mračnech a byla navržena tak, aby mohla být aplikována na různé 3D reprezentace uspokojivě. Nicméně, metrika Chamferovy vzdálenosti je vysoce citlivá na outlier, což z ní činí problematické měření pro vyhodnocení výkonu modelu, s vzdáleností outlier od referenčního tvaru, která významně určuje kvalitu generace.

F-Skóre

F-Skóre je běžně používaná metrika, která je aktivně využívána většinou modelů rekonstrukce 3D z více pohledů. Metrika F-Skóre je definována jako harmonický průměr mezi recall a přesností a vyhodnocuje vzdálenost mezi povrchy objektů explicitně. Přesnost počítá procento rekonstruovaných bodů, které leží v předem definované vzdálenosti od skutečného tvaru, aby se měřila přesnost rekonstrukce. Recall počítá procento bodů na skutečném tvaru, které leží v předem definované vzdálenosti od rekonstrukce, aby se měřila úplnost rekonstrukce. Kromě toho, měnící se vzdálenostní práh, vývojáři mohou řídit přísnost metriky F-Skóre.

Analýza podle tříd

Podobnost výkonu dodávaná výše uvedenými rámci nemůže být výsledkem metod, které běží na různých podmnožinách tříd, a následující obrázek demonstruje konzistentní relativní výkon napříč různými třídami, s referenční hodnotou Oracle NN, která dosahuje nejlepšího výsledku ze všech, a všechny metody pozorují vysokou variaci pro všechny třídy.

Kromě toho, počet trénovacích vzorků dostupných pro třídu by mohl vést k domněnce, že ovlivňuje výkon podle tříd. Nicméně, jak je ukázáno na následujícím obrázku, počet trénovacích vzorků dostupných pro třídu neovlivňuje výkon podle tříd, a počet vzorků v třídě a jeho průměrné skóre IoU nejsou korelovány.

Kvalitativní analýza

Kvantitativní výsledky diskutované v předchozí sekci jsou podporovány kvalitativními výsledky, jak je ukázáno na následujícím obrázku.

Pro většinu tříd, neexistuje žádný významný rozdíl mezi referenční hodnotou shlukování a předpověďmi provedenými dekodéry založenými na metodách. Přístup shlukování selhává, když je vzdálenost mezi vzorkem a průměrným tvarem shluku vysoká, nebo v situacích, kdy sám průměrný tvar nemůže dostatečně popsat shluk. Naopak, rámce, které využívají dekodéry založené na metodách a architekturu vyhledání, poskytují nejpreciznější a nejatraktivnější výsledky, protože jsou schopny zahrnout jemné detaily do generovaného 3D modelu.

Rekonstrukce 3D z jednoho pohledu: Závěrečné myšlenky

V tomto článku, diskutovali jsme o rekonstrukci 3D objektů z jednoho pohledu a diskutovali, jak funguje a diskutovali o dvou referenčních hodnotách: Vyhledání a Klasifikace, s referenční hodnotou vyhledání, která překonává současné špičkové modely. Nakonec, ačkoli rekonstrukce 3D objektů z jednoho pohledu je jedním z nejžhavějších témat a nejvýzkumnějších témat v komunitě umělé inteligence, a navzdory tomu, že došlo k významnému pokroku v posledních letech, rekonstrukce 3D objektů z jednoho pohledu je daleko od toho, aby byla dokonalá, s významnými překážkami, které je třeba překonat v nadcházejících letech.