Jak działa odtworzenie 3D z jednego widoku?

Tradycyjnie, modele odtworzenia obiektu z jednego widoku oparte na sieciach neuronowych wykazały się znaczącymi osiągnięciami w zadaniach odtworzenia. W ostatnich latach, odtworzenie 3D z jednego widoku stało się popularnym tematem badawczym w społeczności AI. Niezależnie od konkretnych metod zastosowanych w ramach modelu, wszystkie modele odtworzenia 3D z jednego widoku mają wspólny punkt – zastosowanie sieci encoder-decoder w swojej strukturze. Sieć ta wykonuje złożone rozważania dotyczące struktury 3D w przestrzeni wyjściowej.

W tym artykule, będziemy badać, jak odtworzenie 3D z jednego widoku działa w czasie rzeczywistym oraz jakie wyzwania stoją przed tymi ramami w zadaniach odtworzenia. Omówimy różne kluczowe składniki i metody stosowane przez modele odtworzenia 3D z jednego widoku oraz będziemy analizować strategie, które mogą poprawić wydajność tych ram. Dodatkowo, będziemy analizować wyniki uzyskane przez najnowsze ramy, które stosują metody encoder-decoder. Zanurzmy się w to.

Odtworzenie 3D z jednego widoku

Odtworzenie 3D z jednego widoku obiektu polega na wygenerowaniu modelu 3D obiektu z jednego punktu widzenia, czyli z jednego zdjęcia. Na przykład, wnioskowanie o strukturze 3D obiektu, takiego jak motocykl z obrazu, jest złożonym procesem. Łączy on wiedzę o strukturze części, niskopoziomowych wskazówek obrazu oraz wysokopoziomowych informacji semantycznych. Ten zakres obejmuje dwa główne aspekty: odtworzenie i rozpoznawanie. Proces odtworzenia rozróżnia strukturę 3D wejściowego obrazu przy użyciu wskazówek, takich jak cieniowanie, tekstura i efekty wizualne. Z drugiej strony, proces rozpoznawania klasyfikuje wejściowy obraz i pobiera odpowiedni model 3D z bazy danych.

Obecne modele odtworzenia 3D z jednego widoku mogą się różnić pod względem architektury, ale są zunifikowane przez włączenie struktury encoder-decoder w swojej ramie. W tej strukturze, encoder mapuje wejściowy obraz na latentną reprezentację, podczas gdy decoder wykonuje złożone wnioskowania dotyczące struktury 3D przestrzeni wyjściowej. Aby pomyślnie wykonać to zadanie, sieć musi zintegrować zarówno wysokopoziomowe, jak i niskopoziomowe informacje. Dodatkowo, wiele najnowszych metod encoder-decoder opiera się na rozpoznawaniu w zadaniach odtworzenia 3D z jednego widoku, co ogranicza ich możliwości odtworzenia. Ponadto, wydajność nowoczesnych sieci neuronowych w odtworzeniu 3D z jednego widoku może być przewyższona bez jawnej inferencji struktury 3D obiektu. Jednak dominacja rozpoznawania w sieciach neuronowych w zadaniach odtworzenia obiektu z jednego widoku jest wpływana przez różne procedury eksperymentalne, w tym protokoły oceny i skład bazy danych. Takie czynniki umożliwiają ramom znalezienie rozwiązania, w tym przypadku, rozpoznawania obrazu.

Tradycyjnie, ramy odtworzenia 3D z jednego widoku podejmują zadania odtworzenia przy użyciu podejścia kształtu z cieniowania, z teksturowaniem i rozmyciem jako egzotycznymi widokami dla zadań odtworzenia. Ponieważ te techniki używają jednego sygnału głębi, są one w stanie dostarczyć powody dla widocznych części powierzchni. Dodatkowo, wiele ram odtworzenia 3D z jednego widoku używa wielu sygnałów wraz ze strukturalną wiedzą do oszacowania głębi z jednego monokularnego obrazu, co pozwala tym ramom przewidzieć głębokość widocznych powierzchni. Nowoczesne ramy oszacowania głębi wdrożone sieci neuronowe do wyodrębnienia głębi w monokularnym obrazie.

Jednak dla skutecznego odtworzenia 3D z jednego widoku, modele nie tylko muszą wnioskować o strukturze 3D widocznych obiektów w obrazie, ale również muszą hallucynować niewidoczne części w obrazie przy użyciu pewnych a priori poznanych z danych. Aby to osiągnąć, większość modeli obecnie wdrożone szkolone sieci neuronowe do mapowania 2D obrazów w 3D kształty przy użyciu bezpośredniej 3D nadzoru, podczas gdy wiele innych ram wdrożone reprezentację voxelową 3D kształtu i używa latentnej reprezentacji do generowania 3D up-convolutions. Pewne ramy również podzielają przestrzeń wyjściową hierarchicznie, aby poprawić wydajność obliczeniową i pamięciową, co umożliwia modelowi przewidzieć wyższo-rozdzielczościowe 3D kształty. Ostatnie badania koncentrują się na użyciu słabszych form nadzoru dla przewidywania kształtów 3D z jednego widoku przy użyciu sieci neuronowych, albo porównując przewidywane kształty i ich rzeczywiste przewidywania, aby trenować regresorów kształtów, albo używając wielu sygnałów uczenia, aby trenować średnie kształty, co pomaga modelowi przewidzieć deformacje. Innym powodem ograniczonych postępów w odtworzeniu 3D z jednego widoku jest ograniczona ilość danych szkoleniowych dostępnych dla tego zadania.

Przechodząc dalej, odtworzenie 3D z jednego widoku jest złożonym zadaniem, ponieważ nie tylko interpretuje dane wizualne geometrycznie, ale również semantycznie. Chociaż nie są one całkowicie różne, różnią się one na różnych spektrach od geometrycznego odtworzenia do semantycznego rozpoznawania. Zadania odtworzenia wymagają rozważań punkt-po-punkcie struktury 3D obiektu w obrazie. Zadania odtworzenia nie wymagają zrozumienia semantycznego zawartości obrazu i mogą być osiągnięte przy użyciu niskopoziomowych wskazówek obrazu, w tym teksturowania, koloru, cieniowania, cieni, perspektywy i ostrości. Rozpoznawanie, z drugiej strony, jest skrajnym przypadkiem użycia semantyki obrazu, ponieważ zadania rozpoznawania używają całych obiektów i klasyfikują obiekt w wejściu, a następnie pobierają odpowiedni kształt z bazy danych. Chociaż zadania rozpoznawania mogą dostarczyć solidne rozważania dotyczące niewidocznych części obiektu, rozwiązanie semantyczne jest możliwe tylko wtedy, gdy może być wyjaśnione przez obiekt obecny w bazie danych.

Chociaż zadania rozpoznawania i odtworzenia mogą się znacznie różnić, oba tendencje do ignorowania cennych informacji zawartych w wejściowym obrazie. Zalecane jest użycie obu zadań w zgodzie z sobą, aby uzyskać najlepsze możliwe wyniki i dokładne kształty 3D dla odtworzenia obiektu, czyli dla optymalnych zadań odtworzenia 3D z jednego widoku, model powinien zastosować wiedzę strukturalną, niskopoziomowe wskazówki obrazu i wysokopoziomowe zrozumienie obiektu.

Odtworzenie 3D z jednego widoku: Konwencjonalny układ

Aby wyjaśnić konwencjonalny układ i analizować układ ramy odtworzenia 3D z jednego widoku, będziemy wdrożyć standardowy układ do oszacowania kształtu 3D przy użyciu jednego widoku lub obrazu obiektu. Baza danych użyta do celów szkoleniowych to baza danych ShapeNet, a wyniki są oceniane w 13 klasach, co pozwala modelowi zrozumieć, jak liczba klas w bazie danych wpływa na oszacowanie kształtu modelu.

Większość nowoczesnych sieci neuronowych używa jednego obrazu do przewidywania wysokich rozdzielczości modeli 3D, a te ramy mogą być sklasyfikowane na podstawie reprezentacji ich wyjścia: map głębi, chmur punktów i siatek voxelowych. Model używa OGN lub Octree Generating Networks jako swojej reprezentatywnej metody, która historycznie przewyższyła podejście siatki voxelowej i/lub może objąć dominujące reprezentacje wyjścia. W przeciwieństwie do istniejących metod, które wykorzystują reprezentacje wyjścia, podejście OGN pozwala modelowi przewidzieć wysokich rozdzielczości kształty i używa oktetów do wydajnej reprezentacji zajmowanej przestrzeni.

Bazy porównawcze

Aby ocenić wyniki, model wdrożone dwa bazy porównawcze, które rozważają problem jako czyste zadanie rozpoznawania. Pierwsza baza porównawcza oparta jest na klasteringu, podczas gdy druga baza porównawcza wykonuje pobieranie z bazy danych.

Klastering

W przypadku bazy porównawczej klasteringu, model używa algorytmu K-Means do klasterowania lub grupowania kształtów szkoleniowych w podkategorie K, a uruchamia algorytm na 32*32*32 voxelizacjach spłaszczonych do wektora. Po określeniu przypisań klasterów, model wraca do pracy z modelami o wyższej rozdzielczości. Następnie model oblicza średni kształt w każdym klastrze i progowuje średnie kształty, gdzie optymalna wartość jest obliczana przez maksymalizację średniego IoU lub Intersection over Union nad modelami. Ponieważ model zna relację między kształtami 3D a obrazami w danych szkoleniowych, model może łatwo dopasować obraz do odpowiedniego klastra.

Pobieranie

Baza porównawcza pobierania uczy się osadzać kształty i obrazy w wspólnej przestrzeni. Model rozważa podobieństwo pary 3D macierzy kształtów w zbiorze szkoleniowym, aby utworzyć przestrzeń osadzania. Model to osiąga, używając podejścia Multi-Dimensional Scaling z mapowaniem Sammona do kompresji każdego wiersza w macierzy do niskowymiarowego opisu. Dodatkowo, aby obliczyć podobieństwo między dwoma dowolnymi kształtami, model używa opisu światła. Ponadto, model trenuje sieć neuronową, aby mapować obrazy na opis, aby osadzić obrazy w przestrzeni.

Analiza

Modele odtworzenia 3D z jednego widoku stosują różne strategie, w wyniku czego przewyższają inne modele w niektórych obszarach, podczas gdy w innych obszarach są gorsze. Aby porównać różne ramy i ocenić ich wydajność, mamy różne metryki, jedną z nich jest średni wynik IoU.

Jak można zobaczyć na powyższym obrazie, pomimo różnych architektur, obecne modele odtworzenia 3D dostarczają prawie takie same wyniki. Jednak jest to interesujące, że pomimo tego, iż jest to czysta metoda rozpoznawania, baza porównawcza pobierania przewyższa inne modele pod względem średniego i mediany IoU. Baza porównawcza klasteringu dostarcza solidne wyniki, przewyższając ramę AtlasNet, OGN i Matryoshka. Jednak najbardziej nieoczekiwany wynik tej analizy pozostaje Oracle (ORCL ) NN, który przewyższa wszystkie inne metody, pomimo zastosowania idealnej architektury pobierania. Chociaż obliczanie średniego wyniku IoU pomaga w porównaniu, nie dostarcza pełnego obrazu, ponieważ zmienność wyników jest wysoka, niezależnie od modelu.

Wspólne metryki oceny

Modele odtworzenia 3D z jednego widoku często stosują różne metryki oceny, aby analizować ich wydajność w szerokim zakresie zadań. Poniżej znajdują się niektóre z najczęściej stosowanych metryk oceny.

Przekrycie

Średnia wartość przekrycia jest powszechnie stosowaną metryką, która służy jako benchmark dla modeli odtworzenia 3D z jednego widoku. Chociaż przekrycie dostarcza pewne informacje o wydajności modelu, nie jest uważane za jedyną metrykę, która ocenia metodę, ponieważ wskazuje na jakość kształtu przewidywanego przez model tylko wtedy, gdy wartości są wystarczająco wysokie, a znacząca dysproporcja jest obserwowana między niskimi i średnimi wynikami dla dwóch danych kształtów.

Odległość Chamfera

Odległość Chamfera jest zdefiniowana na chmurach punktów i została zaprojektowana w taki sposób, aby mogła być stosowana do różnych reprezentacji 3D w sposób zadowalający. Jednak metryka oceny odległości Chamfera jest bardzo wrażliwa na outlierów, co sprawia, że jest to problematyczna miara do oceny wydajności modelu, a odległość outlierów od kształtu referencyjnego znacząco determinuje jakość generacji.

F-Score

F-Score jest powszechnie stosowaną metryką oceny, która jest aktywnie stosowana przez większość modeli odtworzenia 3D z wielu widoków. Metryka F-Score jest zdefiniowana jako średnia harmoniczna między recall i precyzją, a ocenia odległość między powierzchniami obiektów w sposób jawny. Precyzja liczy procent punktów odtworzonych, które znajdują się w określonej odległości od rzeczywistego kształtu, aby zmierzyć dokładność odtworzenia. Recall z drugiej strony liczy procent punktów na rzeczywistym kształcie, które znajdują się w określonej odległości od odtworzonego kształtu, aby zmierzyć kompletność odtworzenia. Dodatkowo, poprzez zmianę progu odległości, deweloperzy mogą kontrolować surowość metryki F-Score.

Analiza per-klasowa

Podobieństwo wyników dostarczonych przez powyższe ramy nie może być wynikiem metod działających na różnych podzbiorach klas, a poniższy rysunek demonstruje spójną względną wydajność w różnych klasach, z bazą porównawczą Oracle NN, która osiąga najlepszy wynik, a wszystkie metody obserwują wysoką zmienność we wszystkich klasach.

Dodatkowo, liczba dostępnych próbek szkoleniowych dla klasy może skłonić do przypuszczenia, że wpływa na per-klasową wydajność. Jednak, jak pokazano na poniższym rysunku, liczba dostępnych próbek szkoleniowych dla klasy nie wpływa na per-klasową wydajność, a liczba próbek w klasie i jej średni wynik IoU nie są skorelowane.

Analiza jakościowa

Wyniki ilościowe omówione w powyższej sekcji są poparte wynikami jakościowymi, jak pokazano na poniższym obrazie.

Dla większości klas, nie ma znaczącej różnicy między bazą porównawczą klasteringu a przewidywaniami wykonanymi przez metody oparte na decoderze. Podejście klasteringu nie dostarcza wyników, gdy odległość między próbką a średnim kształtem klastra jest wysoka, lub gdy średni kształt nie może opisać klastra wystarczająco dobrze. Z drugiej strony, ramy zastosowania metod opartych na decoderze i architektury pobierania dostarczają najbardziej dokładne i atrakcyjne wyniki, ponieważ są one w stanie uwzględnić drobne szczegóły w wygenerowanym modelu 3D.

Odtworzenie 3D z jednego widoku: Końcowe myśli

W tym artykule, omówiliśmy odtworzenie 3D z jednego widoku obiektu i omówiliśmy, jak to działa, oraz omówiliśmy dwie bazy porównawcze: pobieranie i klastering, z bazą porównawczą pobierania, która przewyższa obecne modele stanu sztuki. W końcu, chociaż odtworzenie 3D z jednego widoku obiektu jest jednym z najgorętszych tematów i najbardziej badanych tematów w społeczności AI, i pomimo dokonania znaczących postępów w ciągu ostatnich kilku lat, odtworzenie 3D z jednego widoku obiektu jest jeszcze dalekie od bycia idealnym, z znaczącymi przeszkodami do pokonania w nadchodzących latach.