Hur Single-View 3D-Rekonstruktion Fungerar?

Traditionellt har modeller för single-view-objektrekonstruktion som bygger på konvolutionsneurala nätverk visat imponerande prestanda i rekonstruktionsuppgifter. Under de senaste åren har single-view 3D-rekonstruktion blivit ett populärt forskningsområde inom AI-samhället. Oavsett den specifika metod som används delar alla single-view 3D-rekonstruktionsmodeller den gemensamma metoden att inkorporera ett encoder-decoder-nätverk i sin ram. Detta nätverk utför komplex resonemang om den 3D-struktur i utrymmet.

I den här artikeln kommer vi att utforska hur single-view 3D-rekonstruktion fungerar i realtid och de nuvarande utmaningar som dessa ramverk står inför i rekonstruktionsuppgifter. Vi kommer att diskutera olika nyckelkomponenter och metoder som används av single-view 3D-rekonstruktionsmodeller och undersöka strategier som kan förbättra prestandan hos dessa ramverk. Dessutom kommer vi att analysera resultaten som produceras av state-of-the-art-ramverk som använder encoder-decoder-metoder. Låt oss dyka in.

Single-View 3D-Objektrekonstruktion

Single-view 3D-objektrekonstruktion innebär att generera en 3D-modell av ett objekt från en enda vy, eller i enklare termer, från en enda bild. Till exempel att härleda den 3D-struktur av ett objekt, som en motorcykel från en bild, är en komplex process. Den kombinerar kunskap om den strukturella anordningen av delar, lågnivåbildcues och högnivåsemantisk information. Detta spektrum omfattar två huvudaspekter: rekonstruktion och igenkänning. Rekonstruktionsprocessen urskiljer den 3D-struktur av den inmatade bilden med hjälp av cues som skuggning, textur och visuella effekter. I kontrast urskiljer igenkänningsprocessen den inmatade bilden och hämtar en lämplig 3D-modell från en databas.

Nuvarande single-view 3D-objektrekonstruktionsmodeller kan variera i arkitektur, men de är enhetliga genom att de innehåller en encoder-decoder-struktur i sin ram. I denna struktur kartlägger encodern den inmatade bilden till en latent representation, medan decodern gör komplexa antaganden om den 3D-struktur av utrymmet. För att framgångsrikt utföra denna uppgift måste nätverket integrera både högnivå- och lågnivåinformation. Dessutom förlitar sig många state-of-the-art-encoder-decoder-metoder på igenkänning för single-view 3D-rekonstruktionsuppgifter, vilket begränsar deras rekonstruktionsförmåga. Dessutom kan prestandan hos moderna konvolutionsneurala nätverk i single-view 3D-objektrekonstruktion överträffas utan att explicit härleda den 3D-objektstrukturen. Men dominansen av igenkänning i konvolutionsnätverk i single-view-objektrekonstruktionsuppgifter påverkas av olika experimentella procedurer, inklusive utvärderingsprotokoll och datamängdsammansättning. Sådana faktorer möjliggör för ramverket att hitta en genvägslösning, i det här fallet bildigenkänning.

Traditionellt närmar sig single-view 3D-objektrekonstruktionsramverk rekonstruktionsuppgifterna med hjälp av metoden “form från skuggning”, med textur och defokus som exotiska vyer för rekonstruktionsuppgifterna. Eftersom dessa tekniker använder en enda djupcue är de kapabla att ge resonemang för de synliga delarna av en yta. Dessutom använder många single-view 3D-rekonstruktionsramverk flera cues tillsammans med strukturell kunskap för att uppskatta djup från en enda monokulär bild, en kombination som tillåter dessa ramverk att förutsäga djupet av de synliga ytorna. Mer nyligen deployerar djupuppskattning ramverk konvolutionsneurala nätverksstrukturer för att extrahera djup i en monokulär bild.

Men för effektiv single-view 3D-rekonstruktion måste modellerna inte bara resonera om den 3D-struktur av de synliga objekten i bilden, utan de måste också hallucinera de osynliga delarna i bilden med hjälp av vissa priors som lärs från data. För att uppnå detta deployerar de flesta modellerna för närvarande tränade konvolutionsneurala nätverksstrukturer för att kartlägga 2D-bilder till 3D-former med direkt 3D-tillsyn, medan många andra ramverk deployerar en voxelbaserad representation av 3D-form och använder en latent representation för att generera 3D-up-convolutioner. Vissa ramverk partitionerar också utrymmet hierarkiskt för att förbättra beräknings- och minneseffektivitet, vilket möjliggör för modellen att förutsäga högupplösta 3D-former. Senaste forskningen fokuserar på att använda svagare former av tillsyn för single-view 3D-formprediktion med hjälp av konvolutionsneurala nätverk, antingen genom att jämföra förutsagda former och deras grundtruth-prediktioner för att träna formregressorer eller genom att använda flera lärignaler för att träna medelformer som hjälper modellen att förutsäga deformationer. En annan anledning till de begränsade framstegen i single-view 3D-rekonstruktion är den begränsade mängden träningsdata som finns tillgänglig för uppgiften.

Vidare är single-view 3D-rekonstruktion en komplex uppgift eftersom den inte bara tolkar visuell data geometriskt, utan också semantiskt. Även om de inte är helt olika, täcker de olika spektrum från geometrisk rekonstruktion till semantisk igenkänning. Rekonstruktionsuppgifter kräver per-pixel-resonemang om den 3D-struktur av objektet i bilden. Rekonstruktionsuppgifter kräver inte semantisk förståelse av innehållet i bilden och kan uppnås med hjälp av lågnivåbildcues, inklusive textur, färg, skuggning, skuggor, perspektiv och fokus. Igenkänning, å andra sidan, är ett extremt fall av att använda bildsemantik, eftersom igenkänningsuppgifter använder hela objekt och klassificerar objektet i indata och hämtar den motsvarande formen från databasen. Även om igenkänningsuppgifter kan ge robusta resonemang om de delar av objektet som inte är synliga i bilderna, är den semantiska lösningen endast möjlig om den kan förklaras av ett objekt som finns i databasen.

Även om rekonstruktions- och igenkänningsuppgifter kan skilja sig från varandra avsevärt, tenderar de att båda ignorera värdefull information som finns i indata-bilden. Det är lämpligt att använda båda uppgifterna i samverkan med varandra för att få de bästa möjliga resultaten och exakta 3D-former för objektrekonstruktion, d.v.s. för optimal single-view 3D-rekonstruktion, bör modellen använda strukturell kunskap, lågnivåbildcues och högnivåförståelse av objektet.

Single-View 3D-Rekonstruktion: Konventionell Uppställning

För att förklara den konventionella uppsättningen och analysera uppsättningen av en single-view 3D-rekonstruktionsramverk kommer vi att deployera en standarduppsättning för att uppskatta den 3D-formen med hjälp av en enda vy eller bild av objektet. Datamängden som används för träningsändamål är ShapeNet-datamängden, och utvärderar prestandan över 13 klasser, vilket tillåter modellen att förstå hur antalet klasser i en datamängd bestämmer formuppskattningsprestandan hos modellen.

De flesta moderna konvolutionsneurala nätverk använder en enda bild för att förutsäga högupplösta 3D-modeller, och dessa ramverk kan kategoriseras baserat på representationen av deras utdata: djupkartor, punktmoln och voxelrutnät. Modellen använder OGN eller Octree Generating Networks som dess representativa metod, som historiskt sett har överträffat voxelrutnätsmetoden och/eller kan täcka de dominerande utdatarepresentationerna. I kontrast med befintliga metoder som använder utdatarepresentationer, tillåter OGN-metoden modellen att förutsäga högupplösta former och använder okträer för att effektivt representera det upptagna utrymmet.

Baslinjer

För att utvärdera resultaten deployerar modellen två baslinjer som betraktar problemet som en ren igenkänningsuppgift. Den första baslinjen baseras på klustermedan den andra baslinjen utför databasretrieval.

Kluster

I klusterbaslinjen använder modellen K-Means-algoritmen för att klustra eller gruppera träningsformerna i K underkategorier och kör algoritmen på 32*32*32 voxeliseringar som plattas ut i en vektor. Efter att ha bestämt klusteruppdelningen växlar modellen tillbaka till att arbeta med modeller med högre upplösning. Modellen beräknar sedan den genomsnittliga formen inom varje kluster och trösklar den genomsnittliga formen, där den optimala värdet beräknas genom att maximera den genomsnittliga IoU eller Intersection over Union över modellerna. Eftersom modellen känner till relationen mellan de 3D-formerna och bilderna inom träningsdata kan modellen lätt matcha bilden med dess motsvarande kluster.

Retrieval

Retrieval-baslinjen lär sig att infoga former och bilder i ett gemensamt utrymme. Modellen betraktar den parvisa likheten mellan 3D-matrisformer i träningsmängden för att konstruera infogningsutrymmet. Modellen uppnår detta genom att använda Multi-Dimensional Scaling med Sammon-mappning för att komprimera varje rad i matrisen till en lågnivåbeskrivning. Dessutom, för att beräkna likheten mellan två godtyckliga former, använder modellen ljusfältsbeskrivningen. Dessutom tränar modellen ett konvolutionsneuralt nätverk för att kartlägga bilder till en beskrivning för att infoga bilderna i utrymmet.

Analys

Single-view 3D-rekonstruktionsmodeller följer olika strategier, vilket resulterar i att de överträffar andra modeller i vissa områden, medan de inte räcker till i andra. För att jämföra olika ramverk och utvärdera deras prestanda har vi olika metoder, en av dem är den genomsnittliga IoU-poängen.

Som det kan ses i bilden ovan, trots att de har olika arkitekturer, levererar nuvarande state-of-the-art-3D-rekonstruktionsmodeller nästan samma prestanda. Men det är intressant att notera att, trots att det är en ren igenkänningsmetod, retrieval-ramverket överträffar andra modeller i termer av genomsnittlig och median IoU-poäng. Kluster-ramverket levererar solida resultat som överträffar AtlasNet-, OGN- och Matryoshka-ramverken. Men den mest oväntade utgången av denna analys är att Oracle (ORCL ) NN överträffar alla andra metoder, trots att den använder en perfekt retrieval-arkitektur. Även om beräkning av den genomsnittliga IoU-poängen hjälper till att jämföra, ger den inte en fullständig bild, eftersom variansen i resultaten är hög oavsett modellen.

Vanliga Utvärderingsmetoder

Single-view 3D-rekonstruktionsmodeller använder ofta olika utvärderingsmetoder för att analysera deras prestanda på en mängd olika uppgifter. Följande är några av de vanligaste utvärderingsmetoderna.

Intersection Over Union

Den genomsnittliga Intersection Over Union är en metod som vanligtvis används som en kvantitativ måttstock för att fungera som en benchmark för single-view 3D-rekonstruktionsmodeller. Även om IoU ger viss insikt i modellens prestanda, anses den inte som den enda metoden för att utvärdera en metod, eftersom den endast indikerar kvaliteten på den förutsagda formen om värdet är tillräckligt högt, med en betydande diskrepans mellan låg- och medelhög poäng för två givna former.

Chamfer Distance

Chamfer Distance definieras på punktmoln och har utformats för att kunna tillämpas på olika 3D-representationer tillfredsställande. Men Chamfer Distance-utvärderingsmetoden är högt känslig för utliggare, vilket gör den till en problematisk måttstock för att utvärdera modellens prestanda, med avståndet från utliggaren till referensformen som betydligt bestämmer genereringskvaliteten.

F-Score

F-Score är en vanlig utvärderingsmetod som aktivt används av de flesta multi-view 3D-rekonstruktionsmodellerna. F-Score-metoden definieras som den harmoniska medelvärdet mellan återkallande och precision, och den utvärderar avståndet mellan objektytorna explicit. Precision räknar procentandelen av de återuppbyggda punkterna som ligger inom ett fördefinierat avstånd till grundvärdet, för att mäta noggrannheten i rekonstruktionen. Återkallande, å andra sidan, räknar procentandelen punkter på grundvärdet som ligger inom ett fördefinierat avstånd till rekonstruktionen, för att mäta fullständigheten i rekonstruktionen. Dessutom kan utvecklare, genom att variera avståndströskeln, kontrollera strängheten i F-Score-metoden.

Per-Klassanalys

Likheten i prestanda som levereras av ovanstående ramverk kan inte vara ett resultat av att metoderna körs på olika undermängder av klasser, och följande figur visar den konsekventa relativa prestandan över olika klasser, med Oracle NN-retrieval-baslinjen som uppnår det bästa resultatet av alla, och alla metoder observerar hög varians för alla klasser.

Dessutom kan antalet träningsprover som finns tillgängliga för en klass leda en att anta att det påverkar per-klassprestandan. Men, som visas i följande figur, påverkar antalet träningsprover som finns tillgängliga för en klass inte per-klassprestandan, och antalet prover i en klass och dess genomsnittliga IoU-poäng är inte korrelerade.

Kvalitativ Analys

De kvantitativa resultaten som diskuteras i avsnittet ovan backas upp av kvalitativa resultat, som visas i följande bild.

För de flesta klasser finns det ingen signifikant skillnad mellan klusterbaslinjen och förutsägelserna som görs av decoder-baserade metoder. Klustermetoden misslyckas med att leverera resultat när avståndet mellan provet och den genomsnittliga klusterformen är högt, eller när den genomsnittliga formen inte kan beskriva klustret tillräckligt bra. Å andra sidan levererar ramverk som använder decoder-baserade metoder och retrieval-arkitektur de mest exakta och tilltalande resultaten, eftersom de kan inkludera fina detaljer i den genererade 3D-modellen.

Single View 3D-Rekonstruktion: Slutliga Tankar

I den här artikeln har vi talat om Single View 3D-objektrekonstruktion och hur den fungerar, och talat om två baslinjer: Retrieval och Klassificering, med retrieval-baslinjen som överträffar nuvarande state-of-the-art-modeller. Slutligen, även om Single View 3D-objektrekonstruktion är ett av de hetaste ämnena och mest forskade ämnena inom AI-samhället, och trots att den har gjort betydande framsteg under de senaste åren, är Single View 3D-objektrekonstruktion långt ifrån att vara perfekt, med betydande hinder att övervinna under de kommande åren.