Hvordan fungerer Single-View 3D Rekonstruktion?

Traditionelt har modeller for single-view objekt rekonstruktion, der er baseret på convolutionelle neurale netværk, vist bemærkelsesværdig præstation i rekonstruktionsopgaver. I de seneste år er single-view 3D rekonstruktion blevet et populært forskningsemne i AI-samfundet. Uanset den specifikke metode, der anvendes, deler alle single-view 3D rekonstruktionsmodeller den fælles tilgang at inkorporere et encoder-decoder-netværk i deres ramme. Dette netværk udfører kompleks reasoning om 3D-strukturen i output-rummet.

I denne artikel vil vi udforske, hvordan single-view 3D rekonstruktion fungerer i realtid og de nuværende udfordringer, disse rammer står over for i rekonstruktionsopgaver. Vi vil diskutere forskellige nøglekomponenter og metoder, der anvendes af single-view 3D rekonstruktionsmodeller, og udforske strategier, der kan forbedre disse rammers præstation. Derudover vil vi analysere resultaterne, der er produceret af state-of-the-art-rammer, der anvender encoder-decoder-metoder. Lad os dykke ned i det.

Single-View 3D Objekt Rekonstruktion

Single-view 3D objekt rekonstruktion indebærer at generere en 3D-model af et objekt fra en enkelt synsvinkel eller, i simple vendinger, fra et enkelt billede. For eksempel at slutte 3D-strukturen af et objekt, såsom en motorcykel fra et billede, er en kompleks proces. Den kombinerer viden om den strukturelle anordning af dele, lavniveaus billedhenvisninger og højniveaus semantisk information. Dette spektrum omfatter to hovedaspekter: rekonstruktion og genkendelse. Rekonstruktionsprocessen fastslår 3D-strukturen af inputbilledet ved hjælp af hints som skygge, tekstur og visuelle effekter. Til gengæld klassificerer genkendelsesprocessen inputbilledet og henter en passende 3D-model fra en database.

Nuværende single-view 3D objekt rekonstruktionsmodeller kan variere i arkitektur, men de er forenet af inklusionen af en encoder-decoder-struktur i deres ramme. I denne struktur kortlægger encoderen inputbilledet til en latent repræsentation, mens decoderen udfører kompleks reasoning om 3D-strukturen af output-rummet. For at udføre denne opgave skal netværket integrere både højniveaus og lavniveaus information. Derudover afhænger mange state-of-the-art encoder-decoder-metoder af genkendelse til single-view 3D rekonstruktionsopgaver, hvilket begrænser deres rekonstruktionsmuligheder. Desuden kan præstationen af moderne convolutionelle neurale netværk i single-view 3D objekt rekonstruktion overgås uden at udføre en eksplizit slutning om 3D-objektets struktur. Men dominansen af genkendelse i convolutionelle netværk i single-view objekt rekonstruktionsopgaver påvirkes af forskellige eksperimentelle procedurer, herunder evalueringprotokoller og datasætsammensætning. Sådanne faktorer ermögiller rammen at finde en kort vej-løsning, i dette tilfælde billedgenkendelse.

Traditionelt nærmer single-view 3D objekt rekonstruktionsrammer sig rekonstruktionsopgaverne ved hjælp af shape from shading-tilgangen, med tekstur og defokus som eksotiske views til rekonstruktionsopgaverne. Da disse tekniker anvender en enkelt dybdehint, kan de give en grund til de synlige dele af en overflade. Derudover anvender mange single-view 3D rekonstruktionsrammer multiple hints sammen med strukturel viden til at estimerer dybde fra et enkelt monokulært billede, en kombination der tillader disse rammer at forudsige dybden af de synlige overflader. Mere nylige dybdeestimeringsrammer anvender convolutionelle neurale netværksstrukturer til at trække dybde ud af et monokulært billede.

Men til effektiv single-view 3D rekonstruktion skal modellerne ikke kun slutte om 3D-strukturen af de synlige objekter i billedet, men de skal også hallucinere de usynlige dele i billedet ved hjælp af visse priorer, der er lært fra data. For at opnå dette anvender de fleste modeller i øjeblikket trænede convolutionelle neurale netværksstrukturer til at kortlægge 2D-billeder til 3D-former ved hjælp af direkte 3D-overvågning, mens mange andre rammer anvender en voxel-baseret repræsentation af 3D-form og anvender en latent repræsentation til at generere 3D-op-konvolutionsforløb. Visse rammer partitionerer også output-rummet hierarkisk for at forbedre beregnings- og hukommelseseffektiviteten, hvilket ermöglicer, at modellen kan forudsige højere opløsninger af 3D-former. Seneste forskning fokuserer på at anvende svagere former for overvågning til single-view 3D-formforudsigelser ved hjælp af convolutionelle neurale netværk, enten ved at sammenligne forudsagte former og deres grund-sandhedsforudsigelser for at træne form-regressorer eller ved at anvende multiple lærings-signaler til at træne middel-former, der hjælper modellen med at forudsige deformationer. En anden grund til de begrænsede fremskridt i single-view 3D rekonstruktion er den begrænsede mængde træningsdata, der er til rådighed for opgaven.

Ved at fortsætte er single-view 3D rekonstruktion en kompleks opgave, da den ikke kun fortolker visuelle data geometrisk, men også semantisk. Selv om de ikke er helt forskellige, dækker de dog forskellige spektre fra geometrisk rekonstruktion til semantisk genkendelse. Rekonstruktionsopgaver kræver en per-pixel-slutning om 3D-strukturen af objektet i billedet. Rekonstruktionsopgaver kræver ikke en semantisk forståelse af billedindholdet og kan opnås ved hjælp af lavniveaus billedhenvisninger, herunder tekstur, farve, skygge, skygger, perspektiv og fokus. Genkendelse på den anden side er en ekstrem tilfælde af at anvende billedsemantik, da genkendelsesopgaver anvender hele objekter og klassificerer objektet i input og henter den tilsvarende form fra databasen. Selv om genkendelsesopgaver kan give en robust slutning om de usynlige dele af objektet, er den semantiske løsning kun mulig, hvis den kan forklares af et objekt, der er til stede i databasen.

Selv om genkendelse og rekonstruktionsopgaver kan være forskellige, ignorerer de begge værdifuld information i inputbilledet. Det er rådeligt at anvende begge disse opgaver i samspil med hinanden for at opnå de bedst mulige resultater og nøjagtige 3D-former til objektrekonstruktion, dvs. for optimal single-view 3D rekonstruktion skal modellen anvende strukturel viden, lavniveaus billedhenvisninger og højniveaus forståelse af objektet.

Single-View 3D Rekonstruktion: Konventionel Opsætning

For at forklare den konventionelle opsætning og analysere opsætningen af en single-view 3D rekonstruktionsramme, vil vi anvende en standardopsætning til at estimerer 3D-formen ved hjælp af en enkelt synsvinkel eller billede af objektet. Datasættet, der anvendes til træningsformål, er ShapeNet-datasættet, og evalueringen af præstationen sker på tværs af 13 klasser, hvilket ermöglicer, at modellen kan forstå, hvordan antallet af klasser i et datasæt bestemmer form-estimeringspræstationen.

De fleste moderne convolutionelle neurale netværk anvender et enkelt billede til at forudsige højopløsnings 3D-modeller, og disse rammer kan kategoriseres på basis af output-repræsentationen: dybdekort, punktskyer og voxelflader. Modellen anvender OGN eller Octree Generating Networks som repræsentationsmetode, der historisk har overgået voxelflade-tilgangen og/eller kan dække de dominerende output-repræsentationer. I modsætning til eksisterende metoder, der anvender output-repræsentationer, ermöglicer OGN-tilgangen, at modellen kan forudsige højopløsningsformer og anvender oktræer til at repræsentere det besatte rum effektivt.

Baselines

For at evaluere resultaterne anvender modellen to baselines, der betragter problemet som en ren genkendelsesopgave. Den første baseline er baseret på klustering, mens den anden baseline udfører database-henting.

Klustering

I klustering-baselinjen anvender modellen K-Means-algoritmen til at klasse eller gruppere træningsformene i K underkategorier og kører algoritmen på 32*32*32 voxelflader, der er fladet ud i en vektor. Efter at have bestemt klasse-tildelingerne skifter modellen tilbage til at arbejde med modeller med højere opløsning. Modellen beregner herefter middel-formen inden for hver klasse og tærskler middel-formerne, hvor den optimale værdi beregnes ved at maksimere den gennemsnitlige IoU eller Intersection over Union over modellerne. Da modellen kender relationen mellem 3D-formerne og billederne i træningsdata, kan modellen let matche billedet med den tilsvarende klasse.

Henting

Henting-baselinjen lærer at indlejre former og billeder i et fælles rum. Modellen betragter den parvise lignende 3D-matrix-former i træningsmængden for at konstruere indlejring-rummet. Modellen opnår dette ved at anvende Multi-Dimensional Scaling med Sammon-mapping-tilgang til at komprimere hver række i matricen til en lavdimensional beskriver. Derudover anvender modellen en convolutionel neural netværks-struktur til at kortlægge billeder til en beskriver for at indlejre billederne i rummet.

Analyse

Single-view 3D rekonstruktionsmodeller følger forskellige strategier, hvilket resulterer i, at de overgår andre modeller i visse områder, mens de falder kort i andre. For at sammenligne forskellige rammer og evaluere deres præstation, har vi forskellige metrikker, herunder den gennemsnitlige IoU-score.

Som det kan ses i billedet ovenfor, leverer nuværende state-of-the-art 3D rekonstruktionsmodeller næsten ens præstation, trods forskellige arkitekturer. Det er dog interessant at bemærke, at selv om det er en ren genkendelsesmetode, overgår henting-rammen andre modeller i forhold til gennemsnitlig og median IoU-scores. Klustering-rammen leverer solide resultater og overgår AtlasNet-, OGN- og Matryoshka-rammerne. Det mest uventede resultat af denne analyse er dog, at Oracle (ORCL ) NN overgår alle andre metoder, trods at den anvender en perfekt henting-arkitektur. Selv om beregning af den gennemsnitlige IoU-score hjælper med at sammenligne, giver det ikke det fulde billede, da variansen i resultaterne er høj, uanset modellen.

Fælles Evaluering Metrikker

Single-View 3D Rekonstruktion modeller anvender ofte forskellige evaluering metrikker til at analysere deres præstation på en bred vifte af opgaver. Følgende er nogle af de almindelig anvendte evaluering metrikker.

Intersection Over Union

Den gennemsnitlige Intersection Over Union er en metrik, der almindigt anvendes som en kvantitativ måde til at tjene som en benchmark for single-view 3D rekonstruktionsmodeller. Selv om IoU giver en vis indsigt i modellens præstation, betragtes det ikke som den eneste metrik til at evaluere en metode, da det kun angiver kvaliteten af den forudsagte form, hvis værdierne er tilstrækkeligt høje med en betydelig diskrepances mellem lav- og midterste scores for to givne former.

Chamfer Distance

Chamfer Distance defineres på punktskyer og er designet til at blive anvendt til forskellige 3D-repræsentationer tilfredsstillende. Chamfer Distance evaluering metrikken er dog meget følsom over for outliers, hvilket gør det til en problematisk måde til at evaluere modellens præstation på, da afstanden fra outlier til reference-formen betydeligt bestemmer genereringskvaliteten.

F-Score

F-Score er en almindelig anvendt evaluering metrik, der aktivt anvendes af de fleste multi-view 3D rekonstruktionsmodeller. F-Score metrikken defineres som den harmoniske gennemsnit mellem recall og præcision og evaluerer afstanden mellem overfladerne af objekterne eksplicit. Præcision tæller procentdelen af rekonstruerede punkter, der ligger inden for en foruddefineret afstand til sandheden, for at måle nøjagtigheden af rekonstruktionen. Recall på den anden side tæller procentdelen af punkter på sandheden, der ligger inden for en foruddefineret afstand til rekonstruktionen for at måle fuldstændigheden af rekonstruktionen. Derudover kan udviklere kontrollere strengtheden af F-Score metrikken ved at variere afstandsgrænsen.

Per-Klasse Analyse

Ligheden i præstation, der leveres af ovennævnte rammer, kan ikke være et resultat af metoder, der kører på forskellige undermængder af klasser, og følgende figur demonstrerer den konstante relative præstation på tværs af forskellige klasser med Oracle NN-henting-baselinjen, der opnår det bedste resultat af dem alle, og alle metoder observerer høj varians for alle klasser.

Derudover kan antallet af træningsprøver, der er til rådighed for en klasse, føre en til at antage, at det påvirker per-klasse præstationen. Men som demonstreret i følgende figur, påvirker antallet af træningsprøver, der er til rådighed for en klasse, ikke per-klasse præstationen, og antallet af prøver i en klasse og dens gennemsnitlige IoU-score er ikke korreleret.

Kvalitativ Analyse

De kvantitative resultater, der er diskuteret i afsnittet ovenfor, støttes af kvalitative resultater, som vist i følgende billede.

For de fleste klasser er der ingen betydelig forskel mellem klustering-baselinjen og forudsigelserne, der er lavet af decoder-baserede metoder. Klustering-tilgangen kan ikke levere resultater, når afstanden mellem prøven og middel-klasse-formen er høj, eller når middel-formen ikke kan beskrive klassen tilstrækkeligt. På den anden side leverer rammer, der anvender decoder-baserede metoder og henting-arkitektur, de mest præcise og tiltalende resultater, da de kan inkludere fine detaljer i den genererede 3D-model.

Single View 3D Rekonstruktion: Endelige Tanker

I denne artikel har vi talt om Single View 3D Objekt Rekonstruktion og diskuteret, hvordan det fungerer, og diskuteret to baselines: Henting og Klasseificering, hvor henting-baselinjen overgår nuværende state-of-the-art-modeller. Til sidst, selv om Single View 3D Objekt Rekonstruktion er et af de hotteste emner og mest forskede emner i AI-samfundet, og selv om der er sket betydelige fremskridt i de seneste år, er Single View 3D Objekt Rekonstruktion langt fra at være perfekt med betydelige hindringer at overvinde i de kommende år.