Kuinka yhden näkökulman 3D-rekonstruktio toimii?

Perinteisesti, yhden näkökulman objektin rekonstruktioon perustuvat mallit, jotka hyödyntävät konvoluutiohermoverkkoja, ovat osoittaneet merkittävää suorituskykyä rekonstruktio-tehtävissä. Viime vuosina yhden näkökulman 3D-rekonstruktio on noussut suosituksi tutkimusaiheeksi tekoäly-yhteisössä. Riippumatta käytetystä menetelmästä, kaikki yhden näkökulman 3D-rekonstruktio-mallit jakavat yhteisen lähestymistavan, jossa niissä on sisäänrakennettu koodaus-dekoodausverkko. Tämä verkko suorittaa monimutkaisia päätelmiä 3D-rakenteen tilasta tulostusavaruudessa.

Tässä artikkelissa tutkimme, kuinka yhden näkökulman 3D-rekonstruktio toimii reaaliajassa ja mitä haasteita nämä kehykset kohtaavat rekonstruktio-tehtävissä. Käymme läpi eri avainkomponentteja ja menetelmiä, joita yhden näkökulman 3D-rekonstruktio-mallit käyttävät, ja tarkastelemme strategioita, joilla voidaan parantaa näiden kehysten suorituskykyä. Lisäksi analysoimme tuloksia, jotka ovat saatu valmistuneista kehyksistä, jotka käyttävät koodaus-dekoodausmenetelmiä. Laittamme käyntiin.

Yhden näkökulman 3D-objektin rekonstruktio

Yhden näkökulman 3D-objektin rekonstruktio tarkoittaa 3D-mallin luomista objektista yhdestä näkökulmasta, tai yksinkertaisemmin sanottuna, yhdestä kuvasta. Esimerkiksi moottoripyörän 3D-rakenteen päättelemiseen kuvasta on monimutkainen prosessi. Se yhdistää tietoa osien rakenteellisesta järjestelmästä, matalan tason kuvavirikkeistä ja korkean tason semanttisesta tiedosta. Tämä spektri kattaa kaksi pääasiallista osaa: rekonstruktio ja tunnistus. Rekonstruktio-prosessi erottaa 3D-rakenteen syötekuvasta vihjeiden avulla, kuten varjostus, tekstuurit ja visuaaliset vaikutukset. Toisaalta tunnistus-prosessi luokittelee syötekuvan ja noutaa sopivan 3D-mallin tietokannasta.

Nykyiset yhden näkökulman 3D-objektin rekonstruktio-mallit voivat vaihdella arkkitehtuurissa, mutta ne ovat yhdistyneitä sisäänrakennetun koodaus-dekoodaus-rakenteen sisällä. Tässä rakenteessa koodaus karttaa syötekuvan latenttiin edustukseen, kun taas dekoodaus tekee monimutkaisia päätelmiä 3D-rakenteen tilasta tulostusavaruudessa. Jotta tämä tehtävä voidaan suorittaa onnistuneesti, verkko on integroitu sekä korkean että matalan tason tietoa. Lisäksi monet valmiit koodaus-dekoodausmenetelmät perustuvat tunnistamiseen yhden näkökulman 3D-rekonstruktio-tehtävissä, mikä rajoittaa niiden rekonstruktio-ominaisuuksia. Lisäksi, modernien konvoluutiohermoverkkojen suorituskyky yhden näkökulman 3D-objektin rekonstruktiossa voidaan ylittää ilman, että 3D-objektin rakennetta tarvitsee selvittää. Kuitenkin, konvoluutioverkkojen hallitseva asema yhden näkökulman objektin rekonstruktio-tehtävissä on vaikuttanut moniin kokeellisiin menetelmiin, mukaan lukien arviointiprotokollat ja tietokantojen koostumus. Tällaiset tekijät mahdollistavat kehykselle löytää oikotie, tässä tapauksessa kuvatunnistus.

Perinteisesti, yhden näkökulman 3D-objektin rekonstruktio-kehykset lähestyvät rekonstruktio-tehtäviä varjostuksen muodostamisen avulla, jossa tekstuurit ja tarkennus toimivat eksoottisina näkyminä rekonstruktio-tehtävissä. Koska nämä tekniikat käyttävät yhtä syvyyden vihjettä, ne pystyvät tarjoamaan perustelun näkyvien pintojen osille. Lisäksi monet yhden näkökulman 3D-rekonstruktio-kehykset käyttävät useita vihjeitä yhdessä rakenteellisen tiedon kanssa arvioimaan syvyyttä yhdestä monokulaarisesta kuvasta, yhdistelmä, joka mahdollistaa näiden kehysten ennustaa näkyvien pintojen syvyyttä. Uudemmat syvyyden arviointikehykset käyttävät konvoluutiohermoverkkoja poistamaan syvyyden monokulaarisesta kuvasta.

Kuitenkin, tehokkaan yhden näkökulman 3D-rekonstruktio-mallien ongelmana on, ettei niiden tarvitse vain päätellä 3D-rakennetta näkyvistä objekteista kuvassa, vaan ne myös tarvitsevat kuvitteellisia näkymättömiä osia kuvassa tietyn ennakkotiedon avulla, joka on opittu tiedoista. Tämän saavuttamiseksi useimmat mallit käyttävät koulutettuja konvoluutiohermoverkkoja karttaamalla 2D-kuvia 3D-muotoihin suoraan 3D-valvontaa käyttäen, kun taas monet kehykset käyttävät voxel-pohjaista edustusta 3D-muodosta ja latenttia edustusta 3D-ylimääräisten konvoluutioita varten. Tietyt kehykset myös jakavat tulostusavaruuden hierarkkisesti parantamaan laskennallista ja muistitehokkuutta, mikä mahdollistaa mallin ennustaa korkeampaa resoluutiota 3D-muotoja. Viimeaikainen tutkimus on keskittynyt käyttämään heikompia valvontamuotoja yhden näkökulman 3D-muodon ennustamiseen konvoluutiohermoverkkojen avulla, joko vertaamalla ennustettuja muotoja ja niiden perusmuotoja kouluttaakseen muodon regressoreja tai käyttämällä useita oppimissignaaleja kouluttaakseen keskimääräisiä muotoja, jotka auttavat mallia ennustamaan muodonmuutoksia. Toinen syy yhden näkökulman 3D-rekonstruktio-kehityksen rajoitettuun edistymiseen on rajoitettu määrä koulutusdataa, joka on saatavilla tehtävälle.

Jatkaen, yhden näkökulman 3D-rekonstruktio on monimutkainen tehtävä, joka tulkitaan sekä visuaalisesti että semanttisesti. Vaikka ne eivät ole täysin erilaisia, ne kattavat eri spektrejä geometrisesta rekonstruktiosta semanttiseen tunnistamiseen. Rekonstruktio-tehtävät vaativat pikselikohtaisen päättelyn 3D-rakenteesta kuvassa. Rekonstruktio-tehtävät eivät vaadi semanttista ymmärrystä kuvan sisällöstä, ja ne voidaan saavuttaa käyttämällä matalan tason kuvavirikkeitä, kuten tekstuuria, väriä, varjostusta, varjoja, perspektiiviä ja fokusta. Tunnistus toisaalta on äärimmäinen tapaus kuvan semantiikasta, koska tunnistustehtävät käyttävät kokonaisia objekteja ja luokittelevat objektin syötteessä ja noutavat vastaavan muodon tietokannasta.

Vaikka tunnistus- ja rekonstruktio-tehtävät voivat poiketa toisistaan merkittävästi, ne molemmat usein jättävät huomioimatta arvokkaita tietoja syötekuvasta. On suositeltavaa käyttää näitä tehtäviä yhdessä toistensa kanssa saadakseen parhaan mahdollisen tuloksen ja tarkan 3D-muodon objektin rekonstruktioon, eli optimaalisen yhden näkökulman 3D-rekonstruktio-tehtävän, mallin on käytettävä rakenteellista tietoa, matalan tason kuvavirikkeitä ja korkean tason ymmärrystä objektista.

Yhden näkökulman 3D-rekonstruktio: Perinteinen asettelu

Selittääksemme perinteisen asettelun ja analysoimme yhden näkökulman 3D-rekonstruktio-kehyksen asettelua, otamme käyttöön standardin asettelun 3D-muodon arvioimiseksi yhdestä näkökulmasta tai kuvasta objektista. Koulutusdata, jota käytetään koulutustarkoituksiin, on ShapeNet-tietokanta, ja se arvioi suorituskykyä 13 luokan kautta, mikä mahdollistaa mallin ymmärtämään, kuinka tietokannan luokkien määrä vaikuttaa mallin muodonarvioinnin suorituskykyyn.

Useimmat modernit konvoluutiohermoverkot käyttävät yhtä kuvaa ennustamaan korkearesoluutioisia 3D-malleja, ja nämä kehykset voidaan luokitella tulostusmuodon perusteella: syvyyksikartat, piste-pilvet ja voxel-verkot. Malli käyttää OGN:ää eli oktaaviverkkoa edustavana menetelmänään, joka on historiallisesti ylittänyt voxel-verkkomenetelmän ja/tai voi kattaa hallitsevat tulostusmuodot. Toisin kuin olemassa olevat menetelmät, jotka käyttävät tulostusmuotoja, OGN-lähestymistapa mahdollistaa mallin ennustaa korkearesoluutioisia muotoja ja käyttää oktaaveja edustamaan tehokkaasti varattua tilaa.

Vertailukohteet

Tuloksien arvioimiseksi malli käyttää kahta vertailukohdetta, jotka käsittelevät ongelman pelkästään tunnistustehtävänä. Ensimmäinen vertailukohde perustuu klusterointiin, kun taas toinen vertailukohde suorittaa tietokantahakua.

Klusterointi

Klusterointi-vertailukohdeessa malli käyttää K-Means-algoritmiä klusteroidakseen koulutusmuodot K-alaryhmiin ja suorittaa algoritmin 32*32*32 voxelisoinneissa, joita on litistetty vektoreiksi. Määritettyään klusterin määritykset, malli palaa työskentelemään korkeampiresoluutioisilla malleilla. Sitten malli laskee keskimääräisen muodon jokaisessa klusterissa ja rajaa keskimääräisiä muotoja, jossa optimaalinen arvo lasketaan maksimoiden keskimääräisen IoU:n eli leikkausympäristön yli malleissa. Koska malli tuntee suhteen 3D-muotojen ja kuvien välillä koulutusdatasta, malli voi helposti vastata kuvaa vastaavaan klusteriin.

Haku

Haku-vertailukohde oppii upottamaan muotoja ja kuvia yhteiseen avaruuteen. Malli ottaa huomioon pareittaisen samankaltaisuuden 3D-matriisimuotojen koulutusjoukossa muodostamaan upotusavaruuden. Malli saavuttaa tämän käyttämällä moniulotteista skaalautumista Sammon-karttamuunnoksella pakkaamaan jokaisen rivin matriisissa matala-ulotteiseen kuvaajiin. Lisäksi laskemaan samankaltaisuutta kahden satunnaisen muodon välillä, malli käyttää valo-kenttäkuvaajaa. Lisäksi malli kouluttaa konvoluutiohermoverkon karttaamaan kuvat kuvaajiin upottamaan kuvat avaruuteen.

Analyysi

Yhden näkökulman 3D-rekonstruktio-mallit seuraavat eri strategioita, joiden seurauksena ne ylittävät muita malleja joissakin osissa, mutta epäonnistuvat toisissa. Vertaillaaksemme eri kehyksiä ja arvioimaan niiden suorituskykyä, meillä on eri mittareita, joista yksi on keskimääräinen IoU-pistemäärä.

Kuten yllä olevasta kuvasta voidaan nähdä, vaikka niillä on erilaiset arkkitehtuurit, nykyiset valmiit 3D-rekonstruktio-mallit toimivat melkein samalla tasolla. On kuitenkin mielenkiintoista huomata, että vaikka se on puhdas tunnistusmenetelmä, haku-kehykset ylittävät muita malleja keskimääräisissä ja mediaanissa IoU-pistemäärissä. Klusterointi-kehykset toimivat vakuuttavasti ja ylittävät AtlasNet-, OGN- ja Matryoshka-kehykset. Kuitenkin yllättävin tulos tästä analyysistä on, että Oracle (ORCL ) NN ylittää kaikki muut menetelmät, vaikka se käyttää täydellistä hakuarkkitehtuuria. Vaikka keskimääräisen IoU-pistemäärän laskeminen auttaa vertailussa, se ei anna täydellistä kuvaa, koska tuloksissa on suuri vaihtelu riippumatta mallista.

Yleiset arviointimittarit

Yhden näkökulman 3D-rekonstruktio-mallit käyttävät usein eri arviointimittareita arvioidakseen suorituskykyään laajalla valikoimalla tehtävistä. Seuraavat ovat joitakin yleisimmin käytettyjä arviointimittareita.

Leikkausympäristö

Keskimääräinen leikkausympäristö on mittari, jota yleisesti käytetään kvantitatiivisena mittarina yhden näkökulman 3D-rekonstruktio-mallien suorituskyvyn vertailuun. Vaikka IoU antaa jonkinlaista näkemystä mallin suorituskyvystä, sitä ei pidetä ainoana mittarina menetelmän arviointiin, koska se osoittaa vain ennustetun muodon laadun, jos arvot ovat riittävän korkeat ja merkittävä ero havaitaan matalan ja keskitason pisteytyksissä kahdelle annetulle muodolle.

Chamfer-etäisyys

Chamfer-etäisyys määritellään piste-pilvissä, ja se on suunniteltu siten, että se voidaan soveltaa eri 3D-edustuksiin tyydyttävästi. Kuitenkin Chamfer-etäisyys on hyvin herkkä poikkeamille, mikä tekee siitä ongelmallisen mittarin mallin suorituskyvyn arvioinnissa, ja etäisyys poikkeamasta viiteen muotoon määrää merkittävästi generoimisen laadun.

F-pistemäärä

F-pistemäärä on yleinen arviointimittari, jota useimmat moninäkökulman 3D-rekonstruktio-mallit käyttävät. F-pistemäärä-mittari on määritelty harmonisena keskiarvona palautus- ja tarkkuusarvon välillä, ja se arvioi etäisyyttä objektiensa pinnoilla eksplisiittisesti. Tarkkuus laskee prosenttiosuuden joka on jälleenrakennetuista pisteistä, jotka sijaitsevat ennalta määritellyn etäisyyden päässä perusmuodosta, ja mittaa jälleenrakennuksen tarkkuutta. Palautus laskee prosenttiosuuden pisteistä, jotka sijaitsevat perusmuodossa, jotka sijaitsevat ennalta määritellyn etäisyyden päässä jälleenrakennuksesta, ja mittaa jälleenrakennuksen täydellisyyttä. Lisäksi kehittäjät voivat säätää F-pistemäärän kriittisyyttä muuttamalla etäisyyskynnystä.

Luokan mukaan tehty analyysi

Yllä mainittujen kehysten suorituskyvyn samankaltaisuus ei voi johtua siitä, että menetelmät toimivat eri luokkien alajoukoissa, ja seuraava kuva osoittaa johdonmukaisen suhteellisen suorituskyvyn eri luokissa, jossa Oracle NN -hakuvertailukohde saavuttaa parhaimman tuloksen, ja kaikki menetelmät havaitsevat suuren vaihtelun kaikissa luokissa.

Lisäksi luokan käytettävissä olevien koulutusnäytteiden määrä saattaa johtaa oletukseen, että se vaikuttaa luokan mukaan tehtyyn suorituskykyyn. Kuitenkin, kuten seuraavasta kuvasta voidaan nähdä, luokan käytettävissä olevien näytteiden määrä ei vaikuta luokan mukaan tehtyyn suorituskykyyn, ja luokan näytteiden määrä ja sen keskimääräinen IoU-pistemäärä eivät ole korreloituneita.

Laadullinen analyysi

Edellä käydyn kvantitatiivisen analyysin tulokset tukevat laadullisia tuloksia, kuten seuraavasta kuvasta voidaan nähdä.

Useimmissa luokissa ei ole merkittävää eroa klusterointi-vertailukohden ja dekoodausmenetelmien ennusteiden välillä. Klusterointi-lähestymistapa epäonnistuu, kun etäisyys näytteestä keskimääräiseen klusterin muotoon on suuri tai tilanteissa, joissa keskimääräinen muoto ei voi kuvata klusteria tarpeeksi hyvin. Toisaalta kehykset, jotka käyttävät dekoodausmenetelmiä ja hakurakennetta, toimivat tarkimmin ja antavat kauneimmat tulokset, koska ne pystyvät sisällyttämään hienot yksityiskohdat generoituun 3D-malliin.

Yhden näkökulman 3D-rekonstruktio: Lopputulet

Tässä artikkelissa olemme käyneet läpi yhden näkökulman 3D-objektin rekonstruktioita, ja puhuneet siitä, kuinka se toimii, ja puhuneet kahdesta vertailukohdeesta: Hausta ja Klusteroinnista, joissa haku-vertailukohde ylittää nykyiset valmiit mallit. Lopulta, vaikka yksinäkökulman 3D-objektin rekonstruktio on yksi kuumimmista aiheista ja tutkituimmista aiheista tekoäly-yhteisössä, ja vaikka siinä on tehty merkittäviä edistysaskelia viime vuosina, yhden näkökulman 3D-objektin rekonstruktio on vielä pitkälti täydellisyyden saavuttamatta ja edessä on merkittäviä esteitä, joita on ylitettävä tulevina vuosina.