Miten yhden näkökulman 3D-rekonstruktio toimii?

Perinteisesti yhden näkökulman objektin rekonstruktioon perustuvat mallit, jotka perustuvat konvoluutio-neuroverkkoihin, ovat osoittaneet merkittävää suorituskykyä rekonstruktio-tehtävissä. Viime vuosina yhden näkökulman 3D-rekonstruktio on noussut suosituksi tutkimusaiheeksi tekoäly-yhteisössä. Riippumatta käytetystä menetelmästä, kaikki yhden näkökulman 3D-rekonstruktio-mallit jakavat yhteisen lähestymistavan, jossa niissä on encoder-decoder-verkko niiden kehyksessä. Tämä verkko suorittaa monimutkaisia päättelyjä 3D-rakenteen tulostusavaruudessa.

Tässä artikkelissa tutkimme, miten yhden näkökulman 3D-rekonstruktio toimii reaaliajassa ja mitkä ovat näiden kehysten haasteet rekonstruktio-tehtävissä. Käymme läpi eri avainkomponentteja ja menetelmiä, joita yhden näkökulman 3D-rekonstruktio-mallit käyttävät, ja tutkimme strategioita, joilla voidaan parantaa näiden kehysten suorituskykyä. Lisäksi analysoimme tulokset, jotka ovat saatu state-of-the-art-kehyksistä, jotka käyttävät encoder-decoder-menetelmiä. Laitetaan homma käyntiin.

Yhden näkökulman 3D-objektin rekonstruktio

Yhden näkökulman 3D-objektin rekonstruktio tarkoittaa 3D-mallin luomista objektista yhdestä näkökulmasta, tai yksinkertaisemmin sanottuna, yhdestä kuvasta. Esimerkiksi moottoripyörän 3D-rakenteen päätteleminen kuvasta on monimutkainen prosessi. Se yhdistää tietoa osien rakenteellisesta järjestelystä, matalan tason kuvan vihjeistä ja korkean tason semanttisesta tiedosta. Tämä spektri kattaa kaksi pääasiallista asiaa: rekonstruktio ja tunnistus. Rekonstruktio-prosessi erottaa 3D-rakenteen syötekuvasta vihjeiden avulla, kuten varjostus, tekstuurin ja visuaalisten efektien avulla. Vastaavasti tunnistus-prosessi luokittelee syötekuvan ja noutaa sopivan 3D-mallin tietokannasta.

Nykyiset yhden näkökulman 3D-objektin rekonstruktio-mallit voivat vaihdella arkkitehtuurissaan, mutta ne yhdistyvät encoder-decoder-rakenteen sisällyttämisessä kehykseen. Tässä rakenteessa encoder kartoittaa syötekuvan latenttiin edustukseen, kun taas decoder tekee monimutkaisia päätelmiä 3D-rakenteen tulostusavaruudesta. Tämän tehtävän onnistumiseksi verkko on integroitu sekä korkean että matalan tason tietoa. Lisäksi monet state-of-the-art encoder-decoder-menetelmät luottavat tunnistukseen yhden näkökulman 3D-rekonstruktio-tehtävissä, mikä rajoittaa heidän rekonstruktio-ominaisuuksiaan. Lisäksi modernien konvoluutio-neuroverkkojen suorituskyky yhden näkökulman 3D-objektin rekonstruktiossa voidaan ylittää ilman 3D-objektin rakenteen eksplisiittistä päättelemistä. Kuitenkin konvoluutioverkkojen tunnistuksen valta-asema yhden näkökulman objektin rekonstruktio-tehtävissä vaikuttaa eri kokeellisiin menetelmiin, mukaan lukien arviointiprotokollat ja tietokannan koostumus. Tällaiset tekijät mahdollistavat kehyksen löytää lyhyen ratkaisun, tässä tapauksessa kuvan tunnistus.

Perinteisesti yhden näkökulman 3D-objektin rekonstruktio-kehykset lähestyvät rekonstruktio-tehtäviä varjostuksen muodostamisen avulla, jossa tekstuurin ja tarkennuksen avulla voidaan luoda eksotisia näkymiä rekonstruktio-tehtävissä. Koska nämä tekniikat käyttävät yhtä syvyyden vihjettä, ne pystyvät antamaan perustelut näkyvien pintojen osille. Lisäksi monet yhden näkökulman 3D-rekonstruktio-kehykset käyttävät useita vihjeitä sekä rakenteellista tietoa arvioimaan syvyyttä yhdestä monokulaarikuvasta, yhdistelmä, joka mahdollistaa näiden kehysten ennustaa näkyvien pintojen syvyyttä. Uudemmilla syvyyden arviointikehyksillä käytetään konvoluutio-neuroverkko-rakenteita syvyyden poistamiseen monokulaarikuvasta.

Kuitenkin tehokkaan yhden näkökulman 3D-rekonstruktio-mallien on kyettävä päättelemään sekä näkyvien objektien 3D-rakenteesta kuvassa että myös kuvan näkymättömistä osista tietyillä prioriteeteilla, jotka on opittu tiedoista. Tämän saavuttamiseksi useimmat mallit käyttävät koulutettuja konvoluutio-neuroverkko-rakenteita 2D-kuvien kartoittamiseen 3D-muotoihin suoran 3D-valvontansa avulla, kun taas monet muut kehykset käyttävät voxel-pohjaisia edustuksia 3D-muodosta ja latenttia edustusta 3D-ali-convoluutioita varten. Tietyt kehykset jakavat myös tulostusavaruuden hierarkkisesti laskennallisen ja muistin tehokkuuden parantamiseksi, mikä mahdollistaa mallin ennustaa korkean resoluution 3D-muotoja. Viimeaikaiset tutkimukset ovat keskittyneet heikompien valvontamuotojen käyttöön yhden näkökulman 3D-muodon ennustamiseen konvoluutio-neuroverkkojen avulla, joko vertaamalla ennustettuja muotoja ja niiden perusviittauksia kouluttamaan muodon regressoreita tai käyttämällä useita oppimissignaaleja kouluttamaan keskiarvo-muotoja, mikä auttaa mallia ennustamaan muodon muutoksia. Toinen syy yhden näkökulman 3D-rekonstruktio-kehityksen rajoitettuihin edistymisiin on rajoitettu määrä koulutusdataa, joka on saatavilla tehtävää varten.

Jatkamalla, yhden näkökulman 3D-rekonstruktio on monimutkainen tehtävä, koska se tulkkaa visuaalidataa sekä geometrisesti että semanttisesti. Vaikka ne eivät ole täysin erilaisia, ne kattavat eri spektrejä geometrisesta rekonstruktiosta semanttiseen tunnistukseen. Rekonstruktio-tehtävät vaativat pikkelseittäistä päättelyä objektin 3D-rakenteesta kuvassa. Rekonstruktio-tehtävät eivät vaadi semanttista ymmärtämistä kuvan sisällöstä, ja se voidaan saavuttaa käyttämällä matalan tason kuvan vihjeitä, kuten tekstuuria, väriä, varjostusta, varjoja, perspektiiviä ja tarkennusta. Vastaavasti tunnistus on äärimmäinen tapaus kuvan semantiikan käytöstä, koska tunnistustehtävät käyttävät kokoja objekteja ja luokittelevat objektin syötekuvassa ja noutavat vastaavan muodon tietokannasta. Vaikka tunnistustehtävät voivat tarjota vankkaa perustelua objektin näkymättömistä osista, semanttinen ratkaisu on toteutettavissa vain, jos se voidaan selittää objektilla, joka on tietokannassa.

Vaikka tunnistus- ja rekonstruktio-tehtävät saattavat poiketa toisistaan merkittävästi, ne molemmat usein jättävät huomiotta arvokkaita tietoja syötekuvasta. On suositeltavaa käyttää näitä tehtäviä yhdessä toistensa kanssa saadakseen parhaan mahdollisen tuloksen ja tarkan 3D-muodon objektin rekonstruktioon, eli optimaalisen yhden näkökulman 3D-rekonstruktio-tehtävissä mallin on käytettävä rakenteellista tietoa, matalan tason kuvan vihjeitä ja korkean tason ymmärtämistä objektista.

Yhden näkökulman 3D-rekonstruktio: Perinteinen asettelu

Selittääksemme perinteisen asettelun ja analysoimme yhden näkökulman 3D-rekonstruktio-kehyksen asettelua, otamme käyttöön standardin asettelun 3D-muodon arvioimiseksi yhdestä näkökulmasta tai kuvasta objektista. Koulutusdata, jota käytetään koulutustarkoituksiin, on ShapeNet-tietokanta, ja se arvioi suorituskykyä 13 luokan kautta, mikä mahdollistaa mallin ymmärtämisen, miten tietokannan luokkien määrä määrää muodon arviointi-suorituskykyä.

Useimmat modernit konvoluutio-neuroverkot käyttävät yhtä kuvaa ennustamaan korkean resoluution 3D-malleja, ja nämä kehykset voidaan luokitella tulostusmuodon perusteella: syvyyden kartat, piste-pilvet ja voxel-verkot. Malli käyttää OGN:ia eli Octree Generating Networks -menetelmää edustavana menetelmänä, joka on historiallisesti ylittänyt voxel-verkon lähestymistavan ja/tai voi kattaa hallitsevat tulostusmuodot. Vastaavasti olemassa oleviin menetelmiin, jotka käyttävät tulostusmuotoja, OGN-lähestymistapa mahdollistaa mallin ennustaa korkean resoluution muotoja ja käyttää oktreeja edustamaan tehokkaasti miehitetyn avaruuden.

Vertailu-arvot

Tulosten arvioimiseksi malli käyttää kahta vertailu-arvoa, jotka käsittelevät ongelman pelkästään tunnistustehtävänä. Ensimmäinen vertailu-arvo perustuu klusterointiin, kun taas toinen vertailu-arvo suorittaa tietokannan noutamisen.

Klusterointi

Klusterointi-vertailu-arvossa malli käyttää K-Means-algoritmiä klusteroimaan tai ryhmittelemään koulutusmuodot K-alaryhmiin ja suorittaa algoritmin 32*32*32 voxelisoinneissa, jotka on litistetty vektoreiksi. Klusteroinnin määrittämisen jälkeen malli palaa työskentelemään malleilla, joilla on korkeampi resoluutio. Sitten malli laskee keskiarvo-muodon kussakin klusterissa ja rajaa keskiarvo-muodot, jossa optimaalinen arvo lasketaan maksimoiden keskimääräisen IoU:n eli leikkaus-yhdenmukaisuuden mallien yli. Koska malli tietää suhteen 3D-muotojen ja kuvien välillä koulutusdatasta, malli voi helposti vastata kuvan vastaavaan klusteriin.

Noutaminen

Noutaminen-vertailu-arvo oppii upottamaan muotoja ja kuvia yhteiseen avaruuteen. Malli ottaa huomioon 3D-matriisimuotojen pareittaisen samankaltaisuuden koulutusjoukossa muodostamaan upotusavaruuden. Malli saavuttaa tämän käyttämällä Moniulotteista skaalautumista Sammon-karttamuunnoksen avulla pakata kunkin rivin matriisissa matalan dimensionaaliseen kuvaajiin. Lisäksi laskemaan kahden satunnaisen muodon samankaltaisuutta malli käyttää valo-kenttä-kuvaajaa. Lisäksi malli kouluttaa konvoluutio-neuroverkon kartoittamaan kuvat kuvaajiin upottamaan kuvat avaruuteen.

Analyysi

Yhden näkökulman 3D-rekonstruktio-mallit seuraavat eri strategioita, josta seuraa, että ne ylittävät muita malleja joissakin alueissa, kun taas ne jäävät jälkeen muissa. Vertailemalla eri kehyksiä ja arvioimalla heidän suorituskykyään, meillä on eri mittareita, joista yksi on keskiarvo-IoU-piste.

Kuten voidaan nähdä yllä olevasta kuvasta, vaikka niillä on eri arkkitehtuureja, nykyiset state-of-the-art 3D-rekonstruktio-mallit toimittavat melkein samanlaisia suorituskykyjä. Kuitenkin on mielenkiintoista huomata, että vaikka se on puhdas tunnistusmenetelmä, noutaminen-kehykset ylittävät muita malleja keskiarvo- ja mediaani-IoU-pisteissä. Klusterointi-kehykset toimittavat vankat tulokset ylittäen AtlasNet-, OGN- ja Matryoshka-kehykset. Kuitenkin odottamattomin tuloksen tästä analyysista on Oracle NN:n ylittäminen kaikkia muita menetelmiä, vaikka se käyttää täydellistä noutamisarkkitehtuuria. Vaikka keskiarvo-IoU-pisteen laskeminen auttaa vertailussa, se ei anna täydellistä kuvaa, koska tuloksissa on suuri vaihtelu riippumatta mallista.

Yleiset arviointimittarit

Yhden näkökulman 3D-rekonstruktio-mallit käyttävät usein eri arviointimittareita analysoidaakseen suorituskykyään laajalla valikoimalla tehtäviä. Seuraavat ovat joitakin yleisimmin käytettyjä arviointimittareita.

Leikkaus-yhdenmukaisuus

Keskiarvo-Leikkaus-yhdenmukaisuus on mittari, jota yleisesti käytetään kvantitatiivisena mittarina yhden näkökulman 3D-rekonstruktio-mallien vertailuun. Vaikka IoU antaa jonkinlaista tietoa mallin suorituskyvystä, sitä ei pidetä ainoana mittarina menetelmän arvioimiseksi, koska se osoittaa muodon laadun, jonka malli ennustaa, vain silloin, kun arvot ovat riittävän suuria ja merkittävä ero havaitaan matalan ja keskitason pisteiden välillä kahdelle annetulle muodolle.

Chamfer-etäisyys

Chamfer-etäisyys määritellään piste-pilvissä, ja se on suunniteltu siten, että se voidaan soveltaa eri 3D-edustuksiin tyydyttävästi. Kuitenkin Chamfer-etäisyys-arviointimittari on erittäin herkkä poikkeuksille, mikä tekee siitä ongelmallisen mittarin arvioida mallin suorituskykyä, poikkeuksen etäisyys viite-muodosta määrää merkittävästi generoimisen laadun.

F-piste

F-piste on yleinen arviointimittari, jota useimmat moninäkökulman 3D-rekonstruktio-mallit käyttävät. F-piste-mittari on määritelty harmoninen keskiarvo välillä ja tarkkuus, ja se arvioi etäisyyttä objektien pintojen välillä eksplisiittisesti. Tarkkuus laskee prosenttiosuuden jälleenrakennetuista pisteistä, jotka sijaitsevat ennalta määritellyn etäisyyden päässä perusviitteestä, mitataksesi jälleenrakennuksen tarkkuutta. Vastaavasti väli laskee prosenttiosuuden pisteistä perusviitteessä, jotka sijaitsevat ennalta määritellyn etäisyyden päässä jälleenrakennuksesta, mitataksesi jälleenrakennuksen täydellisyyttä. Lisäksi säätämällä etäisyyden kynnysarvoa kehittäjät voivat hallita F-piste-mittarin tiukkuutta.

Luokan mukaan analyysi

Yllä mainittujen kehysten samanlaisuus suorituskyvyssä ei voi olla seurausta siitä, että menetelmät toimivat eri luokkien alijoukoissa, ja seuraava kuva osoittaa vakaan suhteellisen suorituskyvyn eri luokkien yli, Oracle NN -noutamis-vertailu saavuttaa parhaimman tuloksen, ja kaikki menetelmät havaitsevat suuren vaihtelun kaikissa luokissa.

Lisäksi luokan käytettävissä olevien koulutusnäytteiden määrä saattaa johtaa oletukseen, että se vaikuttaa luokan suorituskykyyn. Kuitenkin, kuten seuraavasta kuvasta voidaan nähdä, luokan käytettävissä olevien koulutusnäytteiden määrä ei vaikuta luokan suorituskykyyn, ja luokan näytteiden määrä ja sen keskiarvo-IoU-piste eivät ole korreloituneita.

Laadullinen analyysi

Yllä mainitut määrälliset tulokset tukevat laadullisia tuloksia, kuten seuraavasta kuvasta voidaan nähdä.

Useimmissa luokissa ei ole merkittävää eroa klusterointi-vertailu-arvon ja dekooderi-pohjaisilla menetelmillä tehtyjen ennusteiden välillä. Klusterointi-lähestymistapa epäonnistuu tuloksissa, kun etäisyys näytteen ja keskiarvo-klusterin muodon välillä on suuri, tai tilanteissa, joissa keskiarvo-muoto itsessään ei voi kuvata klusteria tarpeeksi hyvin. Vastaavasti kehykset, jotka käyttävät dekooderi-pohjaisia menetelmiä ja noutamisarkkitehtuuria, toimittavat tarkin ja kauneimman tuloksen, koska ne pystyvät sisällyttämään hienot yksityiskohdat generoituun 3D-malliin.

Yhden näkökulman 3D-rekonstruktio: Lopputajat

Tässä artikkelissa olemme puhuneet yhden näkökulman 3D-objektin rekonstruktiosta, ja puhuneet siitä, miten se toimii, ja puhuneet kahdesta vertailu-arvosta: noutamisesta ja luokittelusta, noutamis-vertailu-lähestymistavan ylittäessä nykyiset state-of-the-art-mallit. Lopulta, vaikka yhden näkökulman 3D-objektin rekonstruktio on yksi kuumimmista aiheista ja eniten tutkituista aiheista tekoäly-yhteisössä, ja vaikka siinä on tehty merkittäviä edistysaskelia viime vuosina, yhden näkökulman 3D-objektin rekonstruktio on vielä kaukana täydellisyydestä ja siinä on edelleen merkittäviä esteitä, jotka on voitettava tulevina vuosina.