Neuro-osat: Murtamalla Primitiivejä Merkityksellisen Inferoidun Geometrian Luomiseksi

Vaikka järjestelmät, jotka pystyvät luomaan 3D-geometriaa yhdestä staattisesta kuvasta, ovat lisääntyneet viime vuosina, niiden saamat objektit ovat usein “yhteen sulautuneita” ilman todellista semanttista skeemaa, joka heijastaa, miten osat osallistuvat kokonaisuuteen.

On useita hyviä syitä luoda hierarkkisia inferoituja malleja, joissa on merkityksellinen osien jakautuminen, kuten teollinen analyysi, lääketieteellinen tutkimus ja kuvantamissovellukset, automaattinen geometrian luominen videopeleihin, simulaattoreihin ja VR/AR-ympäristöihin sekä visuaalisten efektien riggaus, muun muassa.

Monet viime vuosina kehitetyt menetelmät, kuten Superquadrics-muodon parsiminen, tuottavat tyydyttäviä tuloksia, ja ne ovat kamppailleet edistääkseen alan tilaa cuboid-tyyppisen osoittavan viipymisen ulkopuolelle.

Segmentaatio Superquadrics- ja muiden lähestymistapojen avulla tarjoaa karkeat tai laajasti edustavat aliosat inferoiduille kuville. Lähde: https://www.youtube.com/watch?v=6WK3B0IZJsw

Kuitenkin uusi tutkimus Max Planck -instituutista, jonka otsikko on Neuro-osat: Oppiminen ilmeikkäistä 3D-muodon abstraktioista kääntäen soveltamalla neuroverkkoja, tarjoaa uuden neuroprimitiivisen 3D-edustamisjärjestelmän, joka luo semanttisesti hyödyllisiä osia.

Aikaisemmat menetelmät voivat hajottaa suuria inferoituja objekteja, mutta ei semanttisesti hyödyllisellä tavalla. Oikealla, Neuro-osat -menetelmä luo käytännöllisempiä fragmentteja. Lähde: https://paschalidoud.github.io/neural_parts

Segmentaatio saavutetaan kääntäen soveltamalla neuroverkkoa (INN), joka käyttää ehdollista homeomorfiaa muokkaamaan perusgeometrisen muodon primitiiveiksi ja päinvastoin, laskien topologisen hierarkian molemmilla suunnilla. Tällä tavoin jokainen primitiivinen muoto on liitetty oppimiseen primitiiviseen upotukseen, jotta voidaan luoda muodon upotus kyseiselle primitiiviselle.

Arkkitehtuuri

Neuro-osat on tasapainotettava rekonstruktio-laadun ja primitiivisen eheys-säilyttämisen välillä, koska monimutkaiset primitiivit voivat suuntautua järjestelmää kohti monimutkaisia dekonstruktioita. Siksi Neuro-osien arkkitehtuuri on suunniteltu tasapainottelemaan näitä ristiriitaisia huomioon ottoja tyylikkäällä tavalla.

Neuro-osien arkkitehtuuri koostuu piirteiden erottelijasta, joka kartoittaa vektorin syötteen, ja ehdollisesta homeomorfisesta komponentista, joka oppii homeomorfiset kartaukset, jotka ovat ehdollisia muodon upotuksella.

Alkuperäinen osa piirteiden erottelijasta käyttää ResNet-18-komponenttia piirteiden kuvien erottamiseen. Ehdollinen homeomorfisessa komponentissa käytetään todellisen arvon säilyttämätöntä (todellinen NVP) muodonmuutosmoduulia.

Arviointi

Järjestelmä testattiin kolmella tietokannalla – 2017 Dynamic FAUST (D-FAUST), FreiHAND (2019) ja Stanfordin yliopiston suositun 2015 ShapeNet-tietokannan kanssa. D-FAUST sisältää 38 640 ihmiskeskeistä verkkomallia, jotka osoittautuivat sopiviksi vertailuun, kun taas FreiHANDissa käytettiin ensimmäiset 5000 käden asentoa luomaan verkkomalleja. ShapeNetissä tutkijat seurasivat samaa kategoriakohtaista koulutusta, jonka Stanfordin tutkijat esittivät vuonna 2016.

Testit suoritettiin primitiivipohjaisia menetelmiä vastaan, mukaan lukien superquadrics, CvxNet ja H-SQs.

ShapeNetin alla tutkijat totesivat, että Neuro-osat-malli johti tarkempiin rekonstruktioihin kuin CvxNet sekä 5 että 25 primitiivin tasolla. Jotkut yksinkertaiset objektit tietokannassa, kuten tuolit, eivät sisältäneet tarpeeksi geometriaa merkityksellisen dekonstruktioon.

FreiHANDissa Neuro-osat tulivat geometrisesti tarkempiin rekonstruktioihin, joissa oli parempi hienojen yksityiskohtien, kuten peukalon sijainnin, kuvaus. Tutkijat huomauttavat, että verrattuna siihen, CvxNet ja SQs keskittyvät yleiseen ydinrakenteeseen ja puuttuvat näistä yksityiskohtaisista.

Dynamic FAUSTissa CvxNet ja SQs verrattiin Neuro-osien tuloksiin käyttäen viittä primitiiviä ihmiskehon alkuperäisen inferoinnin eheys-säilyttämiseksi. Neuro-osat pystyivät saavuttamaan sileämmän segmentaation ilman olennaisen topologian uhraamista.

Tulevaisuuden työ

Tutkijat aikovat laajentaa Neuro-osia tutkimuksiin, jotka eivät tarjoa suoraan kohdeverkkomalleja, käyttäen erottuvia renderöintitekniikoita. Koska perussfääri on tällä hetkellä Neuro-osien kehyksessä käytetty primitiivinen, tutkijat ovat myös harkitsevat monimutkaisempien ja ilmeikkäiden geometrisien primitiivien käyttöä.