Pjesët nervore: Zbërthimi i primitivëve për gjeometrinë kuptimplotë të konkluduar

Ndërsa sistemet e afta për të gjeneruar gjeometri 3D nga imazhe statike të vetme janë përhapur vitet e fundit, objektet që ata marrin priren të 'bashkohen' së bashku, pa ndonjë skemë reale semantike për të pasqyruar se si pjesët kontribuojnë në të tërën.

Ka një sërë arsyesh të mira për të gjeneruar modele të konkluduara hierarkike me një ndarje domethënëse të pjesëve, duke përfshirë analizën industriale, kërkimin mjekësor dhe aplikacionet e imazherisë, gjenerimin automatik të gjeometrisë për video-lojërat, simulatorët dhe mjediset VR/AR dhe manipulimin e efekteve vizuale, ndër të tjera.

Shumë metoda të zhvilluara vitet e fundit, si p.sh Superquadrike analizimi i formave, prodhojnë rezultate më pak se të kënaqshme dhe kanë luftuar për të përparuar gjendjen e artit përtej prerjes treguese të stilit kuboid.

Segmentimi nga Superquadrics dhe qasjet e tjera ofrojnë nën-pjesë të papërpunuara ose gjerësisht përfaqësuese për një imazh të konkluduar. Burimi: https://www.youtube.com/watch?v=6WK3B0IZJsw

Megjithatë, e re hulumtim nga Instituti Max Planck, me titull Pjesët nervore: Mësimi i abstraksioneve shprehëse të formës 3D me rrjete nervore të kthyeshme, ofron një sistem të ri përfaqësimi primitiv nervor 3D që krijon seksione të dobishme semantikisht.

Metodat e mëparshme mund të zbërthejnë objekte të mëdha të konkluduara, por jo në një mënyrë semantike të dobishme. Në të djathtë, metoda e pjesëve nervore krijon fragmente më praktike. Burimi: https://paschalidoud.github.io/neural_parts

Segmentimi arrihet nëpërmjet një rrjeti nervor të kthyeshëm (INN), i cili përdor kushtëzuar homeomorfizmi për të deformuar një formë gjeometrike bazë në primitive, dhe anasjelltas, duke llogaritur hierarkinë topologjike në të dy drejtimet. Në këtë mënyrë çdo formë primitive shoqërohet me një ngulitje primitive të mësueshme në mënyrë që të gjenerohet ngulitja e formës për atë primitiv.

arkitekturë

Pjesët nervore duhet të vendosin një ekuilibër midis cilësisë së rindërtimit dhe integritetit primitiv, pasi primitivët kompleksë do ta prijnë sistemin drejt dekonstruksioneve komplekse. Prandaj, arkitektura e pjesëve nervore është projektuar për të tejkaluar këto konsiderata kontradiktore në një mënyrë elegante.

Arkitektura e pjesëve nervore përbëhet nga një nxjerrës i veçorive që harton hyrjen e një vektori dhe një komponent të kushtëzuar të homeomorfizmit që mëson hartëzimin homeomorfik që kushtëzohet nga ngulitja e formës.

Seksioni fillestar i nxjerrësit të veçorive përdor a ResNet-18 komponent për nxjerrjen e imazheve të veçorive. Komponenti i kushtëzuar i homeomorfizmit përdor një ruajtje jo të vëllimit me vlerë reale (NVP e vërtetë) moduli i transformimit.

Vlerësim

Sistemi u testua kundër tre grupeve të të dhënave - Dynamic FAUST i 2017 (D-FAUST), FreiHAND (2019) dhe 2015 popullor i Universitetit Stanford ShapeNet. D-FAUST përmban 38,640 rrjeta me në qendër njeriun, të cilat rezultuan të përshtatshme për krahasim, ndërsa 5000 pozat e para të duarve në FreiHAND u përdorën për të gjeneruar rrjeta. Për ShapeNet, studiuesit ndoqën të njëjtin trajnim specifik për kategori të përshkruar nga studiuesit e Stanford në 2016.

Testet u kryen kundër metodave të bazuara në primitive, duke përfshirë superquadrics, CvxNetdhe H-SQs.

Nën ShapeNet, studiuesit zbuluan se modeli i pjesëve nervore rezultoi në rindërtime më të sakta se CvxNet në një nivel prej 5 dhe 25 primitivëve. Disa nga objektet më të thjeshta në bazën e të dhënave, të tilla si karriget, nuk përmbanin gjeometri të mjaftueshme për një dekonstruksion kuptimplotë.

Për FreiHAND, pjesët nervore rezultuan në rindërtime më të sakta gjeometrike, me kapje më të mirë të detajeve të imta si pozicioni i gishtit të madh. Studiuesit vërejnë se për krahasim, CvxNet dhe SQs janë më të fokusuar në strukturën e përgjithshme thelbësore dhe nuk kanë këto detaje.

Për Dynamic FAUST, CvxNet dhe SQ u krahasuan me daljen e pjesëve nervore duke përdorur pesë primitivë për të kapur integritetin e trupit të njeriut të konkluduar fillimisht nga të dhënat. Pjesët Neurale ishin në gjendje të arrinin segmentim më të butë, pa sakrifikuar gjërat thelbësore të topologjisë.

Puna e ardhmja

Studiuesit synojnë të zgjerojnë Pjesët Neurale në studime që nuk ofrojnë drejtpërdrejt rrjeta të synuara, duke përdorur teknikat e interpretimit të diferencueshëm. Meqenëse një sferë bazë është primitivi aktual i përdorur në kornizën e pjesëve nervore, studiuesit po konsiderojnë gjithashtu përdorimin e primitivëve gjeometrikë më kompleksë dhe ekspresivë.