Nöral Parçalar: Anlamlı Üretken Geometri İçin Primitifleri Kırmak

Statik tek görüntülerden 3D geometri üretebilen sistemler son yıllarda yaygınlaşmış olsa da, bunlar tarafından elde edilen nesneler genellikle gerçek bir anlamsal şema olmadan “birleştirilir” ve parçalara ayrılmaz.

Anlamlı bir şekilde parçalara ayrılmış hiyerarşik çıkarımlı modeller oluşturmak için several iyi nedenler vardır. Bunlar arasında endüstriyel analiz, tıbbi araştırma ve görüntüleme uygulamaları, video oyunları, simülatörler ve VR/AR ortamları için geometri otomatik oluşturma ve görsel efektler rigging sayılabilir.

Son yıllarda geliştirilen birçok yöntem, chẳng hạn Superquadrics şekil ayrıştırması, tatmin edici sonuçlar vermemiştir ve küp şeklinde gösterim yapan yöntemlerin ötesine geçememiştir.

Superquadrics ve diğer yöntemler çıkarılan görüntülere kaba veya geniş olarak temsil edilen alt parçalar sağlar. Kaynak: https://www.youtube.com/watch?v=6WK3B0IZJsw

Ancak, Max Planck Enstitüsü’nden yeni bir araştırma, anlamlı bölümler oluşturan yeni bir nöral ilkel 3D şekil temsil sistemi sunuyor.

Önceki yöntemler büyük çıkarılan nesneleri parçalara ayırabilir, ancak anlamlı bir şekilde değil. Sağda, Nöral Parçalar yöntemi daha pratik parçalar oluşturur. Kaynak: https://paschalidoud.github.io/neural_parts

Ayrıştırma, bir kondisyonel INN (İçine Dönüştürülebilir Nöral Ağ) kullanılarak gerçekleştirilir. Bu, bir temel geometrik şekli ilkelere dönüştürmek ve tersi için kondisyonel homeomorfizm kullanır ve her ilkel şeklin bir öğrenilebilir ilkel gömme oluşturur.

Mimari

Nöral Parçalar, yeniden yapılandırma kalitesi ve ilkel bütünlüğü arasında bir denge kurmak zorundadır, çünkü karmaşık ilkelere sahip sistemler karmaşık parçalara ayırma eğilimindedir. Bu nedenle, Nöral Parçalar mimarisi bu çelişkili考虑leri zarif bir şekilde dengelemeye tasarlanmıştır.

Nöral Parçalar mimarisi, bir özellik çıkarıcı ve bir kondisyonel homeomorfizm bileşeninden oluşur. Özellik çıkarıcı, bir vektörün girişini haritalar ve kondisyonel homeomorfizm bileşeni, şekil gömmesi tarafından kondisyonel homeomorfik eşlemeleri öğrenir.

Özellik çıkarıcının ilk bölümü, bir ResNet-18 bileşenini kullanarak özellik resimlerini çıkarır. Kondisyonel homeomorfizm bileşeni, bir gerçek değerli non-hacim koruyucu (gerçek NVP) dönüşüm modülünü kullanır.

Değerlendirme

Sistem, 2017’nin Dynamic FAUST (D-FAUST), FreiHAND (2019) ve Stanford Üniversitesi’nin popüler 2015 ShapeNet veri setleriyle test edilmiştir. D-FAUST, insan merkezli 38.640 mesh içerir ve karşılaştırma için uygun olmuştur. FreiHAND’den ilk 5000 el pozu mesh oluşturmak için kullanılmıştır. ShapeNet için araştırmacılar, Stanford araştırmacılarının 2016 yılında tanımladığı kategorilere özgü eğitim yöntemini izlemiştir.

Testler, süperkuadratik, CvxNet ve H-SQs gibi ilkel tabanlı yöntemlerle karşılaştırılmıştır.

ShapeNet altında, araştırmacılar, Nöral Parçalar modelinin 5 ve 25 ilkel düzeyinde CvxNet’ten daha doğru yeniden yapılandırmalar sağladığını bulmuşlardır. Veri tabanındaki bazı basit nesneler, sandalyeler gibi, anlamlı bir şekilde parçalara ayrılmak için yeterli geometriye sahip değildir.

FreiHAND için, Nöral Parçalar daha geometrik olarak doğru yeniden yapılandırmalar sağlamış ve parmak pozisyonu gibi ince detayları daha iyi yakalamıştır. Araştırmacılar, CvxNet ve SQs’nin genel olarak daha çok genel yapıya odaklandıklarını ve bu detayları缺lerini belirtmiştir.

Dynamic FAUST için, CvxNet ve SQs, Nöral Parçalar ile karşılaştırılmış ve beş ilkel kullanarak insan vücudunun bütünlüğünü yakalamıştır. Nöral Parçalar, pürüzsüz bir şekilde ayrıştırma sağlamış ve topolojinin temel öğelerini feda etmemiştir.

Gelecek Çalışmalar

Araştırmacılar, Nöral Parçaları, doğrudan hedef meshleri sunmayan çalışmalara, diferansiyal renderleme tekniklerini kullanarak genişletmek istemektedirler. Nöral Parçalar çerçevesinde hiện kullanılan temel ilkel bir küre olduğundan, araştırmacılar daha karmaşık ve ifade edici geometrik ilkelere de başvurmayı düşünmektedirler.