Nöral Parçalar: Anlamlı Çıkarılmış Geometri için İlkel Öğeleri Kırma

While sistemlerin static tek görüntülerden 3D geometri oluşturma yetenekleri son yıllarda artmıştır, ancak bunlar tarafından elde edilen nesneler genellikle gerçek bir anlamsal şema olmadan “birleştirilir” ve parçaların bütünü nasıl oluşturduğuna dair hiçbir gerçek şema yoktur.

Endüstriyel analiz, tıbbi araştırma ve görüntüleme uygulamaları, video oyunları, simülatörler ve VR/AR ortamları için otomatik geometri oluşturma ve görsel efekt rigging gibi birçok iyi neden, anlamlı bir parça bölünmesiyle hiyerarşik çıkarılmış modeller oluşturmayı gerektirir.

Son yıllarda geliştirilen birçok yöntem, chẳng hạn sebagai Superquadrics şekil ayrıştırma, tatmin edici sonuçlar üretmedi ve cuboid-style indicative slicing ötesinde durumun gelişmesine katkıda bulunamadı.

Superquadrics ve diğer yaklaşımaların segmentasyonu, çıkarılmış bir görüntüye kaba veya geniş olarak temsil edilen alt parçalar sağlar. Kaynak: https://www.youtube.com/watch?v=6WK3B0IZJsw

Ancak, Max Planck Enstitüsünden yeni araştırma, Nöral Parçalar: İnvertible Nöral Ağlarla İfade Edici 3D Şekil Soyutlamaları Öğrenme adlı bir makale, anlamlı bölümler oluşturan yeni bir nöral ilkel 3D temsil sistemini sunar.

Önceki yöntemler büyük çıkarılmış nesneleri parçalara ayırabilir, ancak anlamlı bir şekilde değil. Sağ tarafta, Nöral Parçalar yöntemi daha pratik parçalar oluşturur. Kaynak: https://paschalidoud.github.io/neural_parts

Segmentasyon, bir İnvertible Nöral Ağ (INN) aracılığıyla gerçekleştirilir, bu da koşullu homeomorphism kullanarak bir temel geometrik şekli ilkelere dönüştürür ve tersi, her iki yönde de topolojik hiyerarşiyi hesaplar. Bu şekilde, her ilkel şekil öğrenilebilen bir ilkel gömme ile ilişkili olur ve bu ilkel için şekil gömme oluşturur.

Mimari

Nöral Parçalar, yeniden yapılandırma kalitesi ve ilkel bütünlüğü arasında bir denge kurmalıdır, çünkü karmaşık ilkelere sahip sistemler karmaşık parçalara ayırma eğilimindedir. Bu nedenle, Nöral Parçalar mimarisi bu çelişkili考虑leri zarif bir şekilde dengelemiştir.

Nöral Parçalar mimarisi, bir özellik çıkarıcıdan oluşur, bu da vektör girişini haritalar ve bir koşullu homeomorphism bileşeni, şekil gömme tarafından koşullandırılan homeomorfik eşlemeleri öğrenir.

Özellik çıkarıcının ilk bölümü, özellik resimlerini çıkarmak için bir ResNet-18 bileşenini kullanır. Koşullu homeomorphism bileşeni, gerçek değerli bir non-volume preserving (real NVP) dönüşüm modülünü kullanır.

Değerlendirme

Sistem, 2017’nin Dynamic FAUST (D-FAUST), FreiHAND (2019) ve Stanford Üniversitesi’nin popüler 2015 ShapeNet olmak üzere üç veri kümesiyle test edilmiştir. D-FAUST, insan merkezli 38.640 mesh içerir, bu da karşılaştırma için uygun olmuştur, mientras ilk 5000 el pozları FreiHAND’de mesh oluşturmak için kullanılmıştır. ShapeNet için araştırmacılar, Stanford araştırmacılarının 2016 yılında çizdiği kategoriye özgü eğitimi izledi.

Testler, süperkuadratik, CvxNet ve H-SQs dahil ilkel tabanlı yöntemlerle karşılaştırıldı.

ShapeNet altında, araştırmacılar Nöral Parçalar modelinin 5 ve 25 ilkel seviyesinde CvxNet’ten daha doğru yeniden yapılandırmalar elde ettiğini buldu. Veritabanındaki bazı basit nesneler, sandalyeler gibi, anlamlı bir parçalara ayırma için yeterli geometriye sahip değildi.

FreiHAND için Nöral Parçalar, daha geometrik olarak doğru yeniden yapılandırmalar elde etti, parmak pozisyonu gibi ince ayrıntıların daha iyi yakalanmasıyla. Araştırmacılar, CvxNet ve SQs’in genel olarak daha çok çekirdek yapıya odaklandığını ve bu ayrıntılardan yoksun olduğunu belirtiyorlar.

Dynamic FAUST için CvxNet ve SQs, Nöral Parçalar’ın çıktısı ile karşılaştırıldı, beş ilkel kullanarak ilk olarak veri tarafından çıkarılan insan vücudunun bütünlüğünü yakalamak için. Nöral Parçalar, temel topolojinin özünü feda etmeden daha pürüzsüz bir segmentasyon elde edebildi.

Gelecek Çalışma

Araştırmacılar, farklılıklı renderleme tekniklerinin kullanılmasını hedefliyor, böylece hedef mesh’leri doğrudan sunmayan çalışmalarla çalışabilecekler. Nöral Parçalar çerçevesinde hiện kullanılan temel bir küre primitive olduğundan, araştırmacılar daha karmaşık ve ifade edici geometrik primitiflerin kullanılmasını da düşünüyor.