Nöral Parçalar: Anlamlı Çıkarımsal Geometri için İlkelleri Parçalamak

Statik tekil görüntülerden 3B geometri üretebilen sistemler son yıllarda çoğalırken, elde ettikleri nesneler, parçaların bütüne nasıl katkıda bulunduğunu yansıtacak herhangi bir gerçek semantik şema olmaksızın, birbirine "kaynaşma" eğilimindedir.

Endüstriyel analiz, tıbbi araştırma ve görüntüleme uygulamaları, video oyunları, simülatörler ve VR/AR ortamları için otomatik geometri üretimi ve görsel efekt donanımları dahil olmak üzere, anlamlı bir parça bölümüyle hiyerarşik çıkarımsal modeller oluşturmak için bir dizi iyi neden vardır. diğerleri arasında.

Son yıllarda geliştirilen birçok yöntem, örneğin Süper kuadrikler şekil ayrıştırma, tatmin edici sonuçlardan daha az üretme ve tekniğin durumunu küboid stil belirleyici dilimlemenin ötesine taşımak için mücadele etme.

Superquadrics ve diğer yaklaşımlarla segmentasyon, çıkarsanan bir görüntüye ham veya geniş ölçüde temsili alt parçalar sağlar. Kaynak: https://www.youtube.com/watch?v=6WK3B0IZJsw

Ancak, yeni araştırma başlıklı Max Planck Enstitüsü'nden Nöral Parçalar: Tersine Çevrilebilir Sinir Ağları ile Etkileyici 3B Şekil Soyutlamalarını Öğrenme, anlamsal olarak yararlı bölümler oluşturan yeni bir nöral ilkel 3B temsil sistemi sunar.

Önceki yöntemler, çıkarsanan büyük nesneleri ayrıştırabilir, ancak anlamsal olarak yararlı bir şekilde değil. Sağda, Sinir Parçaları yöntemi daha pratik parçalar oluşturur. Kaynak: https://paschalidoud.github.io/neural_parts

Segmentasyon, Tersine Çevrilebilir Sinir Ağı (INN), koşullu kullanan homeomorfizm bir temel geometrik şekli ilkellere deforme etmek ve tersi, her iki yönde topolojik hiyerarşiyi hesaplamak. Bu şekilde, her ilkel şekil, o ilkel için gömülü şekli oluşturmak üzere öğrenilebilir bir ilkel gömme ile ilişkilendirilir.

mimari

Karmaşık ilkel öğeler sistemi karmaşık yapısökümlere doğru yönlendireceğinden, nöral bölümlerin yeniden yapılandırma kalitesi ile ilkel bütünlük arasında bir denge kurması gerekir. Bu nedenle, Neural Parts'ın mimarisi, bu çelişkili düşünceleri zarif bir şekilde birleştirmek için tasarlanmıştır.

Sinirsel Parçalar mimarisi, bir vektörün girdisini eşleyen bir öznitelik çıkarıcıdan ve şekil gömmeyle koşullanan homeomorfik eşlemeleri öğrenen koşullu bir homeomorfizm bileşeninden oluşur.

Özellik çıkarıcının ilk bölümü bir ResNet-18 Özellik görüntülerini çıkarmak için bileşen. Koşullu homeomorfizm bileşeni, gerçek değerli hacim koruyucu olmayan bir koruma kullanır (gerçek NVP) dönüşüm modülü.

Değerlendirme

Sistem, üç veri kümesine karşı test edildi – 2017'nin Dinamik FAUST'ı (D-FAUST), FreiHAND (2019) ve Stanford Üniversitesi'nin popüler 2015'i Şekil Ağı. D-FAUST, karşılaştırma için uygun olduğu kanıtlanmış 38,640 insan merkezli ağ içerirken, ağ oluşturmak için FreiHAND'deki ilk 5000 el pozu kullanıldı. Araştırmacılar, ShapeNet için Stanford araştırmacıları tarafından belirtilen kategoriye özel eğitimin aynısını izlediler. 2016 yılında.

Testler, superquadrics dahil olmak üzere ilkel tabanlı yöntemlere karşı yürütüldü. CvxNet, ve H-SQ'lar.

Araştırmacılar ShapeNet altında, Neural Parts modelinin hem 5 hem de 25 ilkel düzeyinde CvxNet'ten daha doğru rekonstrüksiyonlarla sonuçlandığını buldular. Veritabanındaki bazı basit nesneler, örneğin sandalyeler, anlamlı bir yapısöküm için yeterli geometri içermiyordu.

FreiHAND için Neural Parts, başparmak konumu gibi ince ayrıntıların daha iyi yakalanmasıyla geometrik olarak daha doğru rekonstrüksiyonlar sağladı. Araştırmacılar, karşılaştırıldığında, CvxNet ve SQ'ların genel çekirdek yapıya daha fazla odaklandığını ve bu ayrıntılardan yoksun olduğunu belirtiyorlar.

Dinamik FAUST için, CvxNet ve SQ'lar, başlangıçta verilerden çıkarılan insan vücudunun bütünlüğünü yakalamak için beş ilkel kullanılarak Neural Parts'ın çıktısıyla karşılaştırıldı. Nöral Parçalar, topolojinin temellerinden ödün vermeden daha düzgün segmentasyon elde etmeyi başardı.

Gelecek Çalışma

Araştırmacılar, farklılaştırılabilir işleme tekniklerini kullanarak, Nöral Parçaları doğrudan hedef ağlar sunmayan çalışmalara genişletmeyi planlıyor. Bir temel küre, Nöral Parçalar çerçevesinde kullanılan mevcut ilkel olduğundan, araştırmacılar ayrıca daha karmaşık ve anlamlı geometrik ilkellerin kullanımını düşünüyorlar.