Tek Görünüm 3D Nesne Geri Yapımının Nasıl Çalıştığı?

Geleneksel olarak, tek görünümlü nesne geri yapımında kullanılan modeller, convolutional neural networks üzerine inşa edilmiş ve geri yapım görevlerinde dikkat çekici performans göstermiştir. Son yıllarda, tek görünümlü 3D geri yapım, AI topluluğu içinde popüler bir araştırma konusu haline gelmiştir. Kullanılan özel metodolojiye bakılmaksızın, tüm tek görünümlü 3D geri yapım modelleri, çerçeve içinde bir encoder-decoder ağı dahil etme konusunda ortak bir yaklaşım paylaşırlar. Bu ağ, çıktı alanında 3D yapı hakkında karmaşık çıkarımlar yapar.

Bu makalede, tek görünümlü 3D geri yapımın gerçek zamanlı olarak nasıl çalıştığını ve bu çerçevelerin geri yapım görevlerinde karşılaştıkları güncel zorlukları keşfedeceğiz. Tek görünümlü 3D geri yapım modelleri tarafından kullanılan çeşitli ana bileşenleri ve yöntemleri tartışacağız ve bu çerçevelerin performansını artırabilecek stratejileri keşfedeceğiz. Ayrıca, encoder-decoder yöntemlerini kullanan son teknoloji çerçeveler tarafından üretilen sonuçları analiz edeceğiz. Giriş yapalım.

Tek Görünüm 3D Nesne Geri Yapımı

Tek görünümlü 3D nesne geri yapımı, bir nesnenin 3D modelini tek bir görüş açısından veya daha basit bir ifadeyle, tek bir görüntüden üretme işlemini içerir. Örneğin, bir motosikletin 3D yapısını bir görüntüden çıkarsamak karmaşık bir süreçtir. Bu, parçaların yapısal düzenlenmesini, düşük seviye görüntü ipuçlarını ve yüksek seviye anlamsal bilgileri birleştirir. Bu spektrum iki ana yönü kapsar: geri yapım ve tanıma. Geri yapım süreci, gölgelendirme, tekstür ve görsel efektler gibi ipuçlarını kullanarak girdi görüntüsünün 3D yapısını belirler. Tanıma süreci ise girdi görüntüsünü sınıflandırır ve bir veritabanından uygun 3D modeli alır.

Mevcut tek görünümlü 3D nesne geri yapım modelleri mimari olarak farklılık gösterebilir, ancak çerçeve içinde encoder-decoder yapısını dahil etmeleri bakımından birleşirler. Bu yapıda, encoder girdi görüntüsünü bir gizli temsil’e haritalar, mentre decoder çıktı alanında 3D yapısı hakkında karmaşık çıkarımlar yapar. Bu görevi başarılı bir şekilde gerçekleştirmek için, ağ hem yüksek seviye hem de düşük seviye bilgileri entegre etmelidir. Ayrıca, birçok son teknoloji encoder-decoder yöntemi, tek görünümlü 3D geri yapım görevleri için tanıma’ya güvenir, bu da onların geri yapım yeteneklerini sınırlar. Ayrıca, modern convolutional neural networks’in tek görünümlü 3D nesne geri yapımındaki performansı, 3D nesne yapısını açıkça çıkarmeden aşılabilir. Ancak, tek görünümlü nesne geri yapım görevlerinde convolutional networks’in baskınlığı, çeşitli deneysel prosedürler tarafından etkilenir, bunlar arasında değerlendirme protokolleri ve veri seti bileşimi bulunur. Bu faktörler, çerçeveye, bu durumda görüntü tanıma için bir kısayol çözümü bulma olanağı sağlar.

Geleneksel olarak, tek görünümlü 3D nesne geri yapım çerçeveleri, geri yapım görevlerine şekil üzerinden gölgeleme yaklaşımını kullanarak yaklaşır, tekstür ve odak dışı durum ise geri yapım görevleri için egzotik görüntüler olarak hizmet eder. Bu teknikler tek bir derinlik ipucu kullanır ve yüzeyin görünür kısımları için nedenler sağlayabilir. Ayrıca, birçok tek görünümlü 3D geri yapım çerçevesi, yapısal bilgi ile birlikte birden fazla ipucu kullanarak tek bir monoküler görüntüden derinliği tahmin eder, bu kombinasyon bu çerçevelerin görünür yüzeylerin derinliğini tahmin etmelerine olanak tanır. Daha yeni derinlik tahmini çerçeveleri, monoküler bir görüntüden derinlik çıkarmak için convolutional neural network yapılarını kullanır.

Ancak, etkili tek görünümlü 3D geri yapım için, modeller yalnızca görüntüdeki görünür nesnelerin 3D yapısı hakkında akıl yürütmekle kalmaz, aynı zamanda belirli önceden öğrenilen öncüller kullanarak görüntüdeki görünmeyen kısımları hayal etmek zorundadır. Bunu başarmak için, çoğu model doğrudan 3D denetim kullanarak 2D görüntüleri 3D şekillere haritalamak için eğitilmiş convolutional neural network yapılarını kullanır, mientras birçok diğer çerçeveler 3D şeklinin voxel tabanlı temsilini kullanır ve 3D yukarıya doğru evrimi üretmek için bir gizli temsil kullanır. Bazı çerçeveler ayrıca çıktı alanını hiyerarşik olarak böler, bu da modelin daha yüksek çözünürlüklü 3D şekilleri tahmin etmesini sağlar. Son araştırmalar, convolutional neural networks kullanarak tek görünümlü 3D şekil tahminleri için daha zayıf denetim formlarını kullanmaya odaklanıyor, ya öngörülen şekilleri ve bunların zemin truth tahminlerini karşılaştırarak şekil regresörlerini eğitmek ya da modelin deformasyonları tahmin etmesine yardımcı olan ortalama şekilleri eğitmek için birden fazla öğrenme sinyali kullanıyor. Tek görünümlü 3D geri yapımın sınırlı ilerlemesinin bir başka nedeni, görev için mevcut olan sınırlı miktarda eğitim verisidir.

Devam ederek, tek görünümlü 3D geri yapım hem geometrik hem de anlamsal olarak karmaşık bir görevdir. Bunlar tamamen farklı olmasa da, geometrik yeniden yapılandırma ve anlamsal tanıma arasında farklı spektrumları kapsar. Geri yapım görevleri, görüntüdeki nesnenin 3D yapısını piksel düzeyinde akıl yürütmeyi gerektirir. Geri yapım görevleri, görüntüdeki içeriğin anlamsal anlayışını gerektirmez ve düşük seviye görüntü ipuçları kullanarak, yani tekstür, renk, gölgeleme, gölgeler, perspektif ve odak kullanılarak gerçekleştirilebilir. Tanıma ise, nesneyi tüm olarak kullanarak ve nesneyi girdide sınıflandırarak ve veritabanından uygun 3D modeli alarak, görüntü semantiğinin aşırı bir kullanımıdır. Tanıma görevleri, görüntüde görünmeyen nesne kısımları hakkında güçlü akıl yürütmeler sağlayabilir, ancak anlamsal çözüm, yalnızca veritabanında bulunan bir nesne tarafından açıklanabiliyorsa uygulanabilir.

Tanıma ve geri yapım görevleri birbirinden önemli ölçüde farklılık gösterebilir, ancak her ikisi de girdi görüntüsünde bulunan değerli bilgileri görmezden gelir. En iyi sonuçları elde etmek için, bu görevlerin birbiriyle birlikte kullanılmasını önerilir ve doğru 3D şekilleri nesne geri yapımı için, modelin yapısal bilgi, düşük seviye görüntü ipuçları ve nesne hakkında yüksek seviye anlama kullanması gerekir.

Tek Görünüm 3D Geri Yapım: Geleneksel Kurulum

Tek görünümlü 3D geri yapım çerçevesinin geleneksel kurulumunu açıklamak ve kurulumunu analiz etmek için, bir nesnenin 3D şeklini tahmin etmek için standard bir kurulum kullanacağız. Eğitim amaçlı kullanılan veri kümesi ShapeNet veri kümesidir ve modelin şekil tahmin performansını 13 sınıfta değerlendirir, bu da modelin veri kümesindeki sınıf sayısının şekil tahmin performansını nasıl belirlediğini anlamasını sağlar.

Çoğu modern convolutional neural network, yüksek çözünürlüklü 3D modelleri tahmin etmek için tek bir görüntüyü kullanır ve bu çerçeveler, çıktı temsiline dayanarak kategorilere ayrılabilir: derinlik haritaları, nokta bulutları ve voxel ızgaraları. Model, OGN veya Octree Generating Networks olarak bilinen temsil yöntemini kullanır, bu yöntem tarihsel olarak voxel ızgara yaklaşımını aşmıştır ve/veya baskın çıktı temsilini kapsayabilir. Mevcut yöntemlerin aksine, OGN yaklaşımı modelin yüksek çözünürlüklü şekilleri tahmin etmesine ve octree’leri işgal edilen alanı verimli bir şekilde temsil etmek için kullanmasına olanak tanır.

Referans Noktaları

Sonuçları değerlendirmek için, model iki referans noktası kullanır, bunlar tanıma görevi olarak kabul edilen problemi ele alır. İlk referans noktası kümeleme üzerine dayanırken, ikinci referans noktası veritabanı alımı gerçekleştirir.

Kümeleme

Kümeleme referans noktasında, model K-Means algoritmasını kullanarak eğitim şekillerini K alt kategorilere ayırır ve algoritmayı 32*32*32 voxel化larına düzleştirerek bir veköre uygular. Küme atamalarını belirledikten sonra, model daha yüksek çözünürlüklü modellere geri döner. Model daha sonra her küme içinde ortalama şekli hesaplar ve ortalama şekilleri, optimum değerini ortalama IoU veya Intersection over Union’u modeller üzerinde en üst düzeye çıkararak eşikler. Model, eğitim verisi中的 3D şekiller ve görüntüler arasındaki ilişkiyi bildiğinden, görüntüyü karşılık gelen kümeyle kolayca eşleştirebilir.

Alım

Alım referans noktası, şekilleri ve görüntüleri ortak bir alanda gömme öğrenir. Model, eğitim setindeki 3D matris şekillerin çiftli benzerliğini kullanarak gömme alanını oluşturur. Bunu, her satırı düşük boyutlu bir tanımlayıcıya sıkıştırmak için Multi-Dimensional Scaling ile Sammon eşlemesi yaklaşımını kullanarak gerçekleştirir. Ayrıca, ikibitrary şekiller arasındaki benzerliği hesaplamak için ışık alanı tanımlayıcısını kullanır. Ayrıca, görüntüleri bu alana gömmek için bir convolutional neural network eğitir.

Analiz

Tek görünümlü 3D geri yapım modelleri farklı stratejilere sahiptir ve bu nedenle bazı alanlarda diğer modellere göre daha iyi performans gösterirken, diğer alanlarda geri kalırlar. Farklı çerçeveleri karşılaştırmak ve performanslarını değerlendirmek için, ortalama IoU puanı gibi çeşitli ölçütlerimiz vardır.

Yukarıdaki görüntüden görülebileceği gibi, farklı mimarilere sahip olmasına rağmen, güncel 3D geri yapım modelleri neredeyse benzer performans gösterir. Ancak, ilginç bir şekilde, saf bir tanıma yöntemi olan alım çerçevesi, ortalama ve orta IoU puanları açısından diğer modelleri aşar. Kümeleme çerçevesi, AtlasNet, OGN ve Matryoshka çerçevelerini aşarak güçlü sonuçlar verir. Ancak, bu analizdeki en beklenmedik sonuç, mükemmel bir alım mimarisi kullanan Oracle (ORCL ) NN’nin diğer tüm yöntemleri aşmasıdır. Ortalama IoU puanını hesaplamak, karşılaştırmaya yardımcı olur, ancak tam bir resim vermez, çünkü sonuçlardaki varyans yüksektir ve modele bakılmaksızın.

Ortak Değerlendirme Ölçütleri

Tek görünümlü 3D geri yapım modelleri genellikle performanslarını çeşitli görevlerde değerlendirmek için farklı değerlendirme ölçütleri kullanır. Aşağıda bazı ortak olarak kullanılan değerlendirme ölçütleri bulunmaktadır.

Kesişim Üzeri Birlik

Ortalama Kesişim Üzeri Birlik, tek görünümlü 3D geri yapım modelleri için bir referans olarak kullanılan ortak bir nicel ölçüttür. IoU, modelin predicted şeklinin kalitesini yeterli derecede yüksek değerlerle gösterir, ancak tek başına bir ölçüt olarak kabul edilmez, çünkü predicted şeklin kalitesini yalnızca belirli bir seviyede gösterir ve iki verilen şeklin düşük ve orta seviye puanları arasında önemli bir fark gözlemlenir.

Chamfer Mesafesi

Chamfer Mesafesi, nokta bulutlarına uygulanabilen bir ölçüttür ve farklı 3D temsil biçimlerine uygulanabilir. Ancak, Chamfer Mesafesi ölçütü, aykırı değerlere karşı oldukça duyarlıdır, bu da modelin performansını değerlendirmek için problemli bir ölçüttür, çünkü referans şekline olan aykırı değerlerin mesafesi, üretim kalitesini önemli ölçüde belirler.

F-Puanı

F-Puanı, birçok çok görünümlü 3D geri yapım modeli tarafından aktif olarak kullanılan ortak bir değerlendirme ölçütüdür. F-Puanı, hatırlama ve precision arasındaki harmonik ortalamadır ve nesnelerin yüzeyleri arasındaki mesafeyi açıkça değerlendirir. Precision, yeniden yapılandırılan noktaların belirli bir uzaklığa göre ground truth’a olan yakınlığını ölçer ve yeniden yapılandırmanın doğruluğunu ölçer. Hatırlama, ground truth üzerindeki noktaların belirli bir uzaklığa göre yeniden yapılandırılmış noktalarına olan yakınlığını ölçer ve yeniden yapılandırmanın tamamlanma oranını ölçer. Ayrıca, belirli bir uzaklık eşiğini değiştirerek, geliştiriciler F-Puanı ölçütünün sıkılığını kontrol edebilir.

Sınıfa Göre Analiz

Yukarıdaki çerçevelerin performansı benzer olamaz, çünkü bu yöntemler farklı sınıfların alt kümesi üzerinde çalışıyor olabilir. Aşağıdaki şekil, farklı sınıflar boyunca tutarlı bir şekilde相对 performansı gösterir, Oracle NN alım referans noktası en iyi sonucu elde eder ve tüm yöntemler tüm sınıflar için yüksek varyans gösterir.

Ayrıca, bir sınıfa ait eğitim örneklerinin sayısı, sınıfa göre performansı etkileyebileceğine dair bir varsayım olabilir. Ancak, aşağıdaki şekil, bir sınıftaki eğitim örneklerinin sayısı ile ortalama IoU puanı arasındaki ilişki olmadığını gösterir.

Niteliksel Analiz

Yukarıdaki nicel sonuçlar, aşağıdaki görüntüde gösterilen nitel sonuçlarla desteklenmektedir.

Çoğu sınıf için, kümeleme referans noktası ve decoder tabanlı yöntemlerin tahminleri arasında önemli bir fark yoktur. Kümeleme yaklaşımı, örnek ve ortalama küme şekli arasındaki uzaklık yüksek olduğunda veya ortalama şekil kümesini yeterince tanımlayamadığında sonuç veremez. Diğer taraftan, decoder tabanlı yöntemler ve alım mimarisi kullanan çerçeveler, üretilen 3D modelde ince detayları dahil ederek en doğru ve çekici sonuçları sağlar.

Tek Görünüm 3D Geri Yapım: Son Düşünceler

Bu makalede, Tek Görünüm 3D Nesne Geri Yapımı hakkında konuştuk, nasıl çalıştığını ve iki referans noktası hakkında konuştuk: Alım ve Kümeleme, alım referans noktası yaklaşımının güncel 3D geri yapım modellerini aşmasıyla. Son olarak, Tek Görünüm 3D Nesne Geri Yapımı, AI topluluğu içinde en sıcak ve en çok araştırılan konulardan biridir ve son yıllarda önemli ilerlemeler kaydetmesine rağmen, Tek Görünüm 3D Nesne Geri Yapımı hala mükemmel değildir ve önümüzdeki yıllarda aşılması gereken önemli engeller vardır.