Metin ve görsellerin temsilinin ölçeklendirilmesi, son yıllarda araştırma konusunun önemli bir parçası haline gelmiştir. Geçmişte yapılan geliştirmeler ve araştırmalar, dil öğrenimi ve görme konusunda birçok devrime yol açmıştır. Ancak, metin ve görsel temsilinin ölçeklendirilmesine rağmen, 3D sahneler ve nesnelerin temsilinin ölçeklendirilmesi yeterli ölçüde tartışılmamıştır.

Bugün, 3D temsili öğrenmeyi birleştiren bir 3D temel modeli olan Uni3D’yi tartışacağız. Uni3D çerçevesi, 2D modellerle başlatılan ViT mimarisini 3D kodlayıcı olarak kullanarak, görüntü-metin özelliklerini 3D nokta bulutu özellikleriyle hizalamak için uçtan uca önceden eğitilmiş bir çerçevedir.

Uni3D çerçevesi, ön görevler ve basit bir mimari kullanarak, önceden eğitilmiş 2D modelleri ve görüntü-metin hizalı modellerini başlangıç ve hedef olarak kullanmak için büyük potansiyeli ortaya koyar. Bu yaklaşım, 2D modellerinin ve stratejilerinin 3D dünyasına ölçeklendirilmesini sağlar.

Bu makalede, 3D bilgisayar görme ve Uni3D çerçevesi hakkında daha derinlemesine bilgi vereceğiz, temel kavramları ve modelin mimarisini keşfedeceğiz. Şimdi başlayalım.

Uni3D ve 3D Temsili Öğrenme: Bir Giriş

Son birkaç yılda, bilgisayar görme, AI endüstrisinin en çok yatırım yapılan alanlarından biri haline gelmiştir. 2D bilgisayar görme çerçevelerindeki önemli ilerlemelerin ardından, geliştiriciler 3D bilgisayar görme alanına odaklanmışlardır. Bu alan, özellikle 3D temsili öğrenme, bilgisayar grafikleri, makine öğrenimi, bilgisayar görme ve matematik gibi disiplinlerin birleşimini içerir. 3D sensörlerin, özellikle LiDAR’ın geliştirilmesi ve AR/VR endüstrisinde yaygın olarak kullanılması, 3D temsili öğrenmenin dikkat çekmesine neden olmuştur. Potansiyel uygulamaları her gün artmaktadır.

Mevcut çerçeveler, 3D model mimarisi, görev odaklı modelleme ve öğrenme hedefleri konusunda önemli ilerlemeler kaydetmiştir. Ancak, çoğu 3D mimarisi küçük ölçekli veri, parametre ve görev senaryolarıyla sınırlıdır. Ölçeklendirilebilir 3D temsil öğrenmenin zorluğu, gerçek zamanlı uygulamalarda çeşitli ortamlarda uygulanabilirlik konusunda devam etmektedir.

Son birkaç yılda, büyük dil modellerinin ölçeklendirilmesi, doğal dil işleme alanını devrimleştirerek büyük ilerlemeler kaydetmiştir. Ayrıca, veri ve model ölçeklendirme tekniklerini kullanarak dil modelinden 2D modele doğru ilerleme, geliştiricilerin 3D temsil öğrenmesine benzer bir başarı elde etmelerine olanak tanır.

Uni3D, büyük ölçekli 3D temsil öğrenmeyi hedefleyen bir 3D temel modeldir. Çerçevede, 2D ViT veya Vision Transformer kullanılarak, görüntü-metin özellikleriyle 3D nokta bulutu özelliklerini hizalamak için uçtan uca önceden eğitilmiş bir çerçevedir. Aşağıdaki şekil, Uni3D çerçevesinin zero-shot doğruluğunu parametrelerle karşılaştırır. Uni3D çerçevesi, 3D temsil modelini 6 milyon parametreden bir milyarın üzerine ölçeklendirir. Eğitim ölçeği bir milyondan fazla 3D şekil, 10 milyondan fazla görüntü ve 70 milyondan fazla metni kapsar.

Uni3D çerçevesi, 2D ViT (Vision Transformer) mimarisini 3D kodlayıcı olarak kullanarak, görüntü-metin özellikleriyle 3D nokta bulutu özelliklerini hizalamak için uçtan uca önceden eğitilmiş bir çerçevedir. Çerçevede, ön görevler ve basit bir mimari kullanarak, önceden eğitilmiş 2D modelleri ve görüntü-metin hizalı modellerini başlangıç ve hedef olarak kullanmak için büyük potansiyeli ortaya koyar.

1. Modeli ölçeklendirme: 6 milyon parametreden bir milyarın üzerinde parametreye çıkarma.
2. 2D başlatma seçenekleri: görsel özdenetimli öğrenmeden metin denetimli öğrenmeye kadar uzanır.
3. Metin-görsel hedef modelini 150 milyondan bir milyarın üzerinde parametreye ölçeklendirme.

Esnek ve birleşik Uni3D çerçevesi altında, geliştiriciler her bir bileşenin performansında tutarlı bir artış gözlemlemektedir. Büyük ölçekli 3D temsil öğrenme, paylaşılan 2D ve ölçeklendirme stratejilerinden de büyük ölçüde yararlanmaktadır.

Aşağıdaki şekil, Uni3D çerçevesinin önceki yöntemlerle karşılaştırıldığında, few-shot ve zero-shot ayarlarında performansında bir artış gösterdiğini gösterir. Uni3D çerçevesinin, ModelNet’te %88’in üzerinde bir zero-shot sınıflandırma doğruluğu elde ettiği ve birçok son teknoloji denetimli öğrenme yönteminin performansıyla eşdeğer olduğu unutulmamalıdır.

Ayrıca, Uni3D çerçevesi diğer temsilci 3D görevlerde, parça segmentasyonu ve açık dünya anlayışında da üstün performans ve doğruluk sağlar. Uni3D çerçevesi, 2D ve 3D görme arasında köprü kurmayı ve çoklu modalite birleşimini sağlamak için, basit bir ön-eğitim yaklaşımı kullanarak büyük ölçekli 3D temel modelleri ölçeklendirerek daha güçlü 3D temsil öğrenmeyi hedeflemektedir.

Uni3D: İlgili Çalışmalar

Uni3D çerçevesi, önceki 3D temsil öğrenme ve temel modellerden ilham alır ve öğrenir.

3D Temsili Öğrenme

3D temsil öğrenme yöntemi, 3D nesnelerin anlaşılması için nokta bulutlarını kullanır ve bu alan, geliştiriciler tarafından yakın zamanda büyük ölçüde keşfedilmiştir. Bu yöntemler, sınırlı veri ile çalışır ve genellikle 2D veya NLP alanlarından 3D’ye aktarılan multimodal temsilleri genellikle araştırmazlar. Nokta bulutları, maskeli nokta modelleme, kendini yeniden oluşturma ve karşılaştırmalı öğrenme gibi yardımcı 3D görevlerle özdenetimli olarak önceden eğitilebilir.

Ancak, CLIP çerçevesinin, kontrastlı öğrenme yöntemiyle ham metinden görsel kavramları öğrenmede yüksek verimlilik sağladığı ve görüntü, metin ve nokta bulutu özelliklerini aynı karşılaştırmalı öğrenme yöntemiyle hizalayarak 3D temsilleri öğrenmeye yönelik çalışmalara ilham verdiği görülür.

Temel Modeller

Geliştiriciler, çoklu modalite temsilini ölçeklendirerek ve birleştiren temel modeller tasarlamak için yoğun bir şekilde çalışmaktadır. Örneğin, NLP alanında, geliştiriciler, önceden eğitilmiş dil modellerini ölçeklendirme üzerine çalışmaktadır ve bu, NLP endüstrisini yavaş yavaş devrimleştiriyor.

2D görme alanında da ilerlemeler kaydedilmektedir, çünkü geliştiriciler, veri ve model ölçeklendirme tekniklerini kullanarak dil modelinden 2D modele doğru ilerlemeyi sağlamaktadır. Ancak, 3D modelleri için bu çerçeveleri tekrarlamak zordur, çünkü 3D verisi sınırlıdır ve 3D çerçevelerini birleştirmek ve ölçeklendirme zorlukları vardır.

Bu iki çalışma alanından yararlanan geliştiriciler Uni3D’yi oluşturdu. İngilizce makale bunu, birleşik ViT mimarisini kullanarak bir milyarın üzerinde parametreye ulaşan ilk 3D temel model olarak tanımlar. Bu mimari, 2D veya NLP ölçeklendirme stratejilerini 3D’ye taşıyarak 2D ve 3D görme arasındaki farkı kapatmayı ve modaliteler arasında yakınsamayı desteklemeyi amaçlar.

Uni3D: Yöntem ve Mimarisi

Yukarıdaki şekil, Uni3D çerçevesinin genel görünümünü gösterir. Geliştiriciler, 70 milyondan fazla metin ve 10 milyondan fazla görüntü ile bir milyondan fazla 3D şekli kullanarak Uni3D çerçevesini bir milyarın üzerinde parametreye ölçeklendirirler. Uni3D çerçevesi, 2D modellerle başlatılan ViT mimarisini 3D kodlayıcı olarak kullanarak, görüntü-metin özelliklerini 3D nokta bulutu özellikleriyle hizalamak için uçtan uca önceden eğitilmiş bir çerçevedir.

Uni3D Çerçevesini Ölçeklendirme

Önceki çalışmalar, nokta bulutu temsil öğrenmesinin, belirli model mimarilerini tasarlayarak ve sınırlı veri ile çalışarak, daha iyi performans elde etmeye odaklanmıştır. Ancak, 3D’de ölçeklendirilebilir ön-eğitim araştırmaları, sınırlı 3D verisi nedeniyle önemli sonuçlar elde edilememiştir. Uni3D çerçevesi, vanilla transformer yapısını kullanarak, 2D veya NLP ölçeklendirme stratejilerini model boyutunu ölçeklemek için kullanabilir.

Önceki çalışmalar, nokta bulutu temsil öğrenmesinin, belirli model mimarilerini tasarlayarak ve sınırlı veri ile çalışarak, daha iyi performans elde etmeye odaklanmıştır. Ancak, 3D’de ölçeklendirilebilir ön-eğitim araştırmaları, sınırlı 3D verisi nedeniyle önemli sonuçlar elde edilememiştir. Uni3D çerçevesi, vanilla transformer yapısını kullanarak, 2D veya NLP ölçeklendirme stratejilerini model boyutunu ölçeklemek için kullanabilir.

Uni3D’yi Başlatma

Önceki çalışmalarda, 3D temsil öğrenmesinin ölçeklendirilmesinde, büyük model boyutları nedeniyle ortaya çıkan zorluklar, yani yakınsama ve aşırı uyarlama sorunları, önemli bir engel teşkil etmiştir. Bu sorunu aşmak için, 3D omurga ağlarını, belirli 3D ön görevlerle önceden eğitmek ve önceden eğitilmiş parametrelerle başlatmak etkili bir yaklaşımdır. Ancak, bu yaklaşım yüksek eğitim maliyetleri ile birlikte gelir ve 3D verisi sınırlı olduğu için, çapraz modal öğrenme için güçlü bir başlatma sağlamak zordur.

Uni3D çerçevesi, ViT’ye benzer bir vanilla transformer yapısını kullanır. Bu yaklaşım, Uni3D çerçevesinin, diğer modalitelerle önceden eğitilmiş büyük modelleri doğal olarak benimsemesine olanak tanır.

Çoklu Modal Hizalama

Uni3D çerçevesi, OpenShape ve ULIP çerçevelerine benzer paradigmalara dayanarak, görüntü, dil ve nokta bulutları arasında çoklu modal hizalama öğrenmeye çalışır. Ayrıca, diğer yöntemlerle adil bir karşılaştırma yapmak için, OpenShape tarafından oluşturulan toplu 3D veri kümesini eğitim için kullanır. Bu toplu veri kümesi, 4 farklı 3D veri kümesinden oluşur:

1. Objaverse.
2. ShapeNet.
3. 3D-FUTURE.
4. ABO.

Deneysel Sonuçlar

Uni3D çerçevesi, çeşitli ayarlarında ve görevlerde, özellikle zero-shot ve few-shot ayarlarında, açık dünya anlayışında ve daha fazlasında test edilmiştir. Şimdi, bu sonuçlara daha yakından bakalım.

Sıfır Atış Şekil Sınıflandırması

Uni3D çerçevesinin zero-shot şekil sınıflandırma performansını değerlendirmek için, geliştiriciler, ModelNet, ScanObjNN ve Objaverse-LVIS benchmark veri kümeleri üzerinde deneyler gerçekleştirmişlerdir. ModelNet40 ve ScanObjNN, sınıflandırma görevlerinde kullanılan veri kümeleridir ve sırasıyla 40 ve 15 nesne kategorisi içerir. Kaynak notu: İngilizce makale bu iki kategori sayısını ters vermektedir; buradaki sayılar veri kümelerinin resmî açıklamalarına göre belirtilmiştir. Objaverse-LVIS benchmark veri kümesi ise, 40.000’den fazla nesne ve 1.100’den fazla kategori içeren, temizlenip açıklamalı bir veri kümesidir. Çerçeveler arasındaki karşılaştırma aşağıdaki şekildedir ve Uni3D çerçevesinin, farklı ayarlarında önceki yöntemleri önemli ölçüde aştığı görülmektedir.

Az Atış Doğrusal Sondalama

AI’de, doğrusal sondalama, bir çerçevenin veya modelin öğrendiği temsilin değerini belirlemek için kullanılan bir yöntemdir. Uni3D’nin doğrusal sondalama yeteneğini değerlendirmek için, geliştiriciler, OpenShape ile aynı ayarları kullanarak, Uni3D çerçevesinin parametrelerini dondurmuş ve ardından az sayıda etiketli örnekle Uni3D için doğrusal bir sınıflandırıcı eğitmiştir. Aşağıdaki şekil, farklı çerçevelerin Objaverse-LVIS veri kümesi üzerindeki doğrusal sondalama yeteneklerini gösterir ve modelin 10 farklı rastgele tohum üzerindeki ortalama performansını gösterir. Uni3D çerçevesinin, farklı few-shot ayarlarında mevcut yöntemleri önemli ölçüde aştığı görülmektedir.

Açık Dünya Anlama

Uni3D çerçevesinin gerçek dünya nesnelerini ve şekillerini anlamak için yeteneğini değerlendirmek için, geliştiriciler, ScanNet ve CLIP veri kümelerini kullanmışlardır. Referans nesne-örneği segmentasyonu (instance segmentation) sağlanır; amaç, zero-shot koşullarında sahnedeki her bir nesne örneğinin kategorisini tanımaktır. Sonuçlar aşağıdaki şekildedir ve Uni3D çerçevesinin, gerçek dünya anlayışında ve tanınmada üstün sonuçlar elde ettiği görülmektedir. Uni3D çerçevesi, mevcut çerçeveleri önemli ölçüde aşmaktadır,gerçek dünya veri kümeleri üzerinde eğitim almamış olmasına rağmen.

Çapraz Modal Alma

Uni3D çerçevesi tarafından öğrenilen çoklu modal temsil, 3D şekilleri metin veya görüntü sorgularından doğal olarak almasına olanak tanır. 3D şekilleri almak için, model, 3D şekillerin vektör gömmeleri ile sorgu metni veya görüntüsünün vektör gömmeleri arasındaki kosin benzerliğini hesaplar. Ardından, KNN veya K En Yakın Komşu algoritmasını kullanarak, sorguya en benzer 3D şekilleri bulup getirir ve sonuçlar aşağıdaki şekildedir. Uni3D çerçevesinin, gerçek dünya görüntülerini kullanarak 3D şekilleri başarıyla getirebildiği görülür. Eğitim görüntüleri render edilmiş görüntülerdir; gerçek dünya görüntüleriyle aralarında önemli fark bulunur. Model ayrıca iki giriş görüntüsünün gömmelerinin ortalaması ile 3D şekillerin gömmeleri arasındaki kosinüs benzerliğini kullanarak her iki görüntüye de benzeyen şekilleri getirir. Bu sonuçlar, çeşitli 3D temsillerin ve birden fazla 2D ipucunun öğrenilebildiğini gösterir.

İlk sütunda, çerçeve iki sorgu görüntüsünü kullanarak, sorgu görüntülerine en benzer 3D şekilleri üretir. İkinci sütunda, çerçeve iki girdi görüntüsünü kullanarak, her iki girdi görüntüsüne benzeyen 3D şekilleri alır. Son sütunda, model, sorgu metinlerini kullanarak, sorgu metinlerine en benzer 3D şekilleri üretir.

Son Düşünceler

Bu makalede, bir milyarın üzerinde parametreye, 10 milyondan fazla görüntü ve 70 milyondan fazla metin ile bir milyondan fazla 3D şekli kullanarak büyük ölçekli 3D temsil öğrenmeyi hedefleyen bir 3D temel modeli olan Uni3D’yi tartıştık. Geliştiriciler, 2D veya NLP ölçeklendirme stratejilerini kullanarak model boyutunu ölçeklemek için vanilla transformer yapısını kullanmışlardır. Ayrıca, Uni3D çerçevesi, 2D çerçevelerinin ve stratejilerinin 3D dünyasına ölçeklendirilmesine olanak tanır. Deneysel sonuçlar, Uni3D çerçevesinin, çeşitli ayarlarında ve görevlerde, özellikle zero-shot ve few-shot ayarlarında, açık dünya anlayışında ve daha fazlasında üstün sonuçlar elde ettiğini göstermiştir.