Derin generatif AI modellerinin, özellikle derin generatif AI modellerinin hızlı gelişimi, doğal dil oluşturma, 3D oluşturma, görüntü oluşturma ve konuşma sentezinde önemli ilerlemeler kaydetmiştir. Bu modeller, çeşitli endüstrilerdeki 3D üretimi devrimleştirmiştir. Ancak birçokları, karmaşık kablajları ve oluşturulan mesh’lerin geleneksel rendering管道larıyla (Physically Based Rendering – PBR) uyumlu olmadıkları bir zorlukla karşı karşıyadır. Difüzyon tabanlı modeller, özellikle aydınlatma dokuları olmadan, etkileyici çeşitli 3D varlık oluşturma yeteneği sergiler ve film yapımı, oyun ve AR/VR’de 3D çerçeveleri geliştirir.

Bu makale, görüntüsel veya metinsel girdilere bağlı olarak metinsiz 3D mesh’ler için çeşitli, yüksek çözünürlüklü 2K UV doku haritaları üretebilen yeni bir çerçeve olan Paint3D’yi tanıtüyor. Paint3D’nin ana zorluğu, gömülü aydınlatma olmadan yüksek kaliteli dokular oluşturmak ve modern grafik pipehatlarında kullanıcı tarafından yeniden düzenleme veya yeniden aydınlatma yapılabilmesini sağlamaktır. Önceden eğitilmiş 2D difüzyon modeli kullanarak çoklu görüş doku birleştirmesi için initial kaba doku haritaları oluşturur. Ancak bu haritalar, 2D modelin aydınlatma etkilerini devre dışı bırakma ve 3D şekilleri tam olarak temsil etme konusundaki sınırlamaları nedeniyle genellikle aydınlatma hataları ve eksik alanlar gösterir. Paint3D’nin çalışma prensibi, mimarisi ve diğer derin generatif çerçevelerle karşılaştırmaları hakkında daha fazla bilgi edineceğiz. Başlayalım.

Paint3D : Bir Giriş

Derin Generatif AI modellerinin doğal dil oluşturma, 3D oluşturma ve görüntü sentezinde yetenekleri iyi bilinir ve gerçek yaşam uygulamalarında uygulanır, 3D oluşturma endüstrisini devrimleştirir. Ancak yeteneklerine rağmen, modern derin generatif AI çerçeveleri, geleneksel rendering pipehatlarıyla (PBR veya Physically Based Rendering) uyumlu olmayan karmaşık kablajlı ve kaotik aydınlatma dokularına sahip mesh’ler oluşturur. Derin generatif AI modelleri gibi, doku sentezi de hızla ilerlemiştir, özellikle 2D difüzyon modellerini kullanarak metin koşullarına dayalı yüksek kaliteli dokular oluşturur. Ancak bu yaklaşımlar, ön aydınlatmalı dokularla ilgili sorunlarla karşılaşır, bu da ortak iş akışlarında aydınlatma hataları oluşturabilir ve aşağıdaki görüntüde gösterildiği gibi ortak iş akışlarında aydınlatma değiştiğinde final 3D ortam renderingsini etkileyebilir.

Görüldüğü gibi, serbest aydınlatmalı doku haritası geleneksel rendering pipehatlarıyla uyumlu çalışır ve doğru sonuçlar verir, ancak ön aydınlatmalı doku haritası, yeniden aydınlatma uygulandığında uygun olmayan gölgeler içerir. Diğer yandan, 3D verilerine dayalı olarak eğitilen doku oluşturma çerçeveleri, belirli bir 3D nesnesinin tüm geometrisini anlayan alternatif bir yaklaşım sunar. Ancak bunlar daha iyi sonuçlar verebilir, ancak 3D nesnelerine genellemeyi sınırlandırır ve eğitim verisi dışında 3D nesnelerine uygulanmalarını engeller.

Mevcut doku oluşturma modelleri iki kritik zorlukla karşı karşıyadır: görüntüye dayalı rehberlik veya çeşitli promt’ları kullanarak farklı nesneler arasında daha geniş bir genellemeye ulaşmak ve ikinci zorluğun, ön koşullandırma sonuçlarındaki bağlı aydınlatmanın ortadan kaldırılmasıdır. Ön aydınlatmalı dokular, rendering motorlarındaki metinlenmiş nesnelerin final sonuçlarını etkileyebilir ve ön eğitilmiş 2D difüzyon modelleri yalnızca 2D sonuçlar verdiği için, 3D şekillerin comprehensive bir anlayışını sağlayamaz ve 3D nesneleri için görünüm tutarlılığını korumakta zorluk çekebilir.

Yukarıda belirtilen zorluklar nedeniyle, Paint3D çerçevesi, 3D nesnelerine genellemeyi sağlayan ve görünüm tutarlılığını koruyarak aydınlatma içermeyen doku oluşturma öğrenen çift aşamalı bir doku difüzyon modeli geliştirmeyi amaçlar.

Paint3D, ön eğitilmiş generatif AI modellerinin güçlü promt rehberliği ve görüntü oluşturma yeteneklerini kullanarak 3D nesnelerine doku oluşturmayı hedefleyen bir çift aşamalı kaba-ince doku oluşturma modelidir. İlk aşamada, Paint3D çerçevesi, derinlik farkında 2D görüntü difüzyon modelinden çoklu görüş görüntülerini örnekler ve bunları 3D mesh yüzeyine geri проекtsiyon yaparak initial kaba doku haritaları oluşturur. İkinci aşamada, model, aydınlatma içermeyen dokular oluşturmayı hedefler ve difüzyon modellerinin aydınlatma etkilerini ortadan kaldırma ve eksik alanları şekillendirme yeteneklerini uygular. Süreç boyunca, Paint3D çerçevesi tutarlı olarak yüksek kaliteli 2K dokular oluşturur ve içkin aydınlatma etkilerini ortadan kaldırır.

Özetle, Paint3D, metin ve görüntü girdilerine dayalı olarak metinsiz 3D mesh’ler için çeşitli, aydınlatma içermeyen ve yüksek çözünürlüklü 2K UV doku haritaları üretebilen yeni bir kaba-ince generatif AI modelidir ve sentez ve grafik düzenleme görevlerinde state of the art performansı sunar.

Yöntem ve Mimarisi

Paint3D çerçevesi, istenen koşullu girdileri kullanarak 3D modeller için çeşitli ve yüksek kaliteli doku haritaları oluşturur, aşağıdaki görüntüde gösterildiği gibi.

Kaba aşamada, Paint3D modeli, ön eğitilmiş 2D görüntü difüzyon modellerini kullanarak çoklu görüş görüntülerini örnekler ve initial doku haritalarını oluşturur. İkinci aşamada, yani rafine aşamasında, Paint3D modeli, UV uzayında difüzyon süreci uygulayarak kaba doku haritalarını geliştirir ve böylece yüksek kaliteli, boyama ve aydınlatma içermeyen bir fonksiyon sağlar, bu da final doku haritasının görsel çekiciliğini ve tamamlanmasını sağlar.

Aşama 1: İlerleyici Kaba Doku Oluşturma

İlerleyici kaba doku oluşturma aşamasında, Paint3D modeli, 3D mesh’ler için kaba UV doku haritası oluşturur, derinlik farkında 2D difüzyon modeli kullanır. Daha具体 olarak, model, farklı kamera görüşlerini kullanarak derinlik haritasını oluşturur, sonra görüntüleri örnekler ve sonra bunları mesh yüzeyine geri проекtsiyon yaparak initial doku haritasını oluşturur. Çerçeve, rendering, örnekleme ve geri проекtsiyon adımlarını alternatif olarak uygulayarak doku mesh’lerinin tutarlılığını sağlar, bu da kaba doku haritasının ilerleyici olarak oluşturulmasına yardımcı olur.

Model, 3D mesh’in görünür bölgesinin dokusunu oluşturmaya başlar, kamera görüşlerini 3D mesh’e odaklar ve ilk görüşten derinlik haritasını oluşturur. Model, sonra görüntüleri örnekler ve mesh yüzeyine geri проекtsiyon yaparak initial doku haritasını oluşturur. Farklı görüşler için, Paint3D modeli benzer bir yaklaşım uygular, ancak görüntü örneklemesini bir resim boyama yaklaşımı kullanarak gerçekleştirir. Ayrıca, model, önceki görüşlerden gelen dokulu bölgeleri dikkate alır, bu da rendering işleminin yalnızca derinlik görüntüsünü değil, aynı zamanda kısmen renklendirilmiş RGB görüntüsünü ve güncel görüşte renksiz maskesini çıkarmasına olanak tanır.

Model, sonra bir derinlik farkında resim doldurma modeli kullanarak renksiz alanları doldurur ve sonra görüntüyü 3D mesh’e geri proyectosyon yaparak doku haritasını oluşturur, bu da modelin doku haritasını ilerleyici olarak oluşturmasına yardımcı olur. Son olarak, model, doku örneklemesini bir sahne veya nesne ile çoklu görüşe genişletir. Daha具体 olarak, model, ilk doku örneklemesi sırasında simetrik görüşlerden iki derinlik haritası oluşturur, sonra bu derinlik haritalarını birleştirir ve bir derinlik ızgarası oluşturur. Model, tek bir derinlik görüntüsünü bu derinlik ızgarasıyla değiştirir ve çoklu görüş derinlik farkında doku örneklemesini gerçekleştirir.

Aşama 2: UV Uzayında Doku Rafinasyonu

Kaba doku haritalarının görünümü mantıklı olsa da, bazı zorluklarla karşılaşır, Örneğin, self-occlusion veya aydınlatma gölgeleri nedeniyle rendering işlemi sırasında oluşan doku delikleri. Paint3D modeli, kaba doku haritasına dayalı olarak UV uzayında difüzyon süreci uygulamayı amaçlar, bu da sorunları hafifletmeye ve doku haritasının görsel çekiciliğini daha da artırmaya yardımcı olur. Ancak, UV uzayındaki doku haritaları ile mainstream görüntü difüzyon modelini rafine etmek, doku kesintisi sorunlarına neden olur, çünkü doku haritası, 3D yüzeyinin UV eşlemesi tarafından kesilen sürekli bir doku olarak oluşturulur. Bu reason, modelin 3D komşuluk ilişkilerini öğrenmesini zorlaştırır ve doku kesintisi sorunlarına neden olur.

Model, UV uzayında difüzyon sürecini gerçekleştirir ve doku parçacıklarının komşuluk bilgilerini kullanarak doku haritasını rafine eder. UV uzayında, konum haritası, doku parçacıklarının 3D komşuluk bilgilerini temsil eder, model her bir非 arka plan öğesini 3D nokta koordinatı olarak ele alır. Difüzyon süreci sırasında, model, 3D komşuluk bilgilerini birleştirir ve ön eğitilmiş görüntü difüzyon modeline bir konum kodlayıcı ekler. Yeni kodlayıcı, ControlNet çerçevenin tasarımını benzer şekilde takip eder ve görüntü difüzyon modelinde uygulanan kodlayıcı ile aynı mimariye sahiptir, iki kodlayıcı arasında sıfır-convolution katmanı bulunur. Ayrıca, doku difüzyon modeli, doku ve konum haritalarından oluşan bir veri kümesiyle eğitilir ve model, gürültü eklenen gürültü latentini öngörme yeteneğini öğrenir. Model, sonra konum kodlayıcısını optimize eder ve eğitilmiş gürültü temizleyicisini görüntü difüzyon görevi için dondurur.

Model, sonra konum koşullandırıcı kodlayıcısı ve diğer kodlayıcılardan oluşan bir kombinasyon kullanarak UV uzayında rafine görevlerini gerçekleştirir. Bu bağlamda, model iki rafine yeteneğine sahiptir: UVHD veya UV Yüksek Çözünürlük ve UV doldurma. UVHD yöntemi, doku haritasının görsel çekiciliğini ve estetiğini artırmak için tasarlanmıştır. UVHD’yi gerçekleştirmek için, model bir görüntü geliştirme kodlayıcısı ve bir konum kodlayıcısı ile difüzyon modelini kullanır. Model, UV doldurma yöntemini kullanarak UV düzlemindeki doku deliklerini doldurur, bu da self-occlusion sorunlarını önler. Rafine aşamasında, Paint3D modeli önce UV doldurma işlemini gerçekleştirir, sonra UVHD işlemini gerçekleştirerek final rafine doku haritasını oluşturur. İki rafine yöntemini birleştirerek, Paint3D çerçevesi tam, çeşitli, yüksek çözünürlüklü ve aydınlatma içermeyen UV doku haritaları oluşturabilir.

Paint3D : Deneyler ve Sonuçlar

Paint3D modeli, Stable Diffusion text2image modelini kullanarak doku oluşturma görevlerini destekler ve görüntü koşullarını işleyen görüntü kodlayıcı bileşenini kullanır. Ayrıca, Paint3D çerçevesi, ControlNet domain kodlayıcısını kullanarak koşullu kontrolleri gibi görüntü doldurma, derinlik ve görüntü yüksek çözünürlüğü üzerinde daha iyi bir tutuş sağlar. Model, PyTorch çerçevesinde uygulanır ve rendering ve doku projeksiyonları Kaolin’de gerçekleştirilir.

Metinlerden Dokulara Karşılaştırma

Performansını analiz etmek için, Paint3D’nin metinsel promt’larla koşullandırılmış doku oluşturma etkisini değerlendiriyoruz ve bunu state of the art çerçevelerle, yani Text2Tex, TEXTure ve LatentPaint ile karşılaştırıyoruz. Aşağıdaki görüntüde görüldüğü gibi, Paint3D çerçevesi yalnızca yüksek kaliteli doku detayları oluşturma yeteneğine sahiptir, aynı zamanda makul bir şekilde aydınlatma içermeyen doku haritası sentezler.

Karşılaştırmada, Latent-Paint çerçevesi bulanık dokular oluşturma eğilimindedir, bu da görsel efektleri olumsuz etkiler. Diğer yandan, TEXTure çerçevesi net dokular oluşturur, ancak pürüzsüzlükten yoksun ve belirgin birleştirme ve eklemeler gösterir. Son olarak, Text2Tex çerçevesi pürüzsüz dokular oluşturur, ancak ince detaylı dokuları oluşturma performansını tekrarlayamaz.

Aşağıdaki görüntü, Paint3D çerçevesini state of the art çerçevelerle nicel olarak karşılaştırır.

Görüldüğü gibi, Paint3D çerçevesi mevcut tüm modelleri önemli bir marjla geride bırakır, FID baseline’da yaklaşık %30 ve KID baseline’da yaklaşık %40’luk bir iyileşme gösterir. FID ve KID baseline puanlarındaki iyileşme, Paint3D’nin çeşitli nesneler ve kategoriler üzerinde yüksek kaliteli dokular oluşturma yeteneğini gösterir.

Görüntüden Dokuya Karşılaştırma

Paint3D’nin görsel promt’larla oluşturduğu generatif yeteneklerini değerlendirmek için, TEXTure modelini temel olarak kullanıyoruz. Daha önce de bahsedildiği gibi, Paint3D modeli, Stable Diffusion text2image modelinden alınan bir görüntü kodlayıcısını kullanır. Aşağıdaki görüntüde görüldüğü gibi, Paint3D çerçevesi mükemmel dokular oluşturur ve görüntü koşullarına göre yüksek bir bağlılık gösterir.

Diğer yandan, TEXTure çerçevesi Paint3D’ye benzer bir doku oluşturur, ancak görüntü koşullarındaki doku detaylarını doğru bir şekilde temsil edemez. Ayrıca, aşağıdaki görüntüde gösterildiği gibi, Paint3D çerçevesi TEXTure çerçevesine kıyasla daha iyi FID ve KID baseline puanları gösterir, former 40.83’ten 26.86’ya düşer, latter 9.76’dan 4.94’e düşer.

Son Düşünceler

Bu makalede, görüntüsel veya metinsel girdilere bağlı olarak metinsiz 3D mesh’ler için çeşitli, aydınlatma içermeyen ve yüksek çözünürlüklü 2K UV doku haritaları üretebilen bir çerçeve olan Paint3D’yi tanıttık. Paint3D çerçevesinin ana özelliği, görüntüsel veya metinsel girdilere bağlı olmadan aydınlatma içermeyen yüksek çözünürlüklü 2K UV dokular oluşturabilmesidir. Kaba-ince yaklaşımına bağlı olarak, Paint3D çerçevesi aydınlatma içermeyen, çeşitli ve yüksek çözünürlüklü doku haritaları oluşturur ve mevcut state of the art çerçevelerden daha iyi bir performans gösterir.