Derin öğrenme tabanlı AI modellerinin ortaya çıkışı, doğal dil oluşturma, 3D oluşturma, görüntü oluşturma ve konuşma sentezinde dikkat çekici yeteneklere sahip AI gelişimini önemli ölçüde hızlandırdı. 3D oluşturma modelleri, birçok endüstriyi ve uygulamayı dönüştürerek mevcut 3D üretim manzarasını devrimleştirerek değiştirdi. Ancak, birçok güncel derin öğrenme modeli ortak bir engelle karşılaşıyor: karmaşık kablaj ve oluşturulan mesh’lerin aydınlatma dokuları genellikle geleneksel rendering管elinesi gibi PBR (Fiziksel Tabanlı Rendering) ile uyumsuzdur. Aydınlatma metinleri olmadan 3D varlıklar oluşturan difüzyon tabanlı modeller, çeşitli 3D varlık oluşturma yeteneklerine sahiptir ve böylece film yapımı, oyun ve artırılmış / sanal gerçeklik gibi endüstrilerdeki mevcut 3D çerçevelerini genişletir.

Bu makalede, Paint3D’yi, görsel veya metinsel girdilere bağlı olarak metinsiz 3D mesh’ler için çeşitli, yüksek çözünürlüklü 2K UV doku haritaları üretebilen yeni bir kaba-ince çerçeve hakkında tartışacağız. Paint3D’nin ele aldığı ana zorluk, aydınlatma bilgilerini içermeyen yüksek kaliteli dokular oluşturmak ve böylece kullanıcıların modern grafik管elinesi içinde yeniden düzenleme veya yeniden aydınlatma yapmasına izin vermektir. Bu sorunu çözmek için, Paint3D çerçevesi, çoklu görünümlü doku birleştirmesi gerçekleştirmek ve görünüme bağlı görüntüler oluşturmak için önceden eğitilmiş bir 2B difüzyon modeli kullanır, başlangıçta kaba bir doku haritası üretir. Ancak, 2B modeller aydınlatma etkilerini tamamen devre dışı bırakamaz veya 3B şekilleri tam olarak temsil edemez, bu nedenle doku haritası aydınlatma hataları ve eksik alanlar gösterebilir.

Bu makalede, Paint3D çerçevesini derinlemesine inceleyeceğiz, çalışmasını ve mimarisini inceleyerek, onu son teknoloji deep generative çerçevelerle karşılaştıracağız. Böylece başlayalım.

Paint3D : Giriş

Derin öğrenme AI modelleri, doğal dil oluşturma, 3B oluşturma ve görüntü sentezi konularında dikkat çekici yeteneklere sahip olduklarını kanıtladılar ve gerçek yaşam uygulamalarında kullanılmış, 3B oluşturma endüstrisini devrimleştirerek değiştirdiler. Ancak, dikkat çekici yeteneklerine rağmen, modern derin öğrenme AI çerçeveleri genellikle karmaşık kablaj ve kaotik aydınlatma dokuları ile mesh’ler üretirler ve bunlar geleneksel rendering管elinesi ile uyumsuzdur,包括 PBR (Fiziksel Tabanlı Rendering). Benzer şekilde, doku sentezi özellikle 2B difüzyon modellerinin kullanımı ile hızlı bir şekilde ilerledi. Bu modeller, önceden eğitilmiş derinlik-görüntü difüzyon modellerini ve metin koşullarını kullanarak yüksek kaliteli dokular oluşturmak için etkili bir şekilde kullanır. Ancak, önemli bir zorluk仍 tồn續: önceden aydınlatılmış dokular, final 3B çevre renderings’ini olumsuz etkileyebilir, ortak iş akışlarında aydınlatma hataları oluştururken aydınlatma ayarları yapılırken, aşağıdaki resimde gösterildiği gibi.

Gözlemlendiği gibi, önceden aydınlatma olmadan doku haritaları geleneksel rendering管elinesi ile sorunsuz bir şekilde çalışır ve doğru sonuçlar verir. Buna karşılık, önceden aydınlatılmış doku haritaları, yeniden aydınlatma uygulandığında uygun olmayan gölgeleri içerir. 3B verilerine dayalı olarak eğitilen doku oluşturma çerçeveleri, belirli bir 3B nesnesinin tüm geometrisini anlayarak dokular oluşturmak için alternatif bir yaklaşım sunar. Bu çerçeveler daha iyi sonuçlar sağlayabilir, ancak eğitim verisi dışında 3B nesnelerine modeli uygulamak için gerekli genelleme yeteneklerine sahip değildir.

Mevcut doku oluşturma modelleri iki kritik zorlukla karşı karşıyadır: farklı nesneler için görüntüye dayalı rehberlik veya çeşitli ipuçları ile geniş genelleme sağlamak ve önceden eğitilen sonuçlardan bağlı aydınlatmayı ortadan kaldırmak. Önceden aydınlatılmış dokular, rendering motorları içindeki metinlenmiş nesnelerin final sonuçlarını bozabilir. Ayrıca, önceden eğitilmiş 2B difüzyon modelleri yalnızca 2B sonuçları sağlar ve şekillerin tam bir anlayışına sahip değildir, bu nedenle 3B nesneleri için görünümlerin tutarlılığını koruma konusunda tutarsızlıklar ortaya çıkar.

Bu zorlukları çözmek için, Paint3D çerçevesi 3B nesneleri için çift aşama doku difüzyon modeli geliştirir. Bu, farklı önceden eğitilmiş oluşturma modelleri arasında genelleme sağlar ve görünümlerin tutarlılığını korurken aydınlatma olmadan dokular oluşturur.

Paint3D, önceden eğitilmiş oluşturma AI modellerinin güçlü ipucu rehberliği ve görüntü oluşturma yeteneklerini kullanarak 3B nesneleri doku oluşturmak için çift aşama, kaba-ince bir doku oluşturma modelidir. İlk aşamada, Paint3D, önceden eğitilmiş derinlik-farkında 2B görüntü difüzyon modelinden çoklu görünümlü görüntüleri ilerlemeli olarak örnekler, böylece yüksek kaliteli, zengin doku sonuçlarını çeşitli ipuçlarından genelleme sağlar. Model daha sonra bu görüntüleri 3B mesh yüzeyine geri проекting ederek ilk doku haritasını oluşturur. İkinci aşamada, model aydınlatma olmadan dokular oluşturmak için aydınlatma etkilerini ortadan kaldırmaya yönelik difüzyon modelleri tarafından kullanılan yaklaşımları uygular ve şekle bağlı eksik alanları iyileştirir. Süreç boyunca, Paint3D çerçevesi tutarlı bir şekilde yüksek kaliteli 2K dokular oluşturur ve içsel aydınlatma etkilerini ortadan kaldırır.

Özetle, Paint3D, metinsiz 3B mesh’ler için çeşitli, aydınlatma olmadan, yüksek çözünürlüklü 2K UV doku haritaları oluşturmak için tasarlanmış yeni, kaba-ince oluşturma AI modelidir. Metin ve görüntüler gibi farklı koşullu girdiler ile 3B nesneleri doku oluşturmak için devlet-sanat performansını gerçekleştirmeyi hedefler ve sentez ve grafik düzenleme görevleri için önemli avantajlar sağlar.

Yöntem ve Mimari

Paint3D çerçevesi, koşullu girdiler gibi görüntüler ve ipuçları kullanarak 3B modeller için doku haritaları oluşturur ve iyileştirir, aşağıdaki resimde gösterildiği gibi.

1. Aşama: İlerlemeli Kaba Doku Oluşturma

İlk kaba doku oluşturma aşamasında, Paint3D, önceden eğitilmiş 2B görüntü difüzyon modellerini kullanarak çoklu görünümlü görüntüleri örnekler ve bu görüntüleri mesh yüzeyine geri проекting ederek ilk doku haritasını oluşturur. Bu aşama, çeşitli kamera görüşlerinden bir derinlik haritası oluşturarak başlar. Model, derinlik koşullarını kullanarak difüzyon modelinden görüntüleri örnekler ve bu görüntüleri 3B mesh yüzeyine geri проекting eder. Bu alternatif rendering, örnekleme ve geri проекting yaklaşımı, doku mesh’lerinin tutarlılığını artırır ve kaba doku haritasını ilerlemeli olarak oluşturur.

Süreç, 3B mesh’in görünür bölgeleri ile başlar ve ilk olarak birinci kamera görüşünden görüntüyü oluşturur. Model, görünüm ve derinlik koşullarına bağlı olarak bir doku görüntüsü örnekler ve bu görüntüyü mesh yüzeyine geri proyectos eder. Bu yöntem, sonraki görüşler için tekrarlanır, önceki dokuları birleştirmek için kullanılır ve sadece bir derinlik görüntüsü değil, aynı zamanda kısmen renklendirilmiş bir RGB görüntüsü oluşturur. Model, renksiz alanları doldurmak için bir derinlik-farkında görüntü doldurma kodlayıcı kullanır ve geri proyectos edilen görüntülerden oluşan bir kaba doku haritası oluşturur.

Daha karmaşık sahneler veya nesneler için, model birden fazla görüş kullanır. İlk olarak, simetrik görüşlerden iki derinlik haritası yakalar ve bunları bir derinlik ızgarasına birleştirir, bu da tek bir derinlik görüntüsünü çoklu görüş derinlik-aware doku örnekleme için değiştirir.

2. Aşama: UV Uzayında Doku İyileştirme

Kaba doku haritaları mantıklı olsa da, rendering süreçlerinden kaynaklanan doku delikleri ve 2B görüntü difüzyon modellerinden kaynaklanan aydınlatma gölgeleri gibi zorluklar ortaya çıkar. Bu sorunları çözmek için, Paint3D, kaba doku haritasına dayalı olarak UV uzayında bir difüzyon süreci gerçekleştirir, görsel çekiciliği artırır ve sorunları çözer.

Ancak, UV uzayında doku haritasını iyileştirmek, sürekli dokuların bireysel parçalara bölünmesi nedeniyle kesintilere neden olabilir. Bunu önlemek için, Paint3D, doku parçalarının komşuluk bilgilerini kullanarak doku haritasını iyileştirir. UV uzayında, konum haritası, doku parçalarının 3B komşuluk bilgilerini temsil eder ve her非 arka plan öğesini 3B nokta koordinatı olarak ele alır. Model, ControlNet’e benzer bir konum haritası kodlayıcı kullanır ve bu komşuluk bilgilerini difüzyon süreci sırasında entegre eder.

Model, aynı zamanda koşullu kodlayıcı ve diğer kodlayıcıların konumunu kullanarak UV uzayında iyileştirme görevleri gerçekleştirir, iki yetenek sunar: UVHD (UV Yüksek Çözünürlük) ve UV doldurma. UVHD, görsel çekiciliği ve estetiği artırır, bir görüntü iyileştirme kodlayıcı ve konum kodlayıcı ile difüzyon modeli kullanır. UV doldurma, doku deliklerini doldurur ve rendering’den kaynaklanan self-occlusion sorunlarını önler. İyileştirme aşaması, UV doldurma ile başlar ve ardından UVHD ile yüksek kaliteli bir doku haritası oluşturur.

Bu iyileştirme yöntemlerini entegre ederek, Paint3D çerçevesi, tam, çeşitli, yüksek çözünürlüklü ve aydınlatma olmadan UV doku haritaları oluşturur, 3B nesneleri doku oluşturma için güçlü bir çözüm sağlar.

Paint3D : Deneyler ve Sonuçlar

Paint3D modeli, doku oluşturma görevleri için Stable Diffusion text2image modelini kullanır, mentre görüntü kodlayıcı bileşeni görüntü koşullarını yönetir. Koşullu görevler gibi görüntü doldurma, derinlik işleme ve yüksek çözünürlüklü görüntü oluşturma üzerinde kontrolünü artırmak için, Paint3D çerçevesi ControlNet alan kodlayıcılarını kullanır. Model, PyTorch çerçevesi üzerinde uygulanır, rendering ve doku projeksiyonları Kaolin üzerinde gerçekleştirilir.

Metin ile Doku Karşılaştırması

Paint3D’nin performansını değerlendirmek için, metinsel ipuçları ile koşullandırılmış doku oluşturmasını, Text2Tex, TEXTure ve LatentPaint gibi devlet-sanat çerçeveleri ile karşılaştırarak başlarız. Aşağıdaki resimde gösterildiği gibi, Paint3D çerçevesi yalnızca yüksek kaliteli doku detayları oluşturma konusunda değil, aynı zamanda aydınlatma olmadan doku haritası sentezleme konusunda da üstündür.

Stable Diffusion ve ControlNet kodlayıcılarının güçlü yeteneklerini kullanarak, Paint3D, üstün doku kalitesi ve çok yönlülük sağlar. Karşılaştırma, Paint3D’nin gömülü aydınlatma olmadan ayrıntılı, yüksek çözünürlüklü dokular oluşturma yeteneğini vurgular, 3B doku oluşturma görevleri için önde gelen bir çözüm haline getirir.

Karşılaştırmada, Latent-Paint çerçevesi, suboptimal görsel efektler导致 blurlu dokular oluşturma eğilimindedir. Diğer yandan, TEXTure çerçevesi net dokular oluşturur, ancak pürüzsüzlükten yoksun ve belirgin birleştirme ve derzler gösterir. Son olarak, Text2Tex çerçevesi, pürüzsüz dokuları oluşturma konusunda üstündür, ancak ince detaylar içeren fine dokular oluşturma konusunda performansını tekrarlayamaz. Aşağıdaki resim, Paint3D çerçevesini devlet-sanat çerçeveleri ile nicel olarak karşılaştırır.

Gözlemlendiği gibi, Paint3D çerçevesi tüm mevcut modelleri önemli bir marj ile geride bırakır, yaklaşık %30’luk bir FID bazında iyileşme ve yaklaşık %40’lık bir KID bazında iyileşme sağlar. FID ve KID bazında iyileşme, Paint3D’nin çeşitli nesneler ve kategoriler için yüksek kaliteli dokular oluşturma yeteneğini gösterir.

Görüntü ile Doku Karşılaştırması

Paint3D’nin görüntüye dayalı oluşturma yeteneklerini değerlendirmek için, TEXTure modelini baz olarak kullanırız. Daha önce bahsedildiği gibi, Paint3D modeli, Stable Diffusion’dan alınan bir görüntü kodlayıcı kullanır. Aşağıdaki resimde gösterildiği gibi, Paint3D çerçevesi, mükemmel dokular oluşturma konusunda üstündür ve masih yüksek bir Sadakat gösterir.

Diğer yandan, TEXTure çerçevesi, Paint3D’ye benzer bir doku oluşturur, ancak görüntü koşullarındaki doku detaylarını doğru bir şekilde temsil edemez. Ayrıca, aşağıdaki resimde gösterildiği gibi, Paint3D çerçevesi, TEXTure çerçevesine kıyasla daha iyi FID ve KID bazında iyileşme sağlar, former 40.83’ten 26.86’ya düşerken, latter 9.76’dan 4.94’e düşer.

Son Düşünceler

Bu makalede, Paint3D’yi, görüntüye veya metne dayalı girdilere bağlı olarak metinsiz 3B mesh’ler için aydınlatma olmadan, çeşitli, yüksek çözünürlüklü 2K UV doku haritaları oluşturmak için tasarlanmış bir kaba-ince çerçeve hakkında konuştuğumuzdan, Paint3D çerçevesinin ana özelliği, görüntüye veya metne dayalı girdilere bağlı olmadan, aydınlatma olmadan yüksek kaliteli 2K UV dokular oluşturabilmesidir. Kaba-ince yaklaşımı nedeniyle, Paint3D çerçevesi, aydınlatma olmadan, çeşitli, yüksek çözünürlüklü doku haritaları oluşturur ve mevcut devlet-sanat çerçevelerinden daha iyi performans gösterir.