Derin üretken yapay zeka modellerinin ortaya çıkışı, doğal dil oluşturma, 3B oluşturma, görüntü oluşturma ve konuşma sentezinde dikkate değer yeteneklere sahip yapay zekanın gelişimini önemli ölçüde hızlandırdı. 3D üretken modeller, mevcut 3D üretim ortamında devrim yaratarak çok sayıda endüstriyi ve uygulamayı dönüştürdü. Ancak mevcut derin üretken modellerin çoğu ortak bir engelle karşılaşıyor: karmaşık kablolama ve aydınlatma dokularına sahip oluşturulan ağlar, genellikle PBR (Fiziksel Tabanlı İşleme) gibi geleneksel işleme hatlarıyla uyumsuzdur. Aydınlatma dokuları olmadan 3B varlıklar üreten difüzyon tabanlı modeller, çeşitli 3B varlık üretimi için dikkate değer yeteneklere sahiptir ve böylece film yapımcılığı, oyun ve artırılmış/sanal gerçeklik gibi sektörlerde mevcut 3B çerçeveleri güçlendirir.

Bu makalede, görsel veya metinsel girdilere bağlı olarak, dokusuz 3D ağlar için çeşitli, yüksek çözünürlüklü 2K UV doku haritaları üretebilen, kabadan inceye yeni bir çerçeve olan Paint3D'yi tartışacağız. Paint3D'nin çözdüğü en önemli zorluk, aydınlatma bilgisi eklemeden yüksek kaliteli dokular oluşturmak ve kullanıcıların modern grafik ardışık düzenleri içinde yeniden düzenleme yapmasına veya yeniden ışıklandırmasına olanak sağlamaktır. Bu sorunun üstesinden gelmek için Paint3D çerçevesi, çoklu görüntü doku füzyonu gerçekleştirmek ve görünüm koşullu görüntüler oluşturmak için önceden eğitilmiş bir 2D yayılma modeli kullanır ve başlangıçta kaba bir doku haritası üretir. Ancak 2B modeller, aydınlatma efektlerini tamamen devre dışı bırakamadığından veya 3B şekilleri tamamen temsil edemediğinden, doku haritası aydınlatma bozuklukları ve eksik alanlar sergileyebilir.

Bu makalede Paint3D çerçevesini derinlemesine inceleyeceğiz, çalışmasını ve mimarisini inceleyeceğiz ve onu en son teknolojiye sahip derin üretken çerçevelerle karşılaştıracağız. Öyleyse başlayalım.

Paint3D: Giriş

Deep Generative AI modelleri, doğal dil oluşturma, 3D oluşturma ve görüntü sentezinde olağanüstü yetenekler sergilemiş ve gerçek hayattaki uygulamalara uygulanarak 3D oluşturma endüstrisinde devrim yaratmıştır. Bununla birlikte, dikkat çekici yeteneklerine rağmen, modern derin üretken yapay zeka çerçeveleri genellikle Fiziksel Tabanlı İşleme (PBR) dahil olmak üzere geleneksel işleme hatlarıyla uyumsuz olan karmaşık kablolama ve kaotik aydınlatma dokularına sahip ağlar üretir. Benzer şekilde, doku sentezi, özellikle 2 boyutlu difüzyon modellerinin kullanımıyla birlikte hızla ilerlemiştir. Bu modeller, yüksek kaliteli dokular oluşturmak için önceden eğitilmiş derinlikten görüntüye yayılma modellerini ve metin koşullarını etkili bir şekilde kullanır. Ancak önemli bir zorluk devam etmektedir: önceden aydınlatılmış dokular, aşağıdaki görüntüde gösterildiği gibi, ortak iş akışları dahilinde ışıklar ayarlandığında aydınlatma hatalarına neden olarak son 3D ortam görüntülemelerini olumsuz yönde etkileyebilir.

Gözlemlendiği gibi, ön aydınlatması olmayan doku haritaları, geleneksel işleme hatlarıyla sorunsuz bir şekilde çalışarak doğru sonuçlar verir. Bunun aksine, ön aydınlatmalı doku haritaları, yeniden aydınlatma uygulandığında uygunsuz gölgeler içerir. 3B veriler üzerinde eğitilmiş doku oluşturma çerçeveleri, belirli bir 3B nesnenin tüm geometrisini anlayarak dokular oluşturarak alternatif bir yaklaşım sunar. Bu çerçeveler daha iyi sonuçlar verebilirken, modeli eğitim verileri dışındaki 3B nesnelere uygulamak için gereken genelleme yeteneklerinden yoksundurlar.

Mevcut doku oluşturma modelleri iki kritik zorlukla karşı karşıyadır: görüntü rehberliği veya çeşitli komutlar kullanarak farklı nesneler arasında geniş genelleme elde etmek ve eğitim öncesi sonuçlardan birleşik aydınlatmayı ortadan kaldırmak. Önceden aydınlatılmış dokular, işleme motorlarındaki dokulu nesnelerin nihai sonuçlarına müdahale edebilir. Ek olarak, önceden eğitilmiş 2B yayılma modelleri görünüm alanında yalnızca 2B sonuçlar sağladığından, şekillerin kapsamlı bir şekilde anlaşılmasından yoksundurlar ve bu da 3B nesneler için görünüm tutarlılığının korunmasında tutarsızlıklara yol açar.

Bu zorlukların üstesinden gelmek için Paint3D çerçevesi iki aşamalı bir doku geliştirir 3 boyutlu nesneler için yayılma modeli Bu, önceden eğitilmiş farklı üretken modeller arasında genelleme yapar ve ışıklandırma gerektirmeyen dokular oluştururken görüntü tutarlılığını korur.

Paint3D, 3D nesneleri dokulandırmak için önceden eğitilmiş üretken yapay zeka modellerinin güçlü anında yönlendirme ve görüntü oluşturma yeteneklerinden yararlanan, iki aşamalı, kabadan inceye doku oluşturma modelidir. İlk aşamada Paint3D, önceden eğitilmiş derinliğe duyarlı 2D görüntü yayılma modelinden çoklu görüntü görüntülerini aşamalı olarak örnekler ve çeşitli istemlerden yüksek kaliteli, zengin doku sonuçlarının genelleştirilmesine olanak tanır. Model daha sonra bu görüntüleri 3 boyutlu ağ yüzeyine geri yansıtarak bir başlangıç ​​doku haritası oluşturur. İkinci aşamada model, aydınlatma etkilerini ortadan kaldırma ve şekle duyarlı eksik bölgeleri iyileştirme konusunda uzmanlaşmış difüzyon modellerinin kullandığı yaklaşımları uygulayarak, aydınlatmadan bağımsız dokular oluşturmaya odaklanıyor. Süreç boyunca Paint3D çerçevesi anlamsal olarak tutarlı bir şekilde yüksek kaliteli 2K dokular oluşturarak içsel aydınlatma efektlerini ortadan kaldırır.

Özetle Paint3D, dokusuz 2D ağlar için çeşitli, ışıklandırma gerektirmeyen, yüksek çözünürlüklü 3K UV doku haritaları üretmek üzere tasarlanmış yeni, kabadan inceye üretken bir yapay zeka modelidir. Metin ve görüntüler de dahil olmak üzere farklı koşullu girdilerle 3 boyutlu nesnelerin dokulandırılmasında en son teknoloji performansı elde etmeyi amaçlayarak sentez ve grafik düzenleme görevleri için önemli avantajlar sunar.

Metodoloji ve Mimari

Paint3D çerçevesi, aşağıdaki görüntüde gösterildiği gibi, görüntüler ve istemler gibi koşullu girdileri kullanarak 3D modeller için çeşitli ve yüksek kaliteli dokular üretmek üzere doku haritalarını aşamalı olarak oluşturur ve iyileştirir.

Aşama 1: Aşamalı Kaba Doku Üretimi

Paint3D, ilk kaba doku oluşturma aşamasında önceden eğitilmiş 2D görüntüyü kullanır difüzyon modelleri Çoklu görünüm görüntülerini örneklemek için, bunlar daha sonra ilk doku haritalarını oluşturmak üzere ağ yüzeyine geri yansıtılır. Bu aşama çeşitli kamera görüntülerinden derinlik haritasının oluşturulmasıyla başlar. Model, difüzyon modelinden görüntüleri örneklemek için derinlik koşullarını kullanır ve bunlar daha sonra 3 boyutlu ağ yüzeyine geri yansıtılır. Bu alternatif oluşturma, örnekleme ve geri projeksiyon yaklaşımı, doku ağlarının tutarlılığını artırır ve doku haritasının aşamalı olarak oluşturulmasına yardımcı olur.

Süreç, 3B ağın görünür bölgeleriyle başlar ve 3B ağı bir derinlik haritasına dönüştürerek ilk kamera görüntüsünden doku oluşturmaya odaklanır. Daha sonra görünüm ve derinlik koşullarına göre bir doku görüntüsü örneklenir ve ağa geri yansıtılır. Bu yöntem, yalnızca derinlik görüntüsünü değil aynı zamanda renksiz maskelerle kısmen renkli bir RGB görüntüsünü oluşturmak için önceki dokuları birleştirerek sonraki bakış açıları için tekrarlanır. Model, renklendirilmemiş alanları doldurmak için derinliğe duyarlı bir görüntü iç boyama kodlayıcısı kullanıyor ve boyalı görüntüleri 3D ağa geri yansıtarak tam bir kaba doku haritası oluşturuyor.

Daha karmaşık sahneler veya nesneler için model birden fazla görünüm kullanır. Başlangıçta, simetrik bakış açılarından iki derinlik haritası yakalar ve bunları, çoklu görünüm, derinliğe duyarlı doku örneklemesi için tek bir derinlik görüntüsünün yerini alan bir derinlik ızgarasında birleştirir.

Aşama 2: UV Alanında Doku İyileştirme

Mantıksal kaba doku haritaları oluşturulmasına rağmen, işleme süreçlerinden kaynaklanan doku delikleri ve 2 boyutlu görüntü yayılım modellerinden kaynaklanan gölgelerin aydınlatılması gibi zorluklar ortaya çıkar. Paint3D bunları ele almak için UV alanında kaba doku haritasını temel alan bir difüzyon işlemi gerçekleştirerek görsel çekiciliği artırır ve sorunları çözer.

Bununla birlikte, doku haritasının UV alanında iyileştirilmesi, sürekli dokuların tek tek parçalara bölünmesi nedeniyle süreksizliklere neden olabilir. Bunu azaltmak için Paint3D, doku parçalarının bitişiklik bilgilerini kullanarak doku haritasını iyileştirir. UV alanında konum haritası, arka plan olmayan her öğeyi bir 3B nokta koordinatı olarak ele alarak doku parçalarının 3B bitişiklik bilgisini temsil eder. Model, yayılma süreci sırasında bu bitişiklik bilgisini entegre etmek için ControlNet'e benzer ek bir konum haritası kodlayıcı kullanır.

Model, UV alanında iyileştirme görevlerini gerçekleştirmek için koşullu kodlayıcının ve diğer kodlayıcıların konumunu aynı anda kullanarak iki yetenek sunar: UVHD (UV Yüksek Çözünürlük) ve UV iç boyama. UVHD, difüzyon modelli bir görüntü geliştirme kodlayıcı ve konum kodlayıcı kullanarak görsel çekiciliği ve estetiği artırır. UV iç boyama, doku deliklerini doldurarak işlemeden kaynaklanan kendi kendine kapanma sorunlarını önler. İyileştirme aşaması, UV iç boyama ile başlar ve ardından son bir rafine doku haritası oluşturmak için UVHD gelir.

Paint3D çerçevesi, bu iyileştirme yöntemlerini entegre ederek eksiksiz, çeşitli, yüksek çözünürlüklü ve ışık gerektirmeyen UV doku haritaları oluşturur ve bu da onu 3D nesnelerin dokulandırılması için sağlam bir çözüm haline getirir.

Paint3D : Deneyler ve Sonuçlar

Paint3D modeli, doku oluşturma görevlerine yardımcı olmak için Stabil Difüzyon text2image modelini kullanırken, görüntü kodlayıcı bileşeni görüntü koşullarını yönetir. Paint3D çerçevesi, görüntüyü iç boyama, derinlik işleme ve yüksek çözünürlüklü görüntüler gibi koşullu görevler üzerindeki kontrolünü geliştirmek için ControlNet etki alanı kodlayıcılarını kullanır. Model, Kaolin üzerinde yürütülen işleme ve doku projeksiyonları ile PyTorch çerçevesinde uygulanmıştır.

Metin ve Doku Karşılaştırması

Paint3D'nin performansını değerlendirmek için, metinsel istemlerle koşullandırıldığında doku oluşumunu analiz ederek ve bunu Text2Tex, TEXTure ve LatentPaint gibi son teknoloji çerçevelerle karşılaştırarak başlıyoruz. Aşağıdaki görüntüde gösterildiği gibi, Paint3D çerçevesi yalnızca yüksek kaliteli doku ayrıntıları oluşturmada başarılı olmakla kalmaz, aynı zamanda aydınlatmasız bir doku haritasını da etkili bir şekilde sentezler.

Paint3D, Stable Diffusion ve ControlNet kodlayıcıların güçlü özelliklerinden yararlanarak üstün doku kalitesi ve çok yönlülük sağlar. Karşılaştırma, Paint3D'nin gömülü aydınlatma olmadan ayrıntılı, yüksek çözünürlüklü dokular üretme yeteneğini vurguluyor ve bu da onu 3D dokulandırma görevleri için lider bir çözüm haline getiriyor.

Buna karşılık Latent-Paint çerçevesi, optimumun altında görsel efektlerle sonuçlanan bulanık dokular oluşturmaya eğilimlidir. Öte yandan, TEXTure çerçevesi net dokular oluştursa da pürüzsüzlükten yoksundur ve gözle görülür eklemeler ve dikişler sergiler. Son olarak, Text2Tex çerçevesi oldukça iyi bir şekilde pürüzsüz dokular üretiyor ancak karmaşık ayrıntılara sahip ince dokular oluşturma performansını taklit edemiyor.  Aşağıdaki görüntü, Paint3D çerçevesini son teknoloji çerçevelerle niceliksel olarak karşılaştırmaktadır. 

Görülebileceği gibi, Paint3D çerçevesi, FID temel çizgisinde yaklaşık %30 ve KID temel çizgisinde yaklaşık %40 iyileşme ile önemli bir farkla mevcut tüm modellerden daha iyi performans gösteriyor. FID ve KID temel puanlarındaki iyileşme, Paint3D'nin çeşitli nesneler ve kategorilerde yüksek kaliteli dokular oluşturma yeteneğini gösteriyor. 

Görüntü ve Doku Karşılaştırması

Paint3D'nin üretken yeteneklerini görsel komutları kullanarak oluşturmak için temel olarak TEXTure modelini kullanıyoruz. Daha önce de belirtildiği gibi Paint3D modeli, text2image modelinden alınan bir görüntü kodlayıcıyı kullanır. Kararlı Difüzyon. Aşağıdaki resimde görülebileceği gibi, Paint3D çerçevesi mükemmel dokuları son derece iyi bir şekilde sentezliyor ve yine de görüntü koşuluna göre yüksek doğruluğu koruyabiliyor. 

Öte yandan, TEXTure çerçevesi Paint3D'ye benzer bir doku oluşturabilmektedir ancak doku ayrıntılarını görüntü koşulunda doğru şekilde temsil etmekte yetersiz kalmaktadır. Ayrıca, aşağıdaki görüntüde gösterildiği gibi, Paint3D çerçevesi, TEXTure çerçevesiyle karşılaştırıldığında daha iyi FID ve KID temel puanları sağlıyor; ilki 40.83'ten 26.86'ya düşerken ikincisi 9.76'dan 4.94'e düştü. 

Son Düşüncelerimiz

Bu makalede, görsel veya metinsel girdilere göre koşullandırılan dokusuz 3D ağlar için ışıksız, çeşitli ve yüksek çözünürlüklü 2K UV doku haritaları üretebilen, kabadan inceye yeni bir çerçeve olan Paint3D'den bahsettik. Paint3D çerçevesinin en önemli özelliği, görüntü veya metin girişlerine bağlı kalmadan, anlamsal olarak tutarlı, ışıklandırma gerektirmeyen, yüksek çözünürlüklü 2K UV dokuları üretebilmesidir. Paint3D çerçevesi, kabadan inceye yaklaşımı sayesinde, ışıklandırmasız, çeşitli ve yüksek çözünürlüklü doku haritaları üretir ve mevcut en gelişmiş çerçevelerden daha iyi performans sunar.