Yapay Zeka Üretken modellerinin, özellikle de derin üretken yapay zeka modellerinin hızlı gelişimi, doğal dil oluşturma, 3B oluşturma, görüntü oluşturma ve konuşma sentezinde önemli ölçüde gelişmiş yeteneklere sahiptir. Bu modeller çeşitli endüstrilerde 3D üretimde devrim yarattı. Ancak çoğu kişi bir zorlukla karşı karşıyadır: karmaşık kabloları ve oluşturulan ağları çoğu zaman Fiziksel Tabanlı İşleme (PBR) gibi geleneksel işleme hatlarıyla uyumlu değildir. Özellikle aydınlatma dokuları olmayan difüzyon tabanlı modeller, film yapımında, oyunlarda ve AR/VR'de etkileyici çeşitlilikte 3D varlık üretimi sağlayarak 3D çerçeveleri geliştirir.

Bu makale, görsel veya metinsel girdilere bağlı olarak, dokusuz 3D ağlar için çeşitli, yüksek çözünürlüklü 2K UV doku haritaları üretmeye yönelik yeni bir çerçeve olan Paint3D'yi tanıtmaktadır. Paint3D'nin temel sorunu, gömülü aydınlatma olmadan yüksek kaliteli dokular oluşturmak ve modern grafik hatları içerisinde kullanıcının yeniden düzenlemesine veya yeniden aydınlatmasına olanak sağlamaktır. Çoklu görüntü doku füzyonu için önceden eğitilmiş bir 2D yayılma modeli kullanır ve ilk kaba doku haritalarını oluşturur. Ancak bu haritalar, 2B modelin aydınlatma efektlerini devre dışı bırakma ve 3B şekilleri tam olarak temsil etme konusundaki sınırlamaları nedeniyle sıklıkla aydınlatma artefaktlarını ve eksik alanları gösterir. Paint3D'nin işleyişini, mimarisini ve diğer derin üretken çerçevelerle karşılaştırmalarını derinlemesine inceleyeceğiz. Hadi başlayalım.

Paint3D: Giriş

Deep Generative AI modellerinin doğal dil oluşturma, 3D oluşturma ve görüntü sentezi görevlerindeki yetenekleri iyi bilinmekte ve gerçek hayattaki uygulamalarda uygulanmakta olup, 3D oluşturma endüstrisinde devrim yaratmaktadır. Olağanüstü yeteneklerine rağmen, modern derin üretken yapay zeka çerçeveler, PBR veya Fiziksel Tabanlı İşleme de dahil olmak üzere geleneksel işleme hatlarıyla genellikle uyumsuz olan karmaşık kablolama ve kaotik aydınlatma dokularıyla karakterize edilen ağlar oluşturur. Derin üretken yapay zeka modellerinde olduğu gibi doku sentezi de özellikle 2 boyutlu yayılma modellerinin kullanılmasında hızla ilerlemiştir. Doku sentezi modelleri önceden eğitilmiş görüntü derinliğini kullanır difüzyon modelleri yüksek kaliteli dokular oluşturmak için metin koşullarını etkili bir şekilde kullanmak. Ancak bu yaklaşımlar, aşağıdaki görüntüde gösterildiği gibi, son 3B ortam oluşturma işlemlerini önemli ölçüde etkileyebilen ve ortak iş akışları içinde ışıklar değiştirildiğinde aydınlatma hatalarına yol açabilen önceden aydınlatılmış dokularla ilgili sorunlarla karşı karşıyadır. 

Görülebileceği gibi, serbest aydınlatmalı doku haritası, geleneksel işleme hatlarıyla senkronize olarak çalışarak doğru sonuçlar sağlarken, ön aydınlatmalı doku haritası, yeniden aydınlatma uygulandığında uygunsuz gölgeler içeriyor. Öte yandan, 3B veriler üzerinde eğitilmiş doku oluşturma çerçeveleri, çerçevenin belirli bir 3B nesnenin tüm geometrisini kavrayarak dokuları ürettiği alternatif bir yaklaşım sunar. Her ne kadar daha iyi sonuçlar verebilseler de, 3B veriler üzerinde eğitilen doku oluşturma çerçeveleri, modeli eğitim verileri dışındaki 3B nesnelere uygulama yeteneklerini engelleyen genelleme yeteneklerinden yoksundur. 

Mevcut doku oluşturma modelleri iki kritik zorlukla karşı karşıyadır: farklı nesneler arasında daha geniş bir genelleme derecesi elde etmek için görüntü rehberliği veya çeşitli istemlerin kullanılması ve ikinci zorluk, ön eğitimden elde edilen sonuçlarda birleşik aydınlatmanın ortadan kaldırılmasıdır. Önceden aydınlatılmış dokular, işleme motorlarındaki dokulu nesnelerin nihai sonuçlarına potansiyel olarak müdahale edebilir ve önceden eğitilmiş 2B yayılma modelleri, yalnızca görünüm alanında 2B sonuçlar sağladığından, şekillerin kapsamlı bir şekilde anlaşılmasından yoksundurlar ve bu da onların başarısız olmasına neden olur. 3B nesnelerin görünüm tutarlılığını korumak için. 

Yukarıda bahsedilen zorluklardan dolayı Paint3D çerçevesi, 3 boyutlu nesneler için farklı önceden eğitilmiş üretken modellere genelleyen ve ışıksız doku oluşturmayı öğrenirken görünüm tutarlılığını koruyan iki aşamalı bir doku difüzyon modeli geliştirmeye çalışır. 

Paint3D, önceden eğitilmiş uzmanların güçlü anında yönlendirme ve görüntü oluşturma yeteneklerinden yararlanmayı amaçlayan, kabadan ince dokuya kadar iki aşamalı bir modeldir. üretken yapay zeka 3 boyutlu nesneleri dokulandırmak için modeller. İlk aşamada, Paint3D çerçevesi, çeşitli istemlerden yüksek kaliteli ve zengin doku sonuçlarının genelleştirilmesini sağlamak için ilk önce önceden eğitilmiş, derinliğe duyarlı 2D görüntü yayılma modelinden çoklu görüntü görüntülerini aşamalı olarak örnekler. Model daha sonra bu görüntüleri 3 boyutlu ağ yüzeyine geri yansıtarak bir başlangıç ​​doku haritası oluşturur. İkinci aşamada model, aydınlatma etkilerinin ortadan kaldırılması ve tamamlanmamış bölgelerin şekle duyarlı iyileştirilmesi konusunda uzmanlaşmış difüzyon modellerinin kullandığı yaklaşımları uygulayarak, aydınlatmasız dokular oluşturmaya odaklanıyor. Süreç boyunca Paint3D çerçevesi anlamsal olarak sürekli olarak yüksek kaliteli 2K dokular üretebiliyor ve içsel aydınlatma efektlerini ortadan kaldırıyor. 

Özetlemek gerekirse, Paint3D, 2D nesnelerin farklı koşullu dokularla dokulandırılmasında en gelişmiş performansı elde etmek amacıyla dokulandırılmamış 3D ağlar için çeşitli, ışıklandırmasız ve yüksek çözünürlüklü 3K UV doku haritaları üretmeyi amaçlayan, kabadan inceye yeni bir üretken yapay zeka modelidir. metin ve görseller de dahil olmak üzere girdiler sağlar ve sentez ve grafik düzenleme görevlerinde önemli avantajlar sunar. 

Metodoloji ve Mimari

Paint3D çerçevesi, aşağıdaki görüntüde gösterildiği gibi, görüntüler ve istemler dahil istenen koşullu girdileri kullanarak 3D modeller için çeşitli ve yüksek kaliteli doku haritaları oluşturmak üzere doku haritalarını aşamalı olarak oluşturur ve iyileştirir. 

Kaba aşamada, Paint3D modeli, çoklu görüntü görüntülerini örneklemek için önceden eğitilmiş 2 boyutlu görüntü yayılma modellerini kullanır ve ardından bu görüntüleri ağ yüzeyine geri yansıtarak ilk doku haritalarını oluşturur. İkinci aşamada, yani iyileştirme aşamasında, Paint3D modeli, kaba doku haritalarını geliştirmek için UV alanında bir difüzyon işlemi kullanır, böylece son dokunun görsel çekiciliğini ve bütünlüğünü sağlayan yüksek kaliteli, iç boyama ve ışıklandırmasız işlev elde edilir. . 

Aşama 1: Aşamalı Kaba Doku Üretimi

Aşamalı kaba doku oluşturma aşamasında, Paint3D modeli, önceden eğitilmiş, derinliğe duyarlı bir 3B difüzyon modeli kullanan 2B ağlar için kaba bir UV doku haritası oluşturur. Daha spesifik olmak gerekirse, model öncelikle derinlik haritasını oluşturmak için farklı kamera görünümlerini kullanır, ardından görüntü yayılma modelinden görüntüleri örneklemek için derinlik koşullarını kullanır ve ardından bu görüntüleri ağ yüzeyine geri yansıtır. Çerçeve, doku ağlarının tutarlılığını geliştirmek için oluşturma, örnekleme ve geri projeksiyon yaklaşımlarını dönüşümlü olarak gerçekleştirir ve bu, sonuçta doku haritasının aşamalı olarak oluşturulmasına yardımcı olur. 

Model, 3B ağa odaklanan kamera görünümleriyle görünür bölgenin dokusunu oluşturmaya başlar ve ilk görünümden itibaren 3B ağı bir derinlik haritasına dönüştürür. Model daha sonra bir görünüm koşulu ve bir derinlik koşulu için bir doku görüntüsünü örnekler. Model daha sonra görüntüyü 3 boyutlu ağa geri yansıtır. Bakış açıları için Paint3D modeli de benzer bir yaklaşım uyguluyor ancak küçük bir değişiklikle doku örnekleme sürecini görüntü boyama yaklaşımını kullanarak gerçekleştiriyor. Ayrıca model, önceki bakış açılarından dokulu bölgeleri hesaba katarak, işleme sürecinin yalnızca bir derinlik görüntüsü değil, aynı zamanda mevcut görünümde renksiz bir maske ile kısmen renkli bir RGB görüntüsü de üretmesine olanak tanır. 

Model daha sonra RGB görüntüsü içindeki renklendirilmemiş alanı doldurmak için bir iç boyama kodlayıcıya sahip, derinliğe duyarlı bir görüntü iç boyama modeli kullanır. Model daha sonra, boyalı görüntüyü geçerli görünümün altındaki 3B ağa geri yansıtarak görünümden doku haritasını oluşturur, modelin doku haritasını aşamalı olarak oluşturmasına ve kaba yapı haritasının tamamına ulaşmasına olanak tanır. Son olarak model, doku örnekleme sürecini birden fazla görünüme sahip bir sahneye veya nesneye genişletir. Daha spesifik olmak gerekirse model, simetrik bakış açılarından ilk doku örneklemesi sırasında iki derinlik haritası yakalamak için bir çift kamera kullanıyor. Model daha sonra iki derinlik haritasını birleştirir ve bir derinlik ızgarası oluşturur. Model, çoklu görünüm, derinliğe duyarlı doku örneklemesi gerçekleştirmek için tek derinlik görüntüsünü derinlik ızgarasıyla değiştirir. 

Aşama 2: UV Alanında Doku İyileştirme

Kaba doku haritalarının görünümü mantıklı olsa da, 2 boyutlu görüntü yayılma modellerinin dahil edilmesi nedeniyle, oluşturma işlemi sırasında kendiliğinden kapanma veya yıldırım gölgelerinin neden olduğu doku delikleri gibi bazı zorluklarla karşı karşıyadır. Paint3D modeli, kaba bir doku haritası temelinde UV alanında bir difüzyon işlemi gerçekleştirmeyi, sorunları hafifletmeyi ve doku iyileştirme sırasında doku haritasının görsel çekiciliğini daha da artırmayı amaçlamaktadır. Bununla birlikte, ana görüntü yayılma modelinin UV uzayındaki doku haritaları ile iyileştirilmesi doku süreksizliğine neden olur, çünkü doku haritası, sürekli dokuyu UV'de bir dizi ayrı parçaya bölen 3 boyutlu yüzey dokusunun UV eşlemesi tarafından oluşturulur. uzay. Parçalanmanın bir sonucu olarak model, doku süreksizliği sorunlarına yol açan parçalar arasındaki 3 boyutlu bitişiklik ilişkilerini öğrenmeyi zor buluyor. 

Model, doku parçalarının bitişiklik bilgilerinin rehberliğinde difüzyon işlemini gerçekleştirerek UV uzayındaki doku haritasını hassaslaştırır. UV alanında doku parçalarının 3 boyutlu bitişiklik bilgisini temsil eden şeyin konum haritası olduğunu ve modelin arka plan olmayan her öğeyi 3 boyutlu nokta koordinatı olarak ele aldığını not etmek önemlidir. Yayılma işlemi sırasında model, önceden eğitilmiş görüntü yayma modeline ayrı bir konum haritası kodlayıcı ekleyerek 3 boyutlu bitişiklik bilgisini birleştirir. Yeni kodlayıcı, ControlNet çerçevesinin tasarımına benzer ve ikisini birbirine bağlayan sıfır evrişim katmanıyla görüntü dağıtım modelinde uygulanan kodlayıcıyla aynı mimariye sahiptir. Ayrıca doku yayılma modeli, doku ve konum haritalarından oluşan bir veri kümesi üzerinde eğitilir ve model, gürültülü gizliliğe eklenen gürültüyü tahmin etmeyi öğrenir. Model daha sonra konum kodlayıcıyı optimize eder ve eğitimli gürültü gidericiyi görüntü yayma görevi için dondurur. 

Model daha sonra UV alanındaki iyileştirme görevlerini gerçekleştirmek için koşullu kodlayıcının ve diğer kodlayıcıların konumunu eş zamanlı olarak kullanır. Bu bakımdan modelin iki iyileştirme yeteneği vardır: UVHD veya UV Yüksek Çözünürlük ve UV iç boyama. UVHD yöntemi, doku haritasının görsel çekiciliğini ve estetiğini artıracak şekilde yapılandırılmıştır. UVHD'yi elde etmek için model, bir görüntü iyileştirme kodlayıcısı ve difüzyon modeline sahip bir konum kodlayıcı kullanır. Model, işleme sırasında oluşan kendi kendine kapanma sorunlarını önleyebilen UV düzlemindeki doku deliklerini doldurmak için UV iç boyama yöntemini kullanıyor. İyileştirme aşamasında, Paint3D modeli önce UV iç boyamayı gerçekleştirir ve ardından son rafine edilmiş doku haritasını oluşturmak için UVHD gerçekleştirir. Paint3D çerçevesi, iki iyileştirme yöntemini entegre ederek eksiksiz, çeşitli, yüksek çözünürlüklü ve ışıksız UV doku haritaları üretebilir. 

Paint3D : Deneyler ve Sonuçlar

Paint3D modeli şunları kullanır: Kararlı Difüzyon text2image modeli, görüntü koşullarını işlemek için görüntü kodlayıcı bileşenini kullanırken doku oluşturma görevlerinde ona yardımcı olur. Paint3D çerçevesi, görüntünün iç boyama, derinlik ve yüksek çözünürlüklü görüntü gibi koşullu kontroller üzerindeki kontrolünü daha da geliştirmek için ControlNet etki alanı kodlayıcılarını kullanır. Model, Kaolin üzerinde uygulanan render ve doku projeksiyonları ile PyTorch çerçevesinde uygulanmıştır. 

Metin ve Doku Karşılaştırması

Performansını analiz etmek için, metin istemleri kullanılarak koşullandırıldığında Paint3D'nin doku oluşturma etkisini değerlendirerek başlıyoruz ve bunu Text2Tex, TEXTure ve LatentPaint gibi son teknoloji çerçevelerle karşılaştırıyoruz. Aşağıdaki görüntüde görülebileceği gibi, Paint3D çerçevesi yalnızca yüksek kaliteli doku ayrıntıları oluşturmada başarılı olmakla kalmıyor, aynı zamanda aydınlatmasız bir doku haritasını da oldukça iyi bir şekilde sentezliyor. 

Buna karşılık Latent-Paint çerçevesi, optimumun altında görsel efektlerle sonuçlanan bulanık dokular oluşturmaya eğilimlidir. Öte yandan, TEXTure çerçevesi net dokular oluştursa da pürüzsüzlükten yoksundur ve gözle görülür eklemeler ve dikişler sergiler. Son olarak, Text2Tex çerçevesi oldukça iyi bir şekilde pürüzsüz dokular üretiyor ancak karmaşık ayrıntılara sahip ince dokular oluşturma performansını taklit edemiyor. 

Aşağıdaki görüntü, Paint3D çerçevesini son teknoloji çerçevelerle niceliksel olarak karşılaştırmaktadır. 

Görülebileceği gibi, Paint3D çerçevesi, FID temel çizgisinde yaklaşık %30 ve KID temel çizgisinde yaklaşık %40 iyileşme ile önemli bir farkla mevcut tüm modellerden daha iyi performans gösteriyor. FID ve KID temel puanlarındaki iyileşme, Paint3D'nin çeşitli nesneler ve kategorilerde yüksek kaliteli dokular oluşturma yeteneğini gösteriyor. 

Görüntü ve Doku Karşılaştırması

Paint3D'nin üretken yeteneklerini görsel komutları kullanarak oluşturmak için temel olarak TEXTure modelini kullanıyoruz. Daha önce de belirtildiği gibi Paint3D modeli, Stable Diffusion'ın text2image modelinden alınan bir görüntü kodlayıcıyı kullanır. Aşağıdaki resimde görülebileceği gibi, Paint3D çerçevesi mükemmel dokuları son derece iyi bir şekilde sentezliyor ve yine de görüntü koşuluna göre yüksek doğruluğu koruyabiliyor. 

Öte yandan, TEXTure çerçevesi Paint3D'ye benzer bir doku oluşturabilmektedir ancak doku ayrıntılarını görüntü koşulunda doğru şekilde temsil etmekte yetersiz kalmaktadır. Ayrıca, aşağıdaki görüntüde gösterildiği gibi, Paint3D çerçevesi, TEXTure çerçevesiyle karşılaştırıldığında daha iyi FID ve KID temel puanları sağlıyor; ilki 40.83'ten 26.86'ya düşerken ikincisi 9.76'dan 4.94'e düştü. 

Son Düşüncelerimiz

Bu makalede, görsel veya metinsel girdilere göre koşullandırılan dokusuz 3D ağlar için ışıksız, çeşitli ve yüksek çözünürlüklü 2K UV doku haritaları üretebilen, kabadan inceye yeni bir çerçeve olan Paint3D'den bahsettik. Paint3D çerçevesinin en önemli özelliği, görüntü veya metin girişlerine bağlı kalmadan, anlamsal olarak tutarlı, ışıklandırma gerektirmeyen, yüksek çözünürlüklü 2K UV dokuları üretebilmesidir. Paint3D çerçevesi, kabadan inceye yaklaşımı sayesinde, ışıklandırmasız, çeşitli ve yüksek çözünürlüklü doku haritaları üretir ve mevcut en gelişmiş çerçevelerden daha iyi performans sunar.