Yapay zeka modelleri, yapay zeka endüstrisi içinde bir süredir tartışılan bir konu olmuştur. 2B yapay zeka modellerinin recent başarısı, günümüzde görsel içerik oluşturma yöntemleri için bir yol açmıştır. Yapay zeka topluluğu, 2B yapay zeka modelleri ile önemli bir başarı elde etmiş olsa da, 3B içerik oluşturmak, derin yapay zeka çerçeveleri için önemli bir zorluk oluşturmaktadır. Bu özellikle, görsel oyunlar, uygulamalar, sanal gerçeklik ve hatta sinema tarafından yönlendirilen 3B oluşturulan içerik talebinin tüm zamanların en yüksek seviyesine ulaştığı bir zamanda geçerlidir. Değindiğimiz gibi, 3B yapay zeka çerçeveleri certain kategoriler ve görevler için kabul edilebilir sonuçlar üretebilseler de, 3B nesneleri verimli bir şekilde oluşturamazlar. Bu eksiklik, çerçeveleri eğitmek için geniş 3B veri eksikliğine atfedilebilir. Son zamanlarda, geliştiriciler, önceden eğitilmiş metin-görsel yapay zeka modellerinin rehberliğini kullanarak 3B içerik oluşturmayı önerdiler ve bu yaklaşım umut verici sonuçlar gösterdi.

Bu makalede, DreamCraft3D çerçevesini tartışacağız, bu, yüksek kaliteli ve tutarlı 3B nesneleri üreten hiyerarşik bir 3B içerik oluşturma modelidir. DreamCraft3D çerçevesi, geometri oyuk aşamasını yönlendirmek için 2B referans görüntüsünü kullanır ve tutarlılık sorunlarını ele almak için metinle uyumlu bir şekilde dokuları geliştirir. Ek olarak, DreamCraft3D çerçevesi, tutarlı bir şekilde geometri oluşturmak için görüş bağımlı bir difüzyon modeli kullanır.

DreamCraft3D çerçevesini daha yakından inceleyeceğiz. Ayrıca, önceden eğitilmiş Metin-Görsel (T2I) modellerini 3B içerik oluşturmak için kullanma kavramını ve DreamCraft3D çerçevesinin bu yaklaşımı kullanarak gerçekçi 3B içerik oluşturmayı nasıl amaçladığını keşfedeceğiz.

DreamCraft3D: Giriş

DreamCraft3D, hiyerarşik bir 3B içerik oluşturma pipeline’dir. DreamCraft3D çerçevesi, metin-görsel veya metin-resim yapay zeka modelini kullanarak yüksek kaliteli 2B görüntüler oluşturmayı amaçlar. Bu yaklaşım, DreamCraft3D çerçevesinin, metin-görsel modelinin yeteneklerini maksimize etmesini sağlar ve 2B yapay zeka modellerinin sunduğu yaratıcı özgürlüğü korur. Oluşturulan görüntü, ardından geometrik doku artışı ve geometri oyuk aşamaları ile 3B’ye dönüştürülür ve her aşamada problemi çözmek için özel teknikler uygulanır.

Geometri için, DreamCraft3D çerçevesi, küresel 3B yapıya ve çoklu görüş tutarlılığına odaklanır ve bu nedenle görüntülerdeki ayrıntılı dokular için fedakarlıklar yapmaya izin verir. Çerçeveden geometri ile ilgili sorunları ortadan kaldırdığında, tutarlı ve gerçekçi dokuları optimize etmek için 3B farkında difüzyon uygulamasına geçer. Geometri oyuk ve doku artışı için iki ana tasarım consideration vardır.

Söylenen her şey, DreamCraft3D’yi, 2B görüntüleri 3B karşılıklarına dönüştürmek için hiyerarşik bir 3B içerik oluşturma pipeline’i kullanan bir yapay zeka oluşturma çerçevesi olarak tanımlamaya izin verecektir.

Önceden Eğitilmiş T2I veya Metin-Görsel Modelleri Kullanma

Önceden eğitilmiş T2I veya metin-görsel modellerini 3B içerik oluşturmak için kullanma fikri ilk olarak 2022’de DreamFusion çerçevesi tarafından önerildi. DreamFusion çerçevesi, 3B çerçeveyi optimize etmek için bir SDS veya Skor Distilasyon Örnekleme kaybı uygulamaya çalıştı. DreamFusion yaklaşımı kabul edilebilir sonuçlar verdi, ancak iki büyük sorun vardı: bulanıklık ve doygunluk. Bu sorunları ele almak için, recent çalışmalar, 2B distilasyon kaybını iyileştirmek için aşama bazlı optimizasyon stratejileri uygulamaya çalıştı.

Ancak, bu çerçevelerin recent başarısına rağmen, karmaşık içerikleri sentezleme yeteneğinde 2B yapay zeka modellerinin yeteneklerini eşleştiremediler. Ayrıca, bu çerçeveler genellikle “Janus Sorunu” ile karşı karşıya kalırlar, bu da bireysel olarak inandırıcı görünen 3B renderlarının, tüm olarak incelendiğinde stilistik ve anlamsal tutarsızlıklar göstermesi anlamına gelir.

Önceki çalışmaların karşılaştığı sorunları ele almak için, DreamCraft3D çerçevesi, hiyerarşik bir 3B içerik oluşturma pipeline’i kullanma olasılığını araştırır ve ilhamını, bir kavramı önce 2B bir taslak olarak çizerek, ardından kaba geometriyi oyarak, geometrik ayrıntıları iyileştirerek ve yüksek doğruluklu dokuları boyayarak çalışan manuel sanatsal sürece borçludur. Aynı yaklaşımı izleyerek, DreamCraft3D çerçevesi, kapsamlı 3B içerik veya görüntü oluşturma görevlerini çeşitli yönetilebilir adımlara ayırır.

İlk aşamada, DreamCraft3D çerçevesi, geometrik oyuk için başvurur ve 2B görüntüsünü referans olarak kullanarak tutarlı ve inandırıcı 3B geometrik şekiller üretmeye çalışır. Ayrıca, bu aşama yalnızca SDS kaybı için fotometrik kayıpları ve yeni görüntüleri réféans görüş için kullanmaz, aynı zamanda geometrik tutarlılığı teşvik etmek için çeşitli stratejiler sunar. Çerçevede, referans görüntüsünü kullanarak yeni görüntülerin dağılımını modellemek için Zero-1-to-3 adlı bir görüş koşullu resim çevirme modelini kullanır.

DreamCraft3D çerçevesinin ikinci aşaması, 3B dokularını artırmak için bir bootstrapped skor distilasyon yaklaşımını kullanır. Mevcut görüş koşullu difüzyon modelleri, sınırlı miktarda 3B veri üzerinde eğitildiğinden, genellikle 2B difüzyon modellerinin performansını veya doğruluğunu eşleştiremezler. Bu nedenle, DreamCraft3D çerçevesi, optimize edilen 3B örneğinin çoklu görüş renderlerini kullanarak difüzyon modelini iyileştirir ve bu yaklaşım, 3B dokularını artırırken çoklu görüş tutarlılığını korur.

Yukarıdaki görüntülerde görüldüğü gibi, DreamCraft3D çerçevesi, gerçekçi dokular ve ayrıntılı geometrik yapılar ile yaratıcı 3B görüntüler ve içerikler üretebiliyor. İlk görüntüde, anime karakter Son Goku’nun vücudu ve bir koşan yaban domuzunun başı birleştirilmiştir, ikinci resim ise dedektif kıyafeti giymiş bir Beagle’yi gösterir. Aşağıda bazı ek örnekler verilmiştir.

DreamCraft3D: Çalışma ve Mimarisi

DreamCraft3D çerçevesi, metin-görsel veya metin-resim yapay zeka modelini kullanarak yüksek kaliteli 2B görüntüler oluşturmayı amaçlar. Bu yaklaşım, DreamCraft3D çerçevesinin, metin-görsel modelinin yeteneklerini maksimize etmesini sağlar ve 2B yapay zeka modellerinin sunduğu yaratıcı özgürlüğü korur. Oluşturulan görüntü, ardından geometrik doku artışı ve geometri oyuk aşamaları ile 3B’ye dönüştürülür ve her aşamada problemi çözmek için özel teknikler uygulanır.

DreamCraft3D çerçevesinin doku artışı ve geometri oyuk aşamaları için ana tasarım consideration’larını daha yakından inceleyelim.

Geometri Oyuk

Geometri oyuk, DreamCraft3D çerçevesinin ilk aşamasıdır ve burada 3B modeli, referans görüntüsünün görünümü ile uyumlu olacak şekilde oluşturulur ve farklı açılardan bakıldığında maksimum tutarlılık sağlanır. Tutarlılığı sağlamak için, çerçevede SDS kaybı kullanılır ve bu, her bir örneklenen görüş için inandırıcı görüntü oluşturmayı teşvik eder. Ayrıca, referans görüntüsünden efektif bir şekilde rehberlik almak için, referans görüşte render edilen ve referans görüntüsü arasındaki fotometrik farklılıklar cezalandırılır ve bu kayıp yalnızca görüşün ön plan bölgesinde hesaplanır.

3B Farkında Difüzyon Öncüllüğü

3B optimizasyon yöntemleri, yalnızca görüş bazlı denetim kullanıldığında, kısıtlıdır, bu nedenle DreamCraft3D çerçevesi, Zero-1-to-3 adlı bir görüş koşullu difüzyon modelini kullanır. Zero-1-to-3 modeli, daha büyük bir 3B veri kümesiyle eğitilmiş bir difüzyon modelidir ve bu nedenle daha gelişmiş bir görüş bilinci sunar.

İlerleyici Görüş Eğitimi

Doğrudan 360 derece görüşü türetmek, geometrik hatalara veya tutarsızlıklara neden olabilir, bu nedenle DreamCraft3D çerçevesi, görüşleri ilerleyici olarak genişletir ve iyi kurulmuş geometri, 360 derece sonuçlara ulaşmak için dần dần propaglanır.

Difüzyon Zaman Adımı Azaltma

DreamCraft3D çerçevesi, difüzyon zaman adımını azaltma stratejisi kullanır ve bu, 3B optimizasyonun kaba-ince ilerlemesini takip eder. Optimizasyon sürecinin başlangıcında, çerçevede daha büyük bir difüzyon zaman adımı örneklendiği için, küresel yapıya öncelik verilir. Eğitim süreci ilerledikçe, çerçevede difüzyon zaman aralığını lineer olarak azaltır ve bu, erken optimizasyon adımlarında global geometrinin kurulmasını sağlar.

Ayrıntılı Yapı İyileştirme

DreamCraft3D çerçevesi, ilk olarak bir implicit yüzey temsilini optimize eder ve bu, kaba bir yapı oluşturur. Çerçevede, bu sonucu kullanır ve bir deformable tetrahedral grid veya DMTet ile birleştirir, bu da bir metinlenmiş 3B mesh temsilini başlatır ve doku ve geometri öğrenimini ayırmaya yardımcı olur. Yapısal iyileştirme tamamlandığında, model, referans görüntüsünden yüksek frekanslı ayrıntıları koruyarak yalnızca dokuları iyileştirir.

Doku Artırma Kullanarak Bootstrapped Skor Örnekleme

Geometri oyuk aşaması, ayrıntılı ve tutarlı geometri öğrenimine odaklansa da, doku biraz bulanıklaşabilir, bu da 2B öncül modelinin kaba çözünürlüğü ve 3B difüzyon modelinin sınırlı keskinliği nedeniyle olabilir. Ayrıca, ortak doku sorunları, aşırı doygunluk ve aşırı pürüzsüzlük, büyük bir sınıflandırıcıdan bağımsız rehberlikten kaynaklanabilir.

Çerçevede, VSD veya Değişken Skor Distilasyon kaybı kullanılır ve bu, dokuların gerçekçiliğini artırmaya yardımcı olur. Çerçevede, bu aşamada yüksek çözünürlüklü gradientler elde etmek için Stable Difüzyon modeli kullanılır ve tetrahedral grid sabit tutulur, böylece gerçekçi bir şekilde mesh’in genel yapısını optimize eder. Öğrenme aşamasında, DreamCraft3D çerçevesi, Zero-1-to-3 modelini kullanmaz, çünkü bu, doku kalitesini olumsuz etkileyebilir ve tutarlı olmayan dokulara neden olabilir.

Deneysel Sonuçlar

DreamCraft3D çerçevesinin performansını değerlendirmek için, bu, mevcut state-of-the-art çerçevelerle karşılaştırılır ve nitel ve nicel sonuçlar analiz edilir.

Referans Modeller ile Karşılaştırma

Performansı değerlendirmek için, DreamCraft3D çerçevesi, 5 state-of-the-art çerçeveye karşılaştırılır: DreamFusion, Magic3D, ProlificDreamer, Magic123 ve Make-it-3D. Test benchmark’ı, gerçek dünya görüntülerinin ve Stable Difüzyon çerçevesi tarafından oluşturulan görüntülerin bir karışımından oluşur. Her bir test benchmark görüntüsü, bir metin prompt’u, bir öngörülen derinlik haritası ve ön plan için bir alfa maskesi içerir.

Nitel Analiz

Aşağıdaki görüntü, DreamCraft3D çerçevesini mevcut referans modelleriyle karşılaştırır ve görüldüğü gibi, metin-3B yaklaşımını kullanan çerçeveler, çoklu görüş tutarlılığı sorunlarıyla karşı karşıya kalırlar.

Bir yandan, ProlificDreamer çerçevesi gerçekçi dokular sunar, ancak inandırıcı bir 3B nesnesi oluşturmakta başarısız olur. Görüntü-3B yöntemlerini kullanan çerçeveler, yüksek kaliteli ön görüşler oluşturabilir, ancak görüntülerin ideal geometrisini koruyamazlar. Magic123 çerçevesi tarafından oluşturulan görüntüler, daha iyi geometrik düzenleme sunar, ancak aşırı doygun ve pürüzsüz geometrik dokular ve ayrıntılar üretir. Bu çerçevelerle karşılaştırıldığında, DreamCraft3D çerçevesi, bootstrapped skor distilasyon yöntemini kullanarak, hem anlamsal tutarlılığı korur hem de hayal gücü çeşitliliğini artırır.

Nicel Analiz

DreamCraft3D çerçevesinin tekniklerinin, referans modellerine karşılaştırılması, giriş referans görüntüsüne benzeyen ve çeşitli açılardan tutarlı bir şekilde anlamları ileten inandırıcı 3B görüntüler oluşturmak için kullanılır. Değerlendirme süreci, dört metriği kullanır: referans görüş açısından doğruluk için PSNR ve LPIPS, pixel düzeyinde uyumu değerlendirmek için Contextual Distance ve anlamsal tutarlılığı tahmin etmek için CLIP. Sonuçlar aşağıdaki görüntüde gösterilir.

Sonuç

Bu makalede, DreamCraft3D’yi, hiyerarşik bir 3B içerik oluşturma pipeline’i kullanan bir yapay zeka oluşturma çerçevesini tartıştık. DreamCraft3D çerçevesi, metin-görsel veya metin-resim yapay zeka modelini kullanarak yüksek kaliteli 2B görüntüler oluşturmayı amaçlar. Bu yaklaşım, DreamCraft3D çerçevesinin, metin-görsel modelinin yeteneklerini maksimize etmesini sağlar ve 2B yapay zeka modellerinin sunduğu yaratıcı özgürlüğü korur. Oluşturulan görüntü, ardından geometrik doku artışı ve geometri oyuk aşamaları ile 3B’ye dönüştürülür ve her aşamada problemi çözmek için özel teknikler uygulanır. Bu yaklaşımın sonucu, yüksek doğruluklu ve tutarlı 3B varlıkların oluşturulmasıdır, bu varlıklar çeşitli açılardan görülebilir ve inandırıcı dokulara sahiptir.