Model AI generatif telah menjadi topik diskusi yang hangat dalam industri AI selama beberapa waktu. Kesuksesan model generatif 2D telah membuka jalan bagi metode yang kita gunakan untuk membuat konten visual saat ini. Meskipun komunitas AI telah mencapai kesuksesan luar biasa dengan model generatif 2D, menghasilkan konten 3D masih menjadi tantangan besar bagi kerangka kerja AI generatif yang dalam. Ini terutama karena permintaan konten 3D yang dihasilkan mencapai titik tertinggi, didorong oleh berbagai aplikasi visual, permainan, realitas virtual, dan bahkan sinema. Perlu dicatat bahwa meskipun ada kerangka kerja AI generatif 3D yang menghasilkan hasil yang dapat diterima untuk kategori dan tugas tertentu, mereka tidak dapat menghasilkan objek 3D dengan efisien. Kekurangan ini dapat dikaitkan dengan kurangnya data 3D yang luas untuk melatih kerangka kerja. Baru-baru ini, pengembang telah mengusulkan untuk menggunakan bimbingan yang diberikan oleh model AI generatif text-to-image yang telah dilatih sebelumnya, sebuah pendekatan yang telah menunjukkan hasil yang menjanjikan.

Dalam artikel ini, kita akan membahas kerangka kerja DreamCraft3D, sebuah model hierarki untuk menghasilkan konten 3D yang menghasilkan objek 3D yang kohesif dan memiliki kualitas tinggi. Kerangka kerja DreamCraft3D menggunakan gambar referensi 2D untuk memandu tahap pengukiran geometri, meningkatkan tekstur dengan fokus pada mengatasi masalah konsistensi yang dihadapi oleh kerangka kerja atau metode saat ini. Selain itu, kerangka kerja DreamCraft3D menggunakan model difusi yang bergantung pada pandangan untuk mendistilasi skor, membantu dalam mengukir geometri yang berkontribusi pada rendering yang kohesif.

Kita akan lebih lanjut membahas kerangka kerja DreamCraft3D untuk menghasilkan konten 3D. Selain itu, kita akan mengeksplorasi konsep menggunakan model Text-to-Image (T2I) yang telah dilatih sebelumnya untuk menghasilkan konten 3D dan mengeksamin bagaimana kerangka kerja DreamCraft3D berusaha untuk menggunakan pendekatan ini untuk menghasilkan konten 3D yang realistis.

DreamCraft3D : Pengenalan

DreamCraft3D adalah sebuah pipa hierarki untuk menghasilkan konten 3D. Kerangka kerja DreamCraft3D berusaha untuk menggunakan kerangka kerja T2I atau Text-to-Image generatif yang mutakhir untuk membuat gambar 2D berkualitas tinggi menggunakan prompt teks. Pendekatan ini memungkinkan kerangka kerja DreamCraft3D untuk memaksimalkan kemampuan model difusi 2D yang mutakhir dalam mewakili semantik visual yang dijelaskan dalam prompt teks, sambil mempertahankan kebebasan kreatif yang ditawarkan oleh kerangka kerja AI generatif 2D ini. Gambar yang dihasilkan kemudian diangkat ke 3D dengan bantuan fase pengukiran geometri dan pengukuhan tekstur yang bergantian, dan teknik khusus diterapkan pada setiap tahap dengan bantuan dekomposisi masalah.

Untuk geometri, kerangka kerja DreamCraft3D berfokus pada struktur 3D global dan konsistensi multi-pandangan, sehingga memungkinkan kompromi pada tekstur yang terperinci dalam gambar. Setelah kerangka kerja menghilangkan masalah geometri, fokusnya beralih ke optimasi tekstur yang kohesif dan realistis dengan menerapkan difusi 3D yang memungkinkan pendekatan optimasi 3D. Ada dua pertimbangan desain kunci untuk fase optimasi tekstur dan pengukiran geometri.

Dengan semua yang telah dikatakan, akan aman untuk menggambarkan DreamCraft3D sebagai kerangka kerja AI generatif yang menggunakan pipa hierarki untuk menghasilkan konten 3D untuk mengubah gambar 2D menjadi 3D sambil mempertahankan konsistensi 3D yang holistik.

Menggunakan Model T2I atau Text-to-Image yang Telah Dilatih Sebelumnya

Gagasan untuk menggunakan model T2I atau Text-to-Image yang telah dilatih sebelumnya untuk menghasilkan konten 3D pertama kali diperkenalkan oleh kerangka kerja DreamFusion pada tahun 2022. Kerangka kerja DreamFusion berusaha untuk menerapkan kerugian distilasi skor (SDS) untuk mengoptimalkan kerangka kerja 3D sehingga rendering pada pandangan acak akan selaras dengan distribusi gambar yang dikondisikan oleh teks yang diinterpretasikan oleh kerangka kerja difusi text-to-image yang efisien. Meskipun pendekatan DreamFusion menghasilkan hasil yang cukup baik, ada dua masalah utama, keburaman dan kelebihan saturasi. Untuk mengatasi masalah ini, karya terbaru menerapkan strategi optimasi tahap demi tahap dalam upaya untuk meningkatkan kerugian distilasi 2D, yang pada akhirnya menghasilkan gambar 3D yang lebih baik dan realistis.

Namun, meskipun kesuksesan kerangka kerja ini, mereka tidak dapat menyaingi kemampuan kerangka kerja generatif 2D untuk mensintesis konten yang kompleks. Selain itu, kerangka kerja ini sering kali terganggu oleh “masalah Janus”, suatu kondisi di mana rendering 3D yang tampaknya masuk akal secara individual menunjukkan inkonsistensi stilistika dan semantika ketika diperiksa secara keseluruhan.

Untuk mengatasi masalah yang dihadapi oleh karya sebelumnya, kerangka kerja DreamCraft3D mengeksplorasi kemungkinan menggunakan pipa hierarki untuk menghasilkan konten 3D dan mencari inspirasi dari proses artistik manual di mana konsep pertama kali ditulis dalam draft 2D, setelah itu seniman mengukir geometri kasar, memperhalus detail geometri, dan melukis tekstur yang realistis. Mengikuti pendekatan yang sama, kerangka kerja DreamCraft3D memecah tugas penghasilan konten 3D atau gambar yang luas menjadi langkah-langkah yang dapat dikelola.

Pada tahap pertama, kerangka kerja DreamCraft3D menerapkan pengukiran geometri untuk menghasilkan bentuk geometri 3D yang konsisten dan masuk akal menggunakan gambar 2D sebagai referensi. Selain itu, tahap ini tidak hanya menggunakan kerugian SDS untuk kehilangan fotometrik dan pandangan baru pada pandangan referensi, tetapi kerangka kerja juga memperkenalkan berbagai strategi untuk mempromosikan konsistensi geometri. Kerangka kerja berusaha untuk menggunakan Zero-1-to-3, model translasi gambar yang dikondisikan oleh pandangan, untuk menggunakan gambar referensi untuk memodelkan distribusi pandangan baru. Selain itu, kerangka kerja juga beralih dari representasi permukaan implisit ke representasi mesh untuk pemurnian geometri kasar ke halus.

Tahap kedua kerangka kerja DreamCraft3D menggunakan pendekatan distilasi skor yang diperkuat untuk meningkatkan tekstur gambar karena model difusi yang dikondisikan oleh pandangan saat ini dilatih pada jumlah data 3D yang terbatas, sehingga mereka sering kali mengalami kesulitan untuk menyaingi kinerja atau fidelitas model difusi 2D. Berkat keterbatasan ini, kerangka kerja DreamCraft3D memperhalus model difusi sesuai dengan gambar multi-pandangan dari instance 3D yang sedang dioptimalkan, dan pendekatan ini membantu kerangka kerja dalam meningkatkan tekstur 3D sambil mempertahankan konsistensi multi-pandangan. Ketika model difusi dilatih pada rendering multi-pandangan, itu memberikan bimbingan yang lebih baik untuk optimasi tekstur 3D, dan pendekatan ini membantu kerangka kerja DreamCraft3D mencapai tekstur yang sangat terperinci sambil mempertahankan konsistensi pandangan.

Seperti yang dapat dilihat pada gambar di atas, kerangka kerja DreamCraft3D dapat menghasilkan gambar 3D dan konten yang kreatif dengan tekstur realistis dan struktur geometri yang rumit. Pada gambar pertama, adalah tubuh Son Goku, karakter anime yang dicampur dengan kepala babi hutan yang sedang berlari, sedangkan gambar kedua menggambarkan seekor anjing Beagle yang mengenakan pakaian detektif. Berikut beberapa contoh tambahan.

DreamCraft3D : Cara Kerja dan Arsitektur

Kerangka kerja DreamCraft3D berusaha untuk menggunakan kerangka kerja T2I atau Text-to-Image generatif yang mutakhir untuk membuat gambar 2D berkualitas tinggi menggunakan prompt teks. Pendekatan ini memungkinkan kerangka kerja DreamCraft3D untuk memaksimalkan kemampuan model difusi 2D yang mutakhir dalam mewakili semantik visual yang dijelaskan dalam prompt teks, sambil mempertahankan kebebasan kreatif yang ditawarkan oleh kerangka kerja AI generatif 2D ini. Gambar yang dihasilkan kemudian diangkat ke 3D dengan bantuan fase pengukiran geometri dan pengukuhan tekstur yang bergantian, dan teknik khusus diterapkan pada setiap tahap dengan bantuan dekomposisi masalah. Berikut adalah gambar yang menjelaskan cara kerja kerangka kerja DreamCraft3D.

Mari kita lihat lebih dekat pada pertimbangan desain kunci untuk fase pengukuhan tekstur dan pengukiran geometri.

Pengukiran Geometri

Pengukiran Geometri adalah tahap pertama di mana kerangka kerja DreamCraft3D berusaha untuk membuat model 3D yang sesuai dengan penampilan gambar referensi pada pandangan referensi yang sama, sambil memastikan kemungkinan maksimal bahkan pada sudut pandang yang berbeda. Untuk memastikan kemungkinan maksimal, kerangka kerja menggunakan kerugian SDS untuk mendorong rendering gambar yang masuk akal untuk setiap pandangan yang diambil yang dapat dikenali oleh model difusi yang telah dilatih sebelumnya. Selain itu, untuk menggunakan bimbingan dari gambar referensi secara efektif, kerangka kerja menghukum perbedaan fotometrik antara gambar referensi dan gambar yang di-render pada pandangan referensi, dan kerugian dihitung hanya dalam wilayah foreground dari pandangan. Selain itu, untuk mendorong kekosongan adegan, kerangka kerja juga menerapkan kerugian masker yang menghasilkan siluet. Meskipun demikian, mempertahankan penampilan dan semantik di seluruh pandangan belakang secara konsisten masih tetap menjadi tantangan, sehingga kerangka kerja menggunakan pendekatan tambahan untuk menghasilkan geometri yang terperinci dan kohesif.

Prior Difusi 3D

Metode optimasi 3D yang menggunakan supervisi per-pandangan saja tidak terkonsolidasi, yang merupakan alasan utama mengapa kerangka kerja DreamCraft3D menggunakan Zero-1-to-3, model difusi yang dikondisikan oleh pandangan, sebagai model Zero-1-to-3 menawarkan kesadaran pandangan yang ditingkatkan karena telah dilatih pada skala data 3D yang lebih besar. Selain itu, model Zero-1-to-3 adalah model difusi yang diperhalus, yang mengkhayalkan gambar dalam kaitannya dengan pose kamera yang diberikan gambar referensi.

Pelatihan Pandangan Progresif

Menghasilkan pandangan bebas secara langsung dalam 360 derajat dapat menyebabkan artefak geometri atau inkonsistensi seperti kaki tambahan pada kursi, peristiwa yang mungkin dikaitkan dengan ketidakjelasan yang melekat pada gambar referensi tunggal. Untuk mengatasi hambatan ini, kerangka kerja DreamCraft3D memperluas pandangan pelatihan secara progresif, setelah itu geometri yang mapan secara bertahap dipropagasi untuk mendapatkan hasil dalam 360 derajat.

Penyepuhan Langkah Difusi

Kerangka kerja DreamCraft3D menerapkan strategi penyepuhan langkah difusi dalam upaya untuk selaras dengan progresi kasar-ke-halus dari optimasi 3D. Pada awal proses optimasi, kerangka kerja memberikan prioritas untuk mengambil langkah difusi yang lebih besar, dalam upaya untuk memberikan struktur global. Ketika kerangka kerja melanjutkan proses pelatihan, itu secara linier menyepuh jangkauan sampling selama ratusan iterasi. Berkat strategi penyepuhan, kerangka kerja berhasil membangun geometri global yang masuk akal selama langkah optimasi awal sebelum memperhalus detail struktural.

Peningkatan Struktural Terperinci

Kerangka kerja DreamCraft3D mengoptimalkan representasi permukaan implisit secara awal untuk membangun struktur kasar. Kerangka kerja kemudian menggunakan hasil ini dan menggabungkannya dengan grid tetrahedral yang dapat diubah bentuk atau DMTet untuk menginisialisasi representasi mesh 3D yang diwarnai, yang memisahkan pembelajaran tekstur dan geometri. Ketika kerangka kerja selesai dengan peningkatan struktural, model dapat mempertahankan detail frekuensi tinggi yang diperoleh dari gambar referensi dengan memperhalus tekstur saja.

Pengukuhan Tekstur Menggunakan Sampel Skor yang Diperkuat

Meskipun tahap pengukiran geometri menekankan pada pembelajaran geometri yang terperinci dan kohesif, itu memburamkan tekstur hingga tingkat tertentu yang mungkin merupakan hasil dari ketergantungan kerangka kerja pada model prior 2D yang beroperasi pada resolusi kasar serta keterbatasan ketajaman yang ditawarkan oleh model difusi 3D. Selain itu, masalah tekstur umum termasuk kelebihan saturasi dan kelebihan penghalusan muncul sebagai hasil dari bimbingan bebas pengklasifikasi yang besar.

Kerangka kerja menggunakan kerugian distilasi skor variatif (VSD) untuk meningkatkan realisme tekstur. Kerangka kerja memilih model difusi stabil selama fase ini untuk mendapatkan gradien resolusi tinggi. Selain itu, kerangka kerja menjaga grid tetrahedral tetap untuk mempromosikan rendering yang realistis dan mengoptimalkan struktur mesh secara keseluruhan. Selama tahap pembelajaran, kerangka kerja DreamCraft3D tidak menggunakan model Zero-1-to-3 karena memiliki efek negatif pada kualitas tekstur, dan tekstur yang tidak konsisten ini mungkin berulang, sehingga menghasilkan output 3D yang aneh.

Eksperimen dan Hasil

Untuk mengevaluasi kinerja kerangka kerja DreamCraft3D, itu dibandingkan dengan kerangka kerja mutakhir saat ini, dan hasil kualitatif dan kuantitatif dianalisis.

Perbandingan dengan Model Baseline

Untuk mengevaluasi kinerja, kerangka kerja DreamCraft3D dibandingkan dengan 5 kerangka kerja mutakhir, termasuk DreamFusion, Magic3D, ProlificDreamer, Magic123, dan Make-it-3D. Tes benchmark terdiri dari 300 gambar input yang merupakan campuran gambar dunia nyata dan gambar yang dihasilkan oleh model difusi stabil. Setiap gambar dalam tes benchmark memiliki prompt teks, peta kedalaman yang diprediksi, dan masker alfa untuk foreground. Kerangka kerja mengambil prompt teks untuk gambar nyata dari kerangka kerja caption gambar.

Analisis Kualitatif

Gambar berikut membandingkan kerangka kerja DreamCraft3D dengan model baseline saat ini, dan seperti yang dapat dilihat, kerangka kerja yang bergantung pada pendekatan text-to-3D sering kali menghadapi masalah konsistensi multi-pandangan.

Di satu sisi, Anda memiliki kerangka kerja ProlificDreamer yang menawarkan tekstur yang realistis, tetapi gagal ketika datang ke menghasilkan objek 3D yang masuk akal. Kerangka kerja seperti Make-it-3D yang bergantung pada metode Image-to-3D berhasil membuat pandangan depan yang berkualitas tinggi, tetapi mereka tidak dapat mempertahankan geometri ideal untuk gambar. Gambar yang dihasilkan oleh kerangka kerja Magic123 menawarkan regularisasi geometri yang lebih baik, tetapi mereka menghasilkan tekstur geometri yang terlalu jenuh dan halus. Dibandingkan dengan kerangka kerja ini, kerangka kerja DreamCraft3D yang menggunakan metode distilasi skor yang diperkuat tidak hanya mempertahankan konsistensi semantik, tetapi juga meningkatkan keanekaragaman imajinasi secara keseluruhan.

Analisis Kuantitatif

Dalam upaya untuk menghasilkan gambar 3D yang menarik yang tidak hanya menyerupai gambar referensi input, tetapi juga menyampaikan semantik dari berbagai perspektif secara konsisten, teknik yang digunakan oleh kerangka kerja DreamCraft3D dibandingkan dengan model baseline, dan proses evaluasi menggunakan empat metrik: PSNR dan LPIPS untuk mengukur fidelitas pada pandangan referensi, Jarak Kontekstual untuk menilai kesesuaian piksel, dan CLIP untuk memperkirakan kohesi semantik. Hasilnya ditunjukkan pada gambar berikut.

Kesimpulan

Dalam artikel ini, kita telah membahas DreamCraft3D, sebuah pipa hierarki untuk menghasilkan konten 3D. Kerangka kerja DreamCraft3D berusaha untuk menggunakan kerangka kerja T2I atau Text-to-Image generatif yang mutakhir untuk membuat gambar 2D berkualitas tinggi menggunakan prompt teks. Pendekatan ini memungkinkan kerangka kerja DreamCraft3D untuk memaksimalkan kemampuan model difusi 2D yang mutakhir dalam mewakili semantik visual yang dijelaskan dalam prompt teks, sambil mempertahankan kebebasan kreatif yang ditawarkan oleh kerangka kerja AI generatif 2D ini. Gambar yang dihasilkan kemudian diangkat ke 3D dengan bantuan fase pengukiran geometri dan pengukuhan tekstur yang bergantian, dan teknik khusus diterapkan pada setiap tahap dengan bantuan dekomposisi masalah. Hasil dari pendekatan ini, kerangka kerja DreamCraft3D dapat menghasilkan aset 3D yang konsisten dan memiliki kualitas tinggi dengan tekstur yang menarik, yang dapat dilihat dari berbagai sudut.