Perkembangan terbaru dalam kerangka kerja generatif AI text-to-3D telah menandai tonggak penting dalam model generatif. Mereka membuka jalan bagi kemungkinan baru dalam menciptakan aset 3D di berbagai skenario dunia nyata. Aset digital 3D sekarang memegang tempat yang sangat penting dalam kehadiran digital kita, memungkinkan visualisasi dan interaksi yang komprehensif dengan lingkungan dan objek yang kompleks yang mencerminkan pengalaman dunia nyata kita. Kerangka kerja generatif AI 3D ini diterapkan dalam berbagai domain, termasuk animasi, arsitektur, permainan, realitas tambah dan virtual, dan banyak lagi. Mereka juga digunakan secara luas dalam konferensi online, ritel, pendidikan, dan pemasaran.

Namun, meskipun janji dari kemajuan ini dalam kerangka kerja generatif text-to-3D, penggunaan luas teknologi 3D datang dengan masalah besar. Menghasilkan gambar dan konten media 3D berkualitas tinggi masih memerlukan waktu, upaya, sumber daya, dan keahlian yang signifikan. Bahkan dengan persyaratan ini terpenuhi, generasi text-to-3D sering gagal menghasilkan model 3D yang terperinci dan berkualitas tinggi. Masalah rendering dan generasi 3D berkualitas rendah lebih umum pada kerangka kerja yang menggunakan metode Score Distillation Sampling (SDS). Artikel ini akan membahas kekurangan yang mencolok dalam model yang menggunakan metode SDS, yang memperkenalkan inkonsistensi dan arah pembaruan berkualitas rendah, menghasilkan efek penghalusan berlebihan pada output yang dihasilkan. Kami juga akan memperkenalkan kerangka kerja LucidDreamer, sebuah pendekatan baru yang menggunakan metode Interval Score Matching (ISM) untuk mengatasi masalah penghalusan berlebihan. Kami akan menjelajahi arsitektur model dan kinerjanya melawan kerangka kerja generatif text-to-3D yang ada. Jadi, mari kita mulai.

LucidDreamer3D : Pengenalan Generasi 3D menggunakan Interval Score Matching

Alasan utama mengapa model generasi 3D telah menjadi topik pembicaraan dalam industri AI generatif adalah karena aplikasi yang luas di berbagai domain dan industri, serta kemampuan mereka untuk menghasilkan konten 3D dalam waktu nyata. Karena aplikasi praktis yang luas, pengembang telah mengusulkan berbagai pendekatan generasi konten 3D, di mana kerangka kerja generatif text-to-3D menonjol dari yang lain karena kemampuan mereka untuk menggunakan deskripsi teks untuk menghasilkan model 3D imajinatif. Kerangka kerja generatif text-to-3D mencapai ini dengan menggunakan model difusi gambar pra-terlatih sebagai gambar kuat sebelum mengawasi pelatihan model 3D parameterized, sehingga memungkinkan rendering gambar 3D yang konsisten yang sesuai dengan teks. Kemampuan ini untuk menghasilkan gambar 3D yang konsisten didasarkan pada penggunaan Score Distillation Sampling secara fundamental, dan memungkinkan SDS untuk bertindak sebagai mekanisme inti untuk membawa hasil 2D dari model difusi ke dalam bentuk 3D, sehingga memungkinkan pelatihan model 3D tanpa menggunakan gambar pelatihan. Meskipun efektivitasnya, kerangka kerja generatif AI 3D yang menggunakan metode SDS sering mengalami masalah distorsi dan penghalusan berlebihan yang menghambat implementasi praktis generasi 3D berkualitas tinggi.

Untuk mengatasi masalah penghalusan berlebihan, kerangka kerja LucidDreamer mengimplementasikan pendekatan ISM atau Interval Score Matching, sebuah pendekatan baru yang menggunakan dua mekanisme efektif. Pertama, pendekatan ISM menggunakan metode inversi DDIM untuk mitigasi efek rata-rata yang disebabkan oleh inkonsistensi pseudo-Ground Truth dengan menghasilkan trajeksi difusi yang dapat dibalik. Kedua, bukan membandingkan gambar yang dihasilkan oleh model 3D dengan pseudo-Ground Truth, metode ISM membandingkannya antara dua langkah interval dalam trajeksi difusi yang membantu menghindari kesalahan rekonstruksi tinggi dengan menghindari rekonstruksi satu langkah. Penggunaan ISM daripada SDS menghasilkan kinerja yang konsisten dengan output yang sangat realistis dan terperinci.

Secara keseluruhan, kerangka kerja LucidDreamer bertujuan untuk membuat kontribusi berikut dalam AI generatif 3D

1. Memberikan analisis mendalam tentang SDS, konsep fundamental dalam kerangka kerja generatif text-to-3D, dan mengidentifikasi keterbatasannya yang berkaitan dengan pseudo-Ground Truth berkualitas rendah, serta memberikan penjelasan tentang efek penghalusan berlebihan yang dihadapi oleh kerangka kerja generatif 3D ini.
2. Untuk mengatasi keterbatasan yang diperkenalkan oleh pendekatan SDS, kerangka kerja LucidDreamer memperkenalkan Interval Score Matching, sebuah pendekatan baru yang menggunakan pencocokan berbasis interval dan trajeksi difusi yang dapat dibalik untuk mengungguli SDS dengan menghasilkan output yang sangat realistis dan terperinci.
3. Mencapai kinerja yang setara dengan state-of-the-art dengan mengintegrasikan metode ISM dengan Gaussian Splatting 3D untuk mengungguli metode existing untuk generasi konten 3D dengan biaya pelatihan yang rendah.

Keterbatasan SDS

Seperti yang disebutkan sebelumnya, SDS adalah salah satu pendekatan paling populer untuk model generasi text-to-3D, dan itu mencari mode untuk kondisi pasca prior dalam ruang laten DDPM. Pendekatan SDS juga mengadopsi DDPM pra-terlatih untuk memodelkan kondisi pasca prior, dan bertujuan untuk mendistilasi representasi 3D untuk kondisi pasca prior yang dicapai dengan meminimalkan divergensi KL berikut. Selain itu, pendekatan SDS juga menggunakan kembali tujuan pencocokan skor denoising yang terberatkan untuk pelatihan DDP. Tujuan utama pendekatan SDS juga dapat dilihat sebagai membandingkan pandangan model 3D dengan pseudo-Ground Truth yang diperkirakan oleh DDPM dalam satu langkah, meskipun proses distilasi sering mengabaikan aspek kritis dari komponen DDPM, yaitu menghasilkan pseudo-Ground Truth berkualitas rendah dengan fitur yang tidak konsisten selama proses distilasi.

Namun, arah pembaruan di bawah kondisi yang tidak diinginkan diperbarui ke representasi 3D yang pada akhirnya menghasilkan hasil yang terlalu halus. Selain itu, perlu diingat bahwa komponen DDPM sensitif terhadap input, dan fitur dari pseudo-Ground Truth berubah secara signifikan bahkan dengan perubahan input yang sangat kecil. Selain itu, keacakan dalam pose kamera dan komponen noise input dapat menambah fluktuasi yang tidak dapat dihindari selama proses distilasi. Mengoptimalkan input untuk pseudo-Ground Truth yang tidak konsisten menghasilkan hasil rata-rata. Yang lebih penting lagi adalah bahwa pendekatan SDS memperoleh pseudo-Ground Truth dengan prediksi satu langkah untuk semua interval waktu, dan tidak mempertimbangkan keterbatasan komponen DDPM satu langkah yang tidak dapat menghasilkan output berkualitas tinggi, yang menunjukkan bahwa mendistilasi aset 3D atau gambar dengan komponen SDS mungkin tidak merupakan pendekatan yang paling ideal.

LucidDreamer : Metodologi dan Cara Kerja

Kerangka kerja LucidDreamer tidak hanya memperkenalkan pendekatan ISM, tetapi juga membangun dari pembelajaran dari kerangka kerja lain, termasuk model generatif text-to-3D, model difusi, dan kerangka representasi 3D yang dapat dibedakan. Dengan demikian, mari kita lihat arsitektur dan metodologi kerangka kerja LucidDreamer secara lebih rinci.

Interval Score Matching atau ISM

Masalah penghalusan berlebihan dan output berkualitas rendah yang dihadapi oleh sebagian besar model generasi text-to-3D dapat dikaitkan dengan penggunaan pendekatan SDS yang bertujuan untuk membandingkan pseudo-Ground Truth dengan representasi 3D yang tidak konsisten dan sering berkualitas rendah. Untuk mengatasi masalah yang dihadapi oleh SDS, kerangka kerja LucidDreamer memperkenalkan ISM atau Interval Score Matching, sebuah pendekatan baru yang memiliki dua tahap kerja. Pada tahap pertama, komponen ISM memperoleh pseudo-Ground Truth yang lebih konsisten selama proses distilasi, terlepas dari keacakan dalam pose kamera dan noise. Pada tahap kedua, kerangka kerja menghasilkan pseudo-Ground Truth dengan kualitas yang lebih baik.

Keterbatasan lain dari SDS adalah menghasilkan pseudo-Ground Truth dengan prediksi satu langkah untuk semua interval waktu, yang membuatnya sulit untuk menjamin pseudo-Ground Truth berkualitas tinggi, dan ini membentuk dasar untuk memperbaiki kualitas visual dari pseudo-Ground Truth. Dalam arti yang sama, tujuan SDS dapat dilihat sebagai membandingkan pandangan model 3D dengan pseudo-Ground Truth yang diperkirakan oleh DDPM dalam satu langkah, meskipun proses distilasi mengabaikan aspek kritis dari komponen DDPM, yaitu menghasilkan pseudo-Ground Truth berkualitas rendah dengan fitur yang tidak konsisten selama proses distilasi.

Secara keseluruhan, komponen ISM berjanji untuk memberikan beberapa kelebihan atas metode sebelumnya yang digunakan dalam model generasi text-to-3D. Pertama, berkat kemampuan ISM untuk memberikan pseudo-Ground Truth berkualitas tinggi secara konsisten, itu dapat menghasilkan output distilasi berkualitas tinggi dengan struktur yang lebih halus dan detail yang lebih kaya, sehingga menghilangkan kebutuhan untuk skala bimbingan besar, dan meningkatkan fleksibilitas untuk pembuatan konten 3D. Kedua, beralih dari pendekatan SDS ke ISM memiliki overhead komputasi yang marginal, terutama karena pendekatan ISM tidak mengorbankan efisiensi secara keseluruhan, meskipun memerlukan biaya komputasi tambahan untuk inversi DDIM.

Gambar di atas menunjukkan cara kerja pendekatan ISM, dan memberikan gambaran tentang arsitektur kerangka kerja LucidDreamer. Kerangka kerja pertama kali menginisialisasi Gaussian Splatting, yaitu representasi 3D, menggunakan generator text-to-3D pra-terlatih dengan prompt. Kemudian, kerangka kerja diintegrasikan dengan komponen DDPM pra-terlatih untuk mengganggu pandangan acak ke trajeksi laten tidak kondisional yang berisik menggunakan inversi DDIM, dan kemudian memperbarui dengan skor interval. Berkat arsitektur ini, inti dari mengoptimalkan komponen ISM berfokus pada memperbarui representasi 3D ke arah pseudo-Ground Truth yang berkualitas tinggi dan konsisten, namun ramah komputasi. Prinsip ini memungkinkan ISM untuk selaras dengan tujuan dasar pendekatan SDS, sambil memperbaiki metode yang ada.

DDIM Inversi

Kerangka kerja LucidDreamer bertujuan untuk menghasilkan pseudo-Ground Truth yang lebih konsisten dengan representasi 3D. Oleh karena itu, bukan menghasilkan representasi 3D, kerangka kerja LucidDreamer menggunakan pendekatan inversi DDIM untuk memprediksi representasi 3D laten yang berisik, dan memprediksi trajeksi laten yang dapat dibalik secara iteratif. Selain itu, karena sifat dapat dibalik dari inversi DDIM, kerangka kerja LucidDreamer dapat meningkatkan konsistensi pseudo-Ground Truth secara signifikan untuk semua interval waktu.

Pipa Generasi Lanjutan

Kerangka kerja LucidDreamer juga memperkenalkan pipa lanjutan selain ISM untuk menjelajahi faktor-faktor yang mempengaruhi kualitas visual dari generasi text-to-3D, dan memperkenalkan Gaussian Splatting 3D atau 3DGS sebagai model generasi 3D dan model awalan awan titik 3D.

Gaussian Splatting 3D

Karya yang ada telah menunjukkan bahwa meningkatkan ukuran batch dan resolusi rendering untuk pelatihan dapat meningkatkan kualitas visual secara signifikan. Namun, sebagian besar representasi 3D yang dapat dipelajari yang diadopsi untuk generasi text-to-3D memerlukan waktu dan memori yang besar. Di sisi lain, pendekatan Gaussian Splatting 3D memberikan hasil yang efisien dalam optimisasi dan rendering, yang memungkinkan Pipa Generasi Lanjutan dalam kerangka kerja LucidDreamer untuk mencapai ukuran batch yang besar serta rendering resolusi tinggi, bahkan ketika beroperasi dengan sumber daya komputasi yang terbatas.

Inisialisasi

Sebagian besar kerangka kerja generasi text-to-3D yang ada memulai representasi 3D mereka dengan geometri yang terbatas seperti lingkaran, kotak, atau silinder, yang sering menghasilkan output yang tidak diinginkan pada objek yang tidak simetris aksial. Di sisi lain, karena kerangka kerja LucidDreamer memperkenalkan Gaussian Splatting 3D sebagai representasi 3D, kerangka kerja dapat mengadopsi berbagai kerangka generatif text-to-point secara alami untuk menghasilkan inisialisasi kasar dengan input manusia. Strategi inisialisasi ini pada akhirnya meningkatkan kecepatan konvergensi secara signifikan.

LucidDreamer : Eksperimen dan Hasil

Generasi Text-to-3D

Gambar di atas menunjukkan hasil yang dihasilkan oleh model LucidDreamer dengan pendekatan difusi stabil asli, sedangkan gambar berikutnya membahas tentang hasil yang dihasilkan pada titik akhir yang berbeda.

Seperti yang dapat dilihat, kerangka kerja LucidDreamer dapat menghasilkan konten 3D yang sangat konsisten menggunakan teks input dan petunjuk semantik. Selain itu, dengan menggunakan ISM, kerangka kerja LucidDreamer dapat menghasilkan gambar yang lebih realistis dan terperinci, sambil menghindari masalah umum seperti kelebihan saturasi atau penghalusan berlebihan, dan unggul dalam menghasilkan objek umum serta mendukung kreasi kreatif.

Generalisasi ISM

Untuk mengevaluasi generalisasi ISM, perbandingan dilakukan antara ISM dan SDS dalam representasi eksplisit dan implisit, dan hasilnya ditunjukkan dalam gambar berikut.

Perbandingan Kualitatif

Untuk menganalisis efisiensi kualitatif kerangka kerja LucidDreamer, kerangka kerja ini dibandingkan dengan model baseline SoTA saat ini, dan untuk memastikan perbandingan yang adil, kerangka kerja menggunakan kerangka difusi stabil 2.1 untuk distilasi, dan hasilnya ditunjukkan dalam gambar berikut. Seperti yang dapat dilihat, kerangka kerja ini menghasilkan hasil yang berkualitas tinggi dan akurat secara geometris, sambil mengonsumsi sumber daya dan waktu yang lebih sedikit.

Selain itu, untuk memberikan evaluasi yang lebih komprehensif, pengembang juga melakukan studi pengguna. Evaluasi ini memilih 28 prompt dan menggunakan pendekatan generasi text-to-3D yang berbeda pada setiap prompt untuk menghasilkan objek. Hasilnya kemudian diberi peringkat oleh pengguna berdasarkan tingkat kesesuaian dengan prompt input dan fidelitasnya.

LucidDreamer : Aplikasi

Karena kinerja yang luar biasa pada berbagai tugas generasi text-to-3D, kerangka kerja LucidDreamer memiliki beberapa aplikasi potensial, termasuk generasi avatar zero-shot, generasi text-to-3D personalisasi, dan editing 2D dan 3D zero-shot.

Gambar kiri atas menunjukkan potensi LucidDreamer dalam tugas editing 2D dan 3D zero-shot, sedangkan gambar kiri bawah menunjukkan kemampuan kerangka kerja dalam menghasilkan output text-to-3D personalisasi dengan LoRA, sedangkan gambar kanan menunjukkan kemampuan kerangka kerja dalam menghasilkan avatar 3D.

Pemikiran Akhir

Dalam artikel ini, kita telah membahas tentang LucidDreamer, sebuah pendekatan baru yang menggunakan metode Interval Score Matching atau ISM untuk mengatasi masalah penghalusan berlebihan, dan membahas arsitektur model dan kinerjanya melawan kerangka kerja generatif text-to-3D yang ada. Kita juga telah membahas tentang bagaimana SDS atau Score Distillation Sampling, sebuah pendekatan umum yang diimplementasikan dalam sebagian besar model generasi text-to-3D, sering menghasilkan penghalusan berlebihan dari gambar yang dihasilkan, dan bagaimana kerangka kerja LucidDreamer mengatasi masalah ini dengan memperkenalkan pendekatan baru, yaitu ISM atau Interval Score Matching, untuk menghasilkan gambar 3D yang berkualitas tinggi dan lebih realistis. Hasil dan evaluasi menunjukkan efektivitas kerangka kerja LucidDreamer pada berbagai tugas generasi 3D, dan bagaimana kerangka kerja ini sudah mengungguli model generatif 3D yang ada. Kinerja yang luar biasa dari kerangka kerja ini membuka jalan bagi berbagai aplikasi praktis, seperti yang telah dibahas.