Pengembangan model generatif AI yang pesat, terutama model generatif AI dalam, telah secara signifikan meningkatkan kemampuan dalam generasi bahasa alami, generasi 3D, generasi gambar, dan sintesis ucapan. Model-model ini telah merevolusi produksi 3D di berbagai industri. Namun, banyak di antaranya menghadapi tantangan: kabel kompleks dan mesh yang dihasilkan sering tidak kompatibel dengan pipa rendering tradisional seperti Physically Based Rendering (PBR). Model difusi berbasis, terutama tanpa tekstur pencahayaan, menunjukkan generasi aset 3D yang beragam dan impresif, meningkatkan kerangka kerja 3D dalam pembuatan film, permainan, dan AR/VR.

Artikel ini memperkenalkan Paint3D, sebuah kerangka kerja baru untuk menghasilkan peta tekstur UV 2K yang beragam dan berkualitas tinggi untuk mesh 3D yang tidak bertekstur, yang dikondisikan pada input visual atau teks. Tantangan utama Paint3D adalah menghasilkan tekstur berkualitas tinggi tanpa pencahayaan yang tertanam, memungkinkan pengguna untuk mengedit ulang atau memperbarui pencahayaan dalam pipa rendering modern. Ini menggunakan model difusi 2D pra-terlatih untuk fusi tekstur multi-tinjauan, menghasilkan peta tekstur kasar awal. Namun, peta-peta ini sering menunjukkan artefak pencahayaan dan area yang tidak lengkap karena keterbatasan model 2D dalam mematikan efek pencahayaan dan sepenuhnya merepresentasikan bentuk 3D. Kami akan membahas cara kerja Paint3D, arsitektur, dan perbandingannya dengan kerangka kerja generatif dalam lainnya. Mari kita mulai.

Paint3D : Pengenalan

Kemampuan model AI generatif dalam untuk generasi bahasa alami, generasi 3D, dan sintesis gambar sudah diketahui dan diimplementasikan dalam aplikasi nyata, merevolusi industri generasi 3D. Meskipun kemampuan mereka yang luar biasa, kerangka kerja AI generatif modern menghasilkan mesh yang ditandai dengan kabel kompleks dan tekstur pencahayaan yang kacau yang sering tidak kompatibel dengan pipa rendering konvensional termasuk PBR atau Physically based Rendering. Seperti model AI generatif dalam, sintesis tekstur juga telah berkembang pesat, terutama dalam menggunakan model difusi 2D. Model sintesis tekstur menggunakan model difusi pra-terlatih secara efektif untuk menggunakan kondisi teks untuk menghasilkan tekstur berkualitas tinggi. Namun, pendekatan ini menghadapi masalah dengan tekstur yang telah diterangi sebelumnya yang dapat secara signifikan mempengaruhi rendering akhir lingkungan 3D dan memperkenalkan kesalahan pencahayaan ketika cahaya diubah dalam alur kerja yang umum seperti yang ditunjukkan dalam gambar berikut.

Seperti yang dapat dilihat, peta tekstur dengan pencahayaan bebas bekerja secara sinkron dengan pipa rendering tradisional, menghasilkan hasil yang akurat, sedangkan peta tekstur dengan pencahayaan sebelumnya termasuk bayangan yang tidak sesuai ketika relighting diterapkan. Di sisi lain, kerangka kerja generasi tekstur yang dilatih pada data 3D menawarkan pendekatan alternatif di mana kerangka kerja menghasilkan tekstur dengan memahami geometri objek 3D tertentu secara keseluruhan. Meskipun mereka mungkin menghasilkan hasil yang lebih baik, kerangka kerja generasi tekstur yang dilatih pada data 3D kekurangan kemampuan generalisasi yang menghambat kemampuan mereka untuk menerapkan model pada objek 3D di luar data pelatihan mereka.

Model generasi tekstur saat ini menghadapi dua tantangan kritis: menggunakan bimbingan gambar atau prompt yang beragam untuk mencapai tingkat generalisasi yang lebih luas di berbagai objek, dan tantangan kedua adalah penghapusan pencahayaan yang terkait pada hasil yang diperoleh dari pra-pelatihan. Tekstur yang telah diterangi sebelumnya dapat secara potensial mengganggu hasil akhir dari objek yang dihasilkan dalam mesin rendering, dan karena model difusi 2D pra-terlatih hanya menyediakan hasil 2D dalam domain tinjauan, mereka kekurangan pemahaman yang komprehensif tentang bentuk yang menyebabkan mereka tidak dapat mempertahankan konsistensi tinjauan untuk objek 3D.

Oleh karena tantangan di atas, kerangka kerja Paint3D berusaha untuk mengembangkan model difusi tekstur dual-tahap untuk objek 3D yang menggeneralisasi pada model generatif pra-terlatih yang berbeda dan mempertahankan konsistensi tinjauan sambil mempelajari generasi tekstur tanpa pencahayaan.

Paint3D adalah model generasi tekstur dual-tahap dari kasar ke halus yang bertujuan untuk memanfaatkan bimbingan prompt yang kuat dan kemampuan generasi gambar dari model AI generatif pra-terlatih untuk menghasilkan tekstur pada objek 3D. Pada tahap pertama, kerangka kerja Paint3D pertama-tama mengambil sampel gambar multi-tinjauan dari model difusi gambar 2D pra-terlatih secara progresif untuk memungkinkan generalisasi hasil tekstur berkualitas tinggi dan kaya dari prompt yang beragam. Model kemudian menghasilkan peta tekstur awal dengan memproyeksikan kembali gambar-gambar tersebut ke permukaan mesh 3D. Pada tahap kedua, model tersebut berfokus pada menghasilkan tekstur tanpa pencahayaan dengan menerapkan pendekatan yang digunakan oleh model difusi yang berspesialisasi dalam penghapusan pengaruh pencahayaan dan pemurnian bentuk yang tidak lengkap. Sepanjang prosesnya, kerangka kerja Paint3D secara konsisten dapat menghasilkan tekstur 2K berkualitas tinggi secara semantik dan menghilangkan efek pencahayaan intrinsik.

Untuk merangkum, Paint3D adalah model AI generatif dual-tahap yang bertujuan untuk menghasilkan peta tekstur UV 2K yang beragam, tanpa pencahayaan, dan berkualitas tinggi untuk mesh 3D yang tidak bertekstur untuk mencapai kinerja yang luar biasa dalam peneksturan objek 3D dengan input kondisional yang berbeda, termasuk teks dan gambar, dan menawarkan keuntungan signifikan untuk tugas sintesis dan editing grafis.

Metodologi dan Arsitektur

Kerangka kerja Paint3D menghasilkan dan memperbarui peta tekstur secara progresif untuk menghasilkan peta tekstur yang beragam dan berkualitas tinggi untuk model 3D menggunakan input kondisional yang diinginkan, termasuk gambar dan prompt, seperti yang ditunjukkan dalam gambar berikut.

Pada tahap kasar, model Paint3D menggunakan model difusi gambar 2D pra-terlatih untuk mengambil sampel gambar multi-tinjauan, dan kemudian membuat peta tekstur awal dengan memproyeksikan kembali gambar-gambar tersebut ke permukaan mesh. Pada tahap kedua, yaitu tahap pemurnian, model Paint3D menggunakan proses difusi dalam ruang UV untuk memperbarui peta tekstur kasar, sehingga mencapai kualitas yang tinggi, inpainting, dan fungsi tanpa pencahayaan yang memastikan daya tarik visual dan kelengkapan tekstur akhir.

Tahap 1: Generasi Tekstur Kasar Progresif

Pada tahap generasi tekstur kasar progresif, model Paint3D menghasilkan peta tekstur UV kasar untuk mesh 3D yang menggunakan model difusi 2D pra-terlatih yang sadar kedalaman. Lebih spesifik, model tersebut pertama-tama menggunakan berbagai tinjauan kamera untuk merender peta kedalaman, kemudian menggunakan kondisi kedalaman untuk mengambil sampel gambar dari model difusi gambar, dan kemudian memproyeksikan kembali gambar-gambar tersebut ke permukaan mesh. Kerangka kerja melakukan rendering, sampling, dan proyeksi kembali secara bergantian untuk meningkatkan konsistensi tekstur mesh, yang pada akhirnya membantu dalam generasi progresif peta tekstur.

Model tersebut memulai generasi tekstur daerah yang terlihat dengan tinjauan kamera yang fokus pada mesh 3D, dan merender mesh 3D ke peta kedalaman dari tinjauan pertama. Model kemudian mengambil sampel gambar tekstur untuk kondisi penampilan dan kondisi kedalaman. Model kemudian memproyeksikan kembali gambar tersebut ke mesh 3D. Untuk tinjauan, model Paint3D menjalankan pendekatan yang sama tetapi dengan sedikit perubahan dengan melakukan proses sampling tekstur menggunakan pendekatan pengecatan gambar. Selain itu, model tersebut mengambil tekstur daerah dari tinjauan sebelumnya, memungkinkan proses rendering untuk tidak hanya menghasilkan gambar kedalaman, tetapi juga gambar RGB yang sebagian berwarna dengan masker yang tidak berwarna dalam tinjauan saat ini.

Model kemudian menggunakan model inpainting gambar yang sadar kedalaman dengan encoder inpainting untuk mengisi area yang tidak berwarna dalam gambar RGB. Model kemudian menghasilkan peta tekstur dari tinjauan dengan memproyeksikan kembali gambar yang diisi ke mesh 3D di bawah tinjauan saat ini, memungkinkan model untuk menghasilkan peta tekstur secara progresif dan mencapai struktur peta kasar secara keseluruhan. Akhirnya, model tersebut memperluas proses sampling tekstur ke adegan atau objek dengan beberapa tinjauan. Lebih spesifik, model tersebut menggunakan pasangan kamera untuk mengambil dua peta kedalaman selama sampling tekstur awal dari tinjauan simetris. Model kemudian menggabungkan dua peta kedalaman dan mengkomposisikan grid kedalaman. Model menggantikan gambar kedalaman tunggal dengan grid kedalaman untuk melakukan sampling tekstur yang sadar kedalaman multi-tinjauan.

Tahap 2: Pemurnian Tekstur dalam Ruang UV

Meskipun penampilan peta tekstur kasar masuk akal, itu masih menghadapi beberapa tantangan seperti lubang tekstur yang disebabkan oleh self-occlusion atau bayangan pencahayaan selama proses rendering karena keterlibatan model difusi gambar 2D. Model Paint3D berusaha untuk melakukan proses difusi dalam ruang UV berdasarkan peta tekstur kasar, mencoba untuk memitigasi masalah dan meningkatkan daya tarik visual peta tekstur lebih lanjut selama pemurnian tekstur. Namun, memurnikan model difusi gambar mainstream dengan peta tekstur dalam ruang UV memperkenalkan diskontinuitas tekstur karena peta tekstur dihasilkan oleh pemetaan UV dari tekstur permukaan 3D yang memotong tekstur kontinu menjadi serangkaian fragmen individual dalam ruang UV. Akibatnya, model tersebut menemukan bahwa belajar hubungan kedekatan 3D antara fragmen-fragmen tersebut sulit, yang menyebabkan masalah diskontinuitas tekstur.

Model tersebut memperbarui peta tekstur dalam ruang UV dengan melakukan proses difusi di bawah bimbingan informasi kedekatan fragmen tekstur. Penting untuk dicatat bahwa dalam ruang UV, peta posisi merepresentasikan informasi kedekatan 3D dari fragmen tekstur, dengan model tersebut memperlakukan setiap elemen non-latar belakang sebagai koordinat titik 3D. Selama proses difusi, model tersebut menggabungkan informasi kedekatan 3D dengan menambahkan encoder peta posisi individual ke model difusi gambar pra-terlatih. Encoder baru tersebut menyerupai desain kerangka kerja ControlNet dan memiliki arsitektur yang sama dengan encoder yang diimplementasikan dalam model difusi gambar dengan lapisan konvolusi nol yang menghubungkan keduanya. Selain itu, model difusi tekstur tersebut dilatih pada dataset yang terdiri dari peta tekstur dan peta posisi, dan model tersebut belajar untuk memprediksi noise yang ditambahkan ke latensi bising. Model kemudian mengoptimalkan encoder posisi dan membekukan denoiser yang dilatih untuk tugas difusi gambar.

Model kemudian menggunakan posisi encoder kondisional dan encoder lainnya secara bersamaan untuk melakukan tugas pemurnian dalam ruang UV. Dalam hal ini, model tersebut memiliki dua kemampuan pemurnian: UVHD atau UV High Definition dan UV inpainting. Metode UVHD dirancang untuk meningkatkan daya tarik visual dan estetika peta tekstur. Untuk mencapai UVHD, model tersebut menggunakan encoder pemurnian gambar dan encoder posisi dengan model difusi. Model tersebut menggunakan metode UV inpainting untuk mengisi lubang tekstur dalam bidang UV yang dapat menghindari masalah self-occlusion yang dihasilkan selama rendering. Pada tahap pemurnian, model Paint3D pertama-tama melakukan UV inpainting dan kemudian melakukan UVHD untuk menghasilkan peta tekstur yang diperbarui secara final. Dengan mengintegrasikan kedua metode pemurnian, kerangka kerja Paint3D dapat menghasilkan peta tekstur UV yang lengkap, beragam, berkualitas tinggi, dan tanpa pencahayaan.

Paint3D : Eksperimen dan Hasil

Model Paint3D menggunakan model teks-ke-gambar Stable Diffusion untuk membantu tugas generasi tekstur, sementara itu menggunakan komponen encoder gambar untuk menangani kondisi gambar. Untuk lebih meningkatkan cengkeramannya pada kontrol kondisional seperti inpainting gambar, kedalaman, dan definisi tinggi gambar, kerangka kerja Paint3D menggunakan encoder domain ControlNet. Model tersebut diimplementasikan pada kerangka kerja PyTorch dengan rendering dan proyeksi tekstur diimplementasikan pada Kaolin.

Perbandingan Teks ke Tekstur

Untuk menganalisis kinerjanya, kita mulai dengan mengevaluasi efek generasi tekstur Paint3D ketika dikondisikan menggunakan prompt teks, dan membandingkannya dengan kerangka kerja yang ada, termasuk Text2Tex, TEXTure, dan LatentPaint. Seperti yang dapat dilihat dalam gambar berikut, kerangka kerja Paint3D tidak hanya unggul dalam menghasilkan detail tekstur berkualitas tinggi, tetapi juga mensintesis peta tekstur tanpa pencahayaan dengan cukup baik.

Dalam perbandingan, kerangka kerja Latent-Paint cenderung menghasilkan tekstur yang buram, yang menghasilkan efek visual yang suboptimal. Di sisi lain, meskipun kerangka kerja TEXTure menghasilkan tekstur yang jelas, itu kekurangan kehalusan dan menunjukkan pemotongan dan sambungan yang terlihat. Akhirnya, kerangka kerja Text2Tex menghasilkan tekstur yang halus dengan sangat baik, tetapi gagal mereplikasi kinerja untuk menghasilkan tekstur halus dengan detail yang rumit.

Gambar berikut membandingkan kerangka kerja Paint3D dengan kerangka kerja yang ada secara kuantitatif.

Seperti yang dapat dilihat, kerangka kerja Paint3D mengungguli semua model yang ada, dan dengan margin yang signifikan dengan perbaikan sekitar 30% dalam baseline FID dan sekitar 40% dalam baseline KID. Perbaikan dalam skor baseline FID dan KID menunjukkan kemampuan Paint3D untuk menghasilkan tekstur berkualitas tinggi di berbagai objek dan kategori.

Perbandingan Gambar ke Tekstur

Untuk menghasilkan kemampuan generatif Paint3D menggunakan prompt visual, kita menggunakan model TEXTure sebagai baseline. Seperti yang disebutkan sebelumnya, model Paint3D menggunakan encoder gambar yang berasal dari model teks-ke-gambar Stable Diffusion. Seperti yang dapat dilihat dalam gambar berikut, kerangka kerja Paint3D mensintesis tekstur yang sangat baik, dan masih dapat mempertahankan fidelitas yang tinggi terhadap kondisi gambar.

Di sisi lain, kerangka kerja TEXTure dapat menghasilkan tekstur yang serupa dengan Paint3D, tetapi gagal merepresentasikan detail tekstur dalam kondisi gambar secara akurat. Selain itu, seperti yang ditunjukkan dalam gambar berikut, kerangka kerja Paint3D menghasilkan skor baseline FID dan KID yang lebih baik daripada kerangka kerja TEXTure, dengan yang pertama menurun dari 40,83 menjadi 26,86, sedangkan yang terakhir menunjukkan penurunan dari 9,76 menjadi 4,94.

Pemikiran Akhir

Dalam artikel ini, kita telah membahas tentang Paint3D, sebuah kerangka kerja baru yang dapat menghasilkan peta tekstur UV 2K yang beragam, tanpa pencahayaan, dan berkualitas tinggi untuk mesh 3D yang tidak bertekstur, yang dikondisikan pada input visual atau teks. Sorotan utama kerangka kerja Paint3D adalah bahwa itu dapat menghasilkan tekstur tanpa pencahayaan yang berkualitas tinggi dan konsisten secara semantik tanpa dikondisikan pada input gambar atau teks. Berkat pendekatannya yang kasar-ke-halus, kerangka kerja Paint3D menghasilkan tekstur tanpa pencahayaan, beragam, dan berkualitas tinggi, dan mengungguli kinerja kerangka kerja yang ada.