Model Diffusi eDiffi NVIDIA Memungkinkan ‘Menggambar Dengan Kata-Kata’ dan Lebih

Mencoba membuat komposisi yang presisi dengan model gambar generatif difusi laten seperti Stable Diffusion dapat seperti menggembalakan kucing; kekuatan imajinatif dan interpretatif yang sama yang memungkinkan sistem untuk menciptakan detail luar biasa dan memanggil gambar luar biasa dari prompt teks sederhana juga sulit untuk dimatikan ketika Anda mencari kontrol level Photoshop atas generasi gambar.

Sekarang, pendekatan baru dari penelitian NVIDIA, yang berjudul ensemble difusi untuk gambar (eDiffi), menggunakan campuran dari beberapa metode embedding dan interpretatif (bukan metode yang sama sepanjang pipeline) untuk memungkinkan tingkat kontrol yang jauh lebih besar atas konten yang dihasilkan. Dalam contoh di bawah, kita melihat pengguna menggambar elemen di mana setiap warna mewakili satu kata dari prompt teks:

‘Menggambar dengan kata-kata’ adalah salah satu dari dua kemampuan baru di model difusi eDiffi NVIDIA. Setiap warna yang dioleskan mewakili satu kata dari prompt (lihat mereka muncul di sebelah kiri selama generasi), dan warna area yang diterapkan akan terdiri hanya dari elemen tersebut. Lihat video resmi (resmi) untuk contoh lebih lanjut dan resolusi yang lebih baik di https://www.youtube.com/watch?v=k6cOx9YjHJc

Secara efektif ini adalah ‘menggambar dengan masker’, dan membalik paradigma inpainting di Stable Diffusion, yang berdasar pada memperbaiki gambar yang rusak atau tidak memuaskan, atau memperluas gambar yang bisa saja memiliki ukuran yang diinginkan dari awal.

Di sini, sebaliknya, margin dari cat yang dioleskan mewakili batas-batas yang diizinkan dari satu elemen unik dari satu konsep, memungkinkan pengguna untuk menetapkan ukuran kanvas akhir dari awal, dan kemudian menambahkan elemen-elemen secara terpisah.

Contoh dari makalah baru. Sumber: https://arxiv.org/pdf/2211.01324.pdf

Metode yang beragam yang digunakan dalam eDiffi juga berarti bahwa sistem melakukan pekerjaan yang jauh lebih baik dalam memasukkan setiap elemen dalam prompt yang panjang dan terperinci, sedangkan Stable Diffusion dan OpenAI’s DALL-E 2 cenderung untuk memprioritaskan bagian-bagian tertentu dari prompt, tergantung pada seberapa awal kata-kata target muncul dalam prompt, atau pada faktor-faktor lain, seperti potensi kesulitan dalam memisahkan elemen-elemen yang diperlukan untuk komposisi yang lengkap dan komprehensif (dengan respect kepada teks-prompt):

Dari makalah: eDiffi dapat mengulangi lebih menyeluruh melalui prompt sampai jumlah maksimum elemen yang dapat dihasilkan. Meskipun hasil yang diperbaiki untuk eDiffi (kolom paling kanan) dipilih, demikian juga gambar perbandingan dari Stable Diffusion dan DALL-E 2.

Tambahan lagi, penggunaan encoder teks-ke-teks T5 yang didedikasikan berarti bahwa eDiffi dapat menghasilkan teks Inggris yang dapat dipahami, baik secara abstrak diminta dari prompt (yaitu gambar berisi beberapa teks dari [x]) atau secara eksplisit diminta (yaitu kemeja itu bertuliskan ‘Nvidia Rocks’):

Pengolahan teks-ke-teks yang didedikasikan dalam eDiffi berarti bahwa teks dapat dihasilkan secara verbatim dalam gambar, bukan hanya dijalankan melalui lapisan interpretatif teks-ke-gambar yang menghasilkan output yang rusak.

Sebuah tambahan lain dari kerangka baru ini adalah bahwa juga memungkinkan untuk menyediakan sebuah gambar tunggal sebagai prompt gaya, bukan perlu melatih model DreamBooth atau embedding teks pada beberapa contoh dari genre atau gaya.

Pengalihan gaya dapat diterapkan dari gambar referensi ke prompt teks-ke-gambar, atau bahkan prompt gambar-ke-gambar.

Makalah baru ini berjudul eDiffi: Model Difusi Teks-ke-Gambar dengan Ensemble Expert Denoisers, dan

Encoder Teks T5

Penggunaan Google’s Teks-ke-Teks Transfer Transformer (T5) adalah elemen kunci dalam hasil yang diperbaiki yang ditunjukkan dalam eDiffi. Pipa difusi laten rata-rata berpusat pada asosiasi antara gambar yang dilatih dan keterangan yang menyertainya ketika mereka diambil dari internet (atau disesuaikan secara manual kemudian, meskipun ini adalah intervensi yang mahal dan oleh karena itu jarang terjadi).

Dari makalah Juli 2020 untuk T5 – transformasi berbasis teks, yang dapat membantu alur kerja gambar generatif di eDiffi (dan, potensial, model difusi laten lainnya). Sumber: https://arxiv.org/pdf/1910.10683.pdf

Dengan mengubah teks sumber dan menjalankan modul T5, asosiasi dan representasi yang lebih akurat dapat diperoleh daripada yang dilatih ke dalam model aslinya, hampir seperti post facto pelabelan manual, dengan spesifisitas dan aplikabilitas yang lebih besar terhadap ketentuan prompt teks yang diminta.

Para penulis menjelaskan:

‘Dalam sebagian besar karya yang ada tentang model difusi, model denoising dibagikan di seluruh tingkat kebisingan, dan dinamika temporal diwakili menggunakan embedding waktu sederhana yang diberikan ke model denoising melalui jaringan MLP. Kami berpendapat bahwa dinamika temporal kompleks dari difusi denoising mungkin tidak dipelajari dari data secara efektif menggunakan model yang dibagikan dengan kapasitas terbatas.

‘Sebaliknya, kami mengusulkan untuk meningkatkan kapasitas model denoising dengan memperkenalkan ensemble expert denoisers; setiap expert denoiser adalah model denoising yang dikhususkan untuk rentang kebisingan tertentu. Dengan cara ini, kami dapat meningkatkan kapasitas model tanpa memperlambat sampling karena kompleksitas komputasi evaluasi [elemen yang diproses] pada setiap tingkat kebisingan tetap sama.’

Arsitektur konseptual untuk eDiffi.

Modul encoding CLIP yang ada dalam DALL-E 2 dan Stable Diffusion juga dapat menemukan interpretasi gambar alternatif untuk teks yang terkait dengan input pengguna. Namun, mereka dilatih pada informasi yang sama dengan model aslinya, dan tidak digunakan sebagai lapisan interpretatif terpisah dalam cara yang T5 digunakan dalam eDiffi.

Para penulis menyatakan bahwa eDiffi adalah pertama kalinya bahwa baik T5 dan encoder CLIP telah digabungkan ke dalam satu pipa:

’Karena kedua encoder ini dilatih dengan tujuan yang berbeda, embedding mereka mendukung pembentukan gambar yang berbeda dengan input teks yang sama. Sementara embedding teks CLIP membantu menentukan tampilan global dari gambar yang dihasilkan, outputnya cenderung melewatkan detail halus dalam teks.

‘Sebaliknya, gambar yang dihasilkan dengan embedding teks T5 saja lebih baik mencerminkan objek individu yang dijelaskan dalam teks, tetapi tampilan globalnya kurang akurat. Menggunakan keduanya bersama-sama menghasilkan hasil generasi gambar terbaik dalam model kami.’

Mengganggu dan Meningkatkan Proses Difusi

Makalah tersebut mencatat bahwa model difusi laten biasa akan memulai perjalanan dari kebisingan murni ke gambar dengan bergantung sepenuhnya pada teks pada tahap awal generasi.

Ketika kebisingan berubah menjadi tata letak kasar yang mewakili deskripsi dalam prompt teks, aspek teks-pandu dari proses secara efektif menghilang, dan sisa proses bergeser ke arah meningkatkan fitur visual.

Hal ini berarti bahwa setiap elemen yang tidak terpecahkan pada tahap awal interpretasi kebisingan teks-pandu sulit untuk disuntikkan ke dalam gambar kemudian, karena dua proses (teks-ke-tata letak, dan tata letak-ke-gambar) memiliki sedikit tumpang tindih, dan tata letak dasar sudah cukup terjalin ketika tiba di proses peningkatan gambar.

Dari makalah: peta perhatian dari berbagai bagian pipa saat proses kebisingan-ke-gambar matang. Kami dapat melihat penurunan tajam pengaruh CLIP pada gambar di baris bawah, sementara T5 terus mempengaruhi gambar jauh lebih jauh ke dalam proses rendering.

Potensi Profesional

Contoh-contoh di halaman proyek dan video YouTube berfokus pada generasi gambar yang menghibur dan lucu. Seperti biasa, penelitian NVIDIA memainkan potensi inovasi terbaru mereka untuk meningkatkan alur kerja fotorealistik atau VFX, serta potensi mereka untuk perbaikan gambar deepfake dan video.

Dalam contoh-contoh, pengguna pemula atau amatir menggoreskan garis-garis kasar untuk penempatan elemen tertentu, sedangkan dalam alur kerja VFX yang lebih sistematis, eDiffi dapat digunakan untuk menafsirkan beberapa frame dari elemen video menggunakan teks-ke-gambar, di mana garis-garis tersebut sangat presisi dan didasarkan pada, misalnya, figur di mana latar belakang telah dihapus melalui layar hijau atau metode algoritmik.

Runway ML sudah menyediakan rotoskoping berbasis AI. Dalam contoh ini, ‘layar hijau’ di sekitar subjek mewakili lapisan alfa, sementara ekstraksi telah dilakukan melalui pembelajaran mesin daripada penghapusan algoritmik latar belakang layar hijau yang sebenarnya. Sumber: https://twitter.com/runwayml/status/1330978385028374529

Dengan menggunakan karakter DreamBooth yang dilatih dan pipa gambar-ke-gambar dengan eDiffi, memungkinkan untuk memulai menetapkan salah satu masalah yang paling menyebalkan dari setiap model difusi laten: stabilitas temporal. Dalam kasus seperti itu, baik margin dari gambar yang diterapkan dan isi gambar akan ‘mengapung’ terhadap kanvas pengguna, dengan kontinuitas temporal dari konten yang dihasilkan (yaitu mengubah praktisi Tai Chi dunia nyata menjadi robot) disediakan oleh penggunaan model DreamBooth yang dikunci yang telah ‘mengingat’ data pelatihannya – buruk untuk interpretabilitas, hebat untuk reproduktivitas, fidelitas, dan kontinuitas.

Metode, Data, dan Pengujian

Makalah tersebut menyatakan bahwa model eDiffi dilatih pada ‘koleksi dataset publik dan propietary’, yang telah disaring secara berat oleh model CLIP yang telah dilatih sebelumnya, untuk menghapus gambar yang kemungkinan akan menurunkan skor estetika umum dari output. Set dataset gambar akhir yang telah disaring terdiri dari ‘sekitar satu miliar’ pasangan teks-gambar. Ukuran gambar yang dilatih digambarkan sebagai dengan ‘sisi terpendek lebih besar dari 64 piksel’.

Beberapa model telah dilatih untuk proses ini, dengan baik model dasar dan model super-resolusi dilatih pada optimizer AdamW dengan tingkat pembelajaran 0,0001, dengan penurunan berat 0,01, dan pada batch size yang sangat besar 2048.

Model dasar dilatih pada 256 GPU A100 NVIDIA, dan dua model super-resolusi pada 128 GPU A100 GPU untuk setiap model.

Sistem ini didasarkan pada perpustakaan PyTorch Imaginaire milik NVIDIA. Dataset COCO dan Visual Genome digunakan untuk evaluasi, meskipun tidak termasuk dalam model akhir, dengan MS-COCO sebagai varian yang digunakan untuk pengujian. Sistem yang bersaing yang diuji adalah GLIDE, Make-A-Scene, DALL-E 2, Stable Diffusion, dan dua sistem sintesis gambar Google, Imagen dan Parti.

Sesuai dengan karya sebelumnya, FID-30K nol-shot digunakan sebagai metrik evaluasi. Di bawah FID-30K, 30.000 caption diambil secara acak dari set validasi COCO (yaitu tidak gambar atau teks yang digunakan dalam pelatihan), yang kemudian digunakan sebagai prompt teks untuk mensintesis gambar.

Jarak Frechet Inception (FID) antara gambar yang dihasilkan dan gambar ground truth kemudian dihitung, serta merekam skor CLIP untuk gambar yang dihasilkan.

Hasil dari pengujian FID nol-shot terhadap pendekatan state-of-the-art saat ini pada dataset validasi COCO 2014, dengan hasil yang lebih rendah lebih baik.

Dalam hasil, eDiffi dapat memperoleh skor terendah (terbaik) pada FID nol-shot bahkan melawan sistem dengan jumlah parameter yang jauh lebih tinggi, seperti 20 miliar parameter Parti, dibandingkan dengan 9,1 miliar parameter dalam model eDiffi yang paling tinggi yang dilatih untuk pengujian.

Kesimpulan

eDiffi NVIDIA merupakan alternatif yang disambut untuk tidak hanya menambahkan jumlah data dan kompleksitas yang lebih besar ke sistem yang ada, tetapi menggunakan pendekatan yang lebih cerdas dan berlapis untuk beberapa hambatan yang paling sulit terkait dengan keterjalinan dan non-editabilitas dalam sistem gambar generatif difusi laten.

Sudah ada diskusi di subreddit dan Discord Stable Diffusion tentang baik langsung menggabungkan kode yang mungkin tersedia untuk eDiffi, atau mere-staging prinsip-prinsip di baliknya dalam implementasi terpisah. Pipa baru ini, bagaimanapun, sangat berbeda, sehingga akan merupakan perubahan versi yang lengkap untuk SD, membuang beberapa kompatibilitas mundur, meskipun menawarkan kemungkinan kontrol yang jauh lebih baik atas gambar yang dihasilkan, tanpa mengorbankan kekuatan imajinatif yang menarik dari difusi laten.

Dipublikasikan pertama kali pada 3 November 2022.