Meningkatkan Pembuatan Layar Hijau untuk Difusi Stabil

Meskipun antusiasme masyarakat dan investor di sekitar AI generatif visual, output dari sistem tersebut tidak selalu siap untuk penggunaan dunia nyata; salah satu contoh adalah bahwa sistem AI generatif cenderung menghasilkan gambar lengkap (atau serangkaian gambar, dalam kasus video), bukan elemen individual yang terisolasi yang biasanya diperlukan untuk berbagai aplikasi di multimedia, dan untuk praktisi efek visual.

Contoh sederhana dari ini adalah klip-klip seni yang dirancang untuk ‘mengapung’ di atas latar belakang target yang dipilih pengguna:

Latar belakang abu-abu bergaris, mungkin paling familiar bagi pengguna Photoshop, telah menjadi simbol dari kanal alfa, atau kanal transparansi, bahkan dalam barang-barang konsumen sederhana seperti gambar stok.

Transparansi seperti ini telah tersedia selama lebih dari tiga puluh tahun; sejak revolusi digital awal 1990-an, pengguna telah dapat mengekstrak elemen dari video dan gambar melalui serangkaian alat dan teknik yang semakin canggih.

Sebagai contoh, tantangan ‘menghilangkan’ latar belakang biru dan hijau dalam footage video, yang dulunya merupakan domain proses kimia yang mahal dan pencetak optik (serta mattes buatan tangan), menjadi pekerjaan beberapa menit dalam sistem seperti Adobe’s After Effects dan aplikasi Photoshop (di antara banyak program dan sistem lainnya).

Sekali elemen telah diisolasi, kanal alfa (secara efektif masker yang menutupi konten yang tidak relevan) memungkinkan setiap elemen dalam video untuk dengan mudah disuperposisikan di atas latar belakang baru, atau dikomposisikan dengan elemen lain yang terisolasi.

Contoh kanal alfa, dengan efeknya digambarkan pada baris bawah. Sumber: https://helpx.adobe.com/photoshop/using/saving-selections-alpha-channel-masks.html

Menghilangkan

Dalam penglihatan komputer, penciptaan kanal alfa jatuh dalam cakupan segmentasi semantik, dengan proyek sumber terbuka seperti Meta’s Segment Anything menyediakan metode yang dapat dipicu oleh teks untuk mengisolasi/mengekstrak objek target, melalui pengenalan objek yang ditingkatkan secara semantik.

Framework Segment Anything telah digunakan dalam berbagai alur kerja ekstraksi dan isolasi efek visual, seperti Proyek Alpha-CLIP.

Contoh ekstraksi menggunakan Segment Anything, dalam framework Alpha-CLIP: Sumber: https://arxiv.org/pdf/2312.03818

Ada banyak metode alternatif segmentasi semantik yang dapat disesuaikan untuk tugas penugasan kanal alfa.

Namun, segmentasi semantik bergantung pada data pelatihan yang mungkin tidak mengandung semua kategori objek yang diperlukan untuk diekstrak. Meskipun model yang dilatih pada volume data yang sangat tinggi dapat memungkinkan pengenalan objek yang lebih luas (secara efektif menjadi model dasar, atau model dunia), mereka tetap terbatas oleh kelas yang mereka latih untuk dikenali secara efektif.

Sistem segmentasi semantik seperti Segment Anything dapat bergelut untuk mengidentifikasi objek tertentu, atau bagian dari objek, seperti yang ditunjukkan di sini dalam output dari prompt yang ambigu. Sumber: https://maucher.pages.mi.hdm-stuttgart.de/orbook/deeplearning/SAM.html

Dalam hal apapun, segmentasi semantik sama sekali merupakan proses post facto seperti proses layar hijau, dan harus mengisolasi elemen tanpa keuntungan dari satu swathe warna latar belakang yang dapat dikenali dan dihilangkan.

Untuk alasan ini, telah terjadi pada komunitas pengguna bahwa gambar dan video dapat dihasilkan yang sebenarnya mengandung latar belakang layar hijau yang dapat dihilangkan secara instan melalui metode konvensional.

Sayangnya, model difusi laten populer seperti Stable Diffusion sering memiliki kesulitan dalam menghasilkan layar hijau yang sangat hidup. Ini karena data pelatihan model tidak biasanya mengandung banyak contoh skenario yang cukup khusus ini. Bahkan ketika sistem berhasil, konsep ‘hijau’ cenderung menyebar ke subjek latar depan, karena entanglement konsep:

Di atas, kita lihat bahwa Stable Diffusion telah memprioritaskan otentisitas gambar atas kebutuhan untuk menciptakan intensitas hijau tunggal, secara efektif mereplikasi masalah dunia nyata yang terjadi dalam skenario layar hijau tradisional. Di bawah, kita lihat bahwa konsep ‘hijau’ telah mencemari gambar latar depan. Semakin prompt fokus pada konsep ‘hijau’, masalah ini kemungkinan akan semakin parah. Sumber: https://stablediffusionweb.com/

Meskipun metode yang canggih digunakan, baik gaun wanita dan dasi pria (pada gambar bawah yang terlihat di atas) cenderung ‘menghilang’ bersama dengan latar belakang hijau – masalah yang kembali* ke hari-hari penghapusan pewarnaan foto kimia pada 1970-an dan 1980-an.

Bagaimanapun, kelemahan model dapat diatasi dengan melemparkan data spesifik ke masalah, dan memperuntukkan sumber daya pelatihan yang cukup. Sistem seperti Stanford’s 2024 LayerDiffuse menciptakan model fine-tuned yang mampu menghasilkan gambar dengan kanal alfa:

Proyek LayerDiffuse Stanford dilatih pada satu juta gambar yang sesuai untuk memberikan model kemampuan transparansi. Sumber: https://arxiv.org/pdf/2402.17113

Sayangnya, selain sumber daya kurasi dan pelatihan yang cukup yang diperlukan untuk pendekatan ini, dataset yang digunakan untuk LayerDiffuse tidak tersedia secara publik, membatasi penggunaan model yang dilatih di atasnya. Bahkan jika hambatan ini tidak ada, pendekatan ini sulit untuk disesuaikan atau dikembangkan untuk kasus penggunaan tertentu.

Sedikit kemudian pada 2024, Adobe Research berkolaborasi dengan Stonybrook University untuk menghasilkan MAGICK, sebuah pendekatan ekstraksi AI yang dilatih pada gambar difusi buatan.

Dari makalah 2024, contoh ekstraksi kanal alfa halus dalam MAGICK. Sumber: https://openaccess.thecvf.com/content/CVPR2024/papers/Burgert_MAGICK_A_Large-scale_Captioned_Dataset_from_Matting_Generated_Images_using_CVPR_2024_paper.pdf

150.000 objek yang diekstrak, dihasilkan AI, digunakan untuk melatih MAGICK, sehingga sistem dapat mengembangkan pemahaman intuitif tentang ekstraksi:

Contoh dari dataset pelatihan MAGICK.

Dataset ini, seperti yang dinyatakan dalam makalah sumber, sangat sulit untuk dihasilkan karena alasan yang disebutkan sebelumnya – bahwa metode difusi memiliki kesulitan dalam menciptakan swathe warna yang padat. Oleh karena itu, seleksi manual dari matte yang dihasilkan diperlukan.

Hambatan logistik ini sekali lagi mengarah pada sistem yang tidak dapat dengan mudah dikembangkan atau disesuaikan, tetapi harus digunakan dalam jangkauan kemampuan awalnya.

TKG-DM – ‘Asli’ Ekstraksi Chroma untuk Model Difusi Laten

Kolaborasi baru antara peneliti Jerman dan Jepang telah mengusulkan alternatif untuk metode yang dilatih, yang mampu – seperti yang dinyatakan dalam makalah – untuk mendapatkan hasil yang lebih baik daripada metode yang disebutkan sebelumnya, tanpa kebutuhan untuk dilatih pada dataset yang dikurasi secara khusus.

TKG-DM mengubah kebisingan acak yang memicu gambar generatif sehingga lebih mampu menghasilkan latar belakang yang solid dan dapat diakses – dalam warna apa pun. Sumber: https://arxiv.org/pdf/2411.15580

Pendekatan baru ini mendekati masalah pada tingkat generasi, dengan mengoptimalkan kebisingan acak dari mana gambar dihasilkan dalam model difusi laten (LDM) seperti Stable Diffusion.

Pendekatan ini membangun pada penyelidikan sebelumnya ke dalam skema warna dari distribusi Stable Diffusion, dan mampu menghasilkan warna latar belakang dari jenis apa pun, dengan entanglement yang lebih sedikit (atau tidak ada) dari warna latar belakang ke konten latar depan, dibandingkan dengan metode lain.

Kebisingan awal dikondisikan oleh pergeseran rata-rata kanal yang dapat mempengaruhi aspek proses denoising, tanpa mengentangkan sinyal warna ke konten latar depan.

Makalah tersebut menyatakan:

‘Eksperimen kami yang luas menunjukkan bahwa TKG-DM meningkatkan skor FID dan mask-FID sebesar 33,7% dan 35,9%, masing-masing.

‘Dengan demikian, model pelatihan-bebas kami setara dengan model yang dilatih, menawarkan solusi yang efisien dan serbaguna untuk berbagai tugas pembuatan konten visual yang memerlukan kontrol latar depan dan latar belakang yang presisi. ‘

Makalah baru ini berjudul TKG-DM: Model Difusi Konten Kunci Chroma Bebas Pelatihan, dan berasal dari tujuh peneliti di Hosei University di Tokyo dan RPTU Kaiserslautern-Landau & DFKI GmbH, di Kaiserslautern.

Metode

Pendekatan baru ini memperluas arsitektur Stable Diffusion dengan mengkondisikan kebisingan Gaussian awal melalui pergeseran rata-rata kanal (CMS), yang menghasilkan pola kebisingan yang dirancang untuk mendorong pemisahan latar belakang/depan yang diinginkan dalam hasil yang dihasilkan.

Skema untuk sistem yang diusulkan.

CMS menyesuaikan rata-rata setiap kanal warna sambil mempertahankan perkembangan proses denoising.

Para penulis menjelaskan:

‘Untuk menghasilkan objek latar depan pada latar belakang kunci chroma, kami menerapkan strategi seleksi kebisingan awal yang menggabungkan kebisingan awal dan kebisingan warna awal menggunakan masker Gaussian 2D.

‘Masker ini menciptakan transisi yang bertahap dengan mempertahankan kebisingan asli di wilayah latar depan dan menerapkan kebisingan yang bergeser warna ke wilayah latar belakang.’

Kanal warna yang diinginkan untuk warna chroma latar belakang diinstansiasi dengan prompt teks null, sedangkan konten latar depan yang sebenarnya dibuat secara semantik dari instruksi teks pengguna.

Perhatian diri dan perhatian silang digunakan untuk memisahkan dua aspek gambar (latar belakang chroma dan konten latar depan). Perhatian diri membantu dengan konsistensi internal dari objek latar depan, sedangkan perhatian silang mempertahankan kesetiaan terhadap prompt teks. Makalah tersebut menunjukkan bahwa karena latar belakang biasanya kurang detail dan ditekankan dalam generasi, pengaruhnya yang lebih lemah relatif mudah untuk diatasi dan digantikan dengan swathe warna murni.

Visualisasi pengaruh perhatian silang dan perhatian diri dalam proses generasi gaya chroma.

Data dan Pengujian

TKG-DM diuji menggunakan Stable Diffusion V1.5 dan Stable Diffusion SDXL. Gambar dihasilkan pada resolusi 512x512px dan 1024x1024px, masing-masing.

Gambar dihasilkan menggunakan penjadwal DDIM asli Stable Diffusion, pada skala bimbingan 7,5, dengan 50 langkah denoising. Warna latar belakang yang ditargetkan adalah hijau, sekarang metode dropout dominan.

Pendekatan baru ini dibandingkan dengan DeepFloyd, di bawah pengaturan yang digunakan untuk MAGICK; untuk model difusi rendah peringkat yang dilatih low-rank GreenBack LoRA; dan juga untuk LayerDiffuse yang disebutkan sebelumnya.

Untuk data, 3000 gambar dari dataset MAGICK digunakan.

Contoh dari dataset MAGICK, dari mana 3000 gambar dikurasi dalam pengujian untuk sistem baru. Sumber: https://ryanndagreat.github.io/MAGICK/Explorer/magick_rgba_explorer.html

Untuk metrik, penulis menggunakan Jarak Inception Fréchet (FID) untuk menilai kualitas latar depan. Mereka juga mengembangkan metrik khusus proyek yang disebut m-FID, yang menggunakan sistem BiRefNet untuk menilai kualitas masker yang dihasilkan.

Perbandingan visual sistem BiRefNet dengan metode sebelumnya. Sumber: https://arxiv.org/pdf/2401.03407

Untuk menguji keselarasan semantik dengan prompt input, metode CLIP-Sentence (CLIP-S) dan CLIP-Image (CLIP-I) digunakan. CLIP-S menilai kesetiaan prompt, dan CLIP-I kesamaan visual dengan kebenaran dasar.

Set pertama hasil kualitatif untuk metode baru, kali ini untuk Stable Diffusion V1.5. Silakan merujuk ke PDF sumber untuk resolusi yang lebih baik.

Penulis menyatakan bahwa hasil (divisualisasikan di atas dan di bawah, SD1.5 dan SDXL, masing-masing) menunjukkan bahwa TKG-DM mendapatkan hasil yang lebih baik tanpa keperluan untuk melakukan rekayasa prompt atau melatih/menghaluskan model.

Hasil kualitatif SDXL. Silakan merujuk ke PDF sumber untuk resolusi yang lebih baik.

Mereka mengamati bahwa dengan prompt untuk memicu latar belakang hijau dalam hasil yang dihasilkan, Stable Diffusion 1.5 memiliki kesulitan menghasilkan latar belakang yang bersih, sedangkan SDXL (meskipun performa sedikit lebih baik) menghasilkan warna hijau yang tidak stabil yang cenderung mengganggu pemisahan dalam proses chroma.

Mereka lebih lanjut mencatat bahwa meskipun LayerDiffuse menghasilkan latar belakang yang terpisah dengan baik, terkadang kehilangan detail, seperti angka atau huruf yang tepat, dan penulis mengatributkan ini pada keterbatasan dataset. Mereka menambahkan bahwa generasi masker juga terkadang gagal, menghasilkan gambar yang ‘tidak terpotong’.

Untuk pengujian kuantitatif, meskipun LayerDiffuse tampaknya memiliki keunggulan dalam SDXL untuk FID, penulis menekankan bahwa ini adalah hasil dari dataset yang dikurasi secara khusus yang secara efektif merupakan produk ‘baked’ dan tidak fleksibel. Seperti yang disebutkan sebelumnya, objek atau kelas yang tidak tercakup dalam dataset tersebut, atau tidak cukup tercakup, mungkin tidak berperforma sebaiknya, sementara pelatihan lebih lanjut untuk menampung kelas baru menyajikan pengguna dengan beban kurasi dan pelatihan.

Hasil kuantitatif untuk perbandingan. Keunggulan LayerDiffuse, makalah tersebut implikasikan, datang dengan biaya fleksibilitas, dan beban kurasi dan pelatihan.

Makalah tersebut menyatakan:

‘Skor FID, m-FID, dan CLIP-I yang tinggi dari DeepFloyd mencerminkan kesamaannya dengan kebenaran dasar berdasarkan output DeepFloyd. Namun, keselarasan ini memberinya keunggulan bawaan, membuatnya tidak cocok sebagai benchmark kualitas gambar yang adil. Skor CLIP-S yang lebih rendah lebih lanjut menunjukkan keselarasan teks yang lebih lemah dibandingkan dengan model lain.

Secara keseluruhan, hasil ini menekankan kemampuan model kami untuk menghasilkan latar depan yang berkualitas tinggi dan selaras dengan teks tanpa pelatihan, menawarkan solusi generasi konten kunci chroma yang efisien.’

Akhirnya, peneliti melakukan studi pengguna untuk menilai keselarasan prompt di berbagai metode. Seratus peserta diminta untuk menilai 30 pasang gambar dari setiap metode, dengan subjek diekstrak menggunakan BiRefNet dan refinemen manual di semua contoh. Pendekatan pelatihan-bebas penulis lebih disukai dalam studi ini.

Hasil dari studi pengguna.

TKG-DM kompatibel dengan sistem pihak ketiga populer ControlNet untuk Stable Diffusion, dan penulis menyatakan bahwa itu menghasilkan hasil yang lebih baik daripada kemampuan asli ControlNet untuk mencapai pemisahan semacam ini.

Kesimpulan

Mungkin hal paling menonjol dari makalah baru ini adalah sejauh mana model difusi laten terjalin, berbeda dengan persepsi populer bahwa mereka dapat dengan mudah memisahkan aspek gambar dan video saat menghasilkan konten baru.

Studi ini lebih lanjut menekankan sejauh mana komunitas penelitian dan hobi telah beralih ke pelatihan sebagai solusi pasca fakta untuk kelemahan model – solusi yang akan selalu menangani kelas dan jenis objek tertentu. Dalam skenario seperti itu, model yang dilatih akan bekerja sangat baik pada sejumlah kelas terbatas, atau bekerja cukup baik pada volume kelas dan objek yang jauh lebih tinggi, sesuai dengan jumlah data yang lebih besar dalam set pelatihan.

Oleh karena itu, sangat menyegarkan untuk melihat setidaknya satu solusi yang tidak bergantung pada solusi yang sulit dan bisa dibilang tidak jujur.

* Syuting film Superman 1978, aktor Christopher Reeve harus mengenakan kostum Superman turquoise untuk syuting proses layar biru, untuk menghindari kostum biru ikonik yang dihapus. Warna biru kostum kemudian dipulihkan melalui color-grading.