Terima kasih atas kemampuan mereka, model difusi teks-ke-gambar telah menjadi sangat populer di komunitas seni. Namun, model saat ini, termasuk kerangka kerja state-of-the-art, seringkali mengalami kesulitan dalam mempertahankan kontrol atas konsep visual dan atribut dalam gambar yang dihasilkan, yang menghasilkan output yang tidak memuaskan. Sebagian besar model hanya mengandalkan prompt teks, yang menimbulkan tantangan dalam memodulasi atribut kontinu seperti intensitas cuaca, ketajaman bayangan, ekspresi wajah, atau usia seseorang dengan presisi. Hal ini membuatnya sulit bagi pengguna akhir untuk menyesuaikan gambar untuk memenuhi kebutuhan spesifik mereka. Selain itu, meskipun kerangka kerja generatif ini menghasilkan gambar yang realistis dan berkualitas tinggi, mereka rentan terhadap distorsi seperti wajah yang terdistorsi atau jari yang hilang.

Untuk mengatasi keterbatasan ini, pengembang telah mengusulkan penggunaan Konsep Slider yang dapat diinterpretasikan. Slider ini menjanjikan kontrol yang lebih besar bagi pengguna akhir atas atribut visual, sehingga meningkatkan generasi dan pengeditan gambar dalam model difusi. Konsep Slider dalam model difusi bekerja dengan mengidentifikasi arah parameter yang sesuai dengan konsep individu sambil meminimalkan interferensi dengan atribut lain. Kerangka kerja ini menciptakan slider ini menggunakan gambar sampel atau satu set prompt, sehingga membangun arah untuk konsep teks dan visual.

Pada akhirnya, penggunaan Konsep Slider dalam model difusi teks-ke-gambar dapat menghasilkan generasi gambar dengan derajat interferensi minimal, dan kontrol yang ditingkatkan atas output akhir sambil juga meningkatkan realisme yang dirasakan tanpa mengubah konten gambar, dan sehingga menghasilkan gambar yang realistis. Dalam artikel ini, kita akan membahas konsep penggunaan Konsep Slider dalam kerangka kerja teks-ke-gambar dengan lebih dalam, dan menganalisis bagaimana penggunaannya dapat menghasilkan gambar yang dihasilkan AI dengan kualitas superior.

Pengenalan Konsep Slider

Seperti yang disebutkan sebelumnya, kerangka kerja difusi teks-ke-gambar saat ini seringkali mengalami kesulitan dalam mengontrol konsep visual dan atribut dalam gambar yang dihasilkan, yang menghasilkan hasil yang tidak memuaskan. Selain itu, banyak model ini menemukan bahwa memodulasi atribut kontinu adalah tantangan, yang lebih lanjut menyumbang pada hasil yang tidak memuaskan. Konsep Slider mungkin membantu mengatasi masalah ini, memberdayakan pembuat konten dan pengguna akhir dengan kontrol yang ditingkatkan atas proses generasi gambar dan mengatasi tantangan yang dihadapi oleh kerangka kerja saat ini.

Sebagian besar model difusi teks-ke-gambar saat ini hanya mengandalkan modifikasi prompt teks langsung untuk mengontrol atribut gambar. Sementara pendekatan ini memungkinkan generasi gambar, itu tidak optimal karena perubahan prompt dapat secara drastis mengubah struktur gambar. Pendekatan lain yang digunakan oleh kerangka kerja ini melibatkan teknik Post-hoc, yang membalik proses difusi dan memodifikasi cross-attentions untuk mengedit konsep visual. Namun, teknik Post-hoc memiliki keterbatasan, hanya mendukung jumlah edit simultan yang terbatas dan memerlukan lulusan interferensi individu untuk setiap konsep baru. Selain itu, mereka dapat memperkenalkan entanglement konseptual jika tidak direkayasa dengan hati-hati.

Sebaliknya, Konsep Slider menawarkan solusi yang lebih efisien untuk generasi gambar. Adaptor ringan dan mudah digunakan ini dapat diterapkan pada model yang sudah dilatih sebelumnya, meningkatkan kontrol dan presisi atas konsep yang diinginkan dalam satu lulusan interferensi dengan entanglement minimal. Konsep Slider juga memungkinkan pengeditan konsep visual yang tidak diliput oleh deskripsi teks, fitur yang membedakannya dari metode pengeditan berbasis prompt teks. Sementara metode kustomisasi berbasis gambar dapat efektif menambahkan token untuk konsep berbasis gambar, mereka sulit diimplementasikan untuk mengedit gambar. Konsep Slider, di sisi lain, memungkinkan pengguna akhir untuk memberikan sejumlah kecil gambar berpasangan yang mendefinisikan konsep yang diinginkan. Slider kemudian menggeneralisasi konsep ini dan secara otomatis menerapkannya pada gambar lain, dengan tujuan untuk meningkatkan realisme dan memperbaiki distorsi seperti pada tangan.

Konsep Slider berusaha untuk belajar dari dan mengatasi masalah umum yang terkait dengan empat konsep AI generatif dan kerangka kerja difusi: Pengeditan Gambar, Metode Berbasis Panduan, Pengeditan Model, dan Arah Semantik.

Pengeditan Gambar

Kerangka kerja AI saat ini baik fokus pada menggunakan input kondisional untuk memandu struktur gambar, atau mereka memanipulasi cross-attentions dari gambar sumber dengan prompt target untuk memungkinkan pengeditan gambar tunggal dalam kerangka kerja difusi teks-ke-gambar. Hasilnya, pendekatan ini hanya dapat diimplementasikan pada gambar tunggal dan mereka juga memerlukan optimasi basis laten untuk setiap gambar sebagai hasil dari struktur geometris yang berkembang selama waktu di antara prompt.

Metode Berbasis Panduan

Penggunaan metode berbasis panduan bebas kelasifikator telah menunjukkan kemampuan mereka untuk meningkatkan kualitas gambar yang dihasilkan, dan meningkatkan keselarasan teks-gambar. Dengan menggabungkan istilah panduan selama interferensi, metode ini memperbaiki komposisi terbatas yang diwariskan oleh kerangka kerja difusi, dan mereka dapat digunakan untuk memandu melalui konsep yang tidak aman dalam kerangka kerja difusi.

Pengeditan Model

Penggunaan Konsep Slider juga dapat dilihat sebagai teknik pengeditan model yang menggunakan adaptor peringkat rendah untuk menghasilkan atribut semantik tunggal yang membuat ruang untuk kontrol kontinu yang selaras dengan atribut. Metode kustomisasi berbasis fine-tuning kemudian digunakan untuk mempersonalisasi kerangka kerja untuk menambahkan konsep baru. Selain itu, teknik Difusi Kustom mengusulkan cara untuk memperbarui lapisan cross-attentions untuk menggabungkan konsep visual baru ke dalam model difusi yang sudah dilatih sebelumnya. Sebaliknya, teknik Difusi Teks mengusulkan untuk mengoptimalkan vektor embedding untuk mengaktifkan kemampuan model dan memperkenalkan konsep teks ke dalam kerangka kerja.

Arah Semantik dalam GANs

Manipulasi atribut semantik adalah salah satu atribut kunci dari Jaringan Adversarial Generatif dengan jalur ruang laten yang ditemukan untuk selaras dalam cara mandiri. Dalam kerangka kerja difusi, jalur ruang laten ini ada di lapisan tengah arsitektur U-Net, dan arah utama ruang laten dalam kerangka kerja difusi menangkap semantik global. Konsep Slider melatih subruang peringkat rendah yang sesuai dengan atribut khusus secara langsung, dan mendapatkan arah pengeditan yang presisi dan lokal dengan menggunakan teks atau pasangan gambar untuk mengoptimalkan arah global.

Konsep Slider: Arsitektur dan Cara Kerja

Model Difusi dan LoRA atau Adaptor Peringkat Rendah

Model difusi pada dasarnya adalah subclass dari kerangka kerja AI generatif yang beroperasi pada prinsip mensintesis data dengan membalik proses difusi. Proses difusi maju awalnya menambahkan noise pada data, sehingga transisi dari keadaan terorganisir ke noise Gaussian lengkap. Tujuan utama dari model difusi adalah untuk membalik proses difusi dengan secara bertahap mendenoising gambar, dan mengambil sampel noise Gaussian acak untuk menghasilkan gambar. Dalam aplikasi dunia nyata, tujuan utama dari kerangka kerja difusi adalah untuk memprediksi noise sebenarnya ketika noise Gaussian lengkap diberikan sebagai input dengan input tambahan seperti kondisi dan waktu langkah.

Teknik LoRA atau Adaptor Peringkat Rendah mendekomposisi pembaruan bobot selama fine-tuning untuk memungkinkan adaptasi yang efisien dari kerangka kerja besar yang sudah dilatih sebelumnya pada tugas hilir. Teknik LoRA mendekomposisi pembaruan bobot untuk lapisan model yang sudah dilatih sebelumnya dengan respect kepada kedua dimensi input dan output, dan membatasi pembaruan ke dalam subspace peringkat rendah.

Konsep Slider

Tujuan utama dari Konsep Slider adalah untuk berfungsi sebagai pendekatan untuk memperbarui adaptor LoRA pada kerangka kerja difusi untuk memfasilitasi kontrol yang lebih besar atas gambar yang ditargetkan konsep, dan hal ini ditunjukkan dalam gambar berikut.

Ketika dikondisikan pada konsep target, Konsep Slider belajar arah parameter peringkat rendah untuk meningkatkan atau menurunkan ekspresi atribut tertentu. Untuk model dan konsep target, tujuan utama dari Konsep Slider adalah untuk mendapatkan model yang ditingkatkan yang memodifikasi kemungkinan meningkatkan dan menekan atribut untuk gambar ketika dikondisikan pada konsep target untuk meningkatkan kemungkinan meningkatkan atribut, dan menurunkan kemungkinan menekan atribut. Dengan menggunakan reparameterisasi dan formula Tweedie, kerangka kerja ini memperkenalkan proses noise yang berubah terhadap waktu, dan mengekspresikan setiap skor sebagai prediksi denoising. Selain itu, tujuan disentanglement memperbarui modul dalam Konsep Slider sambil menjaga bobot yang sudah dilatih sebelumnya tetap, dan faktor skala yang diperkenalkan selama formulasi LoRA dimodifikasi selama interferensi. Faktor skala juga memfasilitasi penyesuaian kekuatan edit, dan membuat edit lebih kuat tanpa perlu melatih kembali kerangka kerja seperti yang ditunjukkan dalam gambar berikut.

Metode pengeditan yang digunakan sebelumnya oleh kerangka kerja memfasilitasi edit yang lebih kuat dengan melatih kembali kerangka kerja dengan panduan yang ditingkatkan. Namun, memperbesar faktor skala selama interferensi menghasilkan hasil edit yang sama tanpa meningkatkan biaya pelatihan, dan waktu.

Belajar Konsep Visual

Konsep Slider dirancang untuk mengontrol konsep visual yang prompt teks tidak dapat mendefinisikan dengan baik, dan slider ini memanfaatkan dataset kecil yang dipasangkan sebelum atau sesudah untuk melatih konsep ini. Kontras antara pasangan gambar memungkinkan slider untuk belajar konsep visual. Selain itu, proses pelatihan Konsep Slider memperbarui komponen LoRA yang diimplementasikan dalam kedua arah maju dan mundur. Sebagai hasilnya, komponen LoRA selaras dengan arah yang menyebabkan efek visual dalam kedua arah.

Konsep Slider: Hasil Implementasi

Untuk menganalisis peningkatan kinerja, pengembang telah mengevaluasi penggunaan Konsep Slider terutama pada Stable Diffusion XL, sebuah kerangka kerja resolusi tinggi 1024-piksel dengan eksperimen tambahan yang dilakukan pada kerangka kerja Stable Diffusion v1.4 dengan model yang dilatih selama 500 epoch masing-masing.

Konsep Slider Teks

Untuk mengevaluasi kinerja dari Konsep Slider teks, validasi dilakukan pada satu set 30 konsep berbasis teks, dan metode ini dibandingkan dengan dua baseline yang menggunakan prompt teks standar untuk jumlah waktu langkah yang tetap, dan kemudian memulai komposisi dengan menambahkan prompt untuk mengarahkan gambar. Seperti yang dapat dilihat dalam gambar berikut, penggunaan Konsep Slider menghasilkan skor CLIP yang lebih tinggi secara konstan, dan penurunan skor LPIPS yang konstan dibandingkan dengan kerangka kerja asli tanpa Konsep Slider.

Seperti yang dapat dilihat dalam gambar di atas, penggunaan Konsep Slider memfasilitasi pengeditan presisi atribut yang diinginkan selama proses generasi gambar sambil mempertahankan struktur keseluruhan gambar.

Konsep Slider Visual

Model difusi teks-ke-gambar yang hanya menggunakan prompt teks seringkali menemukan kesulitan dalam mempertahankan kontrol yang lebih besar atas atribut visual seperti rambut wajah atau bentuk mata. Untuk memastikan kontrol yang lebih baik atas atribut granular, Konsep Slider memanfaatkan panduan teks opsional yang dipasangkan dengan dataset gambar. Seperti yang dapat dilihat dalam gambar di bawah, Konsep Slider membuat slider individu untuk “ukuran mata” dan “bentuk alis” yang menangkap transformasi yang diinginkan menggunakan pasangan gambar.

Hasilnya dapat diperbaiki lebih lanjut dengan memberikan teks spesifik sehingga arah fokus pada daerah wajah tertentu, dan membuat slider dengan kontrol langkah demi langkah atas atribut yang ditargetkan.

Menggabungkan Slider

Salah satu keuntungan utama dari menggunakan Konsep Slider adalah kemampuan komposisi yang memungkinkan pengguna untuk menggabungkan beberapa slider untuk kontrol yang ditingkatkan daripada fokus pada satu konsep pada satu waktu yang dapat dikaitkan dengan arah slider peringkat rendah yang digunakan dalam Konsep Slider. Selain itu, karena Konsep Slider adalah adaptor LoRA ringan, mereka mudah dibagikan, dan mereka juga dapat dengan mudah ditumpangkan pada model difusi. Pengguna juga dapat menyesuaikan beberapa knop secara bersamaan untuk mengarahkan generasi yang kompleks dengan mengunduh set slider yang menarik.

Gambar berikut menunjukkan kemampuan komposisi dari konsep slider, dan beberapa slider digabungkan secara progresif di setiap baris dari kiri ke kanan, sehingga memungkinkan traversal ruang konsep tingkat tinggi dengan kontrol yang ditingkatkan atas konsep.

Meningkatkan Kualitas Gambar

Meskipun kerangka kerja difusi teks-ke-gambar state-of-the-art dan model generatif skala besar seperti model Stable Diffusion XL mampu menghasilkan gambar yang realistis dan berkualitas tinggi, mereka seringkali menderita distorsi gambar seperti benda yang kabur atau terdistorsi meskipun parameter dari kerangka kerja state-of-the-art ini dilengkapi dengan kemampuan laten untuk menghasilkan output berkualitas tinggi dengan jumlah generasi yang lebih sedikit. Penggunaan Konsep Slider dapat menghasilkan gambar dengan distorsi yang lebih sedikit dengan membuka kemampuan sebenarnya dari model ini dengan mengidentifikasi arah parameter peringkat rendah.

Memperbaiki Tangan

Menghasilkan gambar dengan tangan yang terlihat realistis telah menjadi hambatan bagi kerangka kerja difusi, dan penggunaan Konsep Slider memiliki kontrol langsung atas kecenderungan untuk mendistorsi tangan. Gambar berikut menunjukkan efek dari menggunakan Konsep Slider “perbaiki tangan” yang memungkinkan kerangka kerja untuk menghasilkan gambar dengan tangan yang terlihat lebih realistis.

Slider Perbaikan

Penggunaan Konsep Slider tidak hanya dapat menghasilkan gambar dengan tangan yang terlihat lebih realistis, tetapi mereka juga telah menunjukkan potensi mereka dalam meningkatkan realisme keseluruhan dari gambar yang dihasilkan oleh kerangka kerja. Konsep Slider juga mengidentifikasi satu arah parameter peringkat rendah yang memungkinkan pergeseran gambar dari masalah distorsi umum, dan hasilnya ditunjukkan dalam gambar berikut.

Pemikiran Akhir

Dalam artikel ini, kita telah membahas Konsep Slider, sebuah paradigma baru yang sederhana namun skalabel yang memungkinkan kontrol yang dapat diinterpretasikan atas output yang dihasilkan dalam model difusi. Penggunaan Konsep Slider bertujuan untuk menyelesaikan masalah yang dihadapi oleh kerangka kerja difusi teks-ke-gambar saat ini yang menemukan kesulitan dalam mempertahankan kontrol yang diperlukan atas konsep visual dan atribut yang termasuk dalam gambar yang dihasilkan yang seringkali menghasilkan output yang tidak memuaskan. Selain itu, sebagian besar model difusi teks-ke-gambar menemukan kesulitan dalam memodulasi atribut kontinu dalam gambar yang pada akhirnya seringkali menghasilkan output yang tidak memuaskan. Penggunaan Konsep Slider mungkin memungkinkan kerangka kerja difusi teks-ke-gambar untuk mengatasi masalah ini, dan memberdayakan pembuat konten dan pengguna akhir dengan kontrol yang ditingkatkan atas proses generasi gambar, dan menyelesaikan masalah yang dihadapi oleh kerangka kerja saat ini.