Selama beberapa tahun terakhir, model difusi berbasis penyetelan telah menunjukkan kemajuan luar biasa di berbagai tugas personalisasi dan kustomisasi gambar. Namun, meskipun potensi mereka, model difusi berbasis penyetelan saat ini masih menghadapi sejumlah tantangan kompleks dalam menghasilkan dan menghasilkan gambar yang konsisten dengan gaya, dan mungkin ada tiga alasan di balik hal ini. Pertama, konsep gaya masih belum terdefinisi dengan baik dan tidak pasti, dan mencakup kombinasi elemen termasuk atmosfer, struktur, desain, material, warna, dan banyak lagi. Kedua, metode berbasis inversi rentan terhadap degradasi gaya, yang menghasilkan kehilangan detail halus. Terakhir, pendekatan berbasis adapter memerlukan penyetelan berat untuk setiap gambar referensi untuk mempertahankan keseimbangan antara kontrol teks dan intensitas gaya.

Selanjutnya, tujuan utama dari sebagian besar pendekatan transfer gaya atau generasi gambar bergaya adalah untuk menggunakan gambar referensi dan menerapkan gaya spesifik dari subset atau gambar referensi ke gambar konten target. Namun, jumlah atribut gaya yang luas membuat tugas ini sulit bagi peneliti untuk mengumpulkan dataset bergaya, mewakili gaya dengan benar, dan mengevaluasi keberhasilan transfer. Sebelumnya, model dan kerangka kerja yang menangani proses difusi berbasis penyetelan, menyetel dataset gambar yang berbagi gaya umum, proses yang memakan waktu dan memiliki generalisasi terbatas dalam tugas dunia nyata karena sulit mengumpulkan subset gambar yang berbagi gaya yang sama atau hampir identik.

Dalam artikel ini, kita akan membahas InstantStyle, kerangka kerja yang dirancang untuk menangani masalah yang dihadapi oleh model difusi berbasis penyetelan saat ini untuk generasi dan kustomisasi gambar. Kita akan membahas dua strategi kunci yang diimplementasikan oleh kerangka kerja InstantStyle:

1. Pendekatan sederhana namun efektif untuk memisahkan gaya dan konten dari gambar referensi dalam ruang fitur, diprediksi berdasarkan asumsi bahwa fitur dalam ruang fitur yang sama dapat ditambahkan atau dikurangi dari satu sama lain.
2. Mencegah kebocoran gaya dengan menyuntikkan fitur gambar referensi secara eksklusif ke dalam blok gaya spesifik, dan dengan sengaja menghindari kebutuhan untuk menggunakan berat yang rumit untuk penyetelan, yang seringkali mengkarakterisasi desain yang lebih berat parameter.

Artikel ini bertujuan untuk membahas kerangka kerja InstantStyle secara mendalam, dan kita akan menjelajahi mekanisme, metodologi, arsitektur kerangka kerja ini bersama dengan perbandingannya dengan kerangka kerja state of the art. Kita juga akan membahas bagaimana kerangka kerja InstantStyle menunjukkan hasil stylisasi visual yang luar biasa, dan mencapai keseimbangan optimal antara kontrol elemen teks dan intensitas gaya. Jadi mari kita mulai.

InstantStyle: Pelestarian Gaya dalam Generasi Gambar ke Teks

Kerangka kerja generasi gambar ke teks berbasis difusi telah mencapai kesuksesan yang mencolok di berbagai tugas kustomisasi dan personalisasi, terutama dalam tugas generasi gambar konsisten termasuk kustomisasi objek, pelestarian gambar, dan transfer gaya. Namun, meskipun kesuksesan dan peningkatan kinerja, transfer gaya masih menjadi tugas yang menantang bagi peneliti karena sifat gaya yang tidak terdefinisi dengan baik, yang seringkali mencakup berbagai elemen termasuk atmosfer, struktur, desain, material, warna, dan banyak lagi. Dengan demikian, tujuan utama dari generasi gambar bergaya atau transfer gaya adalah untuk menerapkan gaya spesifik dari gambar referensi atau subset gambar referensi ke gambar konten target. Namun, jumlah atribut gaya yang luas membuat tugas ini sulit bagi peneliti untuk mengumpulkan dataset bergaya, mewakili gaya dengan benar, dan mengevaluasi keberhasilan transfer. Sebelumnya, model dan kerangka kerja yang menangani proses difusi berbasis penyetelan, menyetel dataset gambar yang berbagi gaya umum, proses yang memakan waktu dan memiliki generalisasi terbatas dalam tugas dunia nyata karena sulit mengumpulkan subset gambar yang berbagi gaya yang sama atau hampir identik.

Dengan tantangan yang dihadapi oleh pendekatan saat ini, peneliti telah mengambil minat dalam mengembangkan pendekatan penyetelan untuk transfer gaya atau generasi gambar bergaya, dan kerangka kerja ini dapat dibagi menjadi dua kelompok yang berbeda:

• Pendekatan Tanpa Adapter: Pendekatan tanpa adapter dan kerangka kerja memanfaatkan kekuatan perhatian diri dalam proses difusi, dan dengan mengimplementasikan operasi perhatian bersama, model ini dapat mengekstrak fitur esensial termasuk kunci dan nilai dari gambar referensi gaya secara langsung.

• Pendekatan Berbasis Adapter: Pendekatan berbasis adapter dan kerangka kerja mengintegrasikan model ringan yang dirancang untuk mengekstrak representasi gambar rinci dari gambar referensi gaya. Kerangka kerja ini kemudian mengintegrasikan representasi ini ke dalam proses difusi dengan menggunakan mekanisme perhatian silang. Tujuan utama dari proses integrasi ini adalah untuk memandu proses generasi, dan memastikan bahwa gambar hasilnya sesuai dengan nuansa gaya yang diinginkan dari gambar referensi.

Namun, meskipun janji mereka, metode tanpa penyetelan seringkali menghadapi beberapa tantangan. Pertama, pendekatan tanpa adapter memerlukan pertukaran kunci dan nilai dalam lapisan perhatian diri, dan sebelumnya menangkap matriks kunci dan nilai yang berasal dari gambar referensi gaya. Ketika diimplementasikan pada gambar alami, pendekatan tanpa adapter memerlukan inversi gambar kembali ke noise laten menggunakan teknik seperti DDIM atau Denoising Diffusion Implicit Models inversion. Namun, menggunakan DDIM atau pendekatan inversi lainnya dapat menghasilkan kehilangan detail halus seperti warna dan tekstur, sehingga mengurangi informasi gaya dalam gambar yang dihasilkan. Selain itu, langkah tambahan yang diperkenalkan oleh pendekatan ini adalah proses yang memakan waktu, dan dapat menimbulkan kerugian signifikan dalam aplikasi praktis. Di sisi lain, tantangan utama untuk metode berbasis adapter terletak pada mencapai keseimbangan yang tepat antara kebocoran konteks dan intensitas gaya. Kebocoran konteks terjadi ketika peningkatan intensitas gaya menghasilkan munculnya elemen non-gaya dari gambar referensi dalam output yang dihasilkan, dengan titik kesulitan utama adalah memisahkan gaya dari konten dalam gambar referensi secara efektif. Untuk menangani masalah ini, beberapa kerangka kerja membangun dataset berpasangan yang mewakili objek yang sama dalam gaya yang berbeda, memfasilitasi ekstraksi representasi konten, dan gaya yang terpisahkan. Namun, berkat representasi gaya yang secara inheren tidak terdefinisi, tugas membuat dataset berpasangan besar terbatas dalam hal keragaman gaya yang dapat ditangkap, dan merupakan proses yang memakan sumber daya.

Untuk menangani keterbatasan ini, kerangka kerja InstantStyle diperkenalkan yang merupakan mekanisme tanpa penyetelan yang berbasis pada metode berbasis adapter yang ada dengan kemampuan untuk terintegrasi secara mulus dengan metode penyuntikan perhatian lainnya, dan mencapai pemisahan konten dan gaya secara efektif. Selain itu, kerangka kerja InstantStyle memperkenalkan tidak satu, tetapi dua cara efektif untuk melakukan pemisahan gaya dan konten, mencapai migrasi gaya yang lebih baik tanpa perlu memperkenalkan metode tambahan untuk melakukan pemisahan atau membangun dataset berpasangan.

Selanjutnya, kerangka kerja berbasis adapter sebelumnya telah digunakan secara luas dalam metode berbasis CLIP sebagai ekstraktor fitur gambar, beberapa kerangka kerja telah menjelajahi kemungkinan implementasi pemisahan fitur dalam ruang fitur, dan ketika dibandingkan dengan ketidakpastian atribut gaya, lebih mudah untuk menjelaskan konten dengan teks. Karena gambar dan teks berbagi ruang fitur dalam metode berbasis CLIP, operasi pengurangan sederhana dari fitur teks konten dan fitur gambar dapat mengurangi kebocoran konten secara signifikan. Selain itu, dalam sebagian besar model difusi, ada lapisan tertentu dalam arsitektur yang menyuntikkan informasi gaya, dan mencapai pemisahan konten dan gaya dengan menyuntikkan fitur gambar hanya ke dalam blok gaya spesifik. Dengan mengimplementasikan dua strategi sederhana ini, kerangka kerja InstantStyle dapat menyelesaikan masalah kebocoran konten yang dihadapi oleh sebagian besar kerangka kerja yang ada sambil mempertahankan kekuatan gaya.

Untuk merangkum, kerangka kerja InstantStyle menggunakan dua mekanisme sederhana, efektif, dan langsung untuk mencapai pemisahan konten dan gaya dari gambar referensi. Kerangka kerja InstantStyle adalah pendekatan independen model dan tanpa penyetelan yang menunjukkan kinerja luar biasa dalam tugas transfer gaya dengan potensi besar untuk tugas hilir.

Instant-Style: Metodologi dan Arsitektur

Seperti yang ditunjukkan oleh pendekatan sebelumnya, ada keseimbangan dalam penyuntikan kondisi gaya dalam model difusi tanpa penyetelan. Jika intensitas kondisi gambar terlalu tinggi, dapat menghasilkan kebocoran konten, sedangkan jika intensitas kondisi gambar terlalu rendah, gaya mungkin tidak terlalu jelas. Alasan utama di balik observasi ini adalah bahwa dalam gambar, gaya dan konten saling terkait, dan karena atribut gaya yang secara inheren tidak terdefinisi, sulit untuk memisahkan gaya dan konten. Sebagai hasilnya, berat yang teliti seringkali disesuaikan untuk setiap gambar referensi dalam upaya untuk mempertahankan keseimbangan antara kontrol teks dan kekuatan gaya. Selain itu, untuk gambar referensi dan deskripsi teks yang sesuai dalam metode berbasis inversi, pendekatan inversi seperti DDIM diadopsi untuk gambar, proses yang mengapproximasi persamaan inversi untuk mengubah gambar menjadi representasi noise laten. Berdasarkan hal ini, dan memulai dari trajeksi difusi yang diinversi bersama dengan set prompt baru, metode ini menghasilkan konten baru dengan gaya yang sesuai dengan input. Namun, seperti yang ditunjukkan dalam gambar berikut, pendekatan inversi DDIM untuk gambar nyata seringkali tidak stabil karena bergantung pada asumsi linearisasi lokal, menghasilkan propagasi kesalahan, dan mengarah pada kehilangan konten dan rekonstruksi gambar yang tidak benar.

Mengenai metodologi, bukan dengan menggunakan strategi kompleks untuk memisahkan konten dan gaya dari gambar, kerangka kerja InstantStyle mengambil pendekatan sederhana untuk mencapai kinerja yang sama. Ketika dibandingkan dengan atribut gaya yang tidak terdefinisi, konten dapat diwakili oleh teks alami, memungkinkan kerangka kerja InstantStyle untuk menggunakan pengkode teks dari CLIP untuk mengekstrak karakteristik teks konten sebagai representasi konteks. Secara bersamaan, kerangka kerja InstantStyle mengimplementasikan pengkode gambar CLIP untuk mengekstrak fitur dari gambar referensi. Dengan memanfaatkan karakterisasi fitur global CLIP, dan mengurangi fitur teks konten dari fitur gambar, kerangka kerja InstantStyle dapat memisahkan gaya dan konten secara eksplisit. Meskipun ini adalah strategi sederhana, membantu kerangka kerja InstantStyle cukup efektif dalam meminimalkan kebocoran konten.

Selanjutnya, setiap lapisan dalam jaringan dalam menghasilkan informasi semantik yang berbeda, dan observasi kunci dari model sebelumnya adalah bahwa ada dua lapisan perhatian yang bertanggung jawab untuk menangani gaya. Secara khusus, ini adalah lapisan blok.0.perhatian.1 dan blok.2.perhatian.1 yang bertanggung jawab untuk menangkap gaya seperti warna, material, atmosfer, dan lapisan tata letak spasial yang menangkap struktur dan komposisi. Kerangka kerja InstantStyle menggunakan lapisan ini secara implisit untuk mengekstrak informasi gaya, dan mencegah kebocoran konten tanpa kehilangan kekuatan gaya. Strategi ini sederhana namun efektif karena model telah menemukan blok gaya yang dapat menyuntikkan fitur gambar ke dalam blok ini untuk mencapai transfer gaya yang mulus. Selain itu, karena model secara signifikan mengurangi jumlah parameter adapter, kemampuan kontrol teks kerangka kerja ditingkatkan, dan mekanisme ini juga dapat diterapkan pada model penyuntikan fitur perhatian lainnya untuk tugas editing dan lainnya.

Instant-Style: Eksperimen dan Hasil

Kerangka kerja InstantStyle diimplementasikan pada kerangka kerja Stable Diffusion XL, dan menggunakan IR-adapter yang umum digunakan sebagai contoh untuk memvalidasi metodologinya, dan mematikan semua blok kecuali blok gaya untuk fitur gambar. Model InstantStyle juga melatih IR-adapter pada 4 juta dataset gambar-teks besar dari awal, dan bukan melatih semua blok, hanya memperbarui blok gaya.

Untuk menguji kemampuan generalisasi dan kekuatan kerangka kerja InstantStyle, dilakukan beberapa eksperimen transfer gaya dengan berbagai gaya di berbagai konten, dan hasilnya dapat dilihat dalam gambar berikut. Dengan satu gambar referensi gaya dan prompt yang berbeda, kerangka kerja InstantStyle menghasilkan gambar dengan kualitas tinggi dan konsisten dengan gaya.

Selanjutnya, karena model menyuntikkan informasi gambar hanya dalam blok gaya, dapat mengurangi masalah kebocoran konten secara signifikan, dan oleh karena itu, tidak perlu melakukan penyetelan berat.

Selain itu, kerangka kerja InstantStyle juga mengadopsi arsitektur ControlNet untuk mencapai stylisasi gambar berbasis gambar dengan kontrol spasial, dan hasilnya ditunjukkan dalam gambar berikut.

Ketika dibandingkan dengan metode state of the art sebelumnya, termasuk StyleAlign, B-LoRA, Swapping Self Attention, dan IP-Adapter, kerangka kerja InstantStyle menunjukkan efek visual terbaik.

Pemikiran Akhir

Dalam artikel ini, kita telah membahas InstantStyle, kerangka kerja umum yang menggunakan dua strategi sederhana namun efektif untuk mencapai pemisahan konten dan gaya dari gambar referensi. Kerangka kerja InstantStyle dirancang untuk menangani masalah yang dihadapi oleh model difusi berbasis penyetelan saat ini untuk generasi dan kustomisasi gambar. Kerangka kerja InstantStyle mengimplementasikan dua strategi vital: Pendekatan sederhana namun efektif untuk memisahkan gaya dan konten dari gambar referensi dalam ruang fitur, diprediksi berdasarkan asumsi bahwa fitur dalam ruang fitur yang sama dapat ditambahkan atau dikurangi dari satu sama lain. Kedua, mencegah kebocoran gaya dengan menyuntikkan fitur gambar referensi secara eksklusif ke dalam blok gaya spesifik, dan dengan sengaja menghindari kebutuhan untuk menggunakan berat yang rumit untuk penyetelan, yang seringkali mengkarakterisasi desain yang lebih berat parameter.