Teknologi generasi gambar berbasis AI telah mengalami pertumbuhan luar biasa dalam beberapa tahun terakhir sejak model difusi teks-ke-gambar besar seperti DALL-E, GLIDE, Stable Diffusion, Imagen, dan lainnya muncul ke scene. Meskipun model AI generasi gambar memiliki arsitektur dan metode pelatihan yang unik, mereka semua memiliki titik fokus yang sama: generasi gambar yang disesuaikan dan dipersonalisasi yang bertujuan untuk menciptakan gambar dengan karakter ID, subjek, dan gaya yang konsisten berdasarkan gambar referensi. Berkat kemampuan generatif yang luar biasa, kerangka kerja generasi gambar AI modern telah menemukan aplikasi di bidang termasuk animasi gambar, realitas virtual, E-Commerce, potret AI, dan lainnya. Namun, meskipun kemampuan generatif yang luar biasa, kerangka kerja ini semua memiliki hambatan yang sama, sebagian besar dari mereka tidak dapat menghasilkan gambar yang disesuaikan sambil menjaga detail identitas halus dari objek manusia.

Menghasilkan gambar yang disesuaikan sambil menjaga detail yang rumit sangat penting terutama dalam tugas identitas wajah manusia yang memerlukan standar kesetiaan dan detail yang tinggi, serta semantik yang halus dibandingkan dengan tugas generasi gambar objek umum yang lebih fokus pada tekstur dan warna kasar. Selain itu, kerangka kerja sintesis gambar yang dipersonalisasi dalam beberapa tahun terakhir seperti LoRA, DreamBooth, Textual Inversion, dan lainnya telah maju secara signifikan. Namun, model AI generatif yang dipersonalisasi masih belum sempurna untuk diterapkan dalam skenario dunia nyata karena mereka memiliki persyaratan penyimpanan yang tinggi, memerlukan beberapa gambar referensi, dan sering memiliki proses fine-tuning yang panjang. Di sisi lain, meskipun metode berbasis ID-embedding yang ada hanya memerlukan satu referensi maju, mereka either tidak kompatibel dengan model pra-dilatih yang tersedia secara umum, atau memerlukan proses fine-tuning yang berlebihan pada banyak parameter, atau gagal mempertahankan kesetiaan wajah yang tinggi.

Untuk mengatasi tantangan ini, dan lebih meningkatkan kemampuan generasi gambar, dalam artikel ini, kita akan membahas tentang InstantID, solusi berbasis model difusi untuk generasi gambar. InstantID adalah modul plug and play yang menangani generasi gambar dan personalisasi dengan baik di berbagai gaya dengan hanya satu gambar referensi dan juga memastikan kesetiaan yang tinggi. Tujuan utama artikel ini adalah untuk memberikan pembaca pemahaman yang menyeluruh tentang landasan teknis dan komponen kerangka kerja InstantID, karena kita akan melihat arsitektur model, proses pelatihan, dan skenario aplikasi dengan lebih detail. Jadi, mari kita mulai.

InstantID: Generasi Gambar Zero-Shot yang Menjaga Identitas

Munculnya model difusi teks-ke-gambar telah memberikan kontribusi signifikan pada kemajuan teknologi generasi gambar. Tujuan utama model ini adalah generasi dan personalisasi yang disesuaikan, serta menciptakan gambar dengan subjek, gaya, dan karakter ID yang konsisten menggunakan satu atau lebih gambar referensi. Kemampuan kerangka kerja ini untuk menciptakan gambar yang konsisten telah menciptakan potensi aplikasi di berbagai industri, termasuk animasi gambar, generasi potret AI, E-Commerce, realitas virtual dan augmented, dan banyak lagi.

Namun, meskipun kemampuan yang luar biasa, kerangka kerja ini menghadapi tantangan fundamental: mereka sering kesulitan menghasilkan gambar yang disesuaikan sambil menjaga detail halus dari subjek manusia dengan akurat. Perlu diingat bahwa menghasilkan gambar yang disesuaikan dengan detail intrinsik adalah tugas yang menantang, karena identitas wajah manusia memerlukan tingkat kesetiaan dan detail yang lebih tinggi, serta semantik yang lebih maju dibandingkan dengan objek umum atau gaya yang lebih fokus pada warna atau tekstur kasar. Model teks-ke-gambar yang ada bergantung pada deskripsi teks yang detail, dan mereka kesulitan mencapai relevansi semantik yang kuat untuk generasi gambar yang disesuaikan. Selain itu, beberapa kerangka kerja teks-ke-gambar pra-dilatih besar menambahkan kontrol kondisi spasial untuk meningkatkan kemampuan kontrol, memfasilitasi kontrol struktural yang halus menggunakan elemen seperti pose tubuh, peta kedalaman, sketsa pengguna, peta segmentasi semantik, dan lainnya. Namun, meskipun penambahan dan peningkatan ini, kerangka kerja ini hanya dapat mencapai kesetiaan sebagian dari gambar yang dihasilkan terhadap gambar referensi.

Untuk mengatasi hambatan ini, kerangka kerja InstantID fokus pada sintesis gambar yang menjaga identitas instan, dan berusaha untuk menjembatani kesenjangan antara efisiensi dan kesetiaan yang tinggi dengan memperkenalkan modul plug and play yang sederhana yang memungkinkan kerangka kerja untuk menangani personalisasi gambar menggunakan hanya satu gambar wajah sambil mempertahankan kesetiaan yang tinggi. Selain itu, untuk menjaga identitas wajah dari gambar referensi, kerangka kerja InstantID menerapkan pengkode wajah yang baru yang mempertahankan detail gambar yang rumit dengan menambahkan kondisi spasial yang lemah dan kondisi semantik yang kuat yang memandu proses generasi gambar dengan mengintegrasikan prompt teks, gambar landmark, dan gambar wajah.

Terdapat tiga fitur yang membedakan kerangka kerja InstantID dari kerangka kerja generasi gambar teks-ke-gambar yang ada.

• Kompatibilitas dan Pluggability: Alih-alih melatih parameter penuh dari kerangka kerja UNet, kerangka kerja InstantID fokus pada melatih adapter yang ringan. Sebagai hasilnya, kerangka kerja InstantID kompatibel dan dapat dipasang dengan model pra-dilatih yang ada.

• Tuning-Free: Metodologi kerangka kerja InstantID menghilangkan kebutuhan untuk fine-tuning karena hanya memerlukan satu propagasi maju untuk inferensi, membuat model sangat praktis dan ekonomis untuk fine-tuning.
• Kinerja yang Unggul: Kerangka kerja InstantID menunjukkan fleksibilitas dan kesetiaan yang tinggi karena dapat menghasilkan kinerja yang setara dengan metode berbasis pelatihan yang menggunakan beberapa gambar referensi, hanya dengan menggunakan satu gambar referensi.

Secara keseluruhan, kontribusi kerangka kerja InstantID dapat dikategorikan dalam poin-poin berikut.

1. Kerangka kerja InstantID adalah metode adaptasi inovatif yang menjaga identitas untuk model difusi teks-ke-gambar pra-dilatih dengan tujuan untuk menjembatani kesenjangan antara efisiensi dan kesetiaan.
2. Kerangka kerja InstantID kompatibel dan dapat dipasang dengan model yang telah dioptimalkan dengan menggunakan model difusi yang sama dalam arsitektur, memungkinkan pelestarian identitas dalam model pra-dilatih tanpa biaya tambahan.

InstantID: Metodologi dan Arsitektur

Seperti yang disebutkan sebelumnya, kerangka kerja InstantID adalah adapter ringan yang efisien yang memberikan kemampuan pelestarian identitas kepada model difusi teks-ke-gambar pra-dilatih dengan mudah.

Berbicara tentang arsitektur, kerangka kerja InstantID dibangun di atas model Stable Diffusion, yang terkenal karena kemampuannya untuk melakukan proses difusi dengan efisiensi komputasi yang tinggi dalam ruang laten yang rendah daripada ruang piksel dengan auto-encoder. Untuk gambar input, encoder pertama kali memetakan gambar ke representasi laten dengan faktor downsampling dan dimensi laten. Selain itu, untuk mendenoise noise yang terdistribusi normal dengan noise laten, kondisi, dan waktu langkah saat ini, proses difusi mengadopsi komponen UNet yang dapat mendenoise. Kondisi adalah embedding dari prompt teks yang dihasilkan menggunakan komponen encoder teks CLIP pra-dilatih.

Selain itu, kerangka kerja InstantID juga menggunakan komponen ControlNet yang dapat menambahkan kontrol spasial ke model difusi pra-dilatih sebagai kondisi, melampaui kemampuan tradisional dari prompt teks. Komponen ControlNet juga mengintegrasikan arsitektur UNet dari kerangka kerja Stable Diffusion menggunakan replika yang dilatih dari komponen UNet. Replika komponen UNet memiliki lapisan konvolusi nol dalam blok tengah dan blok encoder. Meskipun kesamaannya, komponen ControlNet berbeda dari model Stable Diffusion; mereka berbeda dalam item residu yang terakhir. Komponen ControlNet mengkode informasi kondisi spasial seperti pose, peta kedalaman, sketsa, dan lainnya dengan menambahkan residu ke blok UNet, dan kemudian mengintegrasikan residu tersebut ke jaringan asli.

Kerangka kerja InstantID juga mengambil inspirasi dari IP-Adapter atau Image Prompt Adapter yang memperkenalkan pendekatan baru untuk mencapai kemampuan prompt gambar yang berjalan paralel dengan prompt teks tanpa memerlukan modifikasi model teks-ke-gambar asli. Komponen IP-Adapter juga menggunakan strategi cross-attention yang terpisah yang menggunakan lapisan cross-attention tambahan untuk mengintegrasikan fitur gambar sambil meninggalkan parameter lainnya tidak berubah.

Metodologi

Untuk memberikan gambaran singkat, kerangka kerja InstantID bertujuan untuk menghasilkan gambar yang disesuaikan dengan gaya atau pose yang berbeda menggunakan hanya satu gambar referensi ID dengan kesetiaan yang tinggi. Gambar berikut memberikan gambaran singkat tentang kerangka kerja InstantID.

Seperti yang dapat dilihat, kerangka kerja InstantID memiliki tiga komponen esensial:

1. Komponen embedding ID yang menangkap informasi semantik yang kuat dari fitur wajah dalam gambar.
2. Modul adapter ringan dengan komponen cross-attention yang terpisah untuk memfasilitasi penggunaan gambar sebagai prompt visual.
3. Komponen IdentityNet yang mengkode fitur detail dari gambar referensi menggunakan kontrol spasial tambahan.

Embedding ID

Berbeda dengan metode yang ada seperti FaceStudio, PhotoMaker, IP-Adapter, dan lainnya yang bergantung pada encoder gambar CLIP pra-dilatih untuk mengekstrak prompt visual, kerangka kerja InstantID fokus pada kesetiaan yang ditingkatkan dan detail semantik yang lebih kuat dalam tugas pelestarian ID. Perlu diingat bahwa keterbatasan inheren dari komponen CLIP terletak pada proses pelatihannya pada data yang tidak sejajar, yang berarti fitur yang dikode oleh encoder CLIP terutama menangkap informasi semantik yang umum seperti warna, gaya, dan komposisi. Meskipun fitur ini dapat bertindak sebagai suplemen umum untuk embedding teks, mereka tidak cocok untuk tugas pelestarian ID yang presisi yang menekankan semantik yang kuat dan kesetiaan yang tinggi. Selain itu, penelitian terkini dalam model representasi wajah, terutama dalam pengenalan wajah, telah menunjukkan efisiensi dari representasi wajah dalam tugas yang kompleks, termasuk rekonstruksi dan pengenalan wajah. Berdasarkan hal ini, kerangka kerja InstantID bertujuan untuk menggunakan model wajah pra-dilatih untuk mendeteksi dan mengekstrak embedding ID dari gambar referensi, memandu model untuk generasi gambar.

Adapter Gambar

Kemampuan model difusi teks-ke-gambar pra-dilatih dalam tugas prompt gambar meningkatkan prompt teks secara signifikan, terutama untuk skenario yang tidak dapat dijelaskan dengan cukup oleh prompt teks. Kerangka kerja InstantID mengadopsi strategi yang mirip dengan yang digunakan oleh model IP-Adapter untuk prompt gambar, yang memperkenalkan modul adapter ringan yang dipasangkan dengan komponen cross-attention yang terpisah untuk mendukung gambar sebagai input prompt. Namun, berbeda dengan embedding CLIP yang sejajar kasar, kerangka kerja InstantID berbeda dengan menggunakan embedding ID sebagai prompt gambar dalam upaya untuk mencapai integrasi prompt yang lebih kaya dan lebih nuansa.

IdentityNet

Meskipun metode yang ada dapat mengintegrasikan prompt gambar dengan prompt teks, kerangka kerja InstantID berpendapat bahwa metode ini hanya meningkatkan fitur kasar dengan tingkat integrasi yang tidak cukup untuk generasi gambar yang menjaga identitas. Selain itu, menambahkan token gambar dan teks dalam lapisan cross-attention secara langsung cenderung melemahkan kontrol token teks, dan upaya untuk meningkatkan kekuatan token gambar mungkin mengakibatkan mengurangi kemampuan token teks pada tugas editing. Untuk mengatasi tantangan ini, kerangka kerja InstantID memilih ControlNet, metode embedding fitur alternatif yang menggunakan informasi spasial sebagai input untuk modul yang dapat dikontrol, memungkinkan untuk mempertahankan konsistensi dengan pengaturan UNet dalam model difusi.

Kerangka kerja InstantID membuat dua perubahan pada arsitektur ControlNet tradisional: untuk input kondisional, kerangka kerja InstantID memilih 5 titik kunci wajah sebagai gantinya titik kunci wajah OpenPose yang halus. Kedua, kerangka kerja InstantID menggunakan embedding ID sebagai gantinya prompt teks sebagai kondisi untuk lapisan cross-attention dalam arsitektur ControlNet.

Pelatihan dan Inferensi

Selama fase pelatihan, kerangka kerja InstantID mengoptimalkan parameter dari IdentityNet dan Image Adapter sambil membekukan parameter dari model difusi pra-dilatih. Seluruh pipa InstantID dilatih pada pasangan gambar-teks yang menampilkan subjek manusia, dan menggunakan tujuan pelatihan yang serupa dengan yang digunakan dalam kerangka kerja stable diffusion dengan kondisi gambar yang spesifik tugas. Sorotan dari metode pelatihan InstantID adalah pemisahan antara lapisan cross-attention gambar dan teks dalam adapter prompt gambar, pilihan yang memungkinkan kerangka kerja InstantID untuk menyesuaikan bobot dari kondisi gambar ini dengan fleksibel dan independen, sehingga memastikan proses inferensi dan pelatihan yang lebih terarah dan terkendali.

InstantID: Eksperimen dan Hasil

Kerangka kerja InstantID menerapkan Stable Diffusion dan melatihnya pada LAION-Face, dataset skala besar yang terbuka yang terdiri dari lebih dari 50 juta pasangan gambar-teks. Selain itu, kerangka kerja InstantID mengumpulkan lebih dari 10 juta gambar manusia dengan otomatis yang dihasilkan secara otomatis oleh model BLIP2 untuk lebih meningkatkan kualitas generasi gambar. Kerangka kerja InstantID fokus utama pada gambar tunggal orang, dan menggunakan model wajah pra-dilatih untuk mendeteksi dan mengekstrak embedding ID dari gambar manusia, dan bukan melatih dataset wajah yang dipotong, melatih gambar manusia asli. Selain itu, selama pelatihan, kerangka kerja InstantID membekukan model teks-ke-gambar pra-dilatih, dan hanya memperbarui parameter dari IdentityNet dan Image Adapter.

Generasi Gambar Hanya

Model InstantID menggunakan prompt kosong untuk memandu proses generasi gambar menggunakan hanya gambar referensi, dan hasilnya tanpa prompt ditunjukkan pada gambar berikut.

Generasi ‘Prompt Kosong’ seperti yang ditunjukkan pada gambar di atas menunjukkan kemampuan kerangka kerja InstantID untuk mempertahankan fitur wajah yang kaya secara semantik seperti identitas, usia, dan ekspresi dengan kuat. Namun, perlu diingat bahwa menggunakan prompt kosong mungkin tidak dapat mereplikasi hasil pada semantik lain seperti gender dengan akurat. Selain itu, pada gambar di atas, kolom 2 sampai 4 menggunakan gambar dan prompt, dan seperti yang dapat dilihat, gambar yang dihasilkan tidak menunjukkan degradasi dalam kemampuan kontrol teks, dan juga mempertahankan konsistensi identitas. Akhirnya, kolom 5 sampai 9 menggunakan gambar, prompt, dan kontrol spasial, menunjukkan kompatibilitas model dengan model kontrol spasial pra-dilatih yang memungkinkan model InstantID untuk memperkenalkan kontrol spasial dengan fleksibel menggunakan komponen ControlNet pra-dilatih.

Juga perlu diingat bahwa jumlah gambar referensi memiliki dampak signifikan pada gambar yang dihasilkan, seperti yang ditunjukkan pada gambar di atas. Meskipun kerangka kerja InstantID dapat menghasilkan hasil yang baik menggunakan satu gambar referensi, beberapa gambar referensi menghasilkan gambar dengan kualitas yang lebih baik karena kerangka kerja InstantID mengambil rata-rata mean dari embedding ID sebagai prompt gambar. Melanjutkan, penting untuk membandingkan kerangka kerja InstantID dengan metode sebelumnya yang menghasilkan gambar yang dipersonalisasi menggunakan satu gambar referensi. Gambar berikut membandingkan hasil yang dihasilkan oleh kerangka kerja InstantID dan model yang ada.

Seperti yang dapat dilihat, kerangka kerja InstantID dapat mempertahankan karakteristik wajah berkat embedding ID yang secara inheren membawa informasi semantik yang kaya, seperti identitas, usia, dan gender. Dapat dikatakan bahwa kerangka kerja InstantID outperforms model yang ada dalam generasi gambar yang disesuaikan karena dapat mempertahankan identitas manusia sambil mempertahankan kontrol dan fleksibilitas gaya.

Pemikiran Akhir

Dalam artikel ini, kita telah membahas tentang InstantID, solusi berbasis model difusi untuk generasi gambar. InstantID adalah modul plug and play yang menangani generasi gambar dan personalisasi dengan baik di berbagai gaya dengan hanya satu gambar referensi dan juga memastikan kesetiaan yang tinggi. Kerangka kerja InstantID fokus pada sintesis gambar yang menjaga identitas instan, dan berusaha untuk menjembatani kesenjangan antara efisiensi dan kesetiaan yang tinggi dengan memperkenalkan modul plug and play yang sederhana yang memungkinkan kerangka kerja untuk menangani personalisasi gambar menggunakan hanya satu gambar wajah sambil mempertahankan kesetiaan yang tinggi.