Perjuangan untuk Kustomisasi Zero-Shot pada Generative AI

Jika Anda ingin memasukkan diri Anda ke dalam alat generasi gambar atau video populer – tetapi Anda belum terkenal enough untuk model dasar mengenali Anda – Anda perlu melatih model adaptasi peringkat rendah (LoRA) menggunakan koleksi foto Anda sendiri. Setelah dibuat, model LoRA yang dipersonalisasi ini memungkinkan model generatif untuk memasukkan identitas Anda dalam output masa depan.

Ini biasa disebut kustomisasi di sektor penelitian sintesis gambar dan video. Ini pertama kali muncul beberapa bulan setelah kemunculan Stable Diffusion pada musim panas 2022, dengan proyek DreamBooth dari Google Research yang menawarkan model kustomisasi berukuran gigabyte tinggi, dalam skema sumber tertutup yang kemudian diadaptasi oleh penggemar dan dirilis ke komunitas.

Model LoRA segera mengikuti, dan menawarkan pelatihan yang lebih mudah dan ukuran file yang jauh lebih ringan, dengan kualitas minimal atau tidak ada biaya, sehingga mendominasi adegan kustomisasi untuk Stable Diffusion dan penerusnya, model lain seperti Flux, dan sekarang model video generatif baru seperti Hunyuan Video dan Wan 2.1.

Bersihkan dan Ulangi

Masalahnya adalah, seperti yang telah kita catat sebelumnya, bahwa setiap kali model baru keluar, itu memerlukan generasi baru LoRA untuk dilatih, yang mewakili gesekan yang cukup besar pada produsen LoRA, yang mungkin melatih sejumlah model kustom hanya untuk menemukan bahwa pembaruan model atau model populer yang lebih baru berarti mereka perlu memulai dari awal lagi.

Oleh karena itu, pendekatan kustomisasi zero-shot telah menjadi benang kuat dalam literatur belakangan ini. Dalam skenario ini, alih-alih memerlukan dataset yang dikurasi dan melatih sub-model Anda sendiri, Anda hanya perlu menyediakan satu atau lebih foto subjek yang akan disuntikkan ke dalam generasi, dan sistem akan menafsirkan sumber input ini menjadi output yang tercampur.

Di bawah ini kita lihat bahwa selain face-swapping, sistem seperti ini (di sini menggunakan PuLID) juga dapat mengintegrasikan nilai ID ke dalam transfer gaya:

Contoh transfer ID wajah menggunakan sistem PuLID. Sumber: https://github.com/ToTheBeginning/PuLID?tab=readme-ov-file

Sementara menggantikan sistem yang intensif dan rapuh seperti LoRA dengan adapter generik adalah ide yang bagus (dan populer), itu juga menantang; perhatian yang ekstrem terhadap detail dan cakupan yang diperoleh dalam proses pelatihan LoRA sangat sulit untuk ditiru dalam model one-shot seperti IP-Adapter, yang harus mencocokkan tingkat detail dan fleksibilitas LoRA tanpa keuntungan sebelumnya dari menganalisis set lengkap gambar identitas.

HyperLoRA

Dengan ini dalam pikiran, ada makalah menarik baru dari ByteDance yang mengusulkan sistem yang menghasilkan kode LoRA yang sebenarnya on-the-fly, yang saat ini unik di antara solusi zero-shot;

Di sebelah kiri, gambar input. Di sebelah kanan, rentang output yang fleksibel berdasarkan gambar sumber, secara efektif menghasilkan deepfakes dari aktor Anthony Hopkins dan Anne Hathaway. Sumber: https://arxiv.org/pdf/2503.16944

Makalah tersebut menyatakan:

‘Teknik berbasis adapter seperti IP-Adapter membekukan parameter model dasar dan menggunakan arsitektur plug-in untuk memungkinkan inferensi zero-shot, tetapi mereka sering menunjukkan kekurangan alami dan otentisitas, yang tidak boleh diabaikan dalam tugas sintesis potret.

‘[Kami] memperkenalkan metode generasi adaptif yang efisien parameter, yaitu HyperLoRA, yang menggunakan jaringan plug-in adaptif untuk menghasilkan bobot LoRA, menggabungkan kinerja unggul LoRA dengan kemampuan zero-shot skema adapter.

‘Melalui struktur jaringan dan strategi pelatihan yang dirancang dengan hati-hati, kami mencapai generasi potret personalisasi zero-shot (mendukung input gambar tunggal dan ganda) dengan fotorealisme tinggi, kesetiaan, dan kemampuan edit.

Yang paling berguna, sistem yang dilatih dapat digunakan dengan ControlNet yang ada, memungkinkan tingkat spesifisitas yang tinggi dalam generasi:

Timothy Chalomet membuat penampilan yang tidak terduga dengan senyum ceria di ‘The Shining’ (1980), berdasarkan tiga foto input di HyperLoRA, dengan mask ControlNet yang menentukan output (bersama dengan prompt teks).

Untuk mengetahui apakah sistem baru ini akan pernah tersedia untuk pengguna akhir, ByteDance memiliki catatan yang wajar dalam hal ini, telah merilis kerangka kerja LatentSync yang sangat kuat, dan baru saja merilis kerangka kerja InfiniteYou.

Negatifnya, makalah tersebut tidak memberikan indikasi niat untuk merilis, dan sumber daya pelatihan yang diperlukan untuk merekayasa kembali pekerjaan tersebut sangat besar sehingga akan menjadi tantangan bagi komunitas antusias untuk merekayasa kembali (seperti yang mereka lakukan dengan DreamBooth).

Makalah baru ini berjudul HyperLoRA: Generasi Adaptif Parameter-Efisien untuk Sintesis Potret, dan berasal dari tujuh peneliti di ByteDance dan departemen Kreasi Cerdas ByteDance.

Metode

Metode baru ini menggunakan model difusi laten stabil (LDM) SDXL sebagai model dasar, meskipun prinsip-prinsipnya tampaknya dapat diterapkan pada model difusi secara umum (namun, tuntutan pelatihan – lihat di bawah – mungkin membuatnya sulit untuk diterapkan pada model video generatif).

Proses pelatihan untuk HyperLoRA dibagi menjadi tiga tahap, masing-masing dirancang untuk mengisolasi dan melestarikan informasi tertentu dalam bobot yang dipelajari. Tujuan dari prosedur yang terisolasi ini adalah untuk mencegah fitur-fitur yang relevan dengan identitas dari polusi oleh elemen-elemen yang tidak relevan seperti pakaian atau latar belakang, serta mencapai konvergensi yang cepat dan stabil.

Skema konseptual untuk HyperLoRA. Model ini dibagi menjadi ‘Hyper ID-LoRA’ untuk fitur identitas dan ‘Hyper Base-LoRA’ untuk latar belakang dan pakaian. Pemisahan ini mengurangi kebocoran fitur. Selama pelatihan, basis SDXL dan pengkode yang dibekukan, dan hanya modul HyperLoRA yang diperbarui. Pada inferensi, hanya ID-LoRA yang diperlukan untuk menghasilkan gambar yang dipersonalisasi.

Tahap pertama fokus sepenuhnya pada mempelajari ‘Base-LoRA’ (kiri bawah pada gambar skema di atas), yang menangkap detail-detail yang tidak relevan dengan identitas.

Untuk memaksakan pemisahan ini, peneliti secara sengaja mengaburkan wajah dalam gambar pelatihan, memungkinkan model untuk mengidentifikasi hal-hal seperti latar belakang, pencahayaan, dan pose – tetapi tidak identitas. Tahap “pemanasan” ini bertindak sebagai filter, menghilangkan gangguan tingkat rendah sebelum pembelajaran identitas dimulai.

Pada tahap kedua, ‘ID-LoRA’ (kiri atas pada gambar skema di atas) diperkenalkan. Di sini, identitas wajah dikodekan menggunakan dua jalur paralel: CLIP Vision Transformer (CLIP ViT) untuk fitur struktural dan pengkode InsightFace AntelopeV2 untuk representasi identitas yang lebih abstrak.

Pendekatan Transisi

Fitur CLIP membantu model konvergen dengan cepat, tetapi berisiko overfitting, sedangkan embeddings Antelope lebih stabil tetapi lebih lambat untuk dilatih. Oleh karena itu, sistem ini dimulai dengan mengandalkan CLIP lebih berat, dan secara bertahap memasukkan Antelope, untuk menghindari ketidakstabilan.

Di tahap terakhir, lapisan perhatian yang dipandu CLIP dibekukan sepenuhnya. Hanya modul perhatian yang terkait dengan AntelopeV2 yang terus dilatih, memungkinkan model untuk memperbaiki pelestarian identitas tanpa merusak kesetiaan atau keluasan komponen yang telah dipelajari sebelumnya.

Struktur yang difase ini pada dasarnya adalah upaya disentanglement. Fitur identitas dan non-identitas dipisahkan, kemudian diperbaiki secara independen. Ini adalah respons metode terhadap mode kegagalan pribadi yang biasa: drift identitas, editabilitas rendah, dan overfitting ke fitur insidental.

Saat Anda Menimbang

Setelah CLIP ViT dan AntelopeV2 mengekstrak fitur struktural dan identitas khusus dari potret yang diberikan, fitur yang diperoleh kemudian dilewatkan melalui perceiver resampler (diadaptasi dari proyek IP-Adapter) – modul berbasis transformer yang memetakan fitur ke dalam set koefisien yang kompak.

Dua resampler terpisah digunakan: satu untuk menghasilkan bobot Base-LoRA (yang mengkodekan elemen latar belakang dan non-identitas) dan lainnya untuk bobot ID-LoRA (yang fokus pada identitas wajah).

Skema untuk struktur jaringan HyperLoRA.

Koefisien output kemudian digabungkan secara linier dengan set matriks basis LoRA yang dipelajari, menghasilkan bobot LoRA penuh tanpa perlu fine-tuning model dasar.

Pendekatan ini memungkinkan sistem untuk menghasilkan bobot yang dipersonalisasi sepenuhnya on-the-fly, menggunakan hanya pengkode gambar dan proyeksi ringan, sambil tetap memanfaatkan kemampuan LoRA untuk memodifikasi perilaku model dasar secara langsung.

Data dan Pengujian

Untuk melatih HyperLoRA, peneliti menggunakan subset dari 4,4 juta gambar wajah dari dataset LAION-2B (sekarang dikenal sebagai sumber data untuk model Stable Diffusion asli 2022).

InsightFace digunakan untuk menyaring wajah non-potret dan beberapa gambar. Gambar-gambar tersebut kemudian dianotasi dengan sistem BLIP-2.

Dalam hal augmentasi data, gambar-gambar tersebut dipotong secara acak di sekitar wajah, tetapi selalu fokus pada area wajah.

Peringkat LoRA harus menyesuaikan diri dengan memori yang tersedia dalam pengaturan pelatihan. Oleh karena itu, peringkat LoRA untuk ID-LoRA ditetapkan ke 8, dan peringkat untuk Base-LoRA ke 4, sementara akumulasi gradien delapan langkah digunakan untuk mensimulasikan ukuran batch yang lebih besar dari yang sebenarnya memungkinkan pada perangkat keras.

Peneliti melatih modul Base-LoRA, ID-LoRA (CLIP), dan ID-LoRA (pengkode identitas) secara berurutan selama 20K, 15K, dan 55K iterasi, masing-masing. Selama pelatihan ID-LoRA, mereka mengambil sampel dari tiga skenario kondisi dengan probabilitas 0,9, 0,05, dan 0,05.

Sistem ini diimplementasikan menggunakan PyTorch dan Diffusers, dan proses pelatihan penuh berjalan selama sekitar sepuluh hari pada 16 GPU NVIDIA A100*.

Pengujian ComfyUI

Penulis membangun alur kerja di platform ComfyUI untuk membandingkan HyperLoRA dengan tiga metode saingan: InstantID; IP-Adapter, dalam bentuk kerangka kerja IP-Adapter-FaceID-Portrait; dan PuLID yang disebutkan sebelumnya. Benih konsisten, prompt, dan metode sampling digunakan di semua kerangka kerja.

Penulis mencatat bahwa metode berbasis Adapter (bukan LoRA) umumnya memerlukan skala Panduan Klasifikasi Bebas (CFG) yang lebih rendah, sedangkan LoRA (termasuk HyperLoRA) lebih fleksibel dalam hal ini.

Oleh karena itu, peneliti menggunakan varian titik akhir SDXL yang difine-tune secara terbuka LEOSAM’s Hello World di semua pengujian. Untuk pengujian kuantitatif, dataset gambar Unsplash-50 digunakan.

Metrik

Untuk benchmark kesetiaan, penulis mengukur kesamaan wajah menggunakan jarak kosinus antara pengkode gambar CLIP (CLIP-I) dan pengkode identitas terpisah (ID Sim) yang diekstrak melalui CurricularFace, model yang tidak digunakan selama pelatihan.

Masing-masing metode menghasilkan empat potret beresolusi tinggi per identitas dalam set tes, dengan hasil yang kemudian dirata-ratakan.

Editaritas dinilai dengan membandingkan skor CLIP-I antara output dengan dan tanpa modul identitas (untuk melihat seberapa banyak konstrain identitas mengubah gambar); dan dengan mengukur keselarasan teks-gambar CLIP (CLIP-T) di seluruh sepuluh variasi prompt yang mencakup gaya rambut, aksesoris, pakaian, dan latar belakang.

Penulis juga memasukkan model dasar Arc2Face dalam perbandingan – baseline yang dilatih pada caption tetap dan wilayah wajah yang dipotong.

Untuk HyperLoRA, dua varian diuji: satu menggunakan hanya modul ID-LoRA, dan yang lain menggunakan ID-LoRA dan Base-LoRA, dengan yang terakhir diberi bobot 0,4. Sementara Base-LoRA memperbaiki kesetiaan, itu sedikit membatasi editaritas.

Hasil perbandingan kuantitatif awal.

Dari pengujian kuantitatif, penulis mengomentari:

‘Base-LoRA membantu meningkatkan kesetiaan tetapi membatasi editaritas. Meskipun desain kami memisahkan fitur gambar menjadi LoRA yang berbeda, sulit untuk menghindari kebocoran bersama. Oleh karena itu, kami dapat menyesuaikan bobot Base-LoRA untuk menyesuaikan dengan skenario aplikasi yang berbeda. ‘

‘HyperLoRA kami (Full dan ID) mencapai kesetiaan wajah terbaik dan kedua terbaik, sementara InstantID menunjukkan superioritas dalam kesamaan ID wajah tetapi kesetiaan wajah yang lebih rendah. ‘

‘Kedua metrik ini harus dipertimbangkan bersama untuk mengevaluasi kesetiaan, karena kesamaan ID wajah lebih abstrak dan kesetiaan wajah mencerminkan lebih banyak detail.’

Dalam pengujian kualitatif, pertukaran yang terlibat dalam proposisi esensial menjadi jelas (perlu diingat bahwa kami tidak memiliki ruang untuk mereproduksi semua gambar untuk hasil kualitatif, dan merujuk pembaca ke makalah sumber untuk lebih banyak gambar dengan resolusi yang lebih baik):

Perbandingan kualitatif. Dari atas ke bawah, prompt yang digunakan adalah: ‘kemeja putih’ dan ‘telinga serigala’ (lihat makalah untuk contoh tambahan).

Di sini penulis mengomentari:

‘Kulit potret yang dihasilkan oleh IP-Adapter dan InstantID memiliki tekstur yang jelas dibuat oleh AI, yang sedikit terlalu jenuh dan jauh dari fotorealisme.’

‘Ini adalah kelemahan umum dari metode berbasis Adapter. PuLID memperbaiki masalah ini dengan melemahkan intrusi ke model dasar, mengungguli IP-Adapter dan InstantID tetapi masih menderita karena pengaburan dan kekurangan detail. ‘

‘Sebaliknya, LoRA secara langsung memodifikasi bobot model dasar alih-alih memperkenalkan modul perhatian eksternal, biasanya menghasilkan gambar yang sangat detail dan fotorealistik.’

Penulis berpendapat bahwa karena HyperLoRA memodifikasi bobot model dasar secara langsung alih-alih mengandalkan modul perhatian eksternal, itu mempertahankan kapasitas non-linier dari metode LoRA tradisional, potensialmente menawarkan keunggulan dalam kesetiaan dan memungkinkan penangkapan detail halus seperti warna pupil.

Dalam perbandingan kualitatif, makalah tersebut menyatakan bahwa tata letak HyperLoRA lebih kohesif dan lebih sejalan dengan prompt, dan mirip dengan yang dihasilkan oleh PuLID, sementara jauh lebih kuat daripada InstantID atau IP-Adapter (yang terkadang gagal mengikuti prompt atau menghasilkan komposisi yang tidak alami).

Contoh lebih lanjut dari generasi ControlNet dengan HyperLoRA.

Kesimpulan

Aliran konsisten dari berbagai sistem kustomisasi one-shot selama 18 bulan terakhir telah, pada saat ini, mengambil kualitas putus asa. Sangat sedikit dari penawaran yang telah membuat kemajuan yang signifikan pada keadaan seni; dan mereka yang telah maju sedikit cenderung memiliki tuntutan pelatihan yang sangat besar dan/atau tuntutan inferensi yang sangat kompleks atau intensif sumber daya.

Sementara rejim pelatihan HyperLoRA sendiri sama mengesankan seperti banyak entri serupa baru-baru ini, setidaknya satu selesai dengan model yang dapat menangani kustomisasi ad hoc langsung dari kotak.

Dari materi pelengkap makalah, kita mencatat bahwa kecepatan inferensi HyperLoRA lebih baik daripada IP-Adapter, tetapi lebih buruk daripada dua metode sebelumnya – dan bahwa angka-angka ini didasarkan pada GPU NVIDIA V100, yang bukanlah perangkat keras konsumen biasa (meskipun GPU NVIDIA ‘domestik’ yang lebih baru dapat mencocokkan atau melebihi 32GB VRAM maksimum V100).

Kecepatan inferensi metode yang bersaing, dalam milidetik.

Adil untuk mengatakan bahwa kustomisasi zero-shot masih merupakan masalah yang belum terpecahkan dari sudut pandang praktis, karena tuntutan perangkat keras yang signifikan dari HyperLoRA secara argumentatif bertentangan dengan kemampuannya untuk menghasilkan model dasar tunggal yang benar-benar jangka panjang.

* Representing either 640GB or 1280GB of VRAM, depending on which model was used (this is not specified)

First published Monday, 24 Maret 2025