Mengembalikan dan Mengedit Gambar Manusia dengan AI

Kolaborasi baru antara University of California Merced dan Adobe menawarkan kemajuan pada state-of-the-art di bidang penyelesaian gambar manusia – tugas yang sangat dipelajari untuk ‘menghilangkan’ bagian gambar yang tersembunyi atau terhalang, untuk tujuan seperti virtual try-on, animasi, dan penyuntingan foto.

Selain memperbaiki gambar yang rusak atau mengubahnya sesuai keinginan pengguna, sistem penyelesaian gambar manusia seperti CompleteMe dapat menerapkan pakaian baru (melalui gambar referensi, seperti pada kolom tengah dalam contoh ini) ke dalam gambar yang ada. Contoh ini dari suplemen PDF yang luas untuk makalah baru. Sumber: https://liagm.github.io/CompleteMe/pdf/supp.pdf

Pendekatan baru, yang berjudul CompleteMe: Penyelesaian Gambar Manusia Berbasis Referensi, menggunakan gambar referensi tambahan untuk ‘menyarankan’ kepada sistem apa konten yang harus menggantikan bagian tersembunyi atau hilang dari gambar manusia (sehingga dapat diterapkan pada kerangka try-on berbasis mode).

Sistem CompleteMe dapat menyesuaikan konten referensi dengan bagian yang terhalang atau tersembunyi dari gambar manusia.

Sistem baru ini menggunakan arsitektur U-Net ganda dan blok Perhatian yang Berfokus pada Wilayah (RFA) yang mengarahkan sumber daya ke area yang relevan dari instance restorasi gambar.

Peneliti juga menawarkan sistem benchmark baru yang dirancang untuk mengevaluasi tugas penyelesaian berbasis referensi (karena CompleteMe adalah bagian dari jalur penelitian yang sedang berlangsung dalam penglihatan komputer, meskipun belum ada skema benchmark sampai sekarang).

Dalam tes, dan dalam studi pengguna yang skalabel dengan baik, metode baru ini unggul dalam sebagian besar metrik, dan secara keseluruhan. Dalam beberapa kasus, metode lain terganggu oleh pendekatan berbasis referensi.

Dari materi suplemen: metode AnyDoor memiliki kesulitan khusus dalam menafsirkan gambar referensi.

Makalah tersebut menyatakan:

‘Eksperimen ekstensif pada benchmark kami menunjukkan bahwa CompleteMe mengungguli metode state-of-the-art, baik berbasis referensi maupun tidak, dalam hal metrik kuantitatif, hasil kualitatif, dan studi pengguna.

‘Terutama dalam skenario yang menantang yang melibatkan pose kompleks, pola pakaian yang rumit, dan aksesori yang khas, model kami secara konsisten mencapai kesesuaian visual dan koherensi semantik yang lebih baik.’

Sayangnya, kehadiran proyek GitHub tidak berisi kode, dan inisiatif, yang juga memiliki halaman proyek yang sederhana halaman proyek, tampaknya dirancang sebagai arsitektur proprietary.

Contoh lebih lanjut dari kinerja subjektif sistem baru dibandingkan dengan metode sebelumnya. Lebih banyak detail nanti dalam artikel.

Metode

Kerangka CompleteMe didukung oleh U-Net Referensi, yang menangani integrasi materi tambahan ke dalam proses, dan U-Net kohesif, yang mengakomodasi berbagai proses untuk mendapatkan hasil akhir, seperti yang diilustrasikan dalam skema konseptual di bawah ini:

Skema konseptual untuk CompleteMe. Sumber: https://arxiv.org/pdf/2504.20042

Sistem pertama kali mengkodekan gambar masukan yang ditutupi menjadi representasi laten. Pada saat yang sama, U-Net Referensi memproses beberapa gambar referensi – masing-masing menampilkan wilayah tubuh yang berbeda – untuk mengekstrak fitur spasial yang terperinci.

Fitur-fitur ini melewati blok Perhatian yang Berfokus pada Wilayah yang tertanam dalam U-Net ‘lengkap’, di mana mereka diblokir secara selektif menggunakan masker wilayah yang sesuai, memastikan model hanya memperhatikan area yang relevan dalam gambar referensi.

Fitur-fitur yang diblokir kemudian diintegrasikan dengan fitur semantik global yang dihasilkan oleh pengkode CLIP, melalui perhatian silang yang terlepas, memungkinkan model untuk merekonstruksi konten yang hilang dengan detail halus dan koherensi semantik.

Untuk meningkatkan realisme dan kekuatan, proses pemblokiran masukan menggabungkan oklusi grid acak dengan masker bentuk tubuh manusia, masing-masing diterapkan dengan probabilitas yang sama, meningkatkan kompleksitas wilayah yang hilang yang harus dilengkapi oleh model.

Hanya untuk Referensi

Metode sebelumnya untuk penyelesaian gambar berbasis referensi biasanya bergantung pada pengkode tingkat semantik. Proyek-proyek ini termasuk CLIP itu sendiri, dan DINOv2, keduanya mengekstrak fitur global dari gambar referensi, tetapi sering kehilangan detail spasial halus yang diperlukan untuk pelestarian identitas yang akurat.

Dari makalah rilis untuk pendekatan DINOv2 yang lebih lama, yang disertakan dalam tes perbandingan dalam makalah baru: overlay berwarna menunjukkan tiga komponen utama pertama dari Analisis Komponen Utama (PCA), diterapkan pada patch gambar dalam setiap kolom, menyoroti bagaimana DINOv2 mengelompokkan bagian objek yang serupa bersama di seluruh gambar yang bervariasi. Meskipun perbedaan dalam pose, gaya, atau rendering, wilayah yang sesuai (seperti sayap, kaki, atau roda) secara konsisten dicocokkan, menggambarkan kemampuan model untuk mempelajari struktur berbasis bagian tanpa pengawasan. Sumber: https://arxiv.org/pdf/2304.07193

CompleteMe menangani aspek ini melalui U-Net Referensi khusus yang diinisialisasi dari Stable Diffusion 1.5, tetapi beroperasi tanpa langkah noise difusi*.

Setiap gambar referensi, yang menutupi wilayah tubuh yang berbeda, dikodekan menjadi fitur laten yang terperinci melalui U-Net ini. Fitur semantik global juga diekstrak secara terpisah menggunakan CLIP, dan kedua set fitur ini disimpan untuk penggunaan yang efisien selama integrasi berbasis perhatian. Dengan demikian, sistem dapat mengakomodasi beberapa gambar referensi secara fleksibel, sambil mempertahankan informasi penampilan yang terperinci.

Orkestrasi

U-Net kohesif mengelola tahap akhir proses penyelesaian. Diadaptasi dari varian inpainting dari Stable Diffusion 1.5, ia menerima gambar sumber yang diblokir dalam bentuk laten, bersama dengan fitur spasial yang terperinci yang diambil dari gambar referensi dan fitur semantik global yang diekstrak oleh pengkode CLIP.

Input-input ini digabungkan melalui blok RFA, yang memainkan peran kritis dalam mengarahkan fokus model ke area yang paling relevan dari materi referensi.

Sebelum memasuki mekanisme perhatian, fitur-fitur referensi secara eksplisit diblokir untuk menghilangkan wilayah yang tidak terkait dan kemudian digabungkan dengan representasi laten dari gambar sumber, memastikan bahwa perhatian diarahkan dengan presisi yang mungkin.

Untuk meningkatkan integrasi ini, CompleteMe mengintegrasikan mekanisme perhatian silang yang terlepas yang diadaptasi dari kerangka IP-Adapter:

IP-Adapter, yang sebagian diintegrasikan ke dalam CompleteMe, adalah salah satu proyek paling sukses dan sering digunakan dari tiga tahun terakhir pengembangan arsitektur model difusi laten. Sumber: https://ip-adapter.github.io/

Ini memungkinkan model untuk memproses fitur visual yang terperinci secara spasial dan konteks semantik yang lebih luas melalui aliran perhatian yang terpisah, yang kemudian digabungkan, menghasilkan rekonstruksi yang kohesif yang, menurut penulis, mempertahankan baik identitas dan detail halus.

Benchmarking

Dalam ketiadaan dataset yang sesuai untuk penyelesaian gambar manusia berbasis referensi, peneliti telah mengusulkan yang baru. Benchmark (yang tidak bernama) dibangun dengan mengkurasi pasangan gambar yang dipilih dari dataset WPose yang dirancang untuk proyek UniHuman Adobe Research 2023.

Contoh pose dari proyek UniHuman Adobe Research 2023. Sumber: https://github.com/adobe-research/UniHuman?tab=readme-ov-file#data-prep

Peneliti secara manual menggambar masker sumber untuk menunjukkan area inpainting, akhirnya mendapatkan 417 kelompok gambar tripartit yang terdiri dari gambar sumber, masker, dan gambar referensi.

Dua contoh kelompok yang dihasilkan dari dataset WPose referensi, dan dikurasi secara ekstensif oleh peneliti makalah baru.

Penulis menggunakan LLaVA Large Language Model (LLM) untuk menghasilkan prompt teks yang menjelaskan gambar sumber.

Metrik yang digunakan lebih luas dari biasanya; selain Peak Signal-to-Noise Ratio (PSNR), Structural Similarity Index (SSIM) dan Learned Perceptual Image Patch Similarity (LPIPS, dalam hal ini untuk mengevaluasi wilayah yang diblokir), peneliti menggunakan DINO untuk skor kesamaan; DreamSim untuk evaluasi hasil generasi; dan CLIP.

Data dan Tes

Untuk menguji karya, penulis menggunakan model Stable Diffusion V1.5 default dan model inpainting 1.5. Pengkode gambar sistem menggunakan model Vision CLIP, bersama dengan lapisan proyeksi – jaringan neural yang sederhana yang mengubah atau menyelaraskan output CLIP untuk mencocokkan dimensi fitur internal yang digunakan oleh model.

Pelatihan berlangsung selama 30.000 iterasi lebih than delapan NVIDIA A100^† GPU, diawasi oleh Mean Squared Error (MSE) loss, dengan ukuran batch 64 dan tingkat pembelajaran 2×10^-5. Berbagai elemen secara acak dihilangkan selama pelatihan, untuk mencegah sistem overfitting pada data.

Dataset ini dimodifikasi dari dataset Parts to Whole, yang sendiri didasarkan pada dataset DeepFashion-MultiModal.

Contoh dari dataset Parts to Whole, digunakan dalam pengembangan data yang dikurasi untuk CompleteMe. Sumber: https://huanngzh.github.io/Parts2Whole/

Penulis menyatakan:

‘Untuk memenuhi kebutuhan kami, kami [membangun kembali] pasangan pelatihan dengan menggunakan gambar yang terhalang dengan beberapa gambar referensi yang menangkap berbagai aspek penampilan manusia bersama dengan label teks singkat mereka.

‘Setiap sampel dalam data pelatihan kami mencakup enam jenis penampilan: pakaian atas, pakaian bawah, pakaian seluruh tubuh, rambut atau pakaian kepala, wajah, dan sepatu. Untuk strategi pemblokiran, kami menerapkan pemblokiran grid acak 50% antara 1 hingga 30 kali, sementara untuk 50% lainnya, kami menggunakan masker bentuk tubuh manusia untuk meningkatkan kompleksitas pemblokiran.

‘Setelah pipeline konstruksi, kami memperoleh 40.000 pasangan gambar untuk pelatihan.’

Metode sebelumnya non-referensi yang diuji adalah Large occluded human image completion (LOHC) dan model inpainting plug-and-play BrushNet; model berbasis referensi yang diuji adalah Paint-by-Example; AnyDoor; LeftRefill; dan MimicBrush.

Penulis memulai dengan perbandingan kuantitatif pada metrik yang disebutkan sebelumnya:

Hasil perbandingan kuantitatif awal.

Mengenai evaluasi kuantitatif, penulis mencatat bahwa CompleteMe mencapai skor tertinggi pada sebagian besar metrik perseptual, termasuk CLIP-I, DINO, DreamSim, dan LPIPS, yang dimaksudkan untuk menangkap keselarasan semantik dan kesesuaian penampilan antara output dan gambar referensi.

Namun, model ini tidak mengungguli semua baseline dalam semua aspek. Secara khusus, BrushNet mencapai skor tertinggi pada CLIP-T, LeftRefill memimpin pada SSIM dan PSNR, dan MimicBrush sedikit unggul pada CLIP-I.

While CompleteMe menunjukkan hasil yang konsisten kuat secara keseluruhan, perbedaan kinerja cukup modest dalam beberapa kasus, dan beberapa metrik masih dipimpin oleh metode sebelumnya. Mungkin tidak tidak adil, penulis memandang hasil ini sebagai bukti kekuatan seimbang CompleteMe di seluruh dimensi struktural dan perseptual.

Ilustrasi untuk tes kualitatif yang dilakukan dalam studi ini terlalu banyak untuk direproduksi di sini, dan kami merujuk pembaca tidak hanya ke makalah sumber, tetapi juga ke suplemen PDF yang luas suplemen PDF, yang berisi banyak contoh kualitatif tambahan.

Kami menyoroti contoh kualitatif utama yang disajikan dalam makalah utama, bersama dengan beberapa contoh tambahan yang diambil dari kumpulan gambar suplemen yang diperkenalkan sebelumnya dalam artikel ini:

Hasil kualitatif awal yang disajikan dalam makalah utama. Silakan merujuk ke makalah sumber untuk resolusi yang lebih baik.

Dari hasil kualitatif yang ditampilkan di atas, penulis mengomentari:

‘Dengan input yang diblokir, metode non-referensi ini menghasilkan konten yang masuk akal untuk wilayah yang diblokir menggunakan prioritas gambar atau prompt teks.

‘Namun, seperti yang ditunjukkan dalam kotak merah, mereka tidak dapat mereproduksi detail spesifik seperti tato atau pola pakaian unik, karena mereka kekurangan gambar referensi untuk memandu rekonstruksi informasi yang identik.’

Perbandingan kedua, sebagian disajikan di bawah, fokus pada empat metode berbasis referensi Paint-by-Example, AnyDoor, LeftRefill, dan MimicBrush. Di sini hanya satu gambar referensi dan prompt teks yang disediakan.

Perbandingan kualitatif dengan metode berbasis referensi. CompleteMe menghasilkan penyelesaian yang lebih realistis dan lebih baik mempertahankan detail spesifik dari gambar referensi. Kotak merah menyoroti area yang menarik perhatian.

Penulis menyatakan:

‘Diberikan gambar manusia yang diblokir dan gambar referensi, metode lain dapat menghasilkan konten yang masuk akal tetapi sering gagal mempertahankan informasi kontekstual dari referensi dengan akurat.

‘Dalam beberapa kasus, mereka menghasilkan konten yang tidak relevan atau memetakan bagian yang sesuai dari gambar referensi secara tidak benar. Sebaliknya, CompleteMe secara efektif melengkapi wilayah yang diblokir dengan mempertahankan informasi yang identik dan memetakan bagian yang sesuai dari tubuh manusia dari gambar referensi secara akurat.’

Untuk menilai seberapa baik model sesuai dengan persepsi manusia, penulis melakukan studi pengguna yang melibatkan 15 annotator dan 2.895 pasangan sampel. Setiap pasangan membandingkan output CompleteMe dengan salah satu dari empat baseline berbasis referensi: Paint-by-Example, AnyDoor, LeftRefill, atau MimicBrush.

Annotator mengevaluasi setiap hasil berdasarkan kualitas visual dari wilayah yang dilengkapi dan seberapa baik itu mempertahankan fitur identitas dari gambar referensi – dan di sini, mengevaluasi kualitas dan identitas secara keseluruhan, CompleteMe mendapatkan hasil yang lebih definitif:

Hasil studi pengguna.

Kesimpulan

Jika ada, hasil kualitatif dalam studi ini diperlemah oleh volume mereka, karena pemeriksaan yang teliti menunjukkan bahwa sistem baru ini adalah entri yang paling efektif dalam area neural image editing yang relatif khusus tetapi sangat diminati.

Namun, membutuhkan sedikit perhatian dan pembesaran pada PDF asli untuk menghargai seberapa baik sistem ini menyesuaikan materi referensi dengan area yang terhalang dalam perbandingan (hampir semua kasus) dengan metode sebelumnya.

Kami sangat menyarankan pembaca untuk memeriksa dengan hati-hati hasil yang awalnya membingungkan, jika tidak mengesankan, dari materi suplemen yang disajikan.

* Menarik untuk dicatat bagaimana rilis V1.5 yang sekarang sudah ketinggalan zaman masih menjadi favorit peneliti – sebagian karena pengujian seperti-ke-like yang sudah ketinggalan zaman, tetapi juga karena ini adalah iterasi Stable Diffusion yang paling tidak disensor dan mungkin paling mudah dilatih, dan tidak memiliki keterbatasan sensorius dari rilis FOSS Flux.

^† Spesifikasi VRAM tidak diberikan – itu akan menjadi 40GB atau 80GB per kartu.

Dipublikasikan pertama kali pada hari Selasa, 29 April 2025