Meningkatkan Akurasi Pengeditan Gambar AI

Meskipun model difusi laten Adobe’s Firefly adalah salah satu yang terbaik saat ini, pengguna Photoshop yang telah mencoba fitur generatifnya akan menyadari bahwa itu tidak dapat dengan mudah mengedit gambar yang ada – bukan menggantikan area yang dipilih pengguna dengan gambar berdasarkan prompt teks pengguna (meskipun Firefly sangat baik dalam mengintegrasikan bagian yang dihasilkan ke dalam konteks gambar).

Dalam versi beta saat ini, Photoshop setidaknya dapat menggunakan gambar referensi sebagai prompt gambar sebagian, yang membuat produk andalan Adobe ini mengejar fungsionalitas yang sama dengan yang dinikmati pengguna Stable Diffusion selama lebih dari dua tahun, berkat kerangka kerja pihak ketiga seperti Controlnet:

Versi beta saat ini dari Adobe Photoshop memungkinkan penggunaan gambar referensi saat menghasilkan konten baru di dalam seleksi – meskipun saat ini masih merupakan urusan yang tidak pasti.

Hal ini menggambarkan masalah terbuka dalam penelitian sintesis gambar – kesulitan yang dialami model difusi dalam mengedit gambar yang ada tanpa menerapkan ‘re-imagining’ skala penuh dari seleksi yang ditunjukkan oleh pengguna.

Meskipun pengisian berbasis difusi ini mematuhi prompt pengguna, itu sepenuhnya mengarang kembali materi subjek sumber tanpa mempertimbangkan gambar asli (kecuali dengan mencampurkan generasi baru dengan lingkungan). Source: https://arxiv.org/pdf/2502.20376

Masalah ini terjadi karena LDM menghasilkan gambar melalui penyaringan iteratif, di mana setiap tahap prosesnya dikondisikan pada prompt teks yang disediakan oleh pengguna. Dengan konten prompt teks diubah menjadi token embedding, dan dengan model hiperskala seperti Stable Diffusion atau Flux yang mengandung ratusan ribu (atau jutaan) embedding yang hampir cocok dengan prompt, proses ini memiliki distribusi kondisional yang dihitung untuk dituju; dan setiap langkah yang diambil adalah langkah menuju ‘target distribusi kondisional’ ini.

Jadi itu adalah teks ke gambar – skenario di mana pengguna ‘berharap yang terbaik’, karena tidak ada yang tahu pasti seperti apa hasilnya akan seperti.

Sebaliknya, banyak orang telah berusaha menggunakan kapasitas generatif LDM yang kuat untuk mengedit gambar yang ada – tetapi ini memerlukan keseimbangan antara kesetiaan dan fleksibilitas.

Ketika gambar diproyeksikan ke ruang laten model dengan metode seperti DDIM inversion, tujuannya adalah untuk memulihkan aslinya seakurat mungkin sambil masih memungkinkan perubahan yang berarti. Masalahnya adalah bahwa semakin akurat gambar direkonstruksi, semakin model tersebut mempertahankan struktur aslinya, membuat perubahan besar menjadi sulit.

Seperti banyak kerangka kerja pengeditan gambar berbasis difusi yang diusulkan dalam beberapa tahun terakhir, arsitektur Renoise memiliki kesulitan membuat perubahan nyata pada penampilan gambar, dengan hanya indikasi singkat dari dasi yang muncul di dasar tenggorokan kucing.

Di sisi lain, jika proses ini memprioritaskan editabilitas, model tersebut melepaskan genggamannya pada aslinya, membuatnya lebih mudah untuk memperkenalkan perubahan – tetapi dengan biaya konsistensi keseluruhan dengan gambar sumber:

Misi berhasil – tetapi itu transformasi daripada penyesuaian, untuk sebagian besar kerangka kerja pengeditan gambar berbasis AI.

Karena ini adalah masalah yang bahkan sumber daya Adobe yang cukup besar kesulitan untuk mengatasi, maka kita dapat dengan masuk akal mempertimbangkan bahwa tantangan ini cukup berarti, dan mungkin tidak memungkinkan solusi yang mudah, jika ada.

Inversi Ketat

Oleh karena itu, contoh-contoh dalam makalah baru yang dirilis minggu ini menarik perhatian saya, karena karya ini menawarkan perbaikan yang patut dan layak dalam keadaan saat ini di bidang ini, dengan membuktikan kemampuan untuk menerapkan pengeditan yang halus dan rinci pada gambar yang diproyeksikan ke ruang laten model – tanpa pengeditan yang tidak signifikan atau menghancurkan konten asli dalam gambar sumber:

Dengan Inversi Ketat yang diterapkan pada metode inversi yang ada, seleksi sumber dipertimbangkan dengan cara yang lebih rinci, dan transformasi tersebut sesuai dengan materi asli daripada menggantinya.

Penggemar dan praktisi LDM mungkin mengenali hasil semacam ini, karena sebagian besar dapat dibuat dalam alur kerja yang kompleks menggunakan sistem eksternal seperti Controlnet dan IP-Adapter.

Faktanya, metode baru – yang disebut Inversi Ketat – memang menggunakan IP-Adapter, bersama dengan model berbasis wajah yang didedikasikan, untuk penggambaran manusia.

Dari makalah asli IP-Adapter 2023, contoh-contoh membuat pengeditan yang sesuai dengan materi sumber. Source: https://arxiv.org/pdf/2308.06721

Prestasi utama dari Inversi Ketat, maka, adalah untuk memprosesalikan teknik yang kompleks menjadi satu modul drop-in yang dapat diterapkan pada sistem yang ada, termasuk sebagian besar distribusi LDM yang paling populer.

Secara alami, ini berarti bahwa Inversi Ketat (TI), seperti sistem tambahan yang digunakannya, menggunakan gambar sumber sebagai faktor kondisional untuk versi dieditnya, bukan hanya mengandalkan prompt teks yang akurat:

Contoh lain dari kemampuan Inversi Ketat untuk menerapkan pengeditan yang benar-benar tercampur dengan materi sumber.

Meskipun penulis mengakui bahwa pendekatan mereka tidak bebas dari ketegangan tradisional dan berkelanjutan antara kesetiaan dan editabilitas dalam teknik pengeditan gambar berbasis difusi, mereka melaporkan hasil yang luar biasa ketika menyuntikkan TI ke dalam sistem yang ada, dibandingkan dengan kinerja baseline.

Makalah baru ini berjudul Inversi Ketat: Inversi yang Dikondisikan pada Gambar untuk Pengeditan Gambar Nyata, dan berasal dari lima peneliti di Universitas Tel Aviv dan Snap Research.

Metode

Awalnya, Model Bahasa Besar (LLM) digunakan untuk menghasilkan serangkaian prompt teks yang bervariasi dari mana gambar dihasilkan. Kemudian, inversi DDIM yang disebutkan sebelumnya diterapkan pada setiap gambar dengan tiga kondisi teks: prompt teks yang digunakan untuk menghasilkan gambar; versi singkat dari yang sama; dan prompt kosong (kosong).

Dengan kebisingan yang diinversikan yang dikembalikan dari proses ini, gambar-gambar tersebut dihasilkan kembali dengan kondisi yang sama, dan tanpa bimbingan bebas klasifikasi (CFG).

Skor inversi DDIM di berbagai metrik dengan pengaturan prompt yang bervariasi.

Seperti yang kita lihat dari grafik di atas, skor di berbagai metrik ditingkatkan dengan panjang teks yang meningkat. Metrik yang digunakan adalah Rasio Sinyal-ke-Noise Puncak (PSNR); jarak L2; Indeks Kesamaan Struktural (SSIM); dan Kesamaan Patch Gambar yang Dipelajari (LPIPS).

Sadar-Willayah

Secara efektif, Inversi Ketat mengubah cara model difusi mengedit gambar nyata dengan mengkondisikan proses inversi pada gambar itu sendiri, bukan hanya mengandalkan teks.

Normalnya, meng-invers gambar ke ruang kebisingan model difusi memerlukan estimasi kebisingan awal yang, ketika didebising, merekonstruksi input. Metode standar menggunakan prompt teks untuk memandu proses ini; tetapi prompt yang tidak sempurna dapat menyebabkan kesalahan, kehilangan detail atau mengubah struktur.

Inversi Ketat sebaliknya menggunakan IP Adapter untuk memasukkan informasi visual ke model, sehingga merekonstruksi gambar dengan akurasi yang lebih tinggi, mengubah gambar sumber menjadi token kondisional, dan memproyeksikannya ke pipa inversi.

Parameter ini dapat diedit: meningkatkan pengaruh gambar sumber membuat rekonstruksi hampir sempurna, sementara menguranginya memungkinkan perubahan yang lebih kreatif. Ini membuat Inversi Ketat berguna untuk perubahan yang halus, seperti mengubah warna kemeja, atau perubahan yang lebih signifikan, seperti menukar objek – tanpa efek sampingan yang umum dari metode inversi lain, seperti kehilangan detail halus atau aberrasi yang tidak terduga dalam konten latar belakang.

Penulis menyatakan:

‘Kami mencatat bahwa Inversi Ketat dapat dengan mudah diintegrasikan dengan metode inversi sebelumnya (misalnya, Edit Friendly DDPM, ReNoise) dengan [menggantikan inti difusi asli dengan model IP Adapter yang diubah], [dan] Inversi Ketat secara konsisten meningkatkan metode-metode tersebut dalam hal rekonstruksi dan editabilitas.’

Data dan Pengujian

Peneliti mengevaluasi TI pada kapasitasnya untuk merekonstruksi dan mengedit gambar sumber dunia nyata. Semua eksperimen menggunakan Stable Diffusion XL dengan penjadwal DDIM seperti yang dijelaskan dalam makalah asli Stable Diffusion; dan semua pengujian menggunakan 50 langkah denoising dengan skala bimbingan default 7,5.

Untuk kondisional gambar, IP-Adapter-plus sdxl vit-h digunakan. Untuk pengujian beberapa langkah, peneliti menggunakan SDXL-Turbo dengan penjadwal Euler, dan juga melakukan eksperimen dengan FLUX.1-dev, mengkondisikan model dalam kasus terakhir pada PuLID-Flux, menggunakan RF-Inversion pada 28 langkah.

PulID digunakan hanya dalam kasus yang menampilkan wajah manusia, karena ini adalah domain yang PulID dilatih untuk menangani – dan meskipun patut dicatat bahwa sistem sub-terpisah yang digunakan untuk satu jenis prompt ini, minat kita yang tidak biasa dalam menghasilkan wajah manusia menunjukkan bahwa mengandalkan hanya bobot yang lebih luas dari model dasar seperti Stable Diffusion mungkin tidak memadai untuk standar yang kita tuntut untuk tugas ini.

Pengujian rekonstruksi dilakukan untuk evaluasi kualitatif dan kuantitatif. Di bawah ini, kita melihat contoh kualitatif untuk inversi DDIM:

Hasil kualitatif untuk inversi DDIM. Setiap baris menampilkan gambar yang sangat detail di samping versi rekonstruksinya, dengan setiap langkah menggunakan kondisi yang semakin akurat selama inversi dan denoising. Ketika kondisional menjadi lebih akurat, kualitas rekonstruksi meningkat. Kolom paling kanan menunjukkan hasil terbaik, di mana gambar asli itu sendiri digunakan sebagai kondisi, mencapai kesetiaan tertinggi. CFG tidak digunakan pada tahap apa pun. Silakan merujuk ke dokumen sumber untuk resolusi dan detail yang lebih baik.

Makalah tersebut menyatakan:

‘Contoh-contoh ini menyoroti bahwa mengkondisikan proses inversi pada gambar secara signifikan meningkatkan rekonstruksi di daerah yang sangat detail.

‘Terutama, dalam contoh ketiga [dalam gambar di bawah], metode kami berhasil merekonstruksi tato di punggung petinju yang benar. Selain itu, pose kaki petinju lebih akurat dipertahankan, dan tato di kaki menjadi terlihat.’

Hasil kualitatif lebih lanjut untuk inversi DDIM. Kondisi deskriptif meningkatkan inversi DDIM, dengan kondisional gambar mengungguli teks, terutama pada gambar yang kompleks.

Penulis juga menguji Inversi Ketat sebagai modul drop-in untuk sistem yang ada, membandingkannya dengan kinerja baseline dari pendekatan sebelumnya.

Tiga sistem yang diuji adalah inversi DDIM yang disebutkan sebelumnya dan RF-Inversion; serta ReNoise, yang berbagi beberapa penulis dengan makalah yang dibahas di sini. Karena hasil DDIM tidak memiliki kesulitan untuk mendapatkan 100% rekonstruksi, peneliti hanya fokus pada editabilitas.

(Gambar hasil kualitatif diformat dengan cara yang sulit untuk direproduksi di sini, jadi kami merujuk pembaca ke PDF sumber untuk cakupan yang lebih baik dan resolusi yang lebih tinggi, meskipun beberapa pilihan ditampilkan di bawah)

Kiri, hasil kualitatif rekonstruksi untuk Inversi Ketat dengan SDXL. Kanan, rekonstruksi dengan Flux. Tata letak hasil ini dalam karya yang dipublikasikan membuatnya sulit untuk direproduksi di sini, jadi silakan merujuk ke PDF sumber untuk kesan yang sebenarnya tentang perbedaan yang diperoleh.

Di sini penulis mengomentari:

‘Seperti yang ditunjukkan, mengintegrasikan Inversi Ketat dengan metode yang ada secara konsisten meningkatkan rekonstruksi. Untuk [contoh,] metode kami secara akurat merekonstruksi pegangan tangga di contoh paling kiri dan pria dengan kemeja biru di contoh paling kanan [dalam gambar 5 dari makalah].’

Penulis juga menguji sistem secara kuantitatif. Sejalan dengan karya sebelumnya, mereka menggunakan set validasi dari MS-COCO, dan mencatat bahwa hasilnya (yang ditunjukkan di bawah) meningkatkan rekonstruksi di semua metrik untuk semua metode.

Membandingkan metrik untuk kinerja sistem dengan dan tanpa Inversi Ketat.

Selanjutnya, penulis menguji kemampuan sistem untuk mengedit foto, membandingkannya dengan versi baseline dari pendekatan sebelumnya prompt2prompt; Edit Friendly DDPM; LED-ITS++; dan RF-Inversion.

Tunjukkan di bawah adalah beberapa hasil kualitatif dari makalah untuk SDXL dan Flux (dan kami merujuk pembaca ke tata letak yang agak terlalu padat dari makalah asli untuk contoh lebih lanjut).

Pilihan dari hasil kualitatif yang luas (yang agak membingungkan) tersebar di seluruh makalah. Kami merujuk pembaca ke PDF sumber untuk resolusi yang lebih baik dan kejelasan yang lebih berarti.

Penulis berpendapat bahwa Inversi Ketat secara konsisten mengungguli teknik inversi yang ada dengan menemukan keseimbangan yang lebih baik antara rekonstruksi dan editabilitas. Metode standar seperti inversi DDIM dan ReNoise dapat merekonstruksi gambar dengan baik, makalah tersebut menyatakan bahwa mereka sering berjuang untuk mempertahankan detail halus ketika pengeditan diterapkan.

Sebaliknya, Inversi Ketat menggunakan kondisional gambar untuk mengikat output model lebih dekat ke aslinya, mencegah distorsi yang tidak diinginkan. Penulis berpendapat bahwa bahkan ketika pendekatan yang bersaing menghasilkan rekonstruksi yang terlihat akurat, pengenalan pengeditan sering mengarah pada artefak atau inkonsistensi struktural, dan bahwa Inversi Ketat memitigasi masalah-masalah ini.

Akhirnya, hasil kuantitatif diperoleh dengan mengevaluasi Inversi Ketat melawan MagicBrush benchmark, menggunakan inversi DDIM dan LEDITS++, diukur dengan CLIP Sim.

Perbandingan kuantitatif dari Inversi Ketat melawan benchmark MagicBrush.

Penulis menyimpulkan:

‘Dalam kedua grafik, tradeoff antara pelestarian gambar dan kepatuhan pada edit target jelas [terlihat]. Inversi Ketat memberikan kontrol yang lebih baik atas tradeoff ini, dan lebih baik melestarikan gambar input sambil masih selaras dengan edit [prompt]. ‘

‘Perlu dicatat, bahwa kesamaan CLIP di atas 0,3 antara gambar dan prompt teks menunjukkan keselarasan yang masuk akal antara gambar dan prompt.’

Kesimpulan

Meskipun tidak mewakili ‘pemecahan’ dalam salah satu tantangan paling sulit dalam sintesis gambar berbasis LDM, Inversi Ketat mengkonsolidasikan sejumlah pendekatan tambahan yang sulit menjadi metode terpadu dari pengeditan gambar berbasis AI.

Meskipun ketegangan antara editabilitas dan kesetiaan tidak hilang dengan metode ini, itu secara signifikan berkurang, menurut hasil yang disajikan. Mengingat bahwa tantangan utama yang ditangani oleh karya ini mungkin terbukti tidak dapat diatasi jika ditangani dengan cara sendiri (daripada melihat melampaui arsitektur berbasis LDM dalam sistem masa depan), Inversi Ketat mewakili perbaikan inkremental yang disambut dalam keadaan saat ini.

Pertama dipublikasikan Jumat, 28 Februari 2025