Memanfaatkan Perhatian Manusia Dapat Meningkatkan Gambar yang Dihasilkan AI

Penelitian baru dari Cina telah mengusulkan metode untuk meningkatkan kualitas gambar yang dihasilkan oleh model Latent Diffusion (LDM) seperti Stable Diffusion.

Metode ini berfokus pada optimasi daerah yang menonjol dari gambar – area yang paling mungkin menarik perhatian manusia.

Penelitian baru ini menemukan bahwa peta saliensi (kolom keempat dari kiri) dapat digunakan sebagai filter, atau ‘mask’, untuk mengarahkan fokus perhatian dalam proses denoising ke area gambar yang paling mungkin menarik perhatian manusia. Sumber: https://arxiv.org/pdf/2410.10257

Metode tradisional, mengoptimalkan seluruh gambar secara seragam, sedangkan pendekatan baru ini menggunakan detektor saliensi untuk mengidentifikasi dan memprioritaskan area yang lebih “penting”, seperti yang dilakukan manusia.

Dalam tes kuantitatif dan kualitatif, metode peneliti ini mampu mengungguli model difusi berbasis sebelumnya, baik dalam hal kualitas gambar maupun kesesuaiannya dengan teks prompt.

Seleksi Alam

Saliensi, kemampuan untuk memprioritaskan informasi di dunia nyata dan dalam gambar, adalah bagian penting dari penglihatan manusia.

Contoh sederhana dari ini adalah perhatian yang lebih besar pada detail yang diberikan pada area penting dalam sebuah lukisan, seperti wajah dalam potret, atau tiang kapal dalam subjek berbasis laut; dalam contoh seperti itu, perhatian seniman berkumpul pada subjek utama, sehingga detail yang lebih luas seperti latar belakang potret atau ombak jauh dari badai lebih kasar dan lebih representatif daripada detail.

Didorong oleh studi manusia, metode pembelajaran mesin telah muncul selama dekade terakhir yang dapat meniru atau setidaknya mendekati fokus perhatian manusia dalam sebuah gambar.

Segmentasi objek (segmentasi semantik) dapat membantu dalam mengidentifikasi aspek-aspek gambar, dan mengembangkan peta saliensi yang sesuai. Sumber: https://arxiv.org/pdf/1312.6034

Dalam literatur penelitian, detektor peta saliensi yang paling populer selama lima tahun terakhir telah menjadi Gradient-weighted Class Activation Mapping (Grad-CAM) pada tahun 2016, yang kemudian berkembang menjadi Grad-CAM++ yang diperbarui, di antara varian dan penyempurnaan lainnya.

Grad-CAM menggunakan aktivasi gradien dari token semantik (seperti ‘anjing’ atau ‘kucing’) untuk menghasilkan peta visual dari mana konsep atau anotasi tampaknya mungkin ada dalam gambar.

Contoh dari makalah asli Grad-CAM. Pada kolom kedua, guided backpropagation mengidentifikasi semua fitur yang berkontribusi. Pada kolom ketiga, peta semantik digambar untuk konsep ‘anjing’ dan ‘kucing’. Kolom keempat mewakili konkatensi dari dua inferensi sebelumnya. Kolom kelima, peta oklusi (masking) yang sesuai dengan inferensi; dan akhirnya, pada kolom keenam, visualisasi Grad-CAM pada lapisan ResNet-18. Sumber: https://arxiv.org/pdf/1610.02391

Survei manusia pada hasil yang diperoleh dengan metode ini telah menunjukkan korespondensi antara individuasi matematis dari titik-titik perhatian dalam gambar dan perhatian manusia (ketika memindai gambar).

SGOOL

Makalah baru ini mempertimbangkan apa yang dapat dibawa oleh saliensi ke sistem teks-ke-gambar (dan, potensial, teks-ke-video) seperti Stable Diffusion dan Flux.

Ketika menafsirkan prompt teks pengguna, model difusi laten menjelajahi ruang laten yang dilatih untuk konsep visual yang sesuai dengan kata-kata atau frasa yang digunakan. Mereka kemudian memproses data-point yang ditemukan melalui proses denoising, di mana noise acak secara bertahap berkembang menjadi interpretasi kreatif dari prompt teks pengguna.

Pada titik ini, namun, model memberikan perhatian yang sama pada setiap bagian gambar. Sejak popularitas model difusi pada tahun 2022, dengan peluncuran generator gambar Dall-E yang tersedia dari OpenAI, dan peluncuran kode sumber Stability.ai’s Stable Diffusion, pengguna telah menemukan bahwa ‘bagian penting’ dari gambar sering tidak terlayani.

Mempertimbangkan bahwa dalam gambar manusia yang khas, wajah orang (yang merupakan penting bagi pemirsa) kemungkinan hanya akan menempati 10-35% dari total gambar, metode demokratis ini untuk dispersi perhatian bekerja melawan baik sifat persepsi manusia dan sejarah seni dan fotografi.

Ketika tombol-tombol pada celana jeans menerima komputasi yang sama dengan mata mereka, alokasi sumber daya dapat dikatakan tidak optimal.

Oleh karena itu, metode baru yang diusulkan oleh penulis, yang disebut Optimasi Difusi yang Dipandu oleh Saliensi (SGOOL), menggunakan pemeta saliensi untuk meningkatkan perhatian pada area gambar yang diabaikan, dengan mengalokasikan lebih sedikit sumber daya pada bagian yang kemungkinan akan tetap di periferi perhatian pemirsa.

Metode

Pipeline SGOOL mencakup generasi gambar, pemetaan saliensi, dan optimasi, dengan gambar keseluruhan dan gambar yang diperbarui dengan saliensi diproses bersama.

Skema konseptual untuk SGOOL.

Embedding laten model difusi dioptimalkan langsung dengan fine-tuning, menghilangkan kebutuhan untuk melatih model khusus. Metode sampling Denoising Diffusion Implicit Model (DDIM) dari Universitas Stanford, yang familiar bagi pengguna Stable Diffusion, disesuaikan untuk menggabungkan informasi sekunder yang disediakan oleh peta saliensi.

Makalah tersebut menyatakan:

‘Kami pertama-tama menggunakan detektor saliensi untuk meniru sistem perhatian visual manusia dan menandai area yang menonjol. Untuk menghindari pelatihan model tambahan, metode kami langsung mengoptimalkan embedding difusi laten.

‘Selain itu, SGOOL menggunakan proses difusi yang dapat dibalik dan memberinya kelebihan implementasi memori konstan. Dengan demikian, metode kami menjadi metode fine-tuning yang efisien parameter dan plug-and-play. Eksperimen yang luas telah dilakukan dengan beberapa metrik dan evaluasi manusia.’

Karena metode ini memerlukan beberapa iterasi dari proses denoising, penulis mengadopsi kerangka kerja Direct Optimization Of Diffusion Latents (DOODL), yang menyediakan proses difusi yang dapat dibalik – meskipun masih menerapkan perhatian pada keseluruhan gambar.

Untuk mendefinisikan area perhatian manusia, peneliti menggunakan kerangka kerja TransalNet dari Universitas Dundee pada tahun 2022.

Contoh deteksi saliensi dari proyek TransalNet tahun 2022. Sumber: https://discovery.dundee.ac.uk/ws/portalfiles/portal/89737376/1_s2.0_S0925231222004714_main.pdf

Area yang menonjol yang diproses oleh TransalNet kemudian dipotong untuk menghasilkan bagian saliensi yang konklusif yang kemungkinan paling menarik bagi orang-orang.

Perbedaan antara teks pengguna dan gambar harus dipertimbangkan, dalam hal mendefinisikan fungsi kerugian yang dapat menentukan apakah proses tersebut berfungsi. Untuk ini, versi Contrastive Language–Image Pre-training (CLIP) dari OpenAI digunakan, bersama dengan pertimbangan jarak semantik yang diestimasi antara prompt teks dan output gambar global (non-saliensi).

Penulis menyatakan:

‘[Fungsi kerugian] akhir mempertimbangkan hubungan antara bagian saliensi dan gambar global secara bersamaan, yang membantu untuk mengimbangkan detail lokal dan konsistensi global dalam proses generasi.

‘Kerugian yang sadar saliensi ini digunakan untuk mengoptimalkan gambar laten. Gradien dihitung pada noise (laten) dan digunakan untuk meningkatkan efek kondisi input prompt pada aspek saliensi dan global dari gambar yang dihasilkan.’

Data dan Tes

Untuk menguji SGOOL, penulis menggunakan distribusi ‘vanila’ dari Stable Diffusion V1.4 (ditandai sebagai ‘SD’ dalam hasil tes) dan Stable Diffusion dengan panduan CLIP (ditandai sebagai ‘baseline’ dalam hasil).

Sistem ini dievaluasi melawan tiga dataset publik: CommonSyntacticProcesses (CSP), DrawBench, dan DailyDallE*.

Yang terakhir berisi 99 prompt yang rumit dari seorang seniman yang ditampilkan dalam salah satu posting blog OpenAI, sedangkan DrawBench menawarkan 200 prompt di 11 kategori. CSP terdiri dari 52 prompt berdasarkan delapan kasus tata bahasa yang beragam.

Untuk SD, baseline, dan SGOOL, dalam tes, model CLIP digunakan lebih dari ViT/B-32 untuk menghasilkan embedding gambar dan teks. Prompt yang sama dan benih acak digunakan. Ukuran output adalah 256×256, dan pengaturan default dan bobot TransalNet digunakan.

Selain metrik skor CLIP, skor preferensi manusia yang diestimasi (HPS) juga digunakan, serta studi dunia nyata dengan 100 peserta.

Hasil kuantitatif membandingkan SGOOL dengan konfigurasi sebelumnya.

Dalam kaitannya dengan hasil kuantitatif yang ditampilkan dalam tabel di atas, makalah tersebut menyatakan:

‘Model kami secara signifikan mengungguli SD dan Baseline pada semua dataset di bawah metrik skor CLIP dan HPS. Rata-rata hasil model kami pada skor CLIP dan HPS adalah 3,05 dan 0,0029 lebih tinggi dari tempat kedua, masing-masing.’

Penulis lebih lanjut memperkirakan plot kotak dari skor HPS dan CLIP terkait dengan pendekatan sebelumnya:

Plot kotak untuk skor HPS dan CLIP yang diperoleh dalam tes.

Mereka mengomentari:

‘Dapat dilihat bahwa model kami mengungguli model lain, menunjukkan bahwa model kami lebih mampu menghasilkan gambar yang konsisten dengan prompt.

‘Namun, dalam plot kotak, tidak mudah untuk memvisualisasikan perbandingan dari plot kotak karena ukuran metrik evaluasi ini pada [0, 1]. Oleh karena itu, kami melanjutkan untuk memplot plot bar yang sesuai.

‘Dapat dilihat bahwa SGOOL mengungguli SD dan Baseline pada semua dataset di bawah metrik skor CLIP dan HPS. Hasil kuantitatif menunjukkan bahwa model kami dapat menghasilkan gambar yang lebih konsisten secara semantik dan lebih disukai manusia.’

Peneliti mencatat bahwa meskipun model baseline dapat meningkatkan kualitas output gambar, itu tidak mempertimbangkan area yang menonjol dari gambar. Mereka berpendapat bahwa SGOOL, dengan mencapai kompromi antara evaluasi gambar global dan saliensi, mendapatkan gambar yang lebih baik.

Dalam perbandingan kualitatif (otomatis), jumlah optimasi ditetapkan menjadi 50 untuk SGOOL dan DOODL.

Hasil kualitatif untuk tes. Silakan merujuk ke makalah sumber untuk definisi yang lebih baik.

Di sini penulis mengamati:

‘Pada [baris pertama], subjek prompt adalah “kucing yang bernyanyi” dan “kuartet barbershop”. Ada empat kucing dalam gambar yang dihasilkan oleh SD, dan konten gambar tidak sejalan dengan prompt.

‘Kucing diabaikan dalam gambar yang dihasilkan oleh Baseline, dan ada kekurangan detail dalam penggambaran wajah dan detail dalam gambar. DOODL mencoba menghasilkan gambar yang konsisten dengan prompt.

‘Namun, karena DOODL mengoptimalkan gambar global secara langsung, orang-orang dalam gambar dioptimalkan ke arah kucing.’

Mereka lebih lanjut mencatat bahwa SGOOL, di sisi lain, menghasilkan gambar yang lebih konsisten dengan prompt asli.

Dalam tes persepsi manusia, 100 relawan mengevaluasi gambar tes untuk kualitas dan konsistensi semantik (yaitu, seberapa dekat mereka sesuai dengan prompt teks asli). Peserta memiliki waktu tidak terbatas untuk membuat pilihan mereka.

Hasil untuk tes persepsi manusia.

Seperti yang ditunjukkan dalam makalah, metode penulis secara signifikan lebih disukai daripada pendekatan sebelumnya.

Kesimpulan

Tidak lama setelah kelemahan yang dibahas dalam makalah ini menjadi jelas dalam instalasi lokal dari Stable Diffusion, berbagai metode khusus (seperti After Detailer) muncul untuk memaksa sistem untuk memberikan perhatian tambahan pada area yang lebih menarik bagi manusia.

Namun, pendekatan seperti ini memerlukan bahwa sistem difusi pertama-tama melalui proses normalnya untuk memberikan perhatian yang sama pada setiap bagian gambar, dengan pekerjaan tambahan yang dilakukan sebagai tahap tambahan.

Bukti dari SGOOL menunjukkan bahwa menerapkan psikologi manusia dasar pada prioritas bagian gambar dapat sangat meningkatkan inferensi awal, tanpa langkah pasca-proses.

* Makalah tersebut menyediakan tautan yang sama untuk ini seperti untuk CommonSyntacticProcesses.

Dipublikasikan pertama kali pada hari Rabu, 16 Oktober 2024