Operasi Plastik untuk Wajah yang Dihasilkan oleh GAN

Penelitian baru dari Korea Selatan berjanji untuk meningkatkan kualitas data wajah sintetis yang dihasilkan oleh Jaringan Adversarial Generatif (GAN).

Sistem ini dapat mengidentifikasi artefak gambar yang dihasilkan oleh proses GAN dan memperbaikinya, bahkan sampai menggantikan rambut yang tertutup oleh topi, menggantikan bagian wajah yang hilang di aslinya, dan menghilangkan oklusi seperti tangan dan kacamata hitam, dan juga bekerja dengan baik pada output pemandangan dan arsitektur.

Kiri untuk setiap kolom, output GAN asli dengan cacat, diikuti oleh dua pendekatan lain untuk artefak, dan akhirnya oleh metode yang digunakan oleh peneliti Korea Selatan. Sumber: https://arxiv.org/pdf/2104.06118.pdf

Sebagian besar pendekatan terbaru untuk meningkatkan kualitas gambar yang dihasilkan oleh GAN telah mengambil sikap bahwa artefak adalah bahaya pekerjaan dari proses tersebut, memperlakukan metodologi sebagai ‘kekuatan alam’, dan hasil yang lebih psikedelik atau aberratif yang dapat dihasilkannya sebagai produk sampingan yang tidak terhindarkan.

Sebaliknya, penelitian Korea Selatan ini mengusulkan untuk benar-benar ‘memperbaiki’ gambar yang terkena dampak dengan cara yang tidak mengganggu rantai generatif, dengan mengidentifikasi aspek yang menyebabkan artefak dan mengurangi atau menghilangkan pengaruhnya di jaringan GAN pada tingkat semi-terawasi yang melebihi dan memperluas mekanisme koreksi diri bawaan di arsitektur GAN.

Untuk proyek ini, diperlukan untuk membuat dataset gambar yang luas dan dilabeli tangan yang sangat terpengaruh oleh artefak GAN. Awalnya, peneliti menggunakan Jarak Inception Frechet (FID), sebuah metrik yang mengevaluasi kualitas output GAN dengan membandingkan fitur di gambar, sebagai unit kualifikasi. 10.000 gambar dengan skor FID tertinggi di antara 200.000 gambar digunakan sebagai ‘unit artefak’ diskrit. Selanjutnya, peneliti melabeli 2.000 gambar yang dihasilkan, mengklasifikasikan setiap sebagai ‘normal’ atau terpengaruh oleh artefak FID. Kemudian, sebuah model dibuat untuk mengklasifikasikan dataset menjadi sampel artefak, normal, dan acak dunia nyata.

Setelah itu, Peta Aktivasi Kelas Berbobot Gradien (Grad-CAM) digunakan untuk menghasilkan masker untuk area yang terkena dampak artefak, secara efektif mengotomatisasi pelabelan cacat.

Pada gambar di atas, masker Grad-CAM telah diterapkan pada output dari dataset LSUN-Church outdoor dan dataset CelebA-HQ.

Dengan menganalisis 20 hasil paling terkena dampak dari 20.000 gambar, masker segmentasi dihasilkan, ke dalam mana hasil perwakilan di seluruh generasi (yang kemungkinan lebih akurat atau meyakinkan daripada artefak) dapat disubstitusikan dengan menurunkan aktivasi unit yang menghasilkan artefak di generasi berikutnya.

Evaluasi manusia terhadap koreksi menghasilkan 53% dari gambar ‘diperbaiki’ yang dilabeli sebagai ‘normal’, sedangkan 97% dari gambar asli masih menunjukkan perbaikan yang signifikan pada aslinya.

Peneliti berpendapat bahwa metode ini, dengan sedikit penyesuaian, juga dapat disesuaikan dengan StyleGAN2 NVIDIA.

Manfaat Data Sintetis

Utamanya terkait dengan data wajah, kelangkaan dataset dunia nyata untuk penglihatan komputer adalah hambatan bagi penelitian yang beragam di sektor penelitian yang penting, seperti pengenalan wajah, pengenalan emosi, penelitian medis, dan studi tentang segmentasi topologi wajah yang lebih granular, di antara bidang lainnya.

Reaksi balik terhadap penggunaan bebas data yang menghadap web dan pengumpulan ad hoc gambar wajah dunia nyata untuk dimasukkan dalam basis data wajah adalah hambatan tambahan bagi penelitian, dengan sejumlah negara dan bangsa menindak pengumpulan data web, dan penggunaan gambar media sosial untuk tujuan ini.

Selama sepuluh tahun terakhir, sejumlah kecil dataset wajah yang sangat tercurasi telah menawarkan tempat perlindungan dari ketidakpastian ini, dengan berbagai tantangan penelitian publik tahunan yang berpusat di sekitar mereka. Namun, ini telah menyebabkan proyek penelitian membelokkan metodologi mereka secara khusus ke arah dataset tersebut, dengan hasil yang konsisten dan dapat dibandingkan dari tahun ke tahun yang diperoleh dengan biaya kurangnya keanekaragaman bahan sumber – situasi yang memburuk setiap tahun bahwa penelitian baru membatasi diri pada batasan ini.

Tambahnya, beberapa dataset ‘tradisional’ ini telah menghadapi kritik karena kurangnya keanekaragaman rasial, yang menunjukkan bahwa benchmark ini mungkin tidak dianggap sebagai sumber daya yang sesuai di masa depan.

Ini menunjukkan kebutuhan akan data wajah yang berkualitas tinggi yang realistis, tetapi di mana gambar ‘dunia nyata’ yang berkontribusi telah diubah jauh melampaui pengenalan. Bahkan jika penggunaan data wajah ‘dunia nyata’ ‘pada jarak’ ini mungkin pada akhirnya memicu masalah tentang provenance wajah yang dihasilkan oleh GAN, ini adalah hambatan yang tidak mungkin muncul sampai mekanisme hukum dan teknis untuk pengumpulan data jenis ini telah menjadi mapan; dan, terkait dengan perubahan kemungkinan pada kerangka hukum sekitar masalah ini, ini masih merupakan bahaya yang lebih kecil daripada menggunakan gambar orang nyata.

Bacaan Lebih Lanjut:

Meningkatkan Realisme Gambar Sintetis
Koreksi Otomatis Unit Internal di Jaringan Neural Generatif