Riset Adobe Memperluas GAN Face Editing yang Terlepas

Tidak sulit untuk memahami mengapa entanglement merupakan masalah dalam sintesis gambar, karena seringkali merupakan masalah di area lain kehidupan; misalnya, jauh lebih sulit untuk menghilangkan kunyit dari kari daripada membuang acar dalam burger, dan hampir mustahil untuk mengurangi manisnya secangkir kopi. Beberapa hal hanya datang dalam paket.

Demikian pula, entanglement merupakan hambatan bagi arsitektur sintesis gambar yang pada dasarnya ingin memisahkan fitur dan konsep yang berbeda saat menggunakan pembelajaran mesin untuk membuat atau mengedit wajah (atau anjing, perahu, atau domain lain).

Jika Anda bisa memisahkan benang-benang seperti usia, jenis kelamin, warna rambut, nuansa kulit, emosi, dan sebagainya, Anda akan memiliki awal dari instrumentalitas dan fleksibilitas yang sebenarnya dalam kerangka kerja yang bisa membuat dan mengedit gambar wajah pada tingkat yang sangat granular, tanpa menarik “penumpang” yang tidak diinginkan ke dalam konversi ini.

Pada entanglement maksimum (atas kiri), satu-satunya yang bisa dilakukan adalah mengubah gambar dari jaringan GAN yang dipelajari ke gambar orang lain.

Ini secara efektif menggunakan teknologi penglihatan komputer AI terbaru untuk mencapai sesuatu yang sudah diselesaikan dengan cara lain lebih dari tiga puluh tahun yang lalu.

Dengan beberapa derajat pemisahan (‘Pemisahan Sedang’ di gambar atas sebelumnya), memungkinkan untuk melakukan perubahan berbasis gaya seperti warna rambut, ekspresi, aplikasi kosmetik, dan rotasi kepala terbatas, di antara lainnya.

Sumber: FEAT: Face Editing with Attention, Februari 2022, https://arxiv.org/pdf/2202.02713.pdf

Telah ada beberapa upaya dalam dua tahun terakhir untuk membuat lingkungan pengeditan wajah interaktif yang memungkinkan pengguna untuk mengubah karakteristik wajah dengan slider dan interaksi UI tradisional lainnya, sambil menjaga fitur inti wajah target tetap utuh saat membuat penambahan atau perubahan. Namun, ini terbukti menjadi tantangan karena entanglement fitur/gaya yang mendasarinya di ruang laten GAN.

Misalnya, ciri kacamata sering kali terjalin dengan ciri usia tua, yang berarti menambahkan kacamata mungkin juga “memper tua” wajah, sementara memper tua wajah mungkin menambahkan kacamata, tergantung pada derajat pemisahan fitur tingkat tinggi yang diterapkan (lihat ‘Pengujian’ di bawah untuk contoh).

Sumber: Demo InterFaceGAN (CVPR 2020), https://www.youtube.com/watch?v=uoftpl3Bj6w

Traversi GAN Laten ke Laten

Makalah baru yang dipimpin oleh Adobe dibuat untuk WACV 2022 menawarkan pendekatan baru untuk masalah-masalah dasar ini dalam makalah berjudul Latent to Latent: A Learned Mapper for Identity Preserving Editing of Multiple Face Attributes in StyleGAN-generated Images.

Bahan tambahan dari makalah Latent to Latent: A Learned Mapper for Identity Preserving Editing of Multiple Face Attributes in StyleGAN-generated Images. Di sini kita lihat bahwa karakteristik dasar dalam wajah yang dipelajari tidak ditarik ke dalam perubahan yang tidak terkait. Lihat video embed di akhir artikel untuk detail dan resolusi yang lebih baik. Sumber: https://www.youtube.com/watch?v=rf_61llRH0Q

Makalah ini dipimpin oleh Ilmuwan Terapan Adobe Siavash Khodadadeh, bersama dengan empat peneliti Adobe lainnya, dan seorang peneliti dari Departemen Ilmu Komputer Universitas Central Florida.

Bagian ini menarik sebagian karena Adobe telah beroperasi di ruang ini selama beberapa waktu, dan menggoda untuk membayangkan fungsi ini memasuki proyek Creative Suite dalam beberapa tahun ke depan; tetapi terutama karena arsitektur yang dibuat untuk proyek ini mengambil pendekatan yang berbeda untuk mempertahankan integritas visual dalam pengedit wajah GAN saat perubahan diterapkan.

Para penulis menyatakan:

‘[Kami] melatih jaringan saraf untuk melakukan transformasi laten ke laten yang menemukan pengkodean laten yang sesuai dengan gambar dengan atribut yang diubah. Karena teknik ini satu-shot, itu tidak bergantung pada trajektori linier atau non-linier dari perubahan atribut yang bertahap.

‘Dengan melatih jaringan dari ujung ke ujung melalui pipa generasi penuh, sistem dapat beradaptasi dengan ruang laten arsitektur generator yang ada. Sifat konservasi, seperti mempertahankan identitas orang, dapat dikodekan dalam bentuk kerugian pelatihan.

‘Setelah jaringan laten ke laten dilatih, itu dapat digunakan kembali untuk gambar sewenang-wenang tanpa pelatihan ulang.’

Bagian terakhir ini berarti bahwa arsitektur yang diusulkan tiba dengan pengguna akhir dalam keadaan selesai. Ini masih perlu menjalankan jaringan saraf pada sumber daya lokal, tetapi gambar baru dapat “dijatuhkan” dan siap untuk diubah hampir seketika, karena kerangka kerja cukup terlepas untuk tidak memerlukan pelatihan gambar khusus lebih lanjut.

Jenis kelamin dan rambut wajah berubah saat slider memplot jalur sewenang-wenang melalui ruang laten, tidak hanya ‘menggosok antara titik akhir’. Lihat video embed di akhir artikel untuk lebih banyak transformasi dengan resolusi yang lebih baik.

Di antara prestasi utama dalam karya ini adalah kemampuan jaringan untuk ‘membekukan’ identitas dalam ruang laten dengan mengubah hanya atribut dalam vektor target, dan menyediakan ‘istilah koreksi’ yang melestarikan identitas yang ditransformasikan.

Secara esensial, jaringan yang diusulkan tersemat dalam arsitektur yang lebih luas yang mengatur semua elemen yang diproses, yang melewati komponen pra-dilatih dengan bobot yang dibekukan yang tidak akan menghasilkan efek sampingan yang tidak diinginkan pada transformasi.

Karena proses pelatihan bergantung pada triplet yang dapat dihasilkan baik oleh gambar benih (di bawah inversi GAN) atau pengkodean laten awal yang ada, seluruh proses pelatihan tidak terawasi, dengan tindakan implisit dari sistem pelabelan dan kurasi yang biasa dalam sistem tersebut secara efektif dipanggang ke dalam arsitektur. Bahkan, sistem baru ini menggunakan pengenal atribut siap pakai:

‘[Jumlah] atribut yang jaringan kami dapat kendalikan secara independen hanya terbatas oleh kemampuan pengenal(s) – jika Anda memiliki pengenal untuk atribut, kami dapat menambahkannya ke wajah sewenang-wenang. Dalam eksperimen kami, kami melatih jaringan laten ke laten untuk memungkinkan penyesuaian 35 atribut wajah yang berbeda, lebih dari pendekatan sebelumnya.’

Sistem ini mengintegrasikan pengaman tambahan terhadap transformasi ‘efek sampingan’ yang tidak diinginkan: dalam ketiadaan permintaan untuk perubahan atribut, jaringan laten ke laten akan memetakan vektor laten ke dirinya sendiri, lebih meningkatkan persistensi stabil identitas target.

Pengenalan Wajah

Satu masalah berulang dengan pengedit wajah GAN dan berbasis pengkode/dekoder selama beberapa tahun terakhir telah menjadi bahwa transformasi yang diterapkan cenderung merusak kemiripan. Untuk melawan ini, proyek Adobe menggunakan jaringan pengenalan wajah yang disematkan yang disebut FaceNet sebagai diskriminator.

Arsitektur proyek, lihat kiri tengah bawah untuk inklusi FaceNet. Sumber: Latent to Latent: A Learned Mapper for Identity Preserving Editing of Multiple Face Attributes in StyleGAN-generated Images, OpenAccess.

(Dalam catatan pribadi, ini tampaknya langkah maju yang menjanjikan menuju integrasi sistem pengenalan wajah standar dan bahkan pengenalan ekspresi ke dalam jaringan generatif, kemungkinan cara terbaik untuk mengatasi pemetaan piksel-ke-piksel buta yang mendominasi arsitektur deepfake saat ini dengan biaya kesetiaan ekspresi dan domain lain dalam sektor generasi wajah.)

Akses Semua Area di Ruang Laten

Fitur lain yang mengesankan dari kerangka kerja ini adalah kemampuannya untuk melakukan perjalanan sewenang-wenang antara transformasi potensial di ruang laten, sesuai keinginan pengguna. Beberapa sistem sebelumnya yang menyediakan antarmuka eksplorasi sering kali meninggalkan pengguna secara efektif ‘menggosok’ antara timeline transformasi fitur yang tetap – mengesankan, tetapi sering kali cukup linear atau preskriptif.

Dari Improving GAN Equilibrium by Raising Spatial Awareness: di sini pengguna menggosok melalui serangkaian titik transisi potensial antara dua lokasi ruang laten, tetapi dalam batas lokasi ruang laten yang telah dipelajari sebelumnya. Untuk menerapkan jenis transformasi lain berdasarkan materi yang sama, konfigurasi ulang dan/atau pelatihan ulang diperlukan. Sumber: https://genforce.github.io/eqgan/

Selain dapat menerima gambar pengguna yang sepenuhnya baru, pengguna juga dapat secara manual ‘membekukan’ elemen yang ingin mereka lestarikan selama proses transformasi. Dengan cara ini pengguna dapat memastikan bahwa (misalnya) latar belakang tidak bergeser, atau bahwa mata tetap terbuka atau tertutup.

Data

Jaringan regresi atribut dilatih pada tiga jaringan: FFHQ, CelebAMask-HQ, dan jaringan GAN yang dihasilkan secara lokal yang diperoleh dengan mengambil sampel 400.000 vektor dari ruang Z StyleGAN-V2.

Gambar di luar distribusi (OOD) disaring, dan atribut diekstrak menggunakan Face API Microsoft, dengan hasilnya himpunan gambar dibagi 90/10, meninggalkan 721.218 gambar pelatihan dan 72.172 gambar uji untuk dibandingkan.

Pengujian

Meskipun jaringan eksperimental awalnya dikonfigurasi untuk menampung 35 transformasi potensial, ini kemudian disederhanakan menjadi delapan untuk melakukan pengujian analog melawan kerangka kerja yang setara InterFaceGAN, GANSpace, dan StyleFlow.

Delapan atribut yang dipilih adalah Usia, Kebotakan, Jenggot, Ekspresi, Jenis Kelamin, Kacamata, Gaya, dan Sudut. Diperlukan untuk memperbarui kerangka kerja yang bersaing untuk beberapa dari delapan atribut yang tidak disediakan dalam distribusi asli, seperti menambahkan kebotakan dan jenggot ke InterFaceGAN.

Seperti yang diharapkan, tingkat entanglement yang lebih besar terjadi pada arsitektur saingan. Misalnya, dalam satu tes, InterFaceGAN dan StyleFlow keduanya mengubah jenis kelamin subjek saat diminta untuk menerapkan usia:

Dua kerangka kerja yang bersaing menggulirkan perubahan jenis kelamin ke dalam transformasi ‘usia’, juga mengubah warna rambut tanpa permintaan langsung dari pengguna.

Tambahannya, dua saingan menemukan bahwa kacamata dan usia adalah aspek yang tidak terpisahkan:

Kacamata dan warna rambut berubah tanpa biaya tambahan!

Ini bukanlah kemenangan seragam bagi penelitian: seperti yang dapat dilihat dalam video yang disematkan di akhir artikel, kerangka kerja ini adalah yang paling tidak efektif saat mencoba mengekstrapolasi sudut yang beragam (sudut), sementara GANSpace memiliki hasil yang lebih baik untuk usia dan penerapan kacamata. Kerangka kerja laten ke laten terikat dengan GANSpace dan StyleFlow mengenai penambahan gaya (sudut kepala).

Hasil dihitung berdasarkan kalibrasi detektor wajah MTCNN. Hasil yang lebih rendah lebih baik.

Untuk detail lebih lanjut dan resolusi yang lebih baik dari contoh, lihat video yang menyertain makalah di bawah.

Publikasi pertama 16 Februari 2022.