Mengatur Sintesis Wajah dengan Segmenasi Semantik

Masalah dengan menciptakan wajah manusia dengan Generative Adversarial Network (GAN) adalah bahwa data dunia nyata yang mengisi gambar palsu datang dengan aksesori yang tidak diinginkan dan tidak dapat dipisahkan, seperti rambut di kepala (dan/atau wajah), latar belakang, dan berbagai jenis perhiasan wajah, seperti kacamata, topi, dan anting-anting; dan bahwa aspek-aspek kepribadian ini secara tidak terpisahkan menjadi satu dengan ‘identitas yang menyatu’.

Di bawah arsitektur GAN yang paling umum, elemen-elemen ini tidak dapat diakses dalam ruang yang didedikasikan untuk mereka sendiri, tetapi lebih terkait erat dengan wajah di (atau sekitar) yang mereka terintegrasi.

Tidak mungkin juga untuk menentukan atau mempengaruhi penampilan sub-bagian dari wajah yang dibuat oleh GAN, seperti mempersempit mata, memanjangkan hidung, atau mengubah warna rambut dengan cara yang dapat dilakukan oleh seniman sketsa polisi.

Namun, sektor penelitian sintesis gambar bekerja pada hal ini:

Penelitian baru tentang generasi wajah berbasis GAN telah memisahkan berbagai bagian dari wajah menjadi area yang berbeda, masing-masing dengan ‘generator’ yang berbeda, bekerja bersama dengan generator lain untuk gambar. Di baris tengah, kita melihat ‘peta fitur’ yang mengatur membangun area tambahan dari wajah. Sumber: https://arxiv.org/pdf/2112.02236.pdf

Dalam sebuah makalah, peneliti dari perusahaan teknologi multinasional ByteDance telah menggunakan segmenasi semantik untuk memecah bagian-bagian wajah menjadi bagian yang berbeda, masing-masing dengan ‘generator’ yang berbeda, sehingga memungkinkan untuk mencapai tingkat disentanglement yang lebih besar. Atau, setidaknya, disentanglement yang dapat dilihat.

Makalah tersebut berjudul SemanticStyleGAN: Learning Compositional Generative Priors for Controllable Image Synthesis and Editing, dan disertai dengan halaman proyek yang kaya akan media, menampilkan contoh-contoh transformasi yang dapat dilakukan ketika elemen wajah dan kepala diisolasi dengan cara ini.

Tekstur wajah, gaya rambut dan warna, bentuk mata dan warna, dan banyak aspek lain dari fitur yang dihasilkan GAN sekarang dapat dipisahkan, meskipun kualitas pemisahan dan tingkat instrumentasi mungkin bervariasi antara kasus. Sumber: https://semanticstylegan.github.io/

Ruang Laten yang Tidak Teratur

Jaringan Adversarial Generatif yang dilatih untuk menghasilkan wajah – seperti StyleGan2 generator yang memuat situs web populer thispersondoesnotexist.com – membentuk hubungan yang kompleks antara ‘fitur’ (bukan dalam arti wajah) yang diperoleh dari menganalisis ribuan wajah dunia nyata, untuk mempelajari cara membuat wajah manusia yang realistis.

Proses-proses ini adalah ‘kode laten’, secara kolektif ruang laten. Mereka sulit dianalisis, dan oleh karena itu sulit diinstrumentasikan.

Minggu lalu, proyek sintesis gambar baru muncul yang mencoba ‘memetakan’ ruang ini selama proses pelatihan, dan kemudian menggunakan peta-peta tersebut untuk menavigasi secara interaktif, dan berbagai solusi lain telah diusulkan untuk mendapatkan kontrol yang lebih dalam atas konten yang dihasilkan GAN.

Beberapa kemajuan telah dibuat, dengan berbagai arsitektur GAN yang mencoba ‘menjangkau’ ruang laten dengan cara tertentu dan mengontrol generasi wajah dari sana. Upaya-upaya ini termasuk InterFaceGAN, StyleFlow, GANSpace, dan StyleRig, di antara penawaran lain dalam aliran kertas baru yang konstan.

Apa yang mereka miliki bersama adalah derajat disentanglement yang terbatas; GUI yang cerdas untuk berbagai aspek (seperti ‘rambut’ atau ‘ekspresi’) cenderung menarik latar belakang dan/atau elemen lain ke dalam proses transformasi, dan tidak ada yang (termasuk makalah yang dibahas di sini) telah menyelesaikan masalah rambut saraf temporal.

Memisahkan dan Mengalahkan Ruang Laten

Dalam hal apapun, penelitian ByteDance mengambil pendekatan yang berbeda: bukan mencoba memahami misteri dari satu GAN yang beroperasi di seluruh gambar wajah, SemanticStyleGAN merumuskan pendekatan berbasis tata letak, di mana wajah ‘dibuat’ oleh proses generator yang terpisah.

Untuk mencapai perbedaan ini (fitur wajah), SemanticStyleGAN menggunakan Fitur Fourier untuk menghasilkan peta segmenasi semantik (perbedaan kasar dari topografi wajah, ditampilkan di sebelah kanan bawah gambar di bawah) untuk mengisolasi area wajah yang akan menerima perhatian yang didedikasikan.

Arsitektur pendekatan baru, yang mengimposkan lapisan antara segmenasi semantik ke wajah, secara efektif mengubah kerangka kerja menjadi pengatur beberapa generator untuk berbagai aspek gambar.

Peta-peta segmenasi dihasilkan untuk gambar palsu yang secara sistematis disajikan kepada diskriminator GAN untuk evaluasi saat model ditingkatkan, dan ke gambar sumber (bukan palsu) yang digunakan untuk pelatihan.

Di awal proses, Multi-Layer Perceptron (MLP) awalnya memetakan kode laten yang dipilih secara acak, yang kemudian akan digunakan untuk mengontrol bobot dari beberapa generator yang akan mengambil alih bagian dari gambar wajah yang akan dihasilkan.

Setiap generator membuat peta fitur dan peta kedalaman yang disimulasikan dari fitur Fourier yang diberikan kepadanya, yang kemudian menjadi dasar untuk peta-peta segmenasi.

Jaringan render hilir hanya dikondisikan oleh peta fitur sebelumnya, dan sekarang tahu bagaimana menghasilkan peta segmenasi dengan resolusi yang lebih tinggi, memfasilitasi produksi akhir gambar.

Akhirnya, diskriminator bifurkasi mengawasi distribusi yang dikonkat dari kedua gambar RGB (yang, bagi kita, adalah hasil akhir) dan peta-peta segmenasi yang telah memungkinkan mereka untuk dipisahkan.

Dengan SemanticStyleGAN, tidak ada gangguan visual yang tidak diinginkan ketika ‘mengatur’ perubahan fitur wajah, karena setiap fitur wajah telah dilatih secara terpisah dalam kerangka kerja pengatur.

Menggantikan Latar Belakang

Karena tujuan proyek ini adalah untuk mendapatkan kontrol yang lebih besar atas lingkungan yang dihasilkan, proses rendering/komposisi termasuk generator latar belakang yang dilatih pada gambar nyata.

Alasan yang kuat mengapa latar belakang tidak tertarik ke dalam manipulasi wajah di SemanticStyleGAN adalah bahwa mereka berada di lapisan yang lebih jauh, dan lengkap, meskipun sebagian tersembunyi oleh wajah yang ditumpangkan.

Karena peta-peta segmenasi akan menghasilkan wajah tanpa latar belakang, latar belakang ‘drop-in’ ini tidak hanya menyediakan konteks, tetapi juga dikonfigurasi untuk sesuai dengan wajah yang ditumpangkan, dalam hal pencahayaan.

Pelatihan dan Data

Model ‘realistis’ dilatih pada 28.000 gambar awal di CelebAMask-HQ, diubah ukurannya menjadi 256×256 piksel untuk mengakomodasi ruang pelatihan (yaitu VRAM yang tersedia, yang menentukan ukuran batch maksimum per iterasi).

Banyak model dilatih, dan berbagai alat, dataset, dan arsitektur dicoba selama proses pengembangan dan berbagai tes ablasio. Model produktif terbesar proyek ini menampilkan resolusi 512×512, dilatih selama 2,5 hari pada delapan NVIDIA Tesla V100 GPU. Setelah pelatihan, pembuatan gambar tunggal membutuhkan 0,137 detik pada GPU lobe tanpa paralelisasi.

Eksperimen gaya kartun/anime yang ditunjukkan dalam banyak video di halaman proyek (lihat tautan di atas) berasal dari berbagai dataset wajah populer, termasuk Toonify, MetFaces, dan Bitmoji.

Solusi Sementara?

Penulis berpendapat bahwa tidak ada alasan mengapa SemanticStyleGAN tidak dapat diterapkan pada domain lain, seperti lanskap, mobil, gereja, dan domain uji lainnya yang biasa digunakan pada arsitektur baru.

Namun, makalah tersebut mengakui bahwa ketika jumlah kelas meningkat untuk domain (seperti ‘mobil’, ‘lampu jalan’, ‘pejalan kaki’, ‘bangunan’, ‘mobil’ dll.), pendekatan ini mungkin menjadi tidak dapat digunakan dengan beberapa cara, tanpa pekerjaan lebih lanjut pada optimasi. Dataset CityScapes perkotaan, misalnya, memiliki 30 kelas di 8 kategori.

Sulit untuk mengatakan apakah minat saat ini dalam menaklukkan ruang laten lebih langsung sama sia-sia dengan alkimi; atau apakah kode laten akhirnya dapat dibaca dan dikendalikan – perkembangan yang dapat membuat pendekatan ini lebih ‘eksternal yang kompleks’ menjadi usang.