SofGAN: Generator Wajah Berbasis GAN yang Menawarkan Kontrol Lebih Besar

Peneliti di Shanghai dan AS telah mengembangkan sistem generasi potret berbasis GAN yang memungkinkan pengguna membuat wajah baru dengan tingkat kontrol yang belum pernah ada sebelumnya atas aspek individu seperti rambut, mata, kacamata, tekstur, dan warna.

Untuk menunjukkan fleksibilitas sistem, para pembuatnya telah menyediakan antarmuka seperti Photoshop yang memungkinkan pengguna menggambar elemen segmentasi semantik secara langsung yang akan diinterpretasikan menjadi citra realistis, dan bahkan dapat diperoleh dengan menggambar langsung di atas foto yang ada.

Dalam contoh di bawah, gambar aktor Daniel Radcliffe digunakan sebagai templat penggambaran (dan tujuannya bukan untuk menghasilkan kesamaan dengan dia, tetapi gambar yang secara umum realistis). Ketika pengguna mengisi berbagai elemen, termasuk aspek diskrit seperti kacamata, mereka diidentifikasi dan diinterpretasikan dalam gambar keluaran:

Menggunakan satu gambar sebagai bahan penggambaran untuk potret yang dihasilkan oleh SofGAN. Sumber: https://www.youtube.com/watch?v=xig8ZA3DVZ8

Makalah ini berjudul SofGAN: A Portrait Image Generator with Dynamic Styling, dan dipimpin oleh Anpei Chen dan Ruiyang Liu, bersama dengan dua peneliti lain dari ShanghaiTech University dan satu dari University of California di San Diego.

Memisahkan Fitur

Kontribusi utama dari karya ini bukanlah menyediakan antarmuka pengguna yang ramah, tetapi lebih pada ‘memisahkan’ karakteristik fitur wajah yang dipelajari, seperti pose dan tekstur, yang memungkinkan SofGAN juga menghasilkan wajah yang berada pada sudut yang tidak langsung terhadap sudut pandang kamera.

Tidak biasa di antara generator wajah berbasis Jaringan Adversarial Generatif, SofGAN dapat mengubah sudut pandang dengan kehendak, dalam batas array sudut yang ada dalam data pelatihan. Sumber: https://arxiv.org/pdf/2007.03780.pdf

Karena tekstur sekarang dipisahkan dari geometri, bentuk wajah dan tekstur dapat dimanipulasi sebagai entitas terpisah. Pada dasarnya, ini memungkinkan perubahan ras pada wajah sumber, sebuah praktik yang kontroversial yang sekarang memiliki aplikasi yang berguna, untuk membuat dataset pembelajaran mesin yang seimbang secara rasial.

SofGAN juga mendukung penuaan buatan dan penyesuaian gaya konsisten atribut pada tingkat granular yang belum pernah terlihat pada sistem segmentasi>gambar serupa seperti NVIDIA’s SPADE dan Intel’s game-based neural rendering sistem.

SofGAN dapat mengimplementasikan penuaan sebagai gaya iteratif.

Temuan lain dari metode SofGAN adalah bahwa pelatihan tidak memerlukan gambar segmen/nyata yang berpasangan, tetapi dapat dilatih langsung pada gambar dunia nyata yang tidak berpasangan.

Para peneliti menyatakan bahwa arsitektur ‘memisahkan’ dari SofGAN terinspirasi oleh sistem rendering gambar tradisional, yang memecah elemen individual dari gambar. Dalam alur kerja efek visual, elemen untuk komposit secara rutin dipecah menjadi komponen yang paling kecil, dengan spesialis yang didedikasikan untuk setiap komponen.

Lapangan Okupansi Semantik (SOF)

Untuk mencapai ini dalam kerangka sintesis gambar pembelajaran mesin, para peneliti mengembangkan lapangan okupansi semantik (SOF), sebuah ekstensi dari lapangan okupansi tradisional yang membedakan elemen-elemen komponen potret wajah. SOF dilatih pada peta segmentasi semantik multi-tinjau yang dikalibrasi, tetapi tanpa supervisi kebenaran tanah.

Iterasi multiple dari satu peta segmentasi (kiri bawah).

Tambahan, peta segmentasi 2D diperoleh dengan melakukan ray-tracing keluaran SOF, sebelum diwarnai oleh generator GAN. Peta segmentasi semantik ‘sintetis’ juga dienkripsi dalam ruang dimensi rendah melalui pengkode tiga lapis untuk memastikan kelanjutan keluaran ketika sudut pandang diubah.

Skema pelatihan mencampur dua gaya acak untuk setiap wilayah semantik:

Arsitektur untuk SofGAN.

Para peneliti mengklaim bahwa SofGAN mencapai jarak Frechet Inception Distance (FID) yang lebih rendah daripada pendekatan SOTA saat ini, serta metrik Learned Perceptual Image Patch Similarity (LPIPS) yang lebih tinggi.

Pendekatan StyleGAN sebelumnya sering kali terhambat oleh entanglement fitur, di mana elemen-elemen yang menyusun gambar tidak dapat dipisahkan dari satu sama lain, menyebabkan elemen yang tidak diinginkan muncul bersama dengan elemen yang diinginkan (misalnya, anting-anting mungkin muncul ketika bentuk telinga dihasilkan yang diberitahu pada saat pelatihan oleh gambar yang menampilkan anting-anting).

Ray marching digunakan untuk menghitung volume peta segmentasi semantik, memungkinkan beberapa sudut pandang.

Dataset dan Pelatihan

Tiga dataset digunakan dalam pengembangan berbagai implementasi SofGAN: CelebAMask-HQ, sebuah repositori 30.000 gambar resolusi tinggi yang diambil dari dataset CelebA-HQ; NVIDIA’s Flickr-Faces-HQ (FFHQ), yang berisi 70.000 gambar, di mana para peneliti melabeli gambar-gambar tersebut dengan parser wajah pra-dilatih; dan sebuah grup 122 pemindaian potret yang diproduksi sendiri dengan wilayah semantik yang diberi label manual.

SOF terdiri dari tiga sub-modul yang dapat dilatih – hyper-net, ray marcher (lihat gambar di atas), dan klasifikasi. Generator StyleGAN Semantic Instance Wised (SIW) proyek ini dikonfigurasikan serupa dengan StyleGAN2 dalam beberapa aspek. Augmentasi data diterapkan melalui penskalaan acak dan pemotongan, dan fitur pelatihan regularisasi setiap empat langkah. Seluruh prosedur pelatihan membutuhkan 22 hari untuk mencapai 800.000 iterasi pada empat RTX 2080 Ti GPU melalui CUDA 10.1.

Makalah tersebut tidak menyebutkan konfigurasi kartu 2080, yang dapat menampung antara 11gb-22gb VRAM masing-masing, yang berarti bahwa total VRAM yang digunakan untuk sebagian besar bulan untuk melatih SofGAN berada di antara 44Gb dan 88Gb.

Para peneliti mengamati bahwa hasil umum yang diterima, tingkat tinggi, mulai muncul cukup awal dalam pelatihan, pada 1500 iterasi, tiga hari dalam pelatihan. Sisa pelatihan dihabiskan dengan merayap perlahan menuju pencapaian detail halus seperti rambut dan aspek mata.

SofGAN umumnya mencapai hasil yang lebih realistis dari satu peta segmentasi daripada metode rival seperti NIVDIA’s SPADE dan Pix2PixHD, dan SEAN.

Di bawah ini adalah video yang dirilis oleh para peneliti. Video self-hosted lebih lanjut tersedia di halaman proyek.