Pengembang TikTok Menghapus Wajah untuk Aplikasi Realitas Tambah

ByteDance, perusahaan internet multinasional Tiongkok di balik TikTok, telah mengembangkan metode baru untuk menghapus wajah dalam video sehingga distorsi identitas dan efek lainnya dapat diterapkan pada orang dalam aplikasi realitas tambah. Perusahaan tersebut mengklaim bahwa teknik ini telah terintegrasi ke dalam produk komersial seluler, meskipun tidak menyebutkan produk mana saja.

Saat wajah dalam video telah ‘dihapus’, ada cukup ‘kanvas wajah’ untuk menghasilkan distorsi yang menakjubkan, serta memungkinkan superimposisi identitas lain. Contoh yang disediakan dalam makalah baru dari peneliti ByteDance menggambarkan kemungkinan, termasuk mengembalikan fitur ‘dihapus’ dalam berbagai konfigurasi komik (dan pasti beberapa yang menakutkan):

Beberapa kemungkinan untuk konfigurasi wajah yang dihapus dalam makalah ByteDance. Sumber: https://arxiv.org/pdf/2109.10760.pdf

Di akhir Agustus, diketahui bahwa TikTok, aplikasi non-Facebook pertama yang mencapai tiga miliar unduhan, telah meluncurkan TikTok Effect Studio (saat ini dalam beta tertutup), platform untuk pengembang realitas tambah untuk membuat efek realitas tambah untuk aliran konten TikTok.

Secara efektif, perusahaan tersebut sedang mengejar komunitas pengembang serupa di Facebook’s AR Studio dan Snap AR, dengan komunitas R&D AR Apple yang terhormat AR R&D community juga akan segera diaktifkan oleh perangkat keras baru dalam waktu setahun.

Ekspresi Kosong

Makalah tersebut, berjudul FaceEraser: Menghapus Bagian Wajah untuk Realitas Tambah, menyatakan bahwa algoritma in-painting/infill yang ada, seperti NVIDIA’s SPADE, lebih berorientasi pada melengkapi gambar yang terpotong atau setengah tersembunyi daripada melakukan prosedur ‘penghapusan’ yang tidak biasa ini, dan bahwa materi dataset yang ada sangat langka.

Karena tidak ada dataset kebenaran yang tersedia untuk orang yang memiliki bidang daging padat di mana wajah mereka seharusnya, peneliti telah membuat arsitektur jaringan baru yang disebut pixel-clone, yang dapat disisipkan ke dalam model in-painting neural yang ada, dan yang memecahkan masalah terkait dengan inkonsistensi tekstur dan warna yang ditampilkan (makalah tersebut menyatakan) oleh metode yang lebih lama seperti StructureFlow dan EdgeConnect.

Alur kerja umum dari pixel-clone dalam pipa baru.

Untuk melatih model pada ‘wajah kosong’, peneliti menghilangkan gambar dengan kacamata, atau di mana rambut menutupi dahi, karena area antara garis rambut dan alis biasanya merupakan grup piksel terbesar yang dapat menyediakan ‘bahan tempel’ untuk fitur tengah wajah.

Mempersiapkan gambar pelatihan. Area dahi dipotong, berdasarkan titik kunci dalam pengenalan wajah, diputar vertikal dan dijahit.

Gambar 256×256 piksel diperoleh, ukuran yang cukup kecil untuk dimasukkan ke dalam ruang laten jaringan neural dalam batch yang cukup besar untuk mencapai generalisasi. Upscaling algoritma kemudian akan mengembalikan resolusi yang diperlukan untuk bekerja di ruang AR.

Arsitektur

Jaringan tersebut terdiri dari tiga jaringan dalam, yang terdiri dari Edge Completion, Pixel-Clone, dan jaringan penyempurnaan. Jaringan penyempurnaan tepi menggunakan arsitektur encoder-decoder yang sama seperti yang digunakan dalam EdgeConnect (lihat di atas), serta dalam dua aplikasi deepfake paling populer. Encoder menurunkan sampel gambar dua kali, dan decoder mengembalikan dimensi gambar asli.

Pixel-Clone menggunakan metodologi encoder-decoder yang dimodifikasi, sedangkan lapisan penyempurnaan menggunakan arsitektur U-Net, teknik yang awalnya dikembangkan untuk penggunaan dalam pengolahan citra biomedis, yang sering digunakan dalam proyek penelitian sintesis gambar.

Selama alur kerja pelatihan, perlu untuk mengevaluasi akurasi transformasi, dan, jika perlu, mengulangi upaya secara iteratif hingga konvergensi. Untuk tujuan ini, dua diskriminator berdasarkan PatchGAN digunakan, masing-masing mengevaluasi realisme lokal dari patch 70×70 piksel, mengabaikan nilai realisme gambar secara keseluruhan.

Pelatihan dan Data

Jaringan penyempurnaan tepi awalnya dilatih secara independen, sedangkan dua jaringan lainnya dilatih bersama, berdasarkan bobot yang dihasilkan dari pelatihan penyempurnaan tepi, yang dibekukan dan difiksasi selama prosedur ini.

Meskipun makalah tersebut tidak secara eksplisit menyatakan bahwa contoh distorsi fitur akhir adalah tujuan utama model, makalah tersebut mengimplementasikan berbagai efek komik untuk menguji ketahanan sistem, termasuk penghapusan alis, mulut yang diperbesar, sub-wajah yang diperkecil, dan efek ‘toonized’ (seperti yang ditunjukkan dalam gambar sebelumnya, di atas).

Makalah tersebut menyatakan bahwa ‘wajah yang dihapus memungkinkan berbagai aplikasi realitas tambah yang memerlukan penempatan elemen kustom pengguna’, menunjukkan kemungkinan mengkustomisasi wajah dengan elemen pihak ketiga yang disumbangkan oleh pengguna.

Model tersebut dilatih pada masker dari dataset FFHQ yang dibuat oleh NVIDIA, yang berisi variasi usia, etnis, pencahayaan, dan gaya wajah yang cukup untuk mencapai generalisasi yang berguna. Dataset tersebut berisi 35.000 gambar dan 10.000 masker pelatihan untuk menandai area transformasi, dengan 4000 gambar dan 1000 masker disisihkan untuk tujuan validasi.

Contoh sampel pelatihan.

Model yang dilatih dapat melakukan inferensi pada data dari CelebA-HQ 2017 dan VoxCeleb, wajah yang tidak terlihat dari FFHQ, dan wajah yang tidak terlihat lainnya yang disajikan kepadanya. Gambar 256×256 piksel dilatih pada jaringan dalam batch delapan selama 2000.000 epoch, dengan optimizer Adam yang diimplementasikan dalam PyTorch, dan berjalan pada GPU Tesla V100.

Hasil inferensi yang diperoleh pada wajah nyata.

Sebagaimana umum dalam penelitian sintesis gambar berbasis wajah, sistem tersebut harus mengatasi kegagalan yang jarang terjadi yang disebabkan oleh halangan atau oklusi seperti rambut, periferal, kacamata, dan jenggot.

Laporan tersebut menyimpulkan:

‘Pendekatan kami telah dikomersialisasikan dan bekerja dengan baik dalam produk untuk input pengguna yang tidak terbatas.’