‘Kreatif’ Verifikasi Wajah dengan Jaringan Adversarial Generatif

Sebuah makalah baru dari Universitas Stanford telah mengusulkan metode baru untuk mengelabui sistem autentikasi wajah di platform seperti aplikasi kencan, dengan menggunakan Jaringan Adversarial Generatif (GAN) untuk membuat gambar wajah alternatif yang mengandung informasi ID esensial yang sama dengan wajah asli.

Metode ini berhasil melewati proses verifikasi wajah pada aplikasi kencan Tinder dan Bumble, dalam satu kasus bahkan mengubah wajah (pria) menjadi autentik untuk identitas sumber (wanita).

Berbagai identitas yang dihasilkan yang menampilkan pengkodean khusus dari penulis makalah (ditampilkan pada gambar pertama di atas). Sumber: https://arxiv.org/pdf/2203.15068.pdf

Menurut penulis, karya ini merupakan upaya pertama untuk melewati verifikasi wajah dengan menggunakan gambar yang dihasilkan yang telah diberi fitur identitas khusus, tetapi yang mencoba untuk mewakili identitas alternatif atau yang berubah secara signifikan.

Teknik ini diuji pada sistem verifikasi wajah lokal yang disesuaikan, dan kemudian berperforma dengan baik dalam tes black box melawan dua aplikasi kencan yang melakukan verifikasi wajah pada gambar yang diunggah oleh pengguna.

Makalah baru ini berjudul Verifikasi Wajah Bypass, dan berasal dari Sanjana Sarda, seorang peneliti di Departemen Teknik Elektro di Universitas Stanford.

Mengontrol Ruang Wajah

Meskipun ‘menginjeksi’ fitur khusus ID (yaitu dari wajah, tanda jalan, dll.) ke dalam gambar yang dibuat adalah hal yang biasa dalam serangan adversarial, penelitian ini menunjukkan sesuatu yang berbeda: bahwa kemampuan sektor penelitian yang semakin baik untuk mengontrol ruang laten GAN akan akhirnya memungkinkan pengembangan arsitektur yang dapat membuat identitas alternatif yang konsisten untuk identitas pengguna – dan, secara efektif, memungkinkan ekstraksi fitur identitas dari gambar yang tersedia di web dari pengguna yang tidak curiga untuk dimasukkan ke dalam identitas ‘bayangan’ yang dibuat.

Konsistensi dan navigasi telah menjadi tantangan utama terkait ruang laten GAN sejak awal pengembangan Jaringan Adversarial Generatif. GAN yang telah berhasil mengasimilasi koleksi gambar pelatihan ke dalam ruang latennya tidak menyediakan peta yang mudah untuk ‘mendorong’ fitur dari satu kelas ke kelas lain.

Sementara teknik dan alat seperti Peta Aktivasi Kelas Berbobot Gradien (Grad-CAM) dapat membantu menetapkan arah laten antara kelas yang telah ditetapkan, dan memungkinkan transformasi (lihat gambar di bawah), tantangan lebih lanjut dari pengubahan biasanya membuat perjalanan ‘approximatif’, dengan kontrol yang terbatas atas transisi.

Perjalanan kasar antara vektor yang dikodekan dalam ruang laten GAN, mendorong identitas pria yang berasal dari data ke dalam ‘pengkodean perempuan’ di sisi lain dari salah satu hyperplane linear di ruang laten yang kompleks dan arcana. Gambar dihasilkan dari materi di https://www.youtube.com/watch?v=dCKbRCUyop8

Kemampuan untuk ‘membekukan’ dan melindungi fitur khusus ID sambil memindahkannya ke pengkodean transformasional di tempat lain dalam ruang laten secara potensial memungkinkan pembuatan identitas konsisten (dan bahkan dapat dianimasikan) yang identitasnya dibaca oleh sistem mesin sebagai orang lain.

Metode

Penulis menggunakan dua dataset sebagai dasar untuk eksperimen: Dataset Pengguna Manusia yang terdiri dari 310 gambar wajahnya yang mencakup periode empat tahun, dengan pencahayaan, usia, dan sudut pandang yang bervariasi), dengan wajah yang dipotong melalui Caffe; dan dataset FairFace yang seimbang secara rasial dengan 108.501 gambar, yang juga dipotong dan diproses.

Model verifikasi wajah lokal dihasilkan dari implementasi dasar FaceNet dan DeepFace, yang telah dilatih sebelumnya pada ConvNet Inception, dengan setiap gambar diwakili oleh vektor 128-dimensional.

Pendekatan ini menggunakan gambar wajah dari subset yang dilatih dari FairFace. Untuk melewati verifikasi wajah, jarak yang dihitung oleh norma Frobenius dari gambar dibandingkan dengan pengguna target dalam database. Setiap gambar dengan jarak di bawah ambang 0,7 dianggap sebagai identitas yang sama, jika tidak, verifikasi dianggap gagal.

Model StyleGAN difinetuning pada dataset pribadi penulis, menghasilkan model yang dapat menghasilkan variasi yang dapat dikenali dari identitasnya, meskipun tidak ada gambar yang dihasilkan yang identik dengan data pelatihan. Ini dicapai dengan membekukan empat lapisan pertama dalam discriminator, untuk menghindari overfitting data dan menghasilkan output yang bervariasi.

Meskipun gambar yang beragam diperoleh dengan model StyleGAN dasar, resolusi yang rendah dan fidelitas yang rendah memicu upaya kedua dengan StarGAN V2, yang memungkinkan pelatihan gambar benih ke arah wajah target.

Model StarGAN V2 telah dilatih selama sekitar 10 jam menggunakan set validasi FairFace, dengan ukuran batch empat dan ukuran validasi delapan. Dalam pendekatan yang paling sukses, dataset pribadi penulis digunakan sebagai sumber dengan data pelatihan sebagai referensi.

Eksperimen Verifikasi

Model verifikasi wajah dibangun berdasarkan subset 1000 gambar, dengan tujuan untuk memverifikasi gambar arbitrer dari set. Gambar yang berhasil melewati verifikasi kemudian diuji melawan ID penulis.

Di sebelah kiri, penulis makalah, foto asli; tengah, gambar arbitrer yang gagal verifikasi; kanan, gambar tidak terkait dari dataset yang berhasil melewati verifikasi sebagai penulis.

Tujuan dari eksperimen ini adalah untuk menciptakan kesenjangan yang sebesar mungkin antara identitas visual yang dirasakan sambil mempertahankan ciri-ciri yang mendefinisikan identitas target. Ini dievaluasi dengan jarak Mahalanobis, metrik yang digunakan dalam pemrosesan gambar untuk pencarian pola dan template.

Untuk model generatif baseline, hasil resolusi rendah menampilkan keragaman yang terbatas, meskipun melewati verifikasi wajah lokal. StarGAN V2 terbukti lebih mampu menciptakan gambar yang beragam yang dapat mengautentikasi.

Semua gambar yang ditampilkan melewati verifikasi wajah lokal. Di atas, generasi baseline StyleGAN dengan resolusi rendah, di bawah, generasi StarGAN V2 dengan resolusi yang lebih tinggi dan kualitas yang lebih baik.

Gambar yang dihasilkan akhirnya diuji melawan sistem verifikasi wajah aplikasi kencan Bumble dan Tinder, dengan identitas penulis sebagai baseline, dan melewati verifikasi. ‘Versi pria’ dari wajah penulis juga melewati proses verifikasi Bumble, meskipun pencahayaan harus disesuaikan dalam gambar yang dihasilkan sebelum diterima. Tinder tidak menerima versi pria.

‘Versi pria’ dari identitas penulis (perempuan).

Kesimpulan

Eksperimen ini adalah eksperimen seminal dalam proyeksi identitas, dalam konteks manipulasi ruang laten GAN, yang tetap menjadi tantangan luar biasa dalam sintesis gambar dan penelitian deepfake. Namun, karya ini membuka konsep penyisipan fitur spesifik yang sangat konsisten di seluruh identitas yang beragam, dan menciptakan ‘identitas alternatif’ yang ‘dibaca’ sebagai orang lain.

Dipublikasikan pertama kali pada 30 Maret 2022.