Verifikasi Wajah 'Kreatif' dengan Generative Adversarial Networks

Sebuah makalah baru dari Stanford University telah mengusulkan metode yang baru lahir untuk membodohi sistem autentikasi wajah di platform seperti aplikasi kencan, dengan menggunakan Jaringan Adversarial Generatif (GAN) untuk membuat gambar wajah alternatif yang berisi informasi ID esensial yang sama dengan wajah asli.

Metode tersebut berhasil melewati proses verifikasi wajah pada aplikasi kencan Tinder dan Bumble, dalam satu kasus bahkan memberikan wajah (laki-laki) yang ditukar gender sebagai asli dengan identitas sumber (perempuan).

Berbagai identitas yang dihasilkan menampilkan penyandian khusus dari penulis makalah (ditampilkan pada gambar pertama di atas). Sumber: https://arxiv.org/pdf/2203.15068.pdf

Menurut penulis, karya tersebut merupakan upaya pertama untuk melewati verifikasi wajah dengan menggunakan gambar yang dihasilkan yang telah dijiwai dengan ciri-ciri identitas tertentu, tetapi berusaha untuk mewakili identitas alternatif atau yang diubah secara substansial.

Teknik ini diuji pada sistem verifikasi wajah lokal khusus, dan kemudian dilakukan dengan baik dalam pengujian kotak hitam terhadap dua aplikasi kencan yang melakukan verifikasi wajah pada gambar yang diunggah pengguna.

Baru kertas berjudul Bypass Verifikasi Wajah, dan berasal dari Sanjana Sarda, seorang peneliti di Departemen Teknik Elektro di Stanford University.

Mengontrol Ruang Wajah

Meskipun 'menyuntikkan' fitur khusus ID (yaitu dari wajah, tanda-tanda jalan, dll.) menjadi gambar buatan adalah bahan pokok serangan permusuhan, studi baru menunjukkan sesuatu yang berbeda: bahwa sektor penelitian kemampuan berkembang untuk kontrol ruang laten GAN pada akhirnya akan memungkinkan pengembangan arsitektur yang dapat dibuat konsisten identitas alternatif untuk pengguna – dan, secara efektif, memungkinkan ekstraksi fitur identitas dari gambar yang tersedia di web dari pengguna yang tidak menaruh curiga untuk dikooptasi menjadi identitas buatan 'bayangan'.

Konsistensi dan kemampuan navigasi telah menjadi tantangan utama terkait ruang laten GAN sejak lahirnya Generative Adversarial Networks. GAN yang telah berhasil mengasimilasi kumpulan gambar pelatihan ke dalam ruang latennya tidak menyediakan peta yang mudah untuk 'mendorong' fitur dari satu kelas ke kelas lainnya.

Sementara teknik dan alat seperti Gradient-weighted Class Activation Mapping (Lulusan-CAM) dapat membantu untuk membangun arah laten antara kelas mapan, dan mengaktifkan transformasi (lihat gambar di bawah), tantangan lebih lanjut belitan biasanya melakukan perjalanan 'perkiraan', dengan kontrol transisi yang terbatas.

Perjalanan kasar antara vektor yang disandikan dalam ruang laten GAN, mendorong identitas laki-laki yang diturunkan dari data ke dalam pengkodean 'perempuan' di sisi lain dari salah satu dari banyak hyperplane linier di ruang laten yang kompleks dan misterius. Gambar diambil dari materi di https://www.youtube.com/watch?v=dCKbRCUyop8

Kemampuan untuk 'membekukan' dan melindungi fitur khusus ID sambil memindahkannya ke pengkodean transformatif di tempat lain di ruang laten berpotensi memungkinkan untuk membuat individu yang konsisten (dan bahkan dapat dianimasikan) yang identitasnya dibaca oleh sistem mesin sebagai orang lain.

metode

Penulis menggunakan dua kumpulan data sebagai dasar percobaan: Kumpulan Data Pengguna Manusia yang terdiri dari 310 gambar wajahnya dalam jangka waktu empat tahun, dengan berbagai pencahayaan, usia, dan sudut pandang), dengan wajah yang dipotong diekstraksi melalui Caffe; dan 108,501 gambar yang seimbang secara rasial di Wajah Adil dataset, diekstraksi dan dipotong dengan cara yang sama.

Model verifikasi wajah lokal berasal dari implementasi dasar Jaringan Wajah dan wajah dalam, pra-dilatih pada Insepsi ConvNet, dengan setiap gambar diwakili oleh vektor 128 dimensi.

Pendekatan ini menggunakan gambar wajah dari subset terlatih dari FairFace. Untuk lolos verifikasi wajah, perhitungan jarak disebabkan oleh gambar norma Frobenius diimbangi dengan target pengguna dalam database. Setiap gambar di bawah ambang batas 0.7 sama dengan identitas yang sama, jika tidak, verifikasi dianggap gagal.

Model StyleGAN disempurnakan pada kumpulan data pribadi penulis, menghasilkan model yang akan menghasilkan variasi identitasnya yang dapat dikenali, meskipun tidak satu pun dari gambar yang dihasilkan ini identik dengan data pelatihan. Ini dicapai oleh pembekuan empat lapisan pertama dalam diskriminator, untuk menghindari overfitting data dan menghasilkan keluaran yang beraneka ragam.

Meskipun beragam gambar diperoleh dengan model StyleGAN dasar, resolusi rendah dan fidelitas mendorong upaya kedua BintangGAN V2, yang memungkinkan pelatihan gambar benih menuju wajah target.

Model StarGAN V2 dilatih sebelumnya selama kurang lebih 10 jam menggunakan set validasi FairFace, dengan ukuran batch empat dan ukuran validasi 8. Dalam pendekatan yang paling berhasil, kumpulan data pribadi penulis digunakan sebagai sumber dengan data pelatihan sebagai referensi.

Eksperimen Verifikasi

Model verifikasi wajah dibangun berdasarkan subset dari 1000 gambar, dengan tujuan memverifikasi gambar arbitrer dari set. Gambar yang berhasil lolos verifikasi selanjutnya diuji terhadap ID pembuatnya sendiri.

Di sebelah kiri, penulis makalah, sebuah foto asli; tengah, gambar arbitrer yang gagal diverifikasi; benar, gambar yang tidak terkait dari kumpulan data yang lulus verifikasi sebagai pembuatnya.

Tujuan dari percobaan ini adalah untuk menciptakan celah seluas mungkin antara identitas visual yang dirasakan sambil tetap mempertahankan ciri-ciri yang menentukan dari identitas target. Ini dievaluasi dengan Jarak Mahalanobis, metrik yang digunakan dalam pemrosesan gambar untuk pencarian pola dan template.

Untuk model generatif dasar, hasil resolusi rendah yang diperoleh menampilkan keragaman yang terbatas, meskipun lolos verifikasi wajah lokal. StarGAN V2 terbukti lebih mampu menciptakan beragam gambar yang mampu diautentikasi.

Semua gambar yang digambarkan lulus verifikasi wajah lokal. Di atas adalah generasi dasar StyleGAN beresolusi rendah, di bawah, generasi StarGAN V2 beresolusi lebih tinggi dan berkualitas lebih tinggi.

Tiga gambar terakhir yang diilustrasikan di atas menggunakan dataset wajah penulis sendiri sebagai sumber dan referensi, sedangkan gambar sebelumnya menggunakan data pelatihan sebagai referensi dan dataset penulis sebagai sumber.

Gambar yang dihasilkan diuji terhadap sistem verifikasi wajah aplikasi kencan Bumble dan Tinder, dengan identitas penulis sebagai dasar, dan lolos verifikasi. Generasi 'laki-laki' dari wajah penulis juga melewati proses verifikasi Bumble, meskipun pencahayaan harus disesuaikan pada gambar yang dihasilkan sebelum diterima. Tinder tidak menerima versi laki-laki.

Versi 'laki-laki' dari identitas pengarang (perempuan).

Kesimpulan

Ini adalah eksperimen penting dalam proyeksi identitas, dalam konteks manipulasi ruang laten GAN, yang tetap menjadi tantangan luar biasa dalam sintesis gambar dan penelitian deepfake. Meskipun demikian, pekerjaan membuka konsep penyematan fitur yang sangat spesifik secara konsisten di seluruh identitas yang beragam, dan menciptakan identitas 'alternatif' yang 'dibaca' sebagai orang lain.

Pertama kali diterbitkan 30 Maret 2022.