Verifikasi Wajah ‘Kreatif’ dengan Generative Adversarial Networks

Sebuah makalah baru dari Stanford University telah mengusulkan metode baru untuk mengelabui sistem autentikasi wajah di platform seperti aplikasi kencan, dengan menggunakan Generative Adversarial Network (GAN) untuk membuat gambar wajah alternatif yang mengandung informasi ID esensial yang sama dengan wajah asli.

Metode ini berhasil melewati proses verifikasi wajah pada aplikasi kencan Tinder dan Bumble, dalam satu kasus bahkan berhasil melewati verifikasi dengan mengubah jenis kelamin (laki-laki) sebagai identitas asli (perempuan).

Berbagai identitas yang dihasilkan yang menampilkan pengkodean khusus penulis makalah (ditampilkan pada gambar pertama di atas). Sumber: https://arxiv.org/pdf/2203.15068.pdf

Menurut penulis, karya ini merupakan upaya pertama untuk melewati verifikasi wajah dengan menggunakan gambar yang dihasilkan yang telah diberi fitur identitas khusus, tetapi yang berusaha untuk mewakili identitas alternatif atau berubah secara signifikan.

Teknik ini diuji pada sistem verifikasi wajah lokal khusus, dan kemudian berperforma baik dalam tes black box melawan dua aplikasi kencan yang melakukan verifikasi wajah pada gambar yang diunggah pengguna.

Makalah baru paper ini berjudul Face Verification Bypass, dan berasal dari Sanjana Sarda, seorang peneliti di Departemen Teknik Elektro di Stanford University.

Mengontrol Ruang Wajah

Meskipun ‘menginjeksi’ fitur khusus ID (yaitu dari wajah, tanda jalan, dll.) ke dalam gambar yang dibuat adalah hal yang biasa dalam serangan adversarial, penelitian baru ini menunjukkan sesuatu yang berbeda: bahwa sektor penelitian semakin mampu untuk mengontrol ruang laten GAN akan pada akhirnya memungkinkan pengembangan arsitektur yang dapat membuat identitas alternatif yang konsisten untuk identitas pengguna – dan, secara efektif, memungkinkan ekstraksi fitur identitas dari gambar yang tersedia di web dari pengguna yang tidak curiga untuk diintegrasikan ke dalam ‘identitas bayangan’ yang dibuat.

Konsistensi dan navigasi telah menjadi tantangan utama mengenai ruang laten GAN sejak awal pengembangan Generative Adversarial Networks. GAN yang telah berhasil mengasimilasi koleksi gambar pelatihan ke dalam ruang latennya tidak menyediakan peta yang mudah untuk ‘mendorong’ fitur dari satu kelas ke kelas lain.

Sementara teknik dan alat seperti Gradient-weighted Class Activation Mapping (Grad-CAM) dapat membantu menetapkan arah laten antara kelas yang telah ditetapkan, dan memungkinkan transformasi (lihat gambar di bawah), tantangan lebih lanjut dari entanglement biasanya membuat perjalanan ‘approximatif’, dengan kontrol yang terbatas atas transisi.

Perjalanan kasar antara vektor yang dikodekan dalam ruang laten GAN, mendorong identitas laki-laki yang berasal dari data ke dalam ‘pengkodean perempuan’ di sisi lain dari salah satu banyak hiperplan linier dalam ruang laten yang kompleks dan misterius. Gambar diambil dari materi di https://www.youtube.com/watch?v=dCKbRCUyop8

Kemampuan untuk ‘membekukan’ dan melindungi fitur khusus ID sambil memindahkannya ke dalam pengkodean transformasional di tempat lain dalam ruang laten secara potensial memungkinkan pembuatan identitas yang konsisten (dan bahkan dapat dianimasikan) yang identitasnya dibaca oleh sistem mesin sebagai orang lain.

Metode