‘Yaratıcı’ Yüz Doğrulama ile Generatif Karşıt Ağlar

Stanford Üniversitesi’nden yeni bir makale, Generative Adversarial Network (GAN) kullanarak, dating uygulamaları gibi platformlardaki yüz doğrulama sistemlerini yanıltmak için yeni bir yöntem önerdi. Bu yöntem, gerçek bir yüzün aynı temel ID bilgilerini içeren alternatif yüz görüntüleri oluşturmak için GAN kullanıyor.

Bu yöntem, Tinder ve Bumble gibi dating uygulamalarındaki yüz doğrulama süreçlerini başarıyla atlatmayı başardı. Bir durumda, even bir erkek yüzü, kaynak (kadın) kimliğine karşı otantik olarak geçti.

Makalenin yazarının özel kodlamasını içeren çeşitli oluşturulan kimlikler. Kaynak: https://arxiv.org/pdf/2203.15068.pdf

Yazar göre, bu çalışma, específik kimlik özelliklerine sahip oluşturulan görüntüleri kullanarak yüz doğrulama sistemlerini atlatmak için ilk girişimi temsil ediyor.

Teknik, özel bir yerel yüz doğrulama sistemi üzerinde test edildi ve ardından iki dating uygulamasına karşı kara kutu testlerinde iyi performans gösterdi.

Yeni makale, Yüz Doğrulama Atlatma olarak adlandırıldı ve Stanford Üniversitesi Elektrik Mühendisliği Bölümü’nden araştırmacı Sanjana Sarda tarafından yazıldı.

Yüz Uzayını Kontrol Etme

Yüzlerden, yol işaretlerinden vs. gibi ID-spécifik özellikleri oluşturulan görüntülere enjekte etmek, karşıt saldırıların bir standardıdır. Ancak bu yeni çalışma, farklı bir şeyi öneriyor: GAN’ların gizli uzayını kontrol etme yeteneğinin, sonunda, kullanıcıların alternatif ve tutarlı kimliklerini oluşturabilecek mimarilerin geliştirilmesini sağlayacağı.

GAN’ların gizli uzayını kontrol etme, tutarlılık ve gezinilebilirlik, GAN’ların ortaya çıkmasından bu yana temel zorluklar olarak kaldı. Bir GAN, eğitim görüntülerini gizli uzayına başarıyla entegre ettiğinde, bir sınıfın özelliklerini başka bir sınıfa “itme” için kolay bir harita sağlamaz.

Grad-CAM gibi teknikler ve araçlar, Grad-CAM gibi, gizli yönleri oluşturulabilir ve dönüşümler yapılabilir, ancak daha da zor olan entanglement genellikle “yaklaşık” bir yolculukla sonuçlanır ve geçiş üzerinde sınırlı ince kontrol sağlar.

GAN’ın gizli uzayında kodlanmış vektörler arasındaki kaba bir yolculuk, bir erkek kimliğini diğer tarafındaki ‘dişi’ kodlamalarına doğru itiyor. Görüntü, https://www.youtube.com/watch?v=dCKbRCUyop8 adresinden elde edildi.

ID-spécifik özellikleri “dondurmak” ve korumak ve bunları dönüşümsel kodlamalara taşımak, tutarlı (ve hatta animasyonlu) bir bireyin oluşturulmasını sağlayabilir ve makine sistemleri tarafından başka biri olarak okunabilir.

Yöntem

Yazar, deneyler için iki veri kümesi kullandı: Dört yıl boyunca farklı aydınlatma, yaş ve görünüm açlarıyla 310 yüz görüntüsünden oluşan İnsan Kullanıcı Veri Kümesi ve FairFace veri kümesi.

Yerel yüz doğrulama modeli, FaceNet ve DeepFace temel alınan bir uygulamadan türetilmiştir.

Yaklaşım, FairFace’den eğitim gören bir alt kümeden yüz görüntülerini kullanıyor. Yüz doğrulamasını geçmek için, bir görüntünün Frobenius norm tarafından oluşturulan uzaklık, hedef kullanıcıyla veri tabanındaki uzaklığa karşı衡leştiriliyor. 0.7 eşik değerinin altında kalan herhangi bir görüntü, aynı kimlik olarak kabul ediliyor.

StyleGAN modeli, yazarın kişisel veri kümesi üzerinde fine-tune edildi ve yazarın kimliğini tanıyabilen varyasyonlar üretebilen bir model oluşturuldu.

StarGAN V2 modeli, yaklaşık 10 saat süreyle FairFace doğrulama kümesi üzerinde eğitildi ve yazarın kişisel veri kümesi kullanılarak bir hedef yüz olarak eğitildi.

Doğrulama Deneyleri

Yüz doğrulama modeli, 1000 görüntüden oluşan bir alt küme üzerinde oluşturuldu ve bir görüntü doğrulama amacıyla kullanıldı. Doğrulamayı geçen görüntüler, daha sonra yazarın kendi kimliğiyle test edildi.

Solda, makalenin yazarı, gerçek bir fotoğraf; orta, doğrulamayı geçemeyen rastgele bir görüntü; sağda, doğrulamayı geçen veri kümesinden başka bir görüntü.

Deneylerin amacı, görsel kimlik arasında mümkün olduğunca geniş bir boşluk oluştururken, hedef kimliğin tanımlayıcı özelliklerini korumaktı. Bu, Mahalanobis uzaklığı ile değerlendirildi.

StarGAN V2, daha çeşitli ve yüksek kaliteli görüntüler üretebilen daha yetenekli bir model olduğunu kanıtladı.

Tüm görüntüler yerel yüz doğrulamasını geçti. Üstte, düşük çözünürlüklü StyleGAN temel generations; altta, daha yüksek çözünürlüklü ve daha yüksek kaliteli StarGAN V2 generations.

Sonuç olarak, oluşturulan görüntüler, Bumble ve Tinder gibi dating uygulamalarındaki yüz doğrulama sistemlerini test edildi ve yazarın kimliği olarak doğrulandı. Yazarın yüzünün “erkek” versiyonu da Bumble’ın doğrulama sürecini geçti, ancak generated görüntünün aydınlatması değiştirilmeliydi.

Yazarın (kadın) kimliğinin ‘erkek’ versiyonları.

Sonuç

Bu deneyler, GAN’ların gizli uzayını manipüle etme bağlamında kimlik projeksiyonunda önemli adımlar atmaktadır. Çalışma, spesifik özelliklerin çeşitli kimliklere tutarlı bir şekilde gömülmesini ve “alternatif” kimliklerin oluşturulmasını mümkün kılmaktadır.

30 Mart 2022’de ilk kez yayınlandı.