Üretici Düşman Ağları ile 'Yaratıcı' Yüz Doğrulaması

Stanford Üniversitesi'nden yeni bir makale, flört uygulamaları gibi platformlarda yüz kimlik doğrulama sistemlerini kandırmak için gelişmekte olan bir yöntem önerdi. Jeneratör Düşman Ağı (GAN), gerçek bir yüzle aynı temel kimlik bilgilerini içeren alternatif yüz görüntüleri oluşturmak için.

Yöntem, flört uygulamaları Tinder ve Bumble'daki yüz doğrulama işlemlerini başarıyla atladı, hatta bir durumda cinsiyet değiştirilen (erkek) bir yüzü kaynak (kadın) kimliğine uygun olarak gösterdi.

Makalenin yazarının özel kodlamasını içeren çeşitli oluşturulmuş kimlikler (yukarıdaki ilk görselde yer almaktadır). Kaynak: https://arxiv.org/pdf/2203.15068.pdf

Yazara göre çalışma, belirli kimlik özellikleriyle doldurulmuş, ancak alternatif veya büyük ölçüde değiştirilmiş bir kimliği temsil etmeye çalışan oluşturulmuş görüntülerin kullanımıyla yüz doğrulamasını atlamaya yönelik ilk girişimi temsil ediyor.

Teknik, özel bir yerel yüz doğrulama sisteminde test edildi ve ardından, kullanıcı tarafından yüklenen görüntülerde yüz doğrulaması gerçekleştiren iki flört uygulamasına karşı kara kutu testlerinde iyi performans gösterdi.

Yeni kâğıt başlıklı Yüz Doğrulama Bypassve Stanford Üniversitesi Elektrik Mühendisliği Bölümü'nde araştırmacı olan Sanjana Sarda'dan geliyor.

Yüz Boşluğunu Kontrol Etme

Kimlik-özgü özelliklerin (yani yüzlerden) 'enjekte edilmesi' yoluyla yol işaretleri, vb.) hazırlanmış görüntülere dönüştürmek, çekişmeli saldırılarYeni çalışma farklı bir şey öne sürüyor: Araştırma sektörünün büyüyen yetenek için kontrol GAN'ların gizli alanı, sonunda oluşturabilecek mimarilerin geliştirilmesini sağlayacaktır. tutarlı bir kullanıcının kimliğine alternatif kimlikler – ve etkili bir şekilde, şüphelenmeyen bir kullanıcının web'de bulunan görüntülerinden kimlik özelliklerinin çıkarılmasını ve 'gölge' olarak oluşturulmuş bir kimliğe dahil edilmesini sağlar.

Tutarlılık ve gezinilebilirlik, Üretken Çelişkili Ağların başlangıcından bu yana GAN'ın gizli alanıyla ilgili temel zorluklar olmuştur. Bir eğitim görüntüsü koleksiyonunu gizli alanına başarıyla entegre eden bir GAN, özellikleri bir sınıftan diğerine "itmek" için kolay bir yol sağlamaz.

Gradient-weighted Class Activation Mapping gibi teknikler ve araçlar (Grad-CAM) kurulmasına yardımcı olabilir gizli yönler yerleşik sınıflar arasında ve dönüşümleri etkinleştirin (aşağıdaki resme bakın), daha fazla zorluk dolaşıklık genellikle 'yaklaşık' bir yolculuk yapar, geçişin ince kontrolü sınırlıdır.

GAN'ın gizli uzayındaki kodlanmış vektörler arasında zorlu bir yolculuk, veriden türetilen bir erkek kimliğini, karmaşık ve gizli gizli uzaydaki birçok doğrusal hiper düzlemden birinin diğer tarafındaki 'dişi' kodlamalara itiyor. https://www.youtube.com/watch?v=dCKbRCUyop8 adresindeki malzemeden elde edilen görüntü

Kimlik-özgü özelliklerin 'dondurulması' ve korunması, bunları gizli uzaydaki başka bir yerdeki dönüştürücü kodlamalara taşıma yeteneği, kimliği makine sistemleri tarafından başka biri olarak okunan tutarlı (ve hatta canlandırılabilir) bir bireyin yaratılmasını mümkün kılar.

Yöntem

Yazar, deneyler için temel olarak iki veri kümesi kullandı: yüzünün dört yıllık bir süreyi kapsayan, değişen aydınlatma, yaş ve görüş açılarına sahip 310 görüntüsünden oluşan ve kırpılmış yüzlerden oluşan bir İnsan Kullanıcı Veri Kümesi. Caffe; ve ırksal olarak dengeli 108,501 resim adil yüz benzer şekilde çıkarılan ve kırpılan veri kümesi.

Yerel yüz doğrulama modeli, aşağıdakilerin temel uygulamasından türetilmiştir: FaceNet ve Derin Yüz, önceden eğitilmiş ConvNet Başlangıç, her görüntü 128 boyutlu bir vektörle temsil edilir.

Bu yaklaşım, FairFace'in eğitilmiş bir alt kümesinden alınan yüz görüntülerini kullanır. Yüz doğrulamasını geçmek için, bir görüntünün neden olduğu hesaplanan mesafe Frobenius normu veritabanındaki hedef kullanıcıya göre mahsup edilir. 0.7 eşiğinin altındaki herhangi bir resim aynı kimliğe eşittir, aksi takdirde doğrulama başarısız olarak kabul edilir.

Yazarın kişisel veri kümesi üzerinde bir StyleGAN modeli ince ayar yapılarak, kimliğinin tanınabilir varyasyonlarını üretecek bir model oluşturuldu; ancak bu oluşturulan görsellerin hiçbiri eğitim verileriyle aynı değildi. Bu, şu şekilde başarıldı: dondurma Verilerin fazla takılmasını önlemek ve alacalı çıktılar üretmek için ayrımcıdaki ilk dört katman.

Temel StyleGAN modeliyle çeşitli görüntüler elde edilmiş olsa da, düşük çözünürlük ve aslına uygunluk ikinci bir denemeye yol açtı. StarGAN V2, bu da tohum görüntülerin bir hedef yüze doğru eğitilmesine olanak tanır.

StarGAN V2 modeli, dörtlük bir parti boyutu ve 10'lik bir doğrulama boyutu üzerinde FairFace doğrulama seti kullanılarak yaklaşık 8 saat boyunca önceden eğitildi. En başarılı yaklaşımda, yazarın kişisel veri seti kaynak olarak kullanıldı ve eğitim verileri referans olarak kullanıldı.

Doğrulama Deneyleri

1000 görselden oluşan bir alt kümeye dayalı olarak, kümeden rastgele bir görselin doğrulanması amacıyla bir yüz doğrulama modeli oluşturuldu. Doğrulamayı başarıyla geçen görseller, daha sonra yazarın kendi kimliğiyle karşılaştırılarak test edildi.

Solda, makalenin yazarına ait gerçek bir fotoğraf; ortada, doğrulamayı geçemeyen rastgele bir görüntü; sağda, veri setinden, yazar olarak doğrulamayı geçen alakasız bir görüntü.

Deneylerin amacı, hedef kimliğin tanımlayıcı özelliklerini korurken, algılanan görsel kimlik arasında mümkün olduğunca geniş bir boşluk yaratmaktı. Bu ile değerlendirildi Mahalanobis mesafesi, desen ve şablon arama için görüntü işlemede kullanılan bir metrik.

Temel üretken model için, elde edilen düşük çözünürlüklü sonuçlar, yerel yüz doğrulamasından geçmesine rağmen sınırlı çeşitlilik gösterir. StarGAN V2, kimlik doğrulaması yapabilen çeşitli görüntüler oluşturma konusunda daha yetenekli olduğunu kanıtladı.

Tasvir edilen tüm resimler yerel yüz doğrulamasından geçmiştir. Yukarıda düşük çözünürlüklü StyleGAN temel nesiller, aşağıda ise daha yüksek çözünürlüklü ve daha kaliteli StarGAN V2 nesilleri yer almaktadır.

Yukarıda gösterilen son üç görüntüde kaynak ve referans olarak yazarın kendi yüz veri seti kullanılırken, önceki görüntülerde referans olarak eğitim verileri, kaynak olarak da yazarın veri seti kullanılmıştır.

Ortaya çıkan görseller, yazarın kimliği temel alınarak, Bumble ve Tinder'ın flört uygulamalarının yüz doğrulama sistemleriyle test edildi ve doğrulamayı geçti. Yazarın yüzünün "erkek" bir nesli de Bumble'ın doğrulama sürecinden geçti, ancak kabul edilmeden önce oluşturulan görseldeki ışıklandırmanın ayarlanması gerekiyordu. Tinder, erkek versiyonunu kabul etmedi.

Yazarın (kadın) kimliğinin 'erkekleştirilmiş' versiyonları.

Sonuç

Bunlar, görüntü sentezi ve deepfake araştırmalarında olağanüstü bir zorluk olmaya devam eden GAN gizli alan manipülasyonu bağlamında kimlik yansıtma konusunda çığır açan deneylerdir. Bununla birlikte, çalışma, farklı kimliklere tutarlı bir şekilde son derece spesifik özellikler yerleştirme ve başka biri olarak "okunan" "alternatif" kimlikler yaratma kavramını gündeme getirmektedir.

İlk olarak 30 Mart 2022'de yayınlandı.