Üretici Düşman Ağları ile 'Yaratıcı' Yüz Doğrulaması

Stanford Üniversitesi'nden yeni bir makale, flört uygulamaları gibi platformlarda yüz kimlik doğrulama sistemlerini kandırmak için gelişmekte olan bir yöntem önerdi. Jeneratör Düşman Ağı (GAN), gerçek bir yüzle aynı temel kimlik bilgilerini içeren alternatif yüz görüntüleri oluşturmak için.

Yöntem, flört uygulamaları Tinder ve Bumble'daki yüz doğrulama işlemlerini başarıyla atladı, hatta bir durumda cinsiyet değiştirilen (erkek) bir yüzü kaynak (kadın) kimliğine uygun olarak gösterdi.

Makalenin yazarının özel kodlamasını içeren çeşitli oluşturulmuş kimlikler (yukarıdaki ilk resimde gösteriliyor). Kaynak: https://arxiv.org/pdf/2203.15068.pdf

Yazara göre çalışma, belirli kimlik özellikleriyle doldurulmuş, ancak alternatif veya büyük ölçüde değiştirilmiş bir kimliği temsil etmeye çalışan oluşturulmuş görüntülerin kullanımıyla yüz doğrulamasını atlamaya yönelik ilk girişimi temsil ediyor.

Teknik, özel bir yerel yüz doğrulama sisteminde test edildi ve ardından, kullanıcı tarafından yüklenen görüntülerde yüz doğrulaması gerçekleştiren iki flört uygulamasına karşı kara kutu testlerinde iyi performans gösterdi.

Yeni kâğıt başlıklı Yüz Doğrulama Bypassve Stanford Üniversitesi Elektrik Mühendisliği Bölümü'nde araştırmacı olan Sanjana Sarda'dan geliyor.

Yüz Boşluğunu Kontrol Etme

Kimliğe özgü özelliklerin 'enjekte edilmesine' rağmen (örn. yüzlerden, yol işaretleri, vb.) hazırlanmış görüntülere dönüştürmek, çekişmeli saldırılar, yeni çalışma farklı bir şey öneriyor: araştırma sektörünün büyüyen yetenek için kontrol GAN'ların gizli alanı, sonunda oluşturabilecek mimarilerin geliştirilmesini sağlayacaktır. tutarlı bir kullanıcınınkine alternatif kimlikler - ve etkili bir şekilde, 'gölge' hazırlanmış bir kimliğe dahil olmak için şüphelenmeyen bir kullanıcının web'de mevcut görüntülerinden kimlik özelliklerinin çıkarılmasını sağlar.

Tutarlılık ve gezinilebilirlik, Üretici Düşman Ağlarının başlangıcından bu yana GAN'ın gizli alanıyla ilgili başlıca zorluklar olmuştur. Bir eğitim görüntüleri koleksiyonunu gizli alanına başarılı bir şekilde asimile eden bir GAN, özellikleri bir sınıftan diğerine 'itmek' için kolay bir harita sağlamaz.

Gradient-weighted Class Activation Mapping gibi teknikler ve araçlar (Grad-CAM) kurulmasına yardımcı olabilir gizli yönler yerleşik sınıflar arasında ve dönüşümleri etkinleştirin (aşağıdaki resme bakın), daha fazla zorluk dolaşıklık genellikle geçişin sınırlı hassas kontrolüyle 'yaklaşık' bir yolculuk yapar.

Bir GAN'ın gizli uzayındaki kodlanmış vektörler arasında zorlu bir yolculuk, veriden türetilen bir erkek kimliğini, karmaşık ve gizli gizli alandaki birçok doğrusal hiper düzlemden birinin diğer tarafındaki 'dişi' kodlamalara itiyor. https://www.youtube.com/watch?v=dCKbRCUyop8 adresindeki malzemeden elde edilen görüntü

Kimliğe özgü özellikleri "dondurma" ve gizli uzayda başka bir yerde dönüştürücü kodlamalara taşırken koruma yeteneği, kimliği makine sistemleri tarafından başka biri olarak okunan tutarlı (ve hatta canlandırılabilir) bir birey yaratmayı potansiyel olarak mümkün kılar.

Yöntem

Yazar, deneyler için temel olarak iki veri kümesi kullandı: yüzünün dört yıllık bir süreyi kapsayan, değişen aydınlatma, yaş ve görüş açılarına sahip 310 görüntüsünden oluşan ve kırpılmış yüzlerden oluşan bir İnsan Kullanıcı Veri Kümesi. Caffe; ve ırksal olarak dengeli 108,501 resim adil yüz benzer şekilde çıkarılan ve kırpılan veri kümesi.

Yerel yüz doğrulama modeli, aşağıdakilerin temel uygulamasından türetilmiştir: FaceNet ve Derin Yüz, önceden eğitilmiş ConvNet Başlangıç, her görüntü 128 boyutlu bir vektörle temsil edilir.

Yaklaşım, FairFace'ten eğitilmiş bir alt kümeden alınan yüz görüntülerini kullanır. Yüz doğrulamasını geçmek için, bir görüntünün neden olduğu hesaplanan mesafe Frobenius normu veritabanındaki hedef kullanıcıya göre mahsup edilir. 0.7 eşiğinin altındaki herhangi bir resim aynı kimliğe eşittir, aksi takdirde doğrulama başarısız olarak kabul edilir.

Yazarın kişisel veri setinde bir StyleGAN modelinde ince ayar yapıldı ve oluşturulan bu görüntülerin hiçbiri eğitim verileriyle aynı olmamasına rağmen, yazarın kimliğinin tanınabilir varyasyonlarını üretecek bir model üretildi. Bu, dondurma Verilerin fazla takılmasını önlemek ve alacalı çıktılar üretmek için ayrımcıdaki ilk dört katman.

Temel StyleGAN modeliyle çeşitli görüntüler elde edilmiş olsa da, düşük çözünürlük ve aslına uygunluk ikinci bir denemeye yol açtı. StarGAN V2, bu da tohum görüntülerin bir hedef yüze doğru eğitilmesine olanak tanır.

StarGAN V2 modeli, dört parti boyutu ve 10 doğrulama boyutu üzerinde FairFace doğrulama seti kullanılarak yaklaşık 8 saat boyunca önceden eğitildi. En başarılı yaklaşımda, yazarın kişisel veri seti, kaynak olarak eğitim verileriyle birlikte kullanıldı. referans.

Doğrulama Deneyleri

Setten rastgele bir görüntüyü doğrulamak amacıyla, 1000 görüntüden oluşan bir alt kümeye dayalı olarak bir yüz doğrulama modeli oluşturuldu. Doğrulamayı başarıyla geçen resimler daha sonra yazarın kendi kimliğine göre test edildi.

Solda, gazetenin yazarı, gerçek bir fotoğraf; orta, doğrulanamayan rastgele bir resim; sağda, yazar olarak doğrulamayı geçen veri kümesinden ilgisiz bir resim.

Deneylerin amacı, hedef kimliğin tanımlayıcı özelliklerini korurken, algılanan görsel kimlik arasında mümkün olduğunca geniş bir boşluk yaratmaktı. Bu ile değerlendirildi Mahalanobis mesafesi, desen ve şablon arama için görüntü işlemede kullanılan bir metrik.

Temel üretken model için, elde edilen düşük çözünürlüklü sonuçlar, yerel yüz doğrulamasından geçmesine rağmen sınırlı çeşitlilik gösterir. StarGAN V2, kimlik doğrulaması yapabilen çeşitli görüntüler oluşturma konusunda daha yetenekli olduğunu kanıtladı.

Tasvir edilen tüm resimler yerel yüz doğrulamasından geçmiştir. Yukarıda düşük çözünürlüklü StyleGAN temel nesiller, aşağıda ise daha yüksek çözünürlüklü ve daha kaliteli StarGAN V2 nesilleri yer almaktadır.

Yukarıda gösterilen son üç resim, hem kaynak hem de referans olarak yazarın kendi yüz veri setini kullanırken, önceki resimler referans olarak eğitim verilerini ve kaynak olarak yazarın veri setini kullandı.

Ortaya çıkan oluşturulan görüntüler, Bumble ve Tinder flört uygulamalarının yüz doğrulama sistemlerine karşı, yazarın kimliği temel alınarak test edildi ve doğrulamayı geçti. Yazarın yüzünün bir 'erkek' nesli de Bumble'ın doğrulama sürecinden geçti, ancak kabul edilmeden önce oluşturulan görüntüde ışıklandırmanın ayarlanması gerekiyordu. Tinder erkek versiyonunu kabul etmedi.

Yazarın (kadın) kimliğinin 'erkek' versiyonları.

Sonuç

Bunlar, görüntü sentezi ve derin sahte araştırmalarda olağanüstü bir zorluk olmaya devam eden GAN gizli alan manipülasyonu bağlamında, kimlik projeksiyonunda ufuk açıcı deneylerdir. Bununla birlikte, çalışma, farklı kimlikler arasında tutarlı bir şekilde son derece spesifik özellikleri yerleştirme ve başka biri olarak "okuyan" "alternatif" kimlikler yaratma kavramını açar.

İlk olarak 30 Mart 2022'de yayınlandı.