‘Yaratıcı’ Yüz Doğrulama ile Oluşturucu Karşıtı Ağlar

Stanford Üniversitesi’nden yeni bir makale, Generative Adversarial Network (GAN) kullanarak yüz doğrulama sistemlerini dating uygulamaları gibi platformlarda nasıl yanıltabileceğini önerdi. Bu metod, gerçek bir yüzün aynı temel kimlik bilgilerini içeren alternatif yüz görüntüleri oluşturmak için kullanılır.

Metod, Tinder ve Bumble gibi dating uygulamalarında yüz doğrulama süreçlerini başarıyla atlatmayı başardı. Bir durumda, even bir cinsiyet değişikliği yapılmış (erkek) yüz, kaynak (dişi) kimlik olarak geçerli kabul edildi.

Makalenin yazarının spesifik kodlamasını içeren çeşitli oluşturulmuş kimlikler. Kaynak: https://arxiv.org/pdf/2203.15068.pdf

Yazar göre, bu çalışma, oluşturulmuş görüntülerle yüz doğrulama sistemlerini nasıl atlatabileceğini gösteren ilk çalışmadır. Bu görüntüler, spesifik kimlik özelliklerine sahip olsalar da, alternatif veya önemli ölçüde değiştirilmiş bir kimlik olarak görünmektedir.

Teknik, özel bir yerel yüz doğrulama sistemi üzerinde test edildi ve ardından iki dating uygulamasına karşı kara kutu testlerinde başarılı oldu.

Yeni makale, Yüz Doğrulama Atlama olarak adlandırılmış ve Stanford Üniversitesi Elektrik Mühendisliği Bölümü’nden Sanjana Sarda tarafından yazılmıştır.

Yüz Alanını Kontrol Etme

Yüzlerden, yol işaretlerinden vs. alınan ID-spesifik özelliklerini oluşturulmuş görüntülere enjekte etmek, karşıtı saldırıların bir parçasıdır. Ancak bu yeni çalışma, farklı bir şeyi öneriyor: GAN’ların gizli alanını kontrol etme yeteneğinin, tutarlı alternatif kimliklerin oluşturulmasına olanak tanıyacağı ve bu sayede bir kullanıcının web’de bulunan görüntülerinden kimlik özelliklerinin çıkarılmasına ve “gölge” bir kimlik oluşturulmasına izin vereceği.

GAN’ların gizli alanının tutarlı ve navigasyonunun sağlanması, bu ağların ortaya çıkışından bu yana ana zorluklardan biri olmuştur. Bir GAN, eğitim görüntülerini gizli alanına erfolgreich bir şekilde entegre ettiğinde, bir özelliğin bir sınıftan diğerine “itilmesi” için kolay bir harita sağlamaz.

Gradient-weighted Class Activation Mapping (Grad-CAM) gibi teknikler ve araçlar, gizli yönleri arasında bağlantı kurmaya yardımcı olabilir ve dönüşümleri ermögilebilir (aşağıdaki resme bakınız), ancak iç içe geçmişlik genellikle “yaklaşık” bir yolculuğa neden olur ve geçiş üzerinde sınırlı fine kontrol sağlar.

GAN’ın gizli alanındaki kodlanmış vektörler arasındaki kaba bir yolculuk, veri türetilen bir erkek kimliğini diğer tarafındaki ‘dişi’ kodlamalarına doğru itiyor. Resim, https://www.youtube.com/watch?v=dCKbRCUyop8 adresindeki materyalden elde edilmiştir.

ID-spesifik özelliklerini “dondurmak” ve korumak, bunları dönüşümsel kodlamalara taşımak, makine sistemleri tarafından başka biri olarak okunan tutarlı (ve hatta animasyonlu) bir bireyin oluşturulmasına olanak tanır.

Metod

Yazar, deneyler için iki veri setini kullanmıştır: 310 görüntüden oluşan bir İnsan Kullanıcı Veri Seti, dört yıllık bir süre boyunca çeşitli aydınlatma, yaş ve görüş açılarıyla; ve 108.501 görüntüden oluşan, ırksal olarak dengelenmiş FairFace veri seti.

Yerel yüz doğrulama modeli, FaceNet ve DeepFace’nin temel bir uygulamasından türetilmiştir ve her görüntü 128 boyutlu bir vektör olarak temsil edilmiştir.

Yaklaşım, FairFace’den eğitilmiş bir alt küme kullanarak yüz görüntülerini kullanır. Yüz doğrulamasını geçmek için, bir görüntünün Frobenius normu tarafından oluşturulan mesafe, veritabanındaki hedef kullanıcıya karşı ayarlanır. 0.7 eşik değerinin altında kalan herhangi bir görüntü, aynı kimlik olarak kabul edilir; aksi takdirde doğrulama başarısız kabul edilir.

StyleGAN modeli, yazarın kişisel veri setinde fine-tune edilmiştir ve yazarın kimliğini tanınabilir varyasyonlar üretebilen bir model oluşturulmuştur. Bu, diskriminatörün ilk dört katmanını “dondurarak” ve veri üzerinde aşırı uyumu önleyerek elde edilmiştir.

Çeşitli görüntüler, temel StyleGAN modeliyle elde edilmiştir, ancak düşük çözünürlük ve Sadakat, StarGAN V2 ile ikinci bir denemeye yol açmıştır.

StarGAN V2 modeli, FairFace doğrulama setinde yaklaşık 10 saat boyunca bir batch boyutu ve doğrulama boyutu ile eğitilmiştir. En başarılı yaklaşım, yazarın kişisel veri setini kaynak olarak ve eğitim verilerini referans olarak kullanmıştır.

Doğrulama Deneyleri

Bir yüz doğrulama modeli, 1000 görüntüden oluşan bir alt küme üzerinde oluşturulmuştur. Amac, bir görüntünün doğrulamasını yapmak ve yazarın kendi kimliği ile karşılaştırmaktır.

Solda, makalenin yazarı, gerçek bir fotoğraf; orta, doğrulamayı geçen bir görüntü; sağda, doğrulamayı geçen bir görüntü.

Deneylerin amacı, algılanan görsel kimliği mümkün olduğunca geniş bir açıyla koruyarak, hedef kimliğin tanımlayıcı özelliklerini korumaktır. Bu, Mahalanobis mesafesi ile değerlendirilmiştir, bir görüntü işleme ölçüsüdür.

Temel oluşturucu model, düşük çözünürlüklü sonuçlar verir, ancak yerel yüz doğrulamasını geçer. StarGAN V2, çeşitli ve doğrulamayı geçen görüntüler oluşturmak için daha yeteneklidir.

Tüm görüntüler, yerel yüz doğrulamasını geçmiştir. Üstte, düşük çözünürlüklü StyleGAN temel oluşturmaları, altta, daha yüksek çözünürlüklü ve daha kaliteli StarGAN V2 oluşturmaları.

Son üç görüntü, yazarın kendi yüz veri setini hem kaynak hem de referans olarak kullanmıştır, जबकi önceki görüntüler eğitim verilerini referans olarak ve yazarın veri setini kaynak olarak kullanmıştır.

Oluşturulmuş görüntüler, Bumble ve Tinder gibi dating uygulamalarının yüz doğrulama sistemleri ile test edilmiştir ve yazarın kimliği ile karşılaştırılmıştır. Bir “erkek” versiyonu da Bumble’ın doğrulama sürecini geçmiştir, ancak görüntünün aydınlatması önce ayarlanmıştır. Tinder, erkek versiyonunu kabul etmemiştir.

Makalenin yazarının (dişi) kimliğinin ‘erkek’ versiyonları.

SONUÇ

Bu deneyler, GAN’ların gizli alanını manipüle etme konusundaki zorlukların üstesinden gelmektedir. Buna rağmen, çalışma, spesifik özelliklerin çeşitli kimliklere tutarlı bir şekilde yerleştirilmesinin ve “alternatif” kimliklerin oluşturulmasının kavramını açıklamaktadır.

İlk olarak 30 Mart 2022’de yayınlanmıştır.