Anderson’un Açısı
Üretken Çekişmeli Ağlarla ‘Yaratıcı’ Yüz Doğrulama

Öne çıkan noktalarStanford'ın GAN yöntemi, cinsiyet değiştirilmiş görüntülerle Tinder ve Bumble yüz…
Daha fazla göster
- Stanford'ın GAN yöntemi, cinsiyet değiştirilmiş görüntülerle Tinder ve Bumble yüz doğrulamasını atlattı.
- StarGAN V2, StyleGAN'dan daha iyi yerel doğrulamayı geçen daha yüksek kaliteli ve çeşitli yüzler üretti.
- Teknik, değiştirilmiş yüzlere kimlik özellikleri enjekte ederek kimlik doğrulama sistemleri için tutarlı alternatif kimlikler sağlıyor.
Stanford Üniversitesi’nden yeni bir makale, flört uygulamaları gibi platformlardaki yüz doğrulama sistemlerini yanıltmak için, gerçek bir yüzle aynı temel kimlik bilgilerini içeren alternatif yüz görüntüleri oluşturmak üzere üretken çekişmeli ağ (GAN) kullanan, henüz başlangıç aşamasında bir yöntem önerdi.
Metod, Tinder ve Bumble gibi dating uygulamalarında yüz doğrulama süreçlerini başarıyla atlatmayı başardı. Bir durumda, cinsiyeti değiştirilerek erkek görünümüne dönüştürülmüş bir yüz bile kaynak kadın kimliği için gerçek kabul edildi.

Makalenin yazarına özgü kodlamayı içeren çeşitli üretilmiş kimlikler (yazar yukarıdaki ilk görüntüde yer alıyor). Kaynak: https://arxiv.org/pdf/2203.15068.pdf
Yazara göre, bu çalışma, oluşturulmuş görüntülerle yüz doğrulama sistemlerini nasıl atlatabileceğini gösteren ilk çalışmadır. Bu görüntüler, spesifik kimlik özelliklerine sahip olsalar da, alternatif veya önemli ölçüde değiştirilmiş bir kimlik olarak görünmektedir.
Teknik, özel bir yerel yüz doğrulama sisteminde test edildi ve ardından kullanıcıların yüklediği görüntülerde yüz doğrulaması yapan iki flört uygulamasına karşı kara kutu testlerinde iyi sonuç verdi.
Yeni makale, Yüz Doğrulama Atlama olarak adlandırılmış ve Stanford Üniversitesi Elektrik Mühendisliği Bölümü’nden Sanjana Sarda tarafından yazılmıştır.
Yüz Alanını Kontrol Etme
Kimliğe özgü özellikleri (örneğin yüzlerden veya yol işaretlerinden alınanları) hazırlanmış görüntülere “enjekte etmek”, çekişmeli saldırıların temel bir unsurudur. Ancak yeni çalışma farklı bir olasılığa işaret ediyor: araştırma alanının GAN’ların gizli uzayını giderek daha iyi kontrol edebilmesi, bir kullanıcının kimliğine alternatif tutarlı kimlikler oluşturabilen mimarilerin geliştirilmesini sağlayabilir. Böylece durumdan habersiz bir kullanıcının internette bulunan görüntülerinden kimlik özellikleri çıkarılıp yapay bir “gölge” kimliğe aktarılabilir.
GAN’ların gizli alanının tutarlı ve navigasyonunun sağlanması, bu ağların ortaya çıkışından bu yana ana zorluklardan biri olmuştur. Bir GAN, eğitim görüntülerini gizli alanına başarılı bir şekilde entegre ettiğinde, bir özelliğin bir sınıftan diğerine “itilmesi” için kolay bir harita sağlamaz.
Gradyan ağırlıklı sınıf etkinleştirme haritalaması (Grad-CAM) gibi teknikler ve araçlar, belirlenmiş sınıflar arasında gizli yönleri saptamaya ve dönüşümleri mümkün kılmaya yardımcı olabilir (aşağıdaki görsele bakın). Ancak özelliklerin iç içe geçmesi, geçişin hassas kontrolünü sınırlayan, ancak yaklaşık olarak izlenebilen bir yol oluşturur.

GAN’ın gizli uzayındaki kodlanmış vektörler arasında yaklaşık bir geçiş: veriden türetilen erkek kimliği, karmaşık ve gizemli gizli uzaydaki çok sayıdaki doğrusal hiperdüzlemden birinin öte yanındaki kadın kodlamalarına doğru itiliyor. Resim, https://www.youtube.com/watch?v=dCKbRCUyop8 adresindeki materyalden elde edilmiştir.
ID-spesifik özelliklerini “dondurmak” ve korumak, bunları dönüşümsel kodlamalara taşımak, makine sistemleri tarafından başka biri olarak okunan tutarlı (ve hatta animasyonlu) bir bireyin oluşturulmasına olanak tanır.
Metod
Yazar deneylerde iki veri kümesi kullandı: dört yıllık bir dönem boyunca farklı aydınlatma, yaş ve bakış açılarında çekilmiş, kendi yüzüne ait 310 görüntüden oluşan İnsan Kullanıcı Veri Kümesi; yüzler Caffe ile çıkarılıp kırpıldı. İkinci küme, ırksal açıdan dengeli FairFace veri kümesindeki, benzer şekilde çıkarılıp kırpılmış 108.501 görüntüydü.
Yerel yüz doğrulama modeli, FaceNet ve DeepFace temel uygulamasından türetildi ve ConvNet Inception üzerinde önceden eğitildi. Her görüntü 128 boyutlu bir vektörle temsil edildi.
Yaklaşım, FairFace’den eğitilmiş bir alt küme kullanarak yüz görüntülerini kullanır. Yüz doğrulamasını geçmek için, bir görüntünün Frobenius normuyla hesaplanan mesafe, veritabanındaki hedef kullanıcıyla karşılaştırılır. 0.7 eşik değerinin altında kalan herhangi bir görüntü, aynı kimlik olarak kabul edilir; aksi takdirde doğrulama başarısız kabul edilir.
StyleGAN modeli yazarın kişisel veri kümesinde ince ayarlandı ve kimliğinin tanınabilir varyasyonlarını üreten bir model elde edildi; ancak üretilen görüntülerin hiçbiri eğitim verileriyle aynı değildi. Aşırı uyumu önlemek ve çeşitli çıktılar üretmek için ayırıcının ilk dört katmanı donduruldu.
Temel StyleGAN modeliyle çeşitli görüntüler elde edilse de düşük çözünürlük ve sınırlı görüntü sadakati, başlangıç görüntülerini hedef yüze doğru eğitmeyi sağlayan StarGAN V2 ile ikinci bir denemeye yol açtı.
StarGAN V2 modeli, FairFace doğrulama setinde yaklaşık 10 saat boyunca parti boyutu dört ve doğrulama boyutu sekiz olacak şekilde eğitilmiştir. En başarılı yaklaşım, yazarın kişisel veri setini kaynak olarak ve eğitim verilerini referans olarak kullanmıştır.
Doğrulama Deneyleri
Kümeden rastgele bir görüntüyü doğrulamak amacıyla 1000 görüntülük bir alt küme üzerinde yüz doğrulama modeli oluşturuldu. Doğrulamayı başarıyla geçen görüntüler daha sonra yazarın kendi kimliğine karşı test edildi.

Solda, makalenin yazarı, gerçek bir fotoğraf; ortada, doğrulamayı geçemeyen rastgele bir görüntü; sağda, yazar olarak doğrulamayı geçen, veri kümesinden ilgisiz bir görüntü.
Deneylerin amacı, hedef kimliğin belirleyici özelliklerini korurken algılanan görsel kimliği mümkün olduğunca farklılaştırmaktı. Bu, görüntü işlemede örüntü ve şablon aramada kullanılan Mahalanobis mesafesiyle değerlendirildi.
Temel üretken modelin düşük çözünürlüklü sonuçları, yerel yüz doğrulamasını geçmesine rağmen sınırlı çeşitlilik gösterdi. StarGAN V2, çeşitli ve doğrulamayı geçen görüntüler oluşturmak için daha yeteneklidir.

Tüm görüntüler, yerel yüz doğrulamasını geçmiştir. Üstte, düşük çözünürlüklü StyleGAN temel oluşturmaları, altta, daha yüksek çözünürlüklü ve daha kaliteli StarGAN V2 oluşturmaları.
Son üç görüntü, yazarın kendi yüz veri setini hem kaynak hem de referans olarak kullanmıştır, buna karşılık önceki görüntüler eğitim verilerini referans olarak ve yazarın veri setini kaynak olarak kullanmıştır.
Oluşturulmuş görüntüler, Bumble ve Tinder gibi dating uygulamalarının yüz doğrulama sistemleri ile test edilmiştir ve yazarın kimliği temel alınarak doğrulamayı geçmiştir. Bir “erkek” versiyonu da Bumble’ın doğrulama sürecini geçmiştir, ancak görüntünün aydınlatması önce ayarlanmıştır. Tinder, erkek versiyonunu kabul etmemiştir.

Makalenin yazarının (dişi) kimliğinin ‘erkek’ versiyonları.
SONUÇ
Bunlar, GAN’ların gizli uzayını değiştirme bağlamında kimlik yansıtımına ilişkin öncü deneylerdir. Bu alan, görüntü sentezi ve deepfake araştırmalarında hâlâ olağanüstü bir zorluktur. Yine de çalışma, son derece belirli özelliklerin farklı kimliklere tutarlı biçimde yerleştirilmesi ve sistemler tarafından başka biri olarak yorumlanan “alternatif” kimlikler oluşturulması olasılığını ortaya koyuyor.
İlk olarak 30 Mart 2022’de yayınlanmıştır.












