Gözetim

‘Bozuk’ Sentetik Yüzler Yüz Tanıma Sistemlerini Geliştirmeye Yardımcı Olabilir

Martin Anderson
Unite.AI sitesini Google'daki tercih ettiğiniz kaynaklara ekleyin
Öne çıkan noktalarGerçek gözetleme görüntüleri gibi biçimlendirilmiş sentetik yüzler, tanıma doğruluğunu…
Daha fazla göster
  • Gerçek gözetleme görüntüleri gibi biçimlendirilmiş sentetik yüzler, tanıma doğruluğunu sekteye uğratan alan farkını kapatabilir.
  • Eski CCTV sistemleri, onları modern yüz tanıma eğitimi için zayıf veri kaynakları haline getiren teknik borçla maluldür.
  • Çekişmeli manipülasyon, hedef sistem stillerini içe aktararak tanımayı saldırmak yerine ona hizmet ettirebilir.

Araştırmacılar, Michigan Eyalet Üniversitesi’nden, sentetik yüzlerin derin sahtecilik sahnesinden bir mola verip dünyaya iyi bir şey yapmak için bir yol buldular – yüz tanıma sistemlerinin daha doğru olmasını sağlayarak.

Onlar tarafından tasarlanan yeni kontrollü yüz sentez modülü (CFSM), gerçek dünya video gözetim footage tarzında yüzleri yeniden oluşturmak için yeteneklidir, popüler açık kaynaklı ünlü veri setlerindeki genel olarak daha yüksek kaliteli görüntülere dayanmak yerine çalışır. Bu veri setleri, gerçek CCTV sistemlerindeki yüz bulanıklığı, düşük çözünürlük ve sensör gürültüsü gibi tanıma doğruluğunu etkileyen tüm kusurları yansıtmaz.

Kontrollü Yüz Sentez Modülü (CFSM) için kavramsal mimari. Kaynak: http://cvlab.cse.msu.edu/pdfs/Liu_Kim_Jain_Liu_ECCV2022.pdf

Kontrollü Yüz Sentez Modülü (CFSM) için kavramsal mimari. Kaynak: http://cvlab.cse.msu.edu/pdfs/Liu_Kim_Jain_Liu_ECCV2022.pdf

CFSM, özellikle baş pozisyonlarını, ifadeleri veya diğer özelliklerini gerçek bir şekilde simüle etmek için tasarlanmamıştır, ancak hedef tanıma sistemine yönelik alternatif görüntüler oluşturmak için stil aktarımı kullanır.

Sistem, hedef sistemin stil alanını taklit etmek ve çıktısını o sistemin çözünürlüğü ve “eksantriklik” aralığına göre uyarlamak için tasarlanmıştır. Kullanım durumu, muhtemelen maliyet nedeniyle yükseltilmeyecek olan eski sistemleri içerir, ancak bu sistemler, bir zamanlar ileri düzeyde sayılmış olabilecek çıktılarının artık düşük kaliteli olması nedeniyle yeni nesil yüz tanıma teknolojilerine çok az katkı sağlayabilir.

Sistem test edilirken, araştırmacılar, bu tür gürültülü ve düşük kaliteli veriyle uğraşan yüz tanıma sistemlerinde önemli kazanımlar elde edildiğini buldular.

Yüz tanıma modellerini hedef sistemlerin sınırlamalarına adapte etmek için eğitim.

Yüz tanıma modellerini hedef sistemlerin sınırlamalarına adapte etmek için eğitim. Kaynak: http://cvlab.cse.msu.edu/pdfs/Liu_Kim_Jain_Liu_ECCV2022_supp.pdf

Araştırmacılar, ayrıca, sürecin faydalı bir yan ürününü buldular – hedef veri setlerinin şimdi karakterize edilebileceğini ve birbirleriyle karşılaştırılabilmesini, çeşitli CCTV sistemleri için özel veri setleri oluşturmayı kolaylaştırdı.

Ek olarak, yöntem mevcut veri setlerine uygulanabilir, fiilen alan uyarlaması gerçekleştirir ve onları yüz tanıma sistemleri için daha uygun hale getirir.

Yeni makale, Kontrollü ve Rehberli Yüz Sentezi için Kısıtlamasız Yüz Tanıma başlığını taşır, kısmen ABD Ulusal İstihbarat Direktörlüğü Ofisi (ODNI, IARPA bünyesinde) tarafından desteklenmektedir ve MSU Bilgisayar Bilimi ve Mühendisliği Bölümünden dört araştırmacının çalışmasıdır.

Öne Çıkan İçerik

Düşük kaliteli yüz tanıma (LQFR), son birkaç yıldır önemli bir araştırma alanı haline gelmiştir. Çünkü kamu kurumları ve belediyeler, video gözetim sistemlerini dayanıklı ve uzun süreli olarak inşa etmek istedikleri için, bu soruna dönem dönem yeniden kaynak ayırmak istememiştir. Bu nedenle birçok eski gözetim ağı, makine öğrenimi için veri kaynağı olarak uyarlanabilirlikleri açısından teknik borcun kurbanı olmuştur.

Farklı tarihlerde ve daha yakın tarihli video gözetim sistemlerinde yüz çözünürlüğü seviyeleri.

Farklı tarihlerde ve daha yakın tarihli video gözetim sistemlerinde yüz çözünürlüğü seviyeleri. Kaynak: https://arxiv.org/pdf/1805.11519.pdf

Şanslıyız ki, bu, difüzyon modelleri ve diğer gürültü tabanlı modellerin çözmesi için özellikle uygun bir görevdir. Son yıllarda en popüler ve etkili görüntü sentez sistemlerinin çoğu, pipeline’ın bir parçası olarak düşük çözünürlüklü görüntülerin upscale edilmesini gerçekleştirir. Bu işlem, görüntü ve filmleri bit eşlem verisi yerine sinir ağı verisi olarak saklayan nöral sıkıştırma teknikleri için de zorunludur.

Yüz tanıma sorunlarının bir parçası, mümkün olan en az sayıda özellik ile en küçük ve en az vaat edilen düşük çözünürlüklü görüntülerden maksimum doğruluk elde etmektir. Bu kısıtlama, sadece düşük çözünürlüklü bir yüzü tanımlamak veya oluşturmak için faydalı olmasından değil, aynı zamanda modelin eğitildiği yerel GPU’da mevcut olan VRAM sınırları içinde eğitilen modelin gelişen gizil uzayından geçebilen görüntü boyutuna ilişkin teknik sınırlamalardan da kaynaklanmaktadır.

Bu anlamda, “özellik” terimi yanıltıcıdır, çünkü bu özellikler bir park bankından da elde edilebilir. Bilgisayarlı görme sektöründe, “özellikler” ayırıcı özellikler anlamına gelir – herhangi bir görüntüden elde edilen özellikler, bir kilisenin hatları, bir dağ veya bir yüz veri setindeki yüz özelliklerinin dağılımı.

Bilgisayarlı görme algoritmaları artık görüntü ve videoların çözünürlüğünü yükseltebildiğinden, düşük çözünürlüklü veya kalitesi bozulmuş eski gözetim kayıtlarını «iyileştirmek» için çeşitli yöntemler önerilmiştir. Bu iyileştirmelerin, örneğin bir suç soruşturmasında belirli bir kişinin bir yerde bulunduğunu göstermek gibi hukuki amaçlarla kullanılması da mümkün olabilir.

Ayrıca, yanlış tanımlama olasılığı, bazen başlıkları topladı, teoride, bir kişiyi tanımlamak için düşük çözünürlüklü görüntüleri hiper-çözünürlüğe veya başka bir şekilde dönüştürmek gerekli değildir, çünkü yüz tanıma sistemi düşük seviyeli özelliklere odaklanmalıdır ve bu düzeyde çözünürlüğe ihtiyaç duymaz. Ayrıca, bu tür dönüşümler uygulamada pahalıdır ve tekrarlanan sorular bu dönüşümlerin olası geçerliliği ve yasallığı hakkında ortaya çıkarır.

Ünlülerin Daha Fazla Düşük Kaliteli Görüntüsüne İhtiyaç Var

Bir yüz tanıma sisteminin, miras sistemlerin çıktısı olarak mevcut olan bozulmuş görüntülerden özellikler (yani, insan özelliklerinin makine öğrenimi özelliklerini) türetebilmesi daha faydalı olurdu. Bunun için «yüksek çözünürlüklü» kimlik ile değiştirilmesi güç ve çoğu zaman yenisiyle değiştirilemeyen mevcut video gözetim sistemlerindeki bozulmuş görüntüler arasındaki ilişkiyi daha iyi anlaması gerekir.

Sorun, standartlar sorunudur: ortak web toplama veri setleri gibi MS-Celeb-1M ve WebFace260M (diğerleri arasında), araştırmacıların mevcut en ileri tekniklere göre küçük ya da büyük ilerlemelerini ölçebilecekleri tutarlı karşılaştırma ölçütleri sağladıkları için araştırma topluluğu tarafından benimsenmiştir.

Microsoft'un popüler MS-Celeb1m veri setinden örnekler. Kaynak: https://www.microsoft.com/en-us/research/project/ms-celeb-1m-challenge-recognizing-one-million-celebrities-real-world/

Microsoft’un popüler MS-Celeb1m veri setinden örnekler. Kaynak: https://www.microsoft.com/en-us/research/project/ms-celeb-1m-challenge-recognizing-one-million-celebrities-real-world/

Yazarlar, yüz tanıma (FR) algoritmalarının bu veri setlerinde eğitildiğini, ancak birçok eski gözetim sisteminin görsel “alanlarına” uygun malzemeler olmadığını savunuyorlar.

Makalede denir*:

‘[Durumun en iyisi] (SoTA) FR modelleri, gerçek dünya gözetim görüntülerinde (kısıtlamasız) iyi çalışmıyor, çünkü web tarayıcıları ile elde edilen büyük ölçekli eğitim veri setleri (yarı kısıtlı), gerçek, kontrolsüz koşullardaki değişimler, içsel sensör gürültüsü, düşük çözünürlük, hareket bulanıklığı, türbülans etkisi vb. gibi varyasyonlardan yoksundur.

‘Örneğin, 1:1 doğrulama doğruluğu, bir SoTA model tarafından kısıtlamasız IJB-S veri setinde, yarı kısıtlı LFW‘ye göre yaklaşık %30 daha düşüktür.

‘Bu performans açığını kapatmak için olası bir çözüm, büyük ölçekli kısıtlamasız yüz veri setini oluşturmaktır. Ancak, böyle bir eğitim veri setini on binlerce kişiyle oluşturmak, yüksek elle etiketleme maliyeti nedeniyle son derece zordur.’

Yazarlar, daha önce, tarihi veya düşük maliyetli gözetim sistemlerinin çıktılarını “uydurmak” için çeşitli yöntemlerin denendiğini, ancak bu yöntemlerin “kör” iyileştirmelerle uğraştığını belirtiyorlar. Buna karşılık, CFSM, eğitim sırasında hedef sistemden doğrudan geri bildirim alır ve stil transferi yoluyla o alanın taklit edilmesini sağlar.

Hedef modelin alanından geri bildirime dayalı stil eşleştirmeli alan uyarlaması yapan CFSM örneğinde, bilgisayarlı görme topluluğuna hâkim birkaç veri setinde sıkça görülen oyuncu Natalie Portman da kimlikler arasında yer alıyor.

Hedef modelin alanından geri bildirime dayalı stil eşleştirmeli alan uyarlaması yapan CFSM örneğinde, bilgisayarlı görme topluluğuna hâkim birkaç veri setinde sıkça görülen oyuncu Natalie Portman da kimlikler arasında yer alıyor.

Yazarlar tarafından tasarlanan mimari, Fast Gradient Sign Method (FGSM) kullanarak hedef sistemden elde edilen stilleri ve özellikleri bireyselleştirmek ve “ithal etmek” için kullanılır. Görüntü oluşturma bölümü, eğitimle birlikte hedef sistemine daha da sadık hale gelir. Hedef sisteminden alınan geri bildirim, düşük boyutlu stil uzayından gelir; niteliği bakımından düşük seviyelidir ve en genel türetilmiş görsel tanımlayıcılara karşılık gelir.

Yazarlar yorumluyor:

‘Yüz tanıma modelinden alınan geri bildirimle, sentezlenen görüntüler, yüz tanıma performansına daha faydalı olur ve önemli ölçüde geliştirilmiş genellemeye yol açar.’

Testler

Araştırmacılar, MSU’nun önceki çalışmasını, sistemlerini test etmek için bir şablon olarak kullandılar. Aynı deneysel protokollere dayanarak, yalnızca web taraması yapılan ünlü fotoğraflarından oluşan etiketli eğitim veri seti olarak MS-Celeb-1m’i kullandılar. Adalet için, 3.9 milyon görüntüye sahip 85.700 sınıfı içeren MS1M-V2’yi de dahil ettiler.

Hedef veri, Çin Hong Kong Üniversitesi’nden WiderFace veri setiydi. Bu, zorlu durumlar için yüz tespit görevleri için tasarlanmış özellikle çeşitli bir görüntü kümesidir. Bu kümeden 70.000 görüntü kullanıldı.

Değerlendirme için, sistem, dört yüz tanıma benchmark’ına karşı test edildi: IJB-B, IJB-C, IJB-S ve TinyFace.

CFSM, yaklaşık 0,4 milyon görüntüden oluşan MS-Celeb-1m’in %10’undan oluşan eğitim verisi ile 32 parti boyutunda 125.000 iterasyon için Adam optimizatörü ile çok düşük 1e-4 öğrenme hızında eğitildi.

Kullanılan hedef yüz tanıma modeli, bir modifikasyon ResNet-50 için omurga olarak kullanmıştır ve eğitim sırasında ArcFace kaybı fonksiyonu etkinleştirilmiştir. Ek olarak, bir model CFSM ile bir ablasyon ve karşılaştırmalı egzersiz olarak eğitildi (sonuç tablosunda “ArcFace” olarak işaretlendi).

CFSM için birincil test sonuçları. Daha yüksek numaralar daha iyidir.

CFSM için birincil test sonuçları. Daha yüksek numaralar daha iyidir.

Yazarlar, birincil sonuçlar hakkında yorumluyor:

‘ArcFace modeli, hem yüz kimliği belirleme hem de kimlik doğrulama görevlerinde tüm benchmark’ları geride bırakıyor ve yeni bir durumun en iyisi (SoTA) performansını gerçekleştiriyor.’

Hedef sistemlerin çeşitli özelliklerinden alanları çıkarma yeteneği, yazarlara bu çerçevelerin dağılım benzerliğini karşılaştırıp değerlendirmeyi ve her sistemi sonraki çalışmalarda kullanılabilecek bir görsel stil olarak sunmayı da sağlar.

Farklı veri setlerinden örnekler, açık stil farklılıkları sergiliyor.

Farklı veri setlerinden örnekler, açık stil farklılıkları sergiliyor.

Yazarlar ayrıca, sistemlerinin, şimdiye kadar yalnızca sorun olarak görülen bazı teknolojilerden yararlanabileceğini belirtiyorlar:

‘[CFSM], saldırgan manipülasyonun, yalnızca bir saldırgan olarak değil, aynı zamanda görme görevlerinde tanıma doğruluğunu artırmak için hizmet edebileceğini gösteriyor. Ayrıca, öğrenilen stil tabanlarına dayalı bir veri seti benzerlik ölçütü tanımlıyoruz, bu da etiket veya predictor bağımsız bir şekilde stil farklılıklarını yakalar.’

‘İnanıyoruz ki, araştırmamız, kısıtlamasız yüz tanıma için kontrollü ve rehberli yüz sentez modelinin gücünü sundu ve veri seti farklılıklarına ilişkin bir anlayış sağladı.’

 

* Yazarların satır içi alıntılarını hyperlink’e dönüştürmem.

İlk olarak 1 Ağustos 2022’de yayınlandı.

Makine öğrenimi üzerine yazar, insan görüntüsü sentezi alanında uzman. Metaphysic.ai'nin DNEG'e ait Brahma.ai bünyesine katılmasına kadar araştırma içeriğinden sorumlu yönetici olarak görev yaptı.
Web Sitesi: martinanderson.ai
İletişim: martin@martinanderson.ai