Ünlü Derin Sahtekarlıkları Dış Yüz Bölgelerinden Tanıma

Microsoft ve bir Çin üniversitesi arasındaki yeni bir işbirliği, ünlü derin sahtekarlıkları tanımlamanın yeni bir yolunu önerdi ve bunu, mevcut derin sahtekarlık tekniklerinin eksikliklerini kullanarak, diğer insanlara “projekte edilmiş” kimliklerin tanınmasını sağladı.

Bu yaklaşım, Kimlik Tutarsızlığı Dönüştürücü (ICT) olarak adlandırılır ve yüzün dış kısımlarını (çene, elmacık kemikleri, saç çizgisi ve diğer dış kenar çizgileri) yüzün iç kısmıyla karşılaştırarak çalışır. Sistem, ünlü insanların yaygın olarak bulunan kamu görüntü verilerini kullanır, bu da yalnızca popüler ünlülerin yüksek sayıda görüntülerinin bulunabileceği bilgisayar vizyonu veri setlerinde ve internette etkili olmasını sağlar.

Yedi teknik boyunca sahte yüz kapsama alanlarının sahteciliği: DeepFake in FF+; DeepFake in Google DeepFake Detection; DeepFaceLab; Face2Face; FSGAN; ve DF-VAE. Benzer paketler gibi DeepFaceLab ve FaceSwap benzer şekilde kısıtlı kapsama sahiptir. Kaynak: https://arxiv.org/pdf/2203.01318.pdf

Görsel olarak, hiện tại popüler derin sahtekarlık yöntemleri oldukça kaynak kısıtlıdır ve yüz değişiminde kanıtları en aza indirmek için “uygun” konak yüzlerine (kimliğin değiştirileceği kişinin görüntüsü veya videosu) güvenirler.

Farklı yöntemler alnın tamamını ve çene ve elmacık kemikleri alanlarının büyük bir kısmını kapsayabilir, ancak hepsi konak yüzünün çerçevesi içinde daha veya menos kısıtlıdır.

ICT tarafından hesaplanan ‘iç’ ve ‘dış’ kimliklere vurgu yapan bir dikkat haritası. İç yüz eşleştirmesi kurulduğunda ancak dış kimlik eşleşmezse, ICT görüntüyü yanlış olarak değerlendirir.

Testlerde, ICT, düşük çözünürlüklü video gibi derin sahtekarlık dostu ortamlarda bile derin sahtekarlık içeriğini tespit edebildi, burada tüm videonun içeriği sıkıştırma sanatları tarafından bozuldu, bu da derin sahtekarlık sürecinin kalıntı kanıtlarını gizlemeye yardımcı oldu – bu, birçok rakip derin sahtekarlık tespit yöntemini karıştıran bir durum.

ICT, rakiplerini derin sahtekarlık içeriğini tanımada geride bırakıyor. Makalenin sonundaki gömülü video için daha fazla örnek ve daha iyi çözünürlük için bkz. Kaynak: https://www.youtube.com/watch?v=zgF50dcymj8

Makale, Ünlüleri Kimlik Tutarsızlığı Dönüştürücü ile Koruma olarak adlandırılmıştır ve Çin Bilim ve Teknoloji Üniversitesi, Microsoft Research Asia ve Microsoft Cloud + AI’den çeşitli şekilde bağlı dokuz araştırmacıdan gelmektedir.

İnanılırlık Açığı

En az iki neden vardır neden popüler yüz değiştirme algoritmaları gibi DeepFaceLab ve FaceSwap dış yüz bölgesini ihmal eder.

İlki, derin sahtekarlık modellerini eğitmenin zaman alıcı ve kaynak kritik olması ve “uygun” konak yüzlerinin/bölgelerin benimsemesinin, GPU döngülerini ve epoch’ları, kısa vadede değişmeye en az eğilimli olan yüzün iç bölgelerine konsantre olmaya serbest bırakmasıdır.

İkincisi, çoğu derin sahtekarlık yaklaşımı (ve bu kesinlikle DeepFaceLab’nin, en popüler veya kötü şöhretli uygulayıcıların kullandığı yazılımın durumu) yüzün “uç” kenarlarını, yani elmacık ve çene alanlarını çoğaltma yeteneğinde sınırlıdır ve yukarı akım (2017) kodunun bu sorunu kapsamlı bir şekilde ele almadığından sınırlıdır.

Kimlikler iyi eşleşmediğinde, derin sahtekarlık algoritması yüzün etrafındaki arka plan alanlarını “boyamak” zorundadır, ki bu en iyi deepfaker’ler, örneğin Ctrl Shift Face, tarafından bile beceriksizce yapılır, ve makalenin çalışmalarında kullanılan çıktı.

En iyisi: Ctrl-Shift-Face’den bir derin sahtekarlık videosundan stiller, Jim Carrey’i Gary Oldman’a geçiriyor. Bu iş, muhtemelen DeepFaceLab ve post-işlem teknikleri aracılığıyla mevcut en iyi çıktı olarak kabul edilebilir. Buna rağmen, değişiklikler, DFL’nin dış yüzü az dikkate alması nedeniyle sınırlı kalır ve dış çizgileri ele almak için devasa bir veri toplama ve eğitim çabası gerektirir. Kaynak: https://www.youtube.com/watch?v=x8igrh1eyLk

Bu “hile” veya dikkatin başka yere çekilmesi, mevcut derin sahtekarlık endişesinde genellikle kaçırılır, çünkü derin sahtekarlıklar etrafındaki eleştirel yeteneklerimiz hala “şok ve hayret” aşamasından geçmektedir.

Bölünmüş Kimlikler

Yeni makale, çoğu önceki derin sahtekarlık tespit yönteminin, yüz değiştirme sürecini ele veren sanatları temel aldığını belirtir, Örneğin tutarsız baş pozisyonları ve kirpme, sayısız diğer teknik arasında. Sadece bu hafta, başka bir yeni derin sahtekarlık tespit makalesi, FaceSwap çerçevesinde kullanılan farklı model tiplerinin “imzasını” kullanarak, bu çerçevede oluşturulan sahte video’yu tanımaya önerdi (aşağıdaki görselde gösterildi).

FaceSwap çerçevesindeki farklı model tiplerinin imzalarını karakterize ederek sahte video’yu tanımak. Kaynak: https://arxiv.org/pdf/2202.12951.pdf

Karşılaştırıldığında, ICT’nin mimarisi bir kişi için iki ayrı iç içe kimlik oluşturur, bunların her biri tüm kimliğin “gerçek” olarak kabul edilmeden önce doğrulanmalıdır.

ICT’nin eğitim ve test aşaması için mimari.

Kimliklerin bölünmesi, yüz tanıma önce yüzeyleri iç ve dış kimliklere ait token’lere ayırarak çalışan bir görme Dönüştürücü tarafından kolaylaştırılır.

Yüzeyleri iki paralel kimlik göstergesine dağıtmak.

Makalede şöyle denir:

‘Maalesef mevcut yüz doğrulama yöntemleri, en ayırt edici bölgeyi, yani iç yüzü doğrulama için karakterize etme eğilimindedir ve dış yüzdeki kimlik bilgilerini yakalamakta başarısız olurlar. Kimlik Tutarsızlığı Dönüştürücü ile, iç yüz ve dış yüz için bir çift kimlik vektörü öğrenmek için bir model eğitiyoruz, böylece iç ve dış kimlikler aynı anda birleşik bir modelde öğrenilebilir.’

Mevcut bir modelin olmaması nedeniyle, yazarlar kimlik doğrulama protokolü için yeni bir tutarlılık kaybı tasarladılar. “İç token” ve “dış token” kimlik çıkarma modelinden elde edilenler, yüz tanıma çerçevelerinden üretilen geleneksel yama gömme’lerine eklenir.

Veri ve Eğitim

ICT ağı, Microsoft Research’in MS-Celeb-1M veri setinde eğitildi, bu veri seti 10 milyon ünlü yüz görüntüsünü içerir ve 1 milyon kimliği kapsar, bunlar arasında aktörler, politikacılar ve diğer birçok türdeki nổi bật kişiler bulunur. Önceki yöntem Face X-ray (Microsoft Research’in başka bir girişimi) prosedürüne göre, ICT’nin kendi sahte üretim rutini, algoritmayı test etmek için materyal oluşturmak amacıyla bu veri setinden yüzlerin iç ve dış bölgelerini değiştirir.

Bu iç değişiklikleri gerçekleştirmek için, ICT, veri setinde benzer baş pozisyonları ve yüz özellikleri gösteren iki görüntüyü tanımlar, merkezi özelliklerin (bir değiştirme gerçekleştirilebileceği) bir maskesini oluşturur ve RGB renk düzeltmesiyle birlikte bir derin sahtekarlık değişikliği gerçekleştirir.

ICT’nin yalnızca ünlü tanımlamasına odaklanması, çünkü en etkili varyantında, merkezi bir korpusdan (bu durumda MS-Celeb-1M, ancak référencing, ağa disponible görüntülere genişletilebilir, ancak bu yalnızca iyi bilinen kamu figürleri için yeterli kalite ve miktarda bulunabilir) türetilen yüz vektörlerine dayanan yeni bir référence setine güvenir.

Bu türetilen vektör çiftleri, iç ve dış yüz bölgelerini birlikte doğrulamak için kimlik token’leri olarak görev yapar.

Yazarlar, bu yöntemlerden elde edilen token’lerin “yüksek düzeyli” özellikler temsil ettiğini, bu nedenle derin sahtekarlık tespit sürecinin, düşük çözünürlüklü veya başka şekilde bozulmuş video gibi zorlu ortamlara daha dayanıklı olacağını belirtir.

Önemli olarak, ICT, sanat tabanlı kanıtlara bakmak yerine, yüz tanıma tekniklerine daha uygun kimlik doğrulama yöntemlerine odaklanmaktadır – bu, düşük hacimli verilerle, örneğin ünlü olmayan hedeflere karşı derin sahtekarlık intikam pornosu olaylarının soruşturulmasıyla ilgili durumlarda zor bir yaklaşımdır.

Testler

MS-Celeb-1M’de eğitilen ICT, daha sonra référence destekli ve “kör” algoritmaların versiyonlarına ayrıldı ve çeşitli rakip veri setleri ve yöntemlerle test edildi. Bunlar arasında FaceForensics++ (FF++), dört yöntem boyunca oluşturulan 1000 gerçek ve sahte video içeren bir veri seti; Google’ın DeepFake Tespiti (DFD), binlerce Google tarafından üretilen sahte video içeren bir veri seti; Ünlü Derin Sahtekarlık v1 (CD1), 408 gerçek ve 795 sentezlenmiş, düşük-sanat video içeren bir veri seti; Ünlü Derin Sahtekarlık v2, V1’in bir uzantısı, 590 gerçek ve 5,639 sahte video içeren bir veri seti ve Çin’in 2020 Derin Forensics (Derin) veri seti yer aldı.

Bu, test edilen veri setleridir; test edilen derin sahtekarlık tespit yöntemleri Çoklu görev, MesoInc4, Kapsül, Xception-c0, c2 (FF++’de kullanılan bir yöntem), FWA/DSP-FW (Albany Üniversitesi’nden), İki Dal, PCL+I2G ve Yuval Nirkin’in bağlam-uğrak yöntemi idi.

Bu derin sahtekarlık tespit yöntemleri, belirli yüz değiştirme türlerini tespit etmeyi hedeflemektedir. Ayrıca, daha genel derin sahtekarlık tespit teklifleri Yüz X-ışını, Michigan Eyalet Üniversitesi’nin FFD, CNNDetection ve Patch-Forensics (MIT CSAIL’den) test edildi.

Testlerin en açık sonucu, rakip yöntemlerin, video çözünürlüğü ve kalitesi düştükçe Dramatik olarak etkisiz hale geldiğidir. Bazı en ciddi derin sahtekarlık penetrasyon potansiyeli, özellikle şu anda, HD olmayan veya başka şekilde bozulmuş videolarda yatmaktadır, bu nedenle bu önemli bir sonuç gibi görünmektedir.

Yukarıdaki sonuç grafiğinde, mavi ve kırmızı çizgiler, ICT yöntemlerinin, Gaussian gürültüsü dışında tüm alanlarda görüntü bozulmasına karşı direncini gösterir, जबकi rakip yöntemlerin güvenilirliği düşer.

Aşağıdaki sonuç tablosunda, çeşitli derin sahtekarlık tespit yöntemlerinin görülmeyen veri setlerindeki etkinliğini görüyoruz. Gri ve asteriskli sonuçlar, kapalı kaynak projelerinden orijinal olarak yayınlanan sonuçlarla karşılaştırma gösterir, bunlar dışından doğrulanamaz. Karşılaştırılabilecek几乎 tüm çerçevelerde, ICT rakip derin sahtekarlık tespit yaklaşımlarını (kalın olarak gösterilir) geçer.

Ek bir test olarak, yazarlar, ünlü deepfaker Ctrl Shift Face’in YouTube kanalından içeriği çalıştırdılar ve rakip yöntemlerin önemli ölçüde daha düşük tanıma puanları elde ettiğini buldular:

Burada dikkat çekici olan, FF++ yöntemleri (Xception-c23) ve FFD’nin, genel testlerde bazı test verisi boyunca en yüksek puanları elde etmesine rağmen, ICT’den önemli ölçüde daha düşük bir puan elde ettiği “gerçek dünya” bağlamında, yüksek çaba gerektiren derin sahtekarlık içeriğinde.

Yazarlar, makaleyi, derin sahtekarlık tespit topluluğunun, daha kolay genelleyebilecek yüksek düzeyli özelliklere odaklanan benzer girişimlere yönlendirmesi umuduyla bitiriyor ve sanat tespit “soğuk savaşından” uzaklaşıyor, burada en son yöntemler, derin sahtekarlık çerçevelerindeki gelişmeler veya diğer faktörler tarafından düzenli olarak geçersiz kılınıyor.

Aşağıdaki ek video için daha fazla örnek ve daha iyi çözünürlük için Unite.AI sitesini ziyaret edin.

https://www.youtube.com/watch?v=zgF50dcymj8

İlk olarak 4 Mart 2022’de yayınlandı.