Ünlü Derin Sahteciliklerin Dış Yüz Bölgelerinden Tanınması

Microsoft ve bir Çin üniversitesi arasındaki yeni bir işbirliği, mevcut derin sahtecilik tekniklerinin eksikliklerini kullanarak kimliklerin diğer insanlara “projeksiyon” edildiğini tanıyan yeni bir yöntemle ünlü derin sahteciliklerin tanınması için bir öneri sunmuştur.

Yaklaşım, Kimlik tutarlılığı Dönüştürücü (ICT) olarak adlandırılır ve yüzün dış kısımlarını (çene, elmacık kemikleri, saç çizgisi ve diğer dış kenar çizgileri) yüzün iç kısmıyla karşılaştırarak çalışır. Sistem, ünlü insanların yaygın olarak bulunan kamu görüntü verilerini kullanır, bu da yalnızca yüksek sayıda görüntü bulunan ve geniş olarak bulunan bilgisayar vizyonu veri setlerinde ve internette etkili olur.

Yedi teknik boyunca sahte yüz kapsamı: DeepFake FF+’de; Google DeepFake Tespitinde DeepFake; DeepFaceLab; Face2Face; FSGAN ve DF-VAE. Popüler paketler gibi DeepFaceLab ve FaceSwap benzer şekilde kısıtlı kapsama sahiptir. Kaynak: https://arxiv.org/pdf/2203.01318.pdf

Yukarıdaki resim gibi, şu anda popüler olan derin sahtecilik yöntemleri oldukça kaynak sınırlıdır ve yüz değişimini minimize etmek için uygun ana yüzleri/beyazları kullanır.

Farklı yöntemler alnın tamamını ve çene ve elmacık kemikleri alanlarının büyük bir kısmını kapsayabilir, ancak hepsi daha çok ana yüzün çerçevesi içinde sınırlıdır.

ICT tarafından hesaplanan ‘iç’ ve ‘dış’ kimliklere vurgu yapan bir dikkat haritası. İç yüz eşleşmesi kurulduğunda ancak dış kimlik eşleşmediğinde, ICT görüntüyü yanlış olarak değerlendirir.

Testlerde, ICT, düşük çözünürlüklü video gibi derin sahtecilik dostu ortamlarda derin sahtecilik içeriğini tespit edebildi, burada tüm videonun içeriği sıkıştırma sanat eserleri tarafından bozulmuştur, bu da derin sahtecilik işleminin arta kalan kanıtlarını gizlemeye yardımcı olur – bu durum birçok rakip derin sahtecilik tespiti yöntemini karıştırır.

ICT, rakiplerini derin sahtecilik içeriğini tanımada geride bırakıyor. Makalenin sonunda daha fazla örnek ve daha iyi çözünürlük için gömülü videoyu izleyin. Kaynak: https://www.youtube.com/watch?v=zgF50dcymj8

Makale, Protecting Celebrities with Identity Consistency Transformer olarak adlandırılmış ve Çin Bilim ve Teknoloji Üniversitesi, Microsoft Research Asia ve Microsoft Cloud + AI’den dokuz araştırmacı tarafından yazılmıştır.

İnandırıcılık Açığı

Popüler yüz değiştirme algoritmaları gibi DeepFaceLab ve FaceSwap, değiştirilen yüz kimliklerinin dış kısmını neden ihmal ettiklerini anlamak için en az iki neden vardır.

İlk olarak, derin sahtecilik modellerini eğitmek zaman alıcı ve kaynak açısından kritiktir ve “uygun” ana yüzlerin/beyazların benimsenmesi, GPU döngülerini ve iç yüzün göreceli olarak değişmez alanlarına odaklanmak için epochs’i serbest bırakır, çünkü değişkenler gibi ağırlık dalgalanmaları ve yaşlanma, bu temel yüz özelliklerini kısa vadede değiştirmeye en az olasıdır.

İkincisi, çoğu derin sahtecilik yaklaşımı (ve bu kesinlikle DeepFaceLab’in durumunda, en popüler veya ünlü uygulayıcılar tarafından kullanılan yazılımdır) “yüzün sonu” kenarlarını gibi çene ve elmacık kemikleri alanlarını çoğaltma yeteneği sınırlıdır ve yukarı akım (2017) kodunun bu sorunu geniş olarak ele almadığı gerçeğiyle sınırlıdır.

Kimlikler iyi eşleşmediğinde, derin sahtecilik algoritması yüzün etrafındaki arka plan alanlarını “boyamak” zorundadır, ki bu en iyi deepfaker’ler tarafından bile beceriksizce yapılır, Örneğin, Ctrl Shift Face gibi, makalenin çalışmalarında kullanılan çıktı.

En iyiler: Ctrl-Shift-Face’den bir derin sahtecilik videosundan stiller, Jim Carrey’i Gary Oldman’a değiştiriyor. Bu çalışma, muhtemelen DeepFaceLab ve post-işlem teknikleri aracılığıyla mevcut en iyi çıktı olarak kabul edilebilir. Yine de, takaslar, DFL’nin dış yüzü vermeye verdiği göreceli olarak az dikkat nedeniyle sınırlı kalır, dış kenarları ele almak için veri toplama ve eğitim için bir Hercules çaba gerektirir. Kaynak: https://www.youtube.com/watch?v=x8igrh1eyLk

Bu “hile” veya dikkatin bu şekilde başka yöne çekilmesi, derin sahteciliklerin artan gerçekçiliği konusunda mevcut endişenin ötesinde, kamuoyunun dikkatinden büyük ölçüde kaçar.

Bölünmüş Kimlikler

Yeni makale, çoğu önceki derin sahtecilik tespiti yönteminin, tutarsız baş pozları ve kirpikler gibi takas sürecini ele veren sanat eserilerini temel aldığını belirtir, sayısız diğer teknik dahil. Sadece bu hafta, başka bir yeni derin sahtecilik tespiti makalesi, FaceSwap çerçevesindeki farklı model tiplerinin “imzasını” kullanarak sahte videoyu tanımlamaya yönelik bir öneri sunmuştur (aşağıdaki resme bakın).

FaceSwap çerçevesindeki farklı model tiplerinin imzalarını karakterize ederek derin sahteciliklerin tanınması. Kaynak: https://arxiv.org/pdf/2202.12951.pdf

Karşılaştırıldığında, ICT’nin mimarisi, bir kişinin iki ayrı iç içe kimliğini oluşturur, bunların her biri tüm kimliğin “gerçek” olarak kabul edilmeden önce doğrulanmalıdır.

ICT’nin eğitim ve test aşamaları için mimari.

Kimliklerin bölünmesi, bir görme dönüştürücüsü tarafından kolaylaştırılır, bu, yüz tanıma önce araştırmaya alınan bölgeleri iç ve dış kimliklere ait tokenlere ayırır.

İki paralel kimlik göstergesi arasında yamaları dağıtmak.

Makale şöyle diyor:

‘Maalesef mevcut yüz doğrulama yöntemleri, doğrulama için en ayırt edici bölgeyi karakterize etme eğilimindedir, yani iç yüz ve dış yüzdeki kimlik bilgilerini yakalamak için başarısız olurlar. Kimlik Tutarlılığı Dönüştürücü ile, iç yüz için bir kimlik vektörü ve dış yüz için başka bir kimlik vektörü öğrenmek için bir Dönüştürücü tasarlayarak, iç ve dış kimlikler birleşik bir modelde aynı anda öğrenilebilir.’

Mevcut kimlik tanımlama protokolü için bir model olmadığından, yazarlar, bir ölçüt olarak kullanılabilen yeni bir tutarlılık kaybı tasarladı. Kimlik çıkarma modelinden oluşan “iç token” ve “dış token”, yüz tanıma çerçevelerinden üretilen daha geleneksel yama gömme noktalarına eklenir.

Veri ve Eğitim

ICT ağı, Microsoft Research’in MS-Celeb-1M veri seti üzerinde eğitildi, bu veri seti 10 milyon ünlü yüz görüntüsünü içerir ve 1 milyon kimliği kapsar, bunlar arasında aktörler, politikacılar ve diğer birçok türdeki nổi bật kişiler bulunur. Önceki yöntem Face X-ray (diğer bir Microsoft Research girişimi) prosedürüne göre, ICT’nin kendi sahte üretim rutini, bu veri setinden alınan yüzlerin iç ve dış bölgelerini değiştirerek algoritmayı test etmek için malzeme oluşturur.

Bu iç değişiklikleri gerçekleştirmek için, ICT, veri setinde benzer baş pozları ve yüz özellikleri gösteren iki görüntüyü tanımlar, merkezi özelliklerin (bir takas işlemi gerçekleştirilebilecek) bir масk bölgesini oluşturur ve RGB renk düzeltmesiyle birlikte derin sahtecilik takası gerçekleştirir.

ICT’nin yalnızca ünlü tanıma sınırlı olmasının nedeni, en etkili varyantında, merkezi bir korpusun (bu durumda MS-Celeb-1M, ancak référencing, yalnızca ünlü kamu kişilerinde yeterli kalite ve miktarda mevcut olabilecek ağa açık görüntülere uzatılabilir) türetilmiş yüz vektörlerini içeren yeni bir référence setine dayanmasıdır.

Bu türetilmiş vektör çiftleri, iç ve dış yüz bölgelerini birlikte doğrulamak için kimlik tokenleri olarak işlev görür.

Yazarlar, bu yöntemlerden elde edilen tokenlerin “yüksek düzeyli” özellikler olduğunu, bu da derin sahtecilik tespiti sürecinin, düşük çözünürlüklü veya başka şekilde bozulmuş video gibi zorlu ortamlarda hayatta kalma olasılığını artırır, diye belirtiyorlar.

Önemli olarak, ICT, sanat eserine dayalı kanıtları aramak yerine, yüz tanıma teknikleriyle daha çok uyumlu olan kimlik doğrulama yöntemlerine odaklanmaktadır – bu, düşük hacimli verilerle, özellikle ünlü olmayan hedeflere karşı derin sahtecilik intikam pornosu olaylarının araştırılması gibi durumlarda zor bir yaklaşımdır.

Testler

MS-Celeb-1M üzerinde eğitilen ICT, sonra référence destekli ve “kör” algoritmaların sürümlerine ayrıldı ve çeşitli rakip veri setleri ve yöntemlerle test edildi. Bunlar, FaceForensics++ (FF++), dört yöntem boyunca oluşturulan 1000 gerçek ve derin sahtecilik videosunu içeren bir veri seti; Google’un Deepfake Tespiti (DFD), binlerce Google tarafından oluşturulan derin sahtecilik videosunu içeren; Celeb-DeepFake v1 (CD1), 408 gerçek ve 795 sentezlenmiş, düşük-sanat eserli videolara sahip; Celeb-DeepFake v2, V1’in 590 gerçek ve 5,639 sahte video içeren bir uzantısı; ve Çin’in 2020 Daha Derin Forensics (Daha Derin) dahil.

Test edilen tespiti yöntemleri, Çoklu görev, MesoInc4, Kapsül, Xception-c0, c2 (FF++’de kullanılan bir yöntem), FWA/DSP-FW Albany Üniversitesi’nden, İki Dal, PCL+I2G ve Yuval Nirkin’in bağlam-uğursuzluk yöntemi idi.

Söz konusu tespiti yöntemleri, belirli yüz manipülasyon türlerini tespit etmeye yöneliktir. Bunlara ek olarak, yeni makalenin yazarları, daha genel derin sahtecilik tespiti teklifleri Face X-ray, Michigan State Üniversitesi’nin FFD, CNNDetection ve Patch-Forensics MIT CSAIL’den test etti.

Testlerin en açık sonucu, rakip yöntemlerin video çözünürlüğü ve kalitesi düştükçe dramatik olarak etkiliğini kaybetmesidir. Bazı derin sahteciliklerin bizim ayırt edici yetilerimize nüfuz etme potansiyelinin, özellikle şu anda, non-HD veya başka şekilde kalitesiz video gibi durumlarda olduğu gibi, bu bir sonuç gibi görünüyor.

Yukarıdaki sonuç grafiklerinde, mavi ve kırmızı çizgiler, ICT yöntemlerinin tüm alanlarda, Gaussian gürültüsünün engeli dışında, görüntü bozulmasına karşı direncini gösterir, mientras rakip yöntemlerin güvenilirliği düşer.

Aşağıdaki sonuç tablosunda, çeşitli veri setleri üzerinde çeşitli derin sahtecilik tespiti yöntemlerinin etkinliğini görüyoruz. Gri ve yıldızlı sonuçlar, dışından doğrulanamayan kapalı kaynaklı projelerden alınan karşılaştırma sonuçlarını gösterir. Karşılaştırılabilecek几乎 tüm çerçevelerde, ICT rakip derin sahtecilik tespiti yaklaşımlarını (kalın olarak gösterilir) geride bırakır.

Ek bir test olarak, yazarlar, ünlü deepfaker Ctrl Shift Face’in YouTube kanalından içeriği çalıştırdı ve rakip yöntemlerin, yüksek çaba gerektiren derin sahtecilik içeriği gibi “gerçek dünya” bağlamında önemli ölçüde daha düşük tanımlama puanları elde ettiğini buldu:

Burada dikkat çekici olan, FF++ yöntemleri (Xception-c23) ve FFD’nin, yeni makalenin genel testlerinde bazı test veri setleri üzerinde en yüksek puanları elde etmesidir, ancak burada ICT’den daha düşük bir puan elde eder.

Yazarlar, makaleyi, derin sahtecilik tespiti topluluğunun, daha kolay genelleyebileceğimiz yüksek düzeyli özelliklere odaklanan benzer girişimlere yönelmesini umarak bitiriyor ve sanat eserinin tespitinin “soğuk savaşı”ndan uzaklaşıyor, burada en son yöntemler, derin sahtecilik çerçevelerindeki gelişmeler veya bu tür yöntemleri daha az dayanıklı hale getiren diğer faktörler tarafından rutin olarak bertaraf edilir.

İçin daha fazla örnek ve daha iyi çözünürlük için makalenin sonunda gömülü videoyu izleyin.

İlk olarak 4 Mart 2022’de yayınlandı.