Dış Yüz Bölgelerinden Ünlü Deepfakelerini Belirleme

Microsoft ile bir Çin üniversitesi arasında yapılan yeni bir iş birliği, mevcut deepfake tekniklerinin eksikliklerinden yararlanarak, diğer insanlara 'yansıtılan' kimlikleri tanıyarak ünlülere ait deepfake'leri tespit etmenin yeni bir yolunu önerdi.

Yaklaşım denir Kimlik Tutarlılık Transformatörü (BİT) ve yüzün en dış kısımlarını (çene, elmacık kemikleri, saç çizgisi ve diğer dış kenar çizgileri) yüzün iç kısmıyla karşılaştırarak çalışır. Sistem, ünlü kişilerin yaygın olarak bulunan kamuya açık görüntü verilerinden yararlanıyor ve bu da etkinliğini, görüntüleri yaygın olarak bulunan bilgisayarlı görüntü veri kümelerinde ve internette çok sayıda bulunan popüler ünlülerle sınırlıyor.

Yedi teknikte sahte yüzlerin sahtecilik kapsamı: FF+'da DeepFake; Google DeepFake Tespitinde DeepFake; Derin Yüz Laboratuvarı; Yüz2Yüz; FSGAN; ve DF-VAE. DeepFaceLab ve FaceSwap gibi popüler paketler benzer şekilde kısıtlı kapsama alanı sağlar. Kaynak: https://arxiv.org/pdf/2203.01318.pdf

Yukarıdaki görüntünün gösterdiği gibi, şu anda derin sahtekarlık için popüler olan yöntemler oldukça kısıtlı kaynaklara sahiptir ve yüz ikamesine ilişkin kanıtları en aza indirmek için uygun ana bilgisayar yüzlerine (kimliği derin sahte ile değiştirilecek bir kişinin görüntüsü veya videosu) dayanır.

Farklı yöntemler alnın tamamını ve çene ve elmacık kemiği bölgelerinin büyük bir bölümünü kapsasa da, tümü az çok konakçı yüzün çerçevesi içinde sınırlandırılmıştır.

ICT tarafından hesaplanan 'iç' ve 'dış' kimlikleri vurgulayan bir belirginlik haritası. İç yüz eşleşmesi sağlandığı ancak dış kimlik eşleşmediği durumlarda, ICT görüntüyü yanlış olarak değerlendirir.

Testlerde, ICT, tüm videonun içeriğinin sıkıştırma yapıtları tarafından bozulduğu düşük çözünürlüklü video gibi sahte dostu sınırlarda derin sahte içeriği tespit edebildiğini kanıtladı ve bu da derin sahte işlemin kalıntı kanıtlarını gizlemeye yardımcı oldu - bu durum birçok rakibi şaşırtan bir durum derin sahte algılama yöntemleri.

ICT, derin sahte içeriği tanımada yarışmacılardan daha iyi performans gösteriyor. Daha fazla örnek ve daha iyi çözünürlük için makalenin sonunda gömülü videoya bakın. Daha fazla örnek için makalenin sonundaki gömülü kaynak videoya bakın. Kaynak: https://www.youtube.com/watch?v=zgF50dcymj8

MKS kâğıt başlıklı Kimlik Tutarlılık Transformatörü ile Ünlüleri Koruma, ve Çin Bilim ve Teknoloji Üniversitesi, Microsoft Research Asia ve Microsoft Cloud + AI'ya çeşitli şekillerde bağlı dokuz araştırmacıdan geliyor.

Güvenilirlik Açığı

Gibi popüler yüz değiştirme algoritmalarının en az birkaç nedeni vardır. Derin Yüz Laboratuvarı ve Yüz nakli Değiştirilen yüz kimliklerinin en dıştaki alanını ihmal edin.

Öncelikle, deepfake modellerinin eğitimi zaman alıcı ve kaynak açısından kritiktir ve 'uyumlu' ana yüzlerin/vücutların benimsenmesi, GPU döngülerini ve dönemlerini, kimliği ayırt etmek için kullandığımız yüzün nispeten değişmez iç alanlarına yoğunlaşmak için serbest bırakır (çünkü kilo dalgalanması ve yaşlanma gibi değişkenlerin kısa vadede bu temel yüz özelliklerini değiştirme olasılığı en düşüktür).

İkinci olarak, çoğu deepfake yaklaşımı (ve bu kesinlikle en popüler veya kötü şöhretli uygulayıcılar tarafından kullanılan yazılım olan DeepFaceLab için geçerlidir) yanak ve çene bölgeleri gibi 'yüz sonu' kenar boşluklarını kopyalama konusunda sınırlı bir yeteneğe sahiptir ve yukarı akışlarının (2017) kodu, bu sorunu kapsamlı bir şekilde ele almadı.

Kimliklerin iyi eşleşmediği durumlarda, deepfake algoritması yüzün etrafındaki arka plan alanlarını 'iç boyama' yapmak zorundadır; bu da en iyi deepfake'çilerin elinde bile en iyi ihtimalle beceriksizce yapar, örneğin: Ctrl Vites Değiştirme Yüzü, çıktıları makalenin çalışmalarında kullanılmıştır.

En iyinin en iyisi: beğenilen deepfake Ctrl-Shift-Face'in Jim Carrey'i Gary Oldman'la değiştirdiği bir deepfake videosundan fotoğraflar. Bu çalışma, DeepFaceLab ve post-processing teknikleriyle şu anda mevcut olan en iyi çıktılardan bazılarını tartışmalı bir şekilde temsil ediyor. Bununla birlikte, değiş tokuşlar, DFL'nin dış yüze verdiği nispeten yetersiz dikkatle sınırlı kalır ve en dış çizgileri ele almak için Herkül gibi bir veri iyileştirme ve eğitim çabası gerektirir. Kaynak: https://www.youtube.com/watch?v=x8igrh1eyLk

Bu 'el çabukluğu' veya dikkatin başka yöne çekilmesi, günümüzde deepfake'lerin giderek daha gerçekçi hale gelmesiyle ilgili endişeler nedeniyle kamuoyunun dikkatinden büyük ölçüde kaçıyor, çünkü deepfake'ler hakkındaki eleştirel yeteneklerimiz hâlâ 'şok ve dehşet' aşamasını geçmiş durumda.

Bölünmüş Kimlikler

Yeni makale, daha önceki derin sahte algılama yöntemlerinin çoğunun takas sürecine ihanet eden yapılara dayandığını belirtiyor. tutarsız kafa duruşları ve göz kırpmaArasında, çok sayıda diğer teknikler. Sadece bu hafta, başka bir yeni deepfake algılama makalesi yayınlandı. önerilen FaceSwap çerçevesindeki farklı model tiplerinin 'imzasını' kullanarak, bununla oluşturulan sahte videoları tanımlamaya yardımcı olur (aşağıdaki resme bakın).

FaceSwap çerçevesindeki farklı model türlerinin imzalarını karakterize ederek derin sahteleri belirleme. Kaynak: https://arxiv.org/pdf/2202.12951.pdf

Buna karşılık, BİT'in mimarisi bir kişi için iki ayrı iç içe geçmiş kimlik oluşturur ve her birinin, tüm kimliğin 'gerçek' görüntü veya imge olduğu sonucuna varılmadan önce doğrulanması gerekir.

ICT'nin eğitim ve test aşamaları için mimari.

Kimliklerin bölünmesi bir vizyonla kolaylaştırılır Trafo, incelenen bölgeleri iç veya dış kimliklere ait belirteçlere ayırmadan önce yüz tanıma gerçekleştirir.

Yamaları iki paralel kimlik göstereni arasında dağıtmak.

Kağıt şöyle diyor:

'Ne yazık ki mevcut yüz doğrulama [yöntemleri], doğrulama için en ayırt edici bölgeyi, yani iç yüzü belirleme eğiliminde olup, dış yüzdeki kimlik bilgilerini yakalamada başarısız oluyor. Kimlik Tutarlılığı Dönüştürücüsü ile, iç ve dış kimliklerin sorunsuz bir şekilde birleştirilmiş bir modelde aynı anda öğrenilebileceği bir Dönüştürücü tasarlayarak, iç yüz için bir tane ve dış yüz için bir tane olmak üzere bir çift kimlik vektörü öğrenecek şekilde bir model eğitiyoruz.'

Bu kimlik tespit protokolü için mevcut bir model olmadığından, yazarlar, kimlik doğrulama ölçütü olarak işlev görebilecek yeni bir tutarlılık kaybı türü tasarladılar. Kimlik çıkarma modelinden elde edilen "iç belirteç" ve "dış belirteç", yüz tanımlama çerçeveleri tarafından üretilen daha geleneksel yama yerleştirmelerine eklendi.

Veri ve Eğitim

BT ağı Microsoft Research'ün eğitimine tabi tutuldu MS-Celeb-1M aktörler, politikacılar ve diğer pek çok önde gelen şahsiyet türü dahil olmak üzere bir milyon kimliği kapsayan 10 milyon ünlü yüz görüntüsü içeren veri kümesi. Önceki yöntemin prosedürüne göre Yüz röntgeni (Microsoft Araştırma'nın bir başka girişimi) ICT'nin kendi sahte üretim rutini, algoritmayı test etmek için malzeme oluşturmak amacıyla bu veri setinden alınan yüzlerin iç ve dış bölgelerini değiştirir.

Bu dahili değiş tokuşları gerçekleştirmek için ICT, veri kümesinde benzer baş pozları ve yüz işaretleri sergileyen iki görüntüyü tanımlar, merkezi özelliklerin bir maske bölgesini oluşturur (burada bir takas yapılabilir) ve RGB renk düzeltmesiyle bir derin sahte takas gerçekleştirir.

ICT'nin ünlü kimliğiyle sınırlı olmasının nedeni, (en etkili varyasyonunda) merkezi bir korpustan türetilmiş yüz vektörlerini içeren yeni bir referans setine dayanmasıdır (bu durumda MS-Celeb-1M, ancak referans uzatılabilir. yalnızca tanınmış kişiler için yeterli nitelik ve nicelikte mevcut olabilecek ağda mevcut görüntülere).

Bu türetilmiş vektör seti beyitleri, iç ve dış yüz bölgelerini art arda doğrulamak için özgünlük belirteçleri olarak işlev görür.

Yazarlar, bu yöntemlerden elde edilen belirteçlerin 'üst düzey' özellikleri temsil ettiğini ve bunun da düşük çözünürlüklü veya başka şekilde bozulmuş video gibi zorlu ortamlarda hayatta kalma olasılığı daha yüksek olan bir deepfake tespit süreciyle sonuçlandığını belirtiyor.

En önemlisi, BİT değil artefakt temelli kanıt aramak yerine, yüz tanıma teknikleriyle daha uyumlu kimlik doğrulama yöntemlerine odaklanır - bu yaklaşım, deepfake intikam pornosu ünlü olmayan hedeflere karşı.

Testler

MS-Celeb-1M üzerinde eğitilen ICT, daha sonra algoritmanın referans destekli ve 'kör' versiyonlarına ayrıldı ve bir dizi rekabetçi veri kümesi ve yöntemle test edildi. Bunlar arasında şunlar yer alıyordu: Yüz Adli Bilişim ++ (FF++), aşağıdakiler de dahil olmak üzere dört yöntemle oluşturulan 1000 gerçek ve derin sahte videodan oluşan bir veri kümesi: Yüz2Yüz ve FaceSwap; Google'ın Derin Sahte Algılama (DFD), ayrıca Google tarafından oluşturulmuş binlerce derin sahte videodan oluşur; Celeb-DeepFake v1 (CD1), 408 gerçek ve 795 sentezlenmiş, düşük yapaylık içeren videodan oluşuyor; Celeb-DeepFake v2, V1'in bir uzantısı olup 590 gerçek ve 5,639 sahte video içeriyor; ve Çin'in 2020 Derin Adli Tıp (Daha derine).

Bunlar veri kümeleridir; test meydan okumalarındaki algılama yöntemleri Çoklu görev, MesoInc4, Kapsül, Xception-c0, c2 (FF++'da kullanılan bir yöntem), FWA/DSP-FW Albany Üniversitesi'nden, İki Şube, PCL+I2Gve Yuval Nirkin'in bağlam tutarsızlığı yöntemi.

Yukarıda belirtilen tespit yöntemleri, belirli yüz manipülasyonu türlerini tespit etmeyi amaçlamaktadır. Bunlara ek olarak, yeni makalenin yazarları daha genel deepfake tespit yöntemlerini de test ettiler. Yüz röntgeniMichigan Eyalet Üniversitesi'nin FFD, CNN Algılaması, ve Yama-Adli Tıp MİT CSAIL'den.

Testten elde edilen en belirgin sonuçlar, video çözünürlüğü ve kalitesi düştükçe rakip yöntemlerin etkinliğinin büyük ölçüde düştüğüdür. Deepfake'in ayrımcı güçlerimize nüfuz etmesine yönelik en ciddi potansiyelin bir kısmı (en azından şu anda) HD olmayan veya başka bir şekilde kaliteden ödün verilmiş videolarda bulunduğundan, bu önemli bir sonuç gibi görünüyor.

Yukarıdaki sonuç grafiğinde, mavi ve kırmızı çizgiler, Gauss gürültüsü engeli (Zoom ve web kamerası tarzı görüntülerde böyle bir olasılık yoktur) hariç tüm alanlarda görüntü bozulmasına karşı BT yöntemlerinin dayanıklılığını gösterirken, rakip yöntemlerin güvenilirliği düşmektedir.

Aşağıdaki sonuç tablosunda, çeşitli derin sahte algılama yöntemlerinin görünmeyen veri kümeleri üzerindeki etkinliğini görüyoruz. Gri ve yıldız işaretli sonuçlar, harici olarak doğrulanamayan kapalı kaynak projelerde orijinal olarak yayınlanan sonuçlarla yapılan karşılaştırmayı gösterir. Neredeyse tüm karşılaştırılabilir çerçevelerde ICT, denenmiş veri kümelerine göre rakip derin sahte tespit yaklaşımlarından (koyu renkle gösterilmiştir) daha iyi performans gösterir.

Yazarlar, ek bir test olarak, beğenilen deepfaker Ctrl Shift Face'in YouTube kanalındaki içeriği incelediler ve rakip yöntemlerin, özellikle düşük tanımlama puanları elde ettiğini gördüler:

Burada dikkat çeken nokta, yeni makalenin genel testlerindeki bazı test verilerinde en yüksek puanlardan bazılarını elde eden FF++ yöntemlerinin (Xception-c23) ve FFD'nin, yüksek çaba gerektiren deepfake içeriğinin olduğu 'gerçek dünya' bağlamında ICT'den çok daha düşük bir puan elde etmesidir.

Yazarlar, makalenin sonuçlarının deepfake tespit topluluğunu, daha kolay genelleştirilebilir üst düzey özelliklere odaklanan benzer girişimlere yönlendirmesi ve eser tespitinin 'soğuk savaşı'ndan uzaklaştırması umuduyla makaleyi sonlandırıyor. Bu soğuk savaşta, en son yöntemler rutin olarak deepfake çerçevelerindeki gelişmeler veya bu yöntemleri daha az dirençli hale getiren diğer faktörler tarafından ortadan kaldırılıyor.

Genellikle alternatif yöntemleri geride bırakan deepfake içeriği tanımlayan daha fazla ICT örneği için aşağıdaki ek videoya göz atın.

İlk olarak 4 Mart 2022'de yayınlandı.