Araştırmacılar Derin Sahteciliklerin Uzun Süreli Tespitine Yardımcı Olabilecek Dayanıklı Bir Özelliklerini Belirlediler

Derin sahtecilik tespit çözümlerinin 2018’de ortaya çıktığı günden bu yana, bilgisayar görüşü ve güvenlik araştırma sektörü, derin sahtecilik videolarının – popüler yüz sentez teknolojilerindeki (örneğin, DeepFaceLab ve FaceSwap gibi otokodlayıcı tabanlı derin sahtecilik paketleri ve insan yüzlerini yeniden yaratmak, simüle etmek veya değiştirmek için Generative Adversarial Networks‘in kullanımı) gelişmelerine karşı dirençli olabilecek – bir temel özelliğini tanımlamaya çalışmaktadır.

Birçok ‘ipucu’, zoals göz kırpma eksikliği, derin sahteciliklerdeki gelişmeler nedeniyle geçersiz hale geldi, जबक digital provenance tekniklerinin potansiyel kullanımı (örneğin, Content Authenticity Initiative gibi Adobe liderliğindeki) – včetně blockchain yaklaşimleri ve olası kaynak fotoğraflarının dijital su işaretleme – ya mevcut internet üzerindeki mevcut kaynak görsellerinin tümü için kapsamlı ve pahalı değişiklikler gerektirir, ya da sahtecilik tespit sistemlerinin oluşturulması için uluslar ve hükümetler arasında önemli bir işbirliği gerektirir.

Bu nedenle, değiştirilmiş, uydurulmuş veya kimlik değiştirilmiş insan yüzlerinin bulunduğu görüntü ve video içeriğinde gerçekten temel ve dayanıklı bir özellik belirlenmesi çok faydalı olurdu; büyük ölçekli doğrulama, kriptografik varlık hachalama, bağlam denetimi, inanılırlık değerlendirmesi, artifact-odaklı tespit rutinleri veya diğer zahmetli deepfake tespit yaklaşımları olmadan, sahte videolardan doğrudan çıkarılabilen bir özellik.

Çerçevedeki Deepfakes

Çin ve Avustralya arasındaki yeni bir araştırma işbirliği, bu ‘kutsal kase’yi düzenliliği bozmanın formunda bulduğunu düşünüyor.

Yazarlar, gerçek videoların mekansal bütünlüğünü ve zamanlı sürekliliğini, deepfaked içerik içerenlerle karşılaştıran bir yöntem geliştirdiler ve herhangi bir deepfake müdahalesinin görüntünün düzenliliğiğini, ne kadar algılamasız olursa olsun, bozacaktır.

Bu, deepfake sürecinin hedef videoyu karelere ayırması ve her bir (değiştirilmiş) kareye eğitilmiş bir deepfake modelinin etkisini uygulamasından kısmen kaynaklanmaktadır. Popüler deepfake dağıtımları, bu bakımdan animatörler gibi davranır ve her karenin genel mekansal bütünlük ve zamanlı sürekliliğe katkılarından daha çok her karenin gerçekliğine dikkat ederler.

Makaleden: A) Veri türleri arasındaki farklılıklar. Burada, p-fake’in bozulmalarının görüntünün mekansal-zamansal kalitesini, kimlik değiştirmeden deepfake gibi aynı şekilde değiştirdiğini görüyoruz. B) Üç veri türünün gürültü analizi, p-fake’in deepfake bozulmasını nasıl taklit ettiğini gösteriyor. C) Üç veri türünün zamanlı görselleştirilmesi, gerçek verilerin dalgalanmada daha büyük bütünlük gösterdiğini kanıtlıyor. D) Gerçek, sahte ve p-fake video için çıkarılan özelliklerin T-SNE görselleştirilmesi. Kaynak: https://arxiv.org/pdf/2207.10402.pdf

Bu, bir video kodunun orijinal bir kaydı yapıldığında veya işlendiğinde bir dizi kareyi işleme şekli değildir. Dosya boyutunu kaydetmek veya bir videoyu akışa uygun hale getirmek için, video kodlayıcı tarafından大量 miktarda bilgi atılır. En yüksek kaliteli ayarlarında bile, kodlayıcı, kullanıcı tarafından ayarlanabilen bir değişken olan ana kareler ayırır – tüm, pratik olarak sıkıştırılmamış görüntüler, video içinde önceden belirlenmiş aralıklarla meydana gelir.

Ana kareler arasındaki ara kareler, bir ölçüde, komşu ana karelerden mümkün olduğunca fazla bilgiyi yeniden kullanan, değiştirilmiş kareler olarak tahmin edilir ve kendi başlarına tam kareler değildir.

Solda, bir tam ana kare veya ‘i-kare’ sıkıştırılmış videoya depolanır, dosya boyutundan fedakarlık ederek; sağda, bir ara ‘delta kare’, daha veri zengin ana kareden uygulanabilir her kısmı yeniden kullanır. Kaynak: https://blog.video.ibm.com/streaming-video-tips/keyframes-interframe-video-compression/

Bu şekilde, blok (x sayıda kare içeren, ana kare ayarlarına bağlı olarak), tipik bir sıkıştırılmış videoda, herhangi bir bireysel kareden daha küçük bir birim olarak düşünülebilir. Hatta ana kare itself, i-kare olarak bilinen, bu birimin bir parçasını oluşturur.

Geleneksel çizgi animasyon açısından, bir kodlayıcı, ara kareleme gibi bir şey yapmaktadır, ana kareler ara karelerin, delta kareler olarak bilinen türetilmiş karelerin tent-pole’ları olarak işlev görür.

Karşılaştırıldığında, deepfake süperpozisyon her bir bireysel kareye büyük dikkat ve kaynak ayırır, daha geniş bağlamı dikkate almadan ve sıkıştırma ve blok tabanlı kodlamanın “otantik” video özelliklerini etkileme şekli için herhangi bir izin vermez.

Otantik bir video (solda) ve deepfakes tarafından bozulmuş aynı video (sağda) arasındaki zamanlı kalite arasındaki kesintisye daha yakından bir bakış.

Bir些 daha iyi deepfakers, After Effects gibi paketlerde kapsamlı post-işleme kullanıyor ve DeepFaceLab dağıtımı yerel bir kapasiteye sahiptir. motion blur gibi ‘blending’ prosedürlerini uygulamak için, bu hile deepfake videoları ile otantik videolar arasındaki mekansal ve zamanlı kalite uyuşmazlığını etkilemez.

Yeni makale, Deepfake’i Spatio-Temporal Regularity Disruption Oluşturarak Tespit Etme olarak adlandırılmış ve Tsinghua Üniversitesi, Baidu Inc.’in Computer Vision Technology (VIS) bölümü ve Melbourne Üniversitesi’nden araştırmacılardan gelmektedir.

‘Sahte’ Sahte Videolar

Makaledeki araştırmacılar, araştırmanın işlevselliğini, gerçek videoları deepfakes tarafından bozulma şekliyle aynı şekilde bozarak, aslında deepfake operasyonları gerçekleştirmeden, faux-deepfake videolara dönüştüren Pseudo-fake Generator (P-fake Generator) adlı bir modül içine entegre ettiler.

Testler, bu modülün mevcut tüm deepfake tespit sistemlerine neredeyse sıfır kaynak maliyetiyle eklenebileceğini ve performanslarını önemli ölçüde iyileştirebileceğini gösteriyor.

Keşif, deepfake tespit araştırmalarında başka bir engel olan otantik ve güncel veri setlerinin eksikliğini ele almaya yardımcı olabilir. Deepfake oluşturma, son beş yılda topluluğun bir dizi deepfake veri seti geliştirdiği, ancak birçoğunun oldukça eskimiş olduğu, karmaşık ve zaman alıcı bir işlemdir.

Düzenliliği bozmanın videosu post-facto değiştirilen deepfake-agnostic bir sinyal olarak izole ederek, yeni yöntem, bu deepfakes özelliğine odaklanan sınırsız örnek ve veri seti videolarını oluşturmayı mümkün kılar.

STE bloğunun genel görünümü, kanal-bazlı zamanlı konvolüsyonun, aynı deepfake’in vereceği imza ile spatio-temporal olarak geliştirilmiş kodlamalar oluşturmak için bir teşvik olarak kullanıldığı yer.

Testler

Araştırmacılar, deepfake tespit araştırmalarında kullanılan altı notlu veri seti üzerinde deneyler gerçekleştirdiler: FaceForensics++ (FF++); WildDeepFake; Deepfake Detection Challenge preview (DFDCP); Celeb-DF; Deepfake Detection (DFD); ve Face Shifter (FSh).

FF++ için, araştırmacılar modelini orijinal veri setinde eğitti ve her bir alt veri setini ayrı ayrı test etti. Hiçbir deepfake materyali kullanmadan, yeni yöntem devlet-sanat sonuçlarını aştı.

Yöntem ayrıca, gerçek dünya deepfake izleme ortamlarında inandırıcı olan sıkıştırma artifactlerine sahip olan FF++ C23 sıkıştırılmış veri seti ile karşılaştırıldığında pole pozisyonundaydı.

Yazarlar yorumladı:

‘FF++ içindeki performans, temel fikirimizin uygulanabilirliğini doğrular, ancak genellemeye mevcut deepfake tespit yöntemlerinin önemli bir sorunu olarak kalır, çünkü performans, görülmeyen tekniklerle oluşturulan deepfakes üzerinde test edildiğinde garanti edilemez.’

‘Detektörler ve sahteciler arasındaki silah yarışının gerçekliğini dikkate alın, genellemeye, gerçek dünyada bir tespit yönteminin etkinliğini ölçmek için önemli bir kriter olarak kalır.’

Araştırmacılar, ‘dayanıklılık’ etrafında bir dizi alt-test (makale için ayrıntılar) gerçekleştirdi ve girdilerdeki video türlerini (yani, gerçek, yanlış, p-fake, vb.) değiştirdi, ancak en ilginç sonuçlar, çapraz-veri seti performansı testinden geldi.

Bu test için, yazarlar modelini yukarıda bahsedilen ‘gerçek dünya’ c23 sürümüne FF++’de eğitti ve bunu dört veri setine karşı test etti, yazarlara göre tümü üzerinde üstün performans elde etti.

Çapraz-veri seti meydan okumasının sonuçları. Makale, SBI’nin benzer bir yaklaşım kullandığını, ancak araştırmacılara göre p-fake’in spatio-temporal düzenliliği bozmada daha iyi performans gösterdiğini belirtiyor.

Makalede şunlar belirtiliyor:

‘En zorlu Deepwild’de, yöntem SOTA yöntemini yaklaşık 10 puan AUC% ile geçer. Bunun, Deepwild’deki deepfakes’in büyük çeşitliliği nedeniyle diğer yöntemlerin görülen deepfakes’den iyi genellememesi nedeniyle olduğunu düşünüyoruz.’

Testlerde kullanılan metriklere Doğruluk Puanı (ACC), Alıcı İşlemi Özetleme Eğrisi Altında Alan (AUC) ve Eşit Hata Oranı (EER) dahildir.

Karşı Saldırılar?

Medya, deepfake geliştiricileri ve deepfake tespit araştırmacıları arasındaki gerginliği teknolojik bir savaş olarak karakterize edebilir, ancak former’in sadece daha inandırıcı çıktı üretmeye çalıştığı ve artan deepfake tespit zorluğunun bu çabaların bir yan ürünü olduğu söylenebilir.

Geliştiricilerin bu yeni ortaya çıkan eksikliği ele alma girişiminde bulunup bulunmayacağı, belki de düzenliliği bozmanın bir deepfake videosunda, çıplak gözle, sahteliğin bir işareti olarak algılanabileceğine ve bu nedenle bu ölçütün sadece nitel bir bakış açısıyla ele alınması gerektiğine bağlı olabilir.

Beş yıl önce ilk deepfakes’in online olarak ortaya çıkmasından bu yana, deepfaking hala nispeten yeni bir teknolojidir ve topluluk, detal ve çözünürlükten daha çok bağlam ve sıkıştırılmış video imzalarını eşleştirmekle ilgilenmektedir, bu da çıktı ‘bozulmasına’ ihtiyaç duyar – deepfake topluluğunun şu anda karşı karşıya olduğu şeyin tam tersi.

Orada genel konsensüs, düzenliliği bozmanın, niteliği etkilemeyen bir işareti olmadığı yönünde ise, belki de buna karşı telafi etmek için bir çaba gösterilmeyecektir – hatta bu, bazı post-işleme veya mimari prosedürlerle ‘iptal edilebilir’ olsa bile, bu açık değildir.

İlk olarak 22 Temmuz 2022’de yayımlanmıştır.