Araştırmacılar Derin Sahteciliklerin Uzun Süreli Tespitine Yardımcı Olabilecek Dayanıklı Bir Özelliğini Belirledi

2018’den bu yana ortaya çıkan ilk derin sahtecilik tespit çözümlerinden bu yana, bilgisayar görüşü ve güvenlik araştırma sektörü, derin sahtecilik videolarının temel bir özelliğini tanımlamaya çalışıyor – popüler yüz sentez teknolojilerindeki (örneğin, DeepFaceLab ve FaceSwap gibi otokodlayıcı tabanlı derin sahtecilik paketlerine ve yüzlerin yeniden yaratılması, simülasyonu veya değiştirilmesi için Generative Adversarial Networks‘in kullanımına) dayanıklı olabilecek sinyaller.

Çok sayıda ‘ipucu’, örneğin göz kırpma eksikliği, derin sahteciliklerdeki gelişmeler nedeniyle geçerliliğini yitirdi, oysa dijital köken tekniklerinin potansiyel kullanımı (örneğin, Adobe liderliğindeki Content Authenticity Initiative gibi) – bunların arasında blockchain yaklaşimleri ve olası kaynak fotoğrafların dijital damgalanması dahildir – ya mevcut kaynak görsellerinin internet üzerindeki mevcut gövdesinde kapsamlı ve pahalı değişiklikler gerektirir ya da sistemlerin oluşturulması için ülkeler ve hükümetler arasında önemli bir işbirliği gerektirir.

Bu nedenle, değiştirilmiş, uydurulmuş veya kimlik değiştirilmiş insan yüzlerinin bulunduğu görsel ve video içeriğinde gerçekten temel ve dayanıklı bir özellik belirlemek çok faydalı olur; büyük ölçekli doğrulama, kriptografik varlık hachleme, bağlam denetimi, olasılık değerlendirmesi, artifact-merkezli algılama rutinleri veya diğer zahmetli derin sahtecilik tespit yaklaşımları olmadan doğrudan sahte videolardan çıkarılabilen bir özellik.

Çerçevedeki Derin Sahtecilikler

Çin ve Avustralya arasındaki yeni bir araştırma işbirliği, bu ‘kutsal kase’yi düzenlilik bozulması şeklinde bulduğuna inanıyor.

Yazarlar, gerçek videoların mekansal bütünlüğü ve zamanlı sürekliliğini derin sahtecilik içeriği içeren videolarla karşılaştıran bir yöntem geliştirdiler ve herhangi bir derin sahtecilik müdahalesinin görüntünün düzenliliklerini bozduğunu keşfettiler, ne kadar algıdan uzak olursa olsun.

Bu kısmen, derin sahtecilik sürecinin hedef videoyu karelere ayırması ve her (değiştirilmiş) kareye eğitilmiş bir derin sahtecilik modelinin etkisini uygulamasından kaynaklanıyor. Popüler derin sahtecilik dağıtımları, bu bakımdan, animatörler gibi davranır ve her karenin gerçekliğine daha fazla dikkat gösterir, videonun genel mekansal bütünlüğü ve zamanlı sürekliliğine değil.

Makaleden: A) Veri türleri arasındaki farklar. Burada, p-fake’in bozulmalarının görüntünün mekansal-zamansal kalitesini, kimlik değiştirmeden derin sahtecilik gibi aynı şekilde değiştirdiğini görüyoruz. B) Üç veri türünün gürültü analizi, p-fake’in nasıl derin sahtecilik bozulmasını taklit ettiğini gösteriyor. C) Üç veri türünün zamanlı görselleştirilmesi, gerçek verilerin dalgalanmada daha büyük bütünlük gösterdiğini kanıtlıyor. D) Gerçek, sahte ve p-fake video için çıkarılan özelliklerin T-SNE görselleştirilmesi. Kaynak: https://arxiv.org/pdf/2207.10402.pdf

Bu, bir video kodunun orijinal bir kaydı yapıldığında veya işlendiğinde bir dizi kareyi ele alması şekliyle aynı değil. Dosya boyutunu kaydetmek veya bir videoyu akışa uygun hale getirmek için, video kodunda大量 miktarda bilgi atılır. En yüksek kalite ayarlarında bile, kodlayıcı, kullanıcı tarafından ayarlanabilen ana kareler (değişken) tahsis eder – praktikte sıkıştırılmamış tam resimler, video boyunca önceden belirlenmiş aralıklarla meydana gelir.

Ana kareler arasındaki ara kareler, bir ölçüde, komşu ana karelerden mümkün olduğunca fazla bilgiyi yeniden kullanarak, kendi başlarına tam kareler olarak değil, varyantlar olarak tahmin edilir.

Sol tarafta, bir ana kare veya ‘i-kare’ depolanır, dosya boyutundan fedakarlık ederek sıkıştırılmış videoya; sağ tarafta, bir ara ‘delta kare’, daha veri yoğun ana kareden uygulanabilir herhangi bir parçayı yeniden kullanır. Kaynak: https://blog.video.ibm.com/streaming-video-tips/keyframes-interframe-video-compression/

Bu şekilde, blok (ana kare ayarlarına bağlı olarak x sayıda kare içeren), tipik olarak sıkıştırılmış bir videonun dikkate alınan en küçük birimi olarak kabul edilebilir, bireysel karelerden çok. Hatta ana kare itself, i-kare</i} olarak bilinen, bu birimin bir parçasını oluşturur.

Geleneksel çizgi animasyon açısından, bir kodlayıcı, ana karelerin çadır direkleri olarak işlev gören ara türetilmiş kareler için arasında bir tür melakukan.

Karşılaştırıldığında, derin sahtecilik süperpozisyonu her bir kareye büyük dikkat ve kaynaklar ayırır, karenin daha geniş bağlamını dikkate almaz ve sıkıştırma ve blok tabanlı kodlamanın “orijinal” video özelliklerini etkileyişine izin vermez.

Orijinal bir video (sol) ile derin sahtecilik tarafından bozulmuş aynı video (sağ) arasındaki zamanlı kalite arasındaki uyumsuzluğu daha yakından inceleyin.

En iyi derin sahtecilik yapanlar, After Effects gibi paketlerde kapsamlı hậu-işlemler kullanıyor olsa da ve DeepFaceLab dağıtımı yerel olarak ‘karıştırma’ prosedürlerini uygulamak için bazı yerleşik kapasitelere sahip olsa da, bu tür hileler, orijinal ve derin sahtecilik videoları arasındaki mekansal ve zamanlı kalite uyuşmazlığını etkilemez.

Yeni makale, Derin Sahteciliği Mekansal-Zamansal Düzenlilik Bozulması Oluşturarak Tespit Etme olarak adlandırıldı ve Tsinghua Üniversitesi, Baidu Inc.’ in Bilgisayar Görüşü Teknolojisi (VIS) bölümü ve Melbourne Üniversitesi’nden araştırmacılardan geldi.

‘Sahte’ Sahte Videolar

Makalenin arkasındaki araştırmacılar, araştırmanın işlevselliğini Pseudo-fake Generator (P-fake Generator) adlı bir modüle entegre ettiler, bu, gerçek videoları, derin sahtecilik işlemi gibi aynı şekilde bozarak, aslında herhangi bir derin sahtecilik işlemi gerçekleştirmeden, sahte derin sahtecilik videolarına dönüştürür.

Testler, bu modülün mevcut tüm derin sahtecilik tespit sistemlerine neredeyse hiç kaynak maliyeti olmadan eklenebileceğini ve performansını önemli ölçüde iyileştirebileceğini gösteriyor.

Bu keşif, derin sahtecilik tespit araştırmalarında diğer bir engel olan gerçek ve güncel veri setlerinin eksikliğini ele almaya yardımcı olabilir. Derin sahtecilik oluşturmanın karmaşık ve zaman alıcı bir işlem olması nedeniyle, son beş yıl içinde topluluk, birçok derin sahtecilik veri seti geliştirdi, bunların çoğu oldukça eskimiş.

Derin sahtecilik videolarında sonra değiştirilen videolarda düzenli bozulmayı derin sahtecilikten bağımsız bir sinyal olarak belirleyerek, bu yeni yöntem, bu özelliğe odaklanan sınırsız örnek ve veri seti videolarını oluşturmayı mümkün kılar.

STE bloğunun genel görünümü, kanal-bazlı zamanlı konvolüsyonun, mekansal-zamansal olarak geliştirilmiş kodlamalar oluşturmak için bir itici güç olarak kullanıldığı, hatta çok ikna edici bir derin sahtecilik videosu bile aynı imzayı verecek.

Testler

Araştırmacılar, derin sahtecilik tespit araştırmalarında kullanılan altı veri seti üzerinde deneyler gerçekleştirdiler: FaceForensics++ (FF++); WildDeepFake; Derin Sahtecilik Tespit Challange ön izleme (DFDCP); Celeb-DF; Derin Sahtecilik Tespit (DFD); ve Face Shifter (FSh).

FF++ için araştırmacılar, orijinal veri setinde modelini eğitti ve her dört alt kümesini ayrı ayrı test etti. Hiçbir derin sahtecilik materyali kullanmadan, yeni yöntem, devlet-sanatlı sonuçları geçti.

Yöntem ayrıca, FF++ C23 sıkıştırılmış veri setinde, gerçek dünya derin sahtecilik izleme ortamlarında inandırıcı olan sıkıştırma Sanatifacts içeren örneklerle karşılaştırıldığında zirveyi aldı.

Yazarlar yorumluyor:

‘FF++ içindeki performans, temel fikrimizin uygulanabilirliğini doğrular, ancak genellemeye devam etme, mevcut derin sahtecilik tespit yöntemlerinin büyük bir sorunu olarak kalıyor, çünkü performans, görülmeyen tekniklerle oluşturulan derin sahteciliklerle test edildiğinde garanti edilemez.’

‘Daha da önemlisi, dedektörler ve sahtecilik yapanlar arasındaki silah yarışını düşünün, genellemeye devam etme, gerçek dünyada bir tespit yönteminin etkinliğini ölçmek için önemli bir kriterdir.’

Araştırmacılar, ‘dayanıklılık’ etrafında bir dizi alt-test (makale için ayrıntılar) gerçekleştirdiler (girilen video türlerini değiştirme vb.), ancak en ilginç sonuçlar, çapraz veri seti performansı testinden geliyor.

Bu amaçla, yazarlar modelini yukarıda bahsedilen ‘gerçek dünya’ c23 sürümünde FF++’e eğitti ve bunu dört veri setine karşı test etti, yazarlara göre, hepsinde üstün performans gösterdi.

Çapraz veri seti meydan okumasının sonuçları. Makale, SBI’nin kendi yaklaşımına benzer bir yaklaşım kullandığını, ancak p-fake’in mekansal-zamansal düzenlilik bozulmasında daha iyi performans gösterdiğini belirtiyor.

Makalede deniyor:

‘En zorlu Deepwild’de, yöntem, AUC% açısından SOTA yöntemini yaklaşık 10 puan geride bırakıyor. Bunun, Deepwild’deki derin sahteciliklerin büyük çeşitliliği nedeniyle diğer yöntemlerin iyi genellemeye ulaşamamasına bağlı olduğunu düşünüyoruz.’

Testlerde kullanılan metriklere Doğruluk Puanı (ACC), Alıcı İşlevinin Altındaki Alan (AUC) ve Eşit Hata Oranı (EER) dahildir.

Karşı Saldırılar?

Medya, derin sahtecilik geliştiricileri ve derin sahtecilik tespit araştırmacıları arasındaki gerginliği teknolojik bir savaş olarak karakterize ediyorsa da, belki de former sadece daha inandırıcı çıktılar oluşturmaya çalışıyor ve artan derin sahtecilik tespit zorluğu, bu çabaların bir yan ürünüdür.

İsterlerse bu yeni açığa karşı koymaya çalışıp çalışmayacakları, belki de düzenli bozulmanın bir derin sahtecilik videosunda, çıplak gözle, sahtelik işareti olarak algılanıp algılanmayacağına bağlıdır ve bu nedenle, salt niteliksel bir bakış açısıyla ele alınmaya değer bir metriktir.

İlk derin sahteciliklerin online olarak ortaya çıkmasından bu yana beş yıl geçti, ancak derin sahtecilik hala nispeten yeni bir teknolojidir ve topluluk, ayrıntıya ve çözünürlüğe, doğru bağlamı veya sıkıştırılmış videonun imzalarını eşleştirmeye kıyasla daha fazla odaklanıyor – bu, tüm derin sahtecilik topluluğunun şu anda karşı karşıya olduğu ‘düşüş’.

Eğer orada genel kabul, düzenli bozulmanın, kaliteyi etkilemeyen yeni bir imza olduğu yönündeyse, belki de buna telafi etmek için bir çaba olmayacaktır – hatta bazı hậu-işlem veya mimari prosedürlerle ‘iptal edilebileceği’ halde, bu açık değildir.

İlk olarak 22 Temmuz 2022’de yayımlandı.