Yeni Yöntem Deep Fake’leri %99 Doğrulukla Tespit Ediyor

UC Riverside’daki bilgisayar bilimcileri ekibi, derin sahte videolardaki manipüle edilmiş yüz ifadelerini tespit etmek için yeni bir yöntem geliştirdi. Bu yöntem, bu ifadeleri %99’a varan doğrulukla tespit edebiliyor ve bu da mevcut en iyi yöntemlerden daha doğru yapıyor.

Yeni araştırma makalesi “Yüz İfadesi Manipülasyonlarının Tespiti ve Yerini Belirleme” 2022 Kış Bilgisayarlı Görme Uygulamaları Konferansı’nda sunuldu.

Herhangi Bir Yüz Manipülasyonunu Tespit Etme

Bu yöntem, yüz kimliği değiştirilmiş durumlarda mevcut yöntemler kadar doğru olduğunu kanıtladı. Bu, yeni yaklaşımın herhangi bir yüz manipülasyonunu tespit etmek için kullanılabileceği ve manipüle edilmiş videoları otomatik olarak tespit eden araçların geliştirilmesinde önemli bir adım olduğu anlamına geliyor.

Video düzenleme yazılımlarındaki recent gelişmeler nedeniyle, bir kişinin yüzünü başka birine değiştirmek veya orijinal ifadeleri değiştirmek hiç bu kadar kolay olmamıştı. Ancak böyle yöntemlerin tespiti son derece önemli, çünkü bunlar giderek daha fazla ev içi ve uluslararası çatışmalarda kullanılıyor. Sadece yüz ifadelerinin değiştirilmiş yüzleri tespit etmek ise son derece zor.

Amit Roy-Chowdhury, Bourns Mühendislik Fakültesi’nde elektrik ve bilgisayar mühendisliği profesörü ve araştırmanın ortak yazarı.

“Derin sahte araştırma alanını daha da zor kılan, yaratma ve tespit ve önleme arasındaki rekabetin gelecekte giderek artacağıdır. Yeni nesil modellerle birlikte, derin sahteler sentezlenmesi daha kolay ve gerçeklerden ayırt edilmesi daha zor olacak,” dedi.

Resim: UC Riverside

İfade Manipülasyonu Tespiti (EMD)

Yeni yöntem, derin bir sinir ağı içinde iki bileşene ayrılmıştır. İlk dal, yüz ifadelerini ayırt eder ve ifadeyi içeren bölgeler hakkında bilgi sağlar. Bu bölgeler ağız, gözler, alın ve daha fazlasını içerebilir. Bu bilgiler, ikinci dala, yani manipülasyonu tespit etme ve yerinin belirlenmesinden sorumlu olan kodlayıcı-dekodeleyici mimariye aktarılır.

Araştırmacılar, bu çerçeveyi İfade Manipülasyonu Tespiti (EMD) olarak adlandırdı ve bu, bir görüntüde değiştirilen belirli bölgeleri tespit edip yerlerini belirleyebilir.

Ghazal Mazaheri, doktora öğrencisi ve araştırmanın lideri.

“Çoklu görev öğrenimi, yüz ifadesi tanıma sistemleri tarafından öğrenilen önde gelen özellikleri, geleneksel manipülasyon tespit sistemlerinin eğitimine yarar sağlayabilir. Bu yaklaşım, yüz ifadesi manipülasyonu tespitinde etkileyici bir performans sağlar,” dedi Mazaheri.

Araştırmacılar, iki zorlu yüz manipülasyonu veri seti üzerinde deneyler yaptılar ve EMD’nin yüz ifadesi manipülasyonları ve kimlik değişiklikleri ile birlikte daha iyi performans gösterdiğini kanıtladılar. EMD, %99 doğrulukla manipüle edilmiş videoları tespit etti.