Yeni ve Daha Basit Bir Derin Sahte Yöntemi: Önceki Yaklaşımları Geride Bırakan

Çinli bir AI araştırma grubu ve ABD’deki araştırmacılar arasında bir işbirliği, dört yıl önce ortaya çıkan derin sahte teknolojisinde belki de ilk gerçek yeniliği geliştirdi.

Yeni yöntem, diğer tüm mevcut çerçevelerden daha iyi performans gösteren yüz değiştirme işlemlerini gerçekleştirebiliyor ve bu da büyük veri setlerini toplamak ve bunları bir hafta boyunca eğitmek zorunda kalmadan gerçekleştirilebiliyor. Yeni makalede sunulan örnekler için, modeller iki popüler ünlüler veri setinin tamamında eğitim görerek, bir NVIDIA Tesla P40 GPU’da yaklaşık üç gün içinde eğitildi.

Tam video bu makalenin sonundadır. Bu, yeni makaledeki ek materyallerden bir videodan alınan bir örnekte, Scarlett Johansson’ın yüzü kaynak videoya aktarılıyor. CihaNet, yüz değiştirirken kenar maskesini oluşturma sorununu, kaynak ve hedef kimliklerin arasında daha derin ilişkiler kurarak çözer, bu da geleneksel derin sahte yaklaşımlarında görülen ‘açık sınırlar’ ve diğer süperpozisyon hatalarına son verir. Kaynak: https://mitchellx.github.io/#video

Yeni yaklaşım, aktarılan kimliği kaba bir şekilde hedef videoda yapıştırmaya gerek kalmadan, yüz değiştirme işlemini gerçekleştirir. Bu, genellikle yüzün gerçek ve altta yatan yüzü arasındaki sınırda ortaya çıkan belirgin sanat eserlerine yol açar. Bunun yerine, ‘hayal gücü haritaları’ kullanılarak görsel özellikler arasında daha derin bir birleştirme gerçekleştirilir, çünkü sistem kimliği bağlamdan daha etkili bir şekilde ayırır ve bu da daha derin bir düzeyde hedef kimliğini karıştırma olanağı sağlar.

Makaleden. CihaNet dönüşümleri, hayal gücü haritaları (alt satır) aracılığıyla gerçekleştirilir. Sistem, yüz yönü, saç, gözlük ve diğer engeller gibi bağlam bilgilerini, yüzü süperpozisyon yapılacak görselden alır ve yüz kimliği bilgilerini, görselleştirilecek kişiye ait yüzünden alır. Yüzü bağlamdan ayırma yeteneği, sistemin başarısı için kritiktir. Kaynak: https://dl.acm.org/doi/pdf/10.1145/3474085.3475257

Esasen, yeni hayal gücü haritası, yüz değiştirme için daha eksiksiz bir bağlam sağlar, bu da geleneksel derin sahte yöntemlerinde sıklıkla kullanılan sert maskelerin yerini alır ve bu maskelerin genellikle gerektirdiği geniş çaplı birleştirme ve sınırlı esneklik yerine daha derin bir yüz birleştirme sağlar.

Ek materyallerden örnekler, FFHQ ve Celeb-A HQ veri setlerini kullanarak VGGFace ve Forensics++’da dört etkili yöntemin sonuçlarını gösteriyor. İlk iki sütun, rastgele seçilen (gerçek) görüntüleri gösteriyor. Sonraki dört sütun, mevcut dört en etkili yöntemin sonuçlarını gösterirken, son sütun CihaNet’in sonucunu gösteriyor. FaceSwap deposu, daha popüler olan DeepFaceLab yerine kullanıldı, çünkü her iki proje de 2017’deki orijinal Deepfakes koduna dayanıyor. Her iki proje de daha sonra modeller, teknikler, çeşitli arayüzler ve yardımcı araçlar ekledi, ancak derin sahtelerin mümkün olmasını sağlayan temel kod hiç değişmedi ve her iki proje için de ortak kaldı. Kaynak: https://dl.acm.org/action/downloadSupplement?doi=10.1145%2F3474085.3475257&file=mfp0519aux.zip

‘Yüzden Yüz’ Eşitliğine Gerek Yok

Hem en popüler güncel derin sahte yazılımları olan DeepFaceLab hem de rakip çatalları FaceSwap, yüz değiştirme işlemini gerçekleştirmek için zahmetli ve genellikle elle düzenlenmiş iş akışlarını gerçekleştirir. Bu iş akışları, yüzün hangi yöne baktığını, engellerin neler olduğunu (yine elle) ve birçok diğer sinir bozucu engelleri (ışık dahil) hesaba katmak için kullanılır ve bu da kullanımını çok uzak olmayan bir ‘seç ve tıkla’ deneyimi olarak yanlış bir şekilde sunar.

Karşılaştırıldığında, CihaNet, iki görüntünün doğrudan kameraya bakması gerektirmez, böylece tek bir görüntüden yararlı kimlik bilgilerini çıkarmak için gereksiz bir adımdan kaçınır.

Bu örneklerde, bir dizi derin sahte yazılım rakibi, yüzleri değiştirmekle görevlendirilir, bu yüzler sadece kimlik olarak değil, aynı zamanda açı olarak da farklıdır. Orijinal deepfakes deposundan türetilen yazılımlar (hugely popüler DeepFaceLab ve FaceSwap gibi), iki görüntünün açı farklılıklarını (üçüncü sütunda görüldüğü gibi) işleyemez. CihaNet ise yüzün ‘poz’unun kimlik bilgilerinin bir parçası olmadığını bilincinde olarak kimliği doğru bir şekilde soyutlayabilir.

Mimari

CihaNet projesi, yazarlara göre, 2019’da Microsoft Research ve Peking Üniversitesi arasında yapılan FaceShifter adlı bir işbirliğinden esinlenmiştir, ancak bu eski yöntemin temel mimarisinde bazı önemli değişiklikler yapar.

FaceShifter, kimlik bilgilerini işlemek için iki Uyumlu Örnek Normalizasyonu (AdaIN) ağı kullanır, bu bilgiler daha sonra bir maske aracılığıyla hedef görüntüye aktarılır, bu da mevcut popüler derin sahte yazılımlarının (ve ilgili sınırlamalarının) benzeridir ve ayrıca bir HEAR-Net (bu, ayrı olarak eğitilen bir alt ağ içerir – ek bir karmaşıklık katmanı)

Bunun yerine, yeni mimari doğrudan bu ‘bağlamsal’ bilgileri dönüştürme işleminin kendisi için kullanır, bu da iki adımlı tek bir Cascading Adaptive Instance Normalization (C-AdaIN) işlemi sağlar ve bu, ID ile ilgili alanların bağlamının tutarlılığını sağlar.

Sistemin kritik bir parçası olan ikinci alt ağ, Swapping Block (SwapBlk) olarak adlandırılır ve réféans görüntüsünün bağlamından ve kaynak görüntüsünün gömülü ‘kimlik’ bilgilerinden entegre bir özellik üretir, bu da geleneksel mevcut yöntemlerle bunu başarmak için gerekli olan çoklu aşamaları atlar.

Bağlamı kimlikten ayırt etmeye yardımcı olmak için, her seviye için bir hayal gücü haritası oluşturulur, bu da yumuşak bir segmentasyon maskesi olarak hareket eder ve bu kritik derin sahte işleminin bir parçası olarak daha geniş bir özellik yelpazesi üzerinde etki eder.

Hayal gücü haritasının değeri arttıkça, kimlikler arasında daha net bir yol belirginleşir.

Bu şekilde, tüm yüz değiştirme işlemi tek bir aşamada ve hậu-işlem gerektirmeden gerçekleştirilir.

Veri ve Test

Sistemi denemek için araştırmacılar, dört modeli iki popüler ve çeşitli açık görüntü veri setlerinde eğitti: CelebA-HQ ve NVIDIA’nın Flickr-Faces-HQ Veri Seti (FFHQ), her biri sırasıyla 30.000 ve 70.000 görüntü içerir.

Temel veri setlerinde hiçbir budama veya filtreleme yapılmadı. Her durumda, araştırmacılar her veri setinin tamamını tek bir Tesla GPU’da üç gün içinde, Adam optimizasyonunda 0,0002’lik bir öğrenme hızıyla eğitti.

Daha sonra, binlerce kişilik veri setlerindeki rastgele yüz değiştirme işlemlerini gerçekleştirdiler, yüzlerin benzer veya aynı cinsiyette olup olmamasının hiçbir önemi yoktu ve CihaNet’in sonuçlarını dört önde gelen derin sahte çerçevesinin sonuçlarıyla karşılaştırdılar: FaceSwap (daha popüler DeepFaceLab‘i temsil eder, çünkü ortak bir kök kodu paylaşırlar); yukarıda bahsedilen FaceShifter; FSGAN; ve SimSwap.

Çıktıları VGG-Face, FFHQ, CelebA-HQ ve FaceForensics++ aracılığıyla karşılaştırdıklarında, yazarlar yeni modelin tüm önceki modelleri geride bıraktığını buldular, aşağıdaki tabloda gösterildiği gibi.

Kullanılan üç ölçüt, Yapısal Benzerlik (SSIM), poz tahmini hatası ve ID algoritma doğruluğu idi, bu da başarıyla alınıp işlenen çiftlerin yüzdesi olarak hesaplandı.

Araştırmacılar, CihaNet’in derin sahte teknolojilerinde mevcut durumun üzerinde bir ilerleme olduğunu ve nitel sonuçlar açısından daha üstün bir yaklaşım sunduğunu iddia ediyorlar, bu da geniş ve emek yoğun maske mimarileri ve yöntemlerinin gereksizliğini ortadan kaldırır ve kimliği bağlamdan daha faydalı ve eyleme geçirilebilir bir şekilde ayırır.

Yeni tekniğin daha fazla video örneğini görmek için aşağıdaki bağlantıyı ziyaret edebilirsiniz. Tam videoyu buradan bulabilirsiniz.

Yeni makaledeki ek materyallerden, CihaNet çeşitli kimliklerde yüz değiştirme işlemi gerçekleştirir. Kaynak: https://mitchellx.github.io/#video