Küçük ancak Önemli AI Düzenlemelerinin Gerçek Videolarda Açığa Çıkarılması

2019 yılında, ABD Temsilciler Meclisi Başkanı Nancy Pelosi, gerçek bir videoyu düzenleyerek sarhoş görünmesini sağlayan düşük teknolojiye sahip bir deepfake tarzı saldırıya maruz kaldı – bu gerçek dışı olay birkaç milyon kez paylaşıldı ve bazılarının olayın gerçekliğini öğrenmeden önce siyasi sermayesine olası bir şekilde zarar verildi.

Bu yanlış temsil sadece basit ses-görüntü düzenleme gerektirdiği halde, gerçek ses-görüntü çıktısındaki küçük değişikliklerin nasıl yıkıcı bir etki oluşturabileceğinin önemli bir örneğidir.

O zaman, deepfake sahnesi, 2017’nin sonlarında ortaya çıkan ve o zamandan beri önemli ölçüde gelişmeyen oto-encoder tabanlı yüz değiştirme sistemleri tarafından domine ediliyordu. Bu erken sistemler, bu tür küçük ancak önemli değişiklikleri oluşturmakta veya modern araştırma alanları gibi ifade düzenleme gibi konuları gerçekçi bir şekilde takip etmekte zorlanacaktı:

2022 ‘Neural Emotion Director’ çerçevesi ünlü bir yüzün ruh halini değiştiriyor. Kaynak: https://www.youtube.com/watch?v=Li6W8pRDMJQ

Şeyler şimdi oldukça farklı. Film ve televizyon endüstrisi, makine öğrenimi yaklaşımıyla gerçek performansların post-prodüksiyonda değiştirilmesine ciddi olarak ilgi gösteriyor ve AI’nin sonradan mükemmellikçilik kolaylaştırması bile son zamanlarda eleştirilere maruz kaldı.

Bu talebi öngörerek (veya iddia edilebilir) yaratmak, görüntü ve video sentezleme araştırma sahnesi, yüz yakalama lokal düzenlemeleri sunan bir dizi proje ileri sürdü – bu tür projeler arasında Diffusion Video Autoencoders; Stitch it in Time; ChatFace; MagicFace; ve DISCO yer alıyor.

Ocak 2025 projesi MagicFace ile ifade düzenleme. Kaynak: https://arxiv.org/pdf/2501.02260

Yeni Yüzler, Yeni Kırışıklıklar

Ancak, bu olanakları sağlayan teknolojiler, onları tespit etme yöntemlerinden çok daha hızlı gelişiyor. Literatürde ortaya çıkan几乎 tüm deepfake tespit yöntemleri, dünün deepfake yöntemlerini dünkü veri setleriyle takip ediyor. Bu hafta kadar none, AI sistemlerinin videolarda küçük ve yerel değişiklikler oluşturma potansiyelini ele almadı.

Şimdi, Hindistan’dan bir yeni makale, yüzlerin düzenlendiğini (değiştirilmediğini) tespit etmeye çalışan bir sistemle bu boşluğu dolduruyor:

Derin Sahteciliklerde İncelenen Yerel Düzenlemelerin Tespiti: Bir gerçek video, ince değişiklikler oluşturmak için değiştirildi.

Yazarların sistemi, derin sahteciliklerin genellikle ihmal edilen bir sınıfı olan ince, yerel yüz manipülasyonlarını tespit etmeyi hedefliyor. Küresel tutarsızlıklara veya kimlik uyuşmazlıklarına odaklanmak yerine, approach ince ifade değişiklikleri veya belirli yüz özelliklerine yapılan küçük düzenlemelere odaklanıyor.

Yöntem, Yüz Eylem Kodlama Sistemi (FACS)中的 Action Units (AUs) ayırıcısını kullanıyor, bu da yüzün 64 olası bireysel değişken alanını tanımlar ve birlikte ifadeleri oluşturur.

FACS中的 bazı 64 ifade parçası. Kaynak: https://www.cs.cmu.edu/~face/facs.htm

Yazarlar, approachlarını çeşitli güncel düzenleme yöntemlerine karşı değerlendirdiler ve hem eski veri setleriyle hem de çok daha yeni saldırı vektörleriyle tutarlı performans kazançları bildirdiler:

‘AU tabanlı özelliklerin video temsilcilerini Masked Autoencoders (MAE) aracılığıyla öğrenmeye rehberlik etmesi sayesinde, yöntemimiz lokal değişiklikleri tespit etmek için kritik olan yerel değişiklikleri etkili bir şekilde yakalar.

‘Bu approach, yüz merkezli videolarda hem lokal düzenlemeleri hem de daha geniş değişiklikleri kodlayan birleşik bir gizli temsil oluşturmamızı sağlar, bu da derin sahtecilik tespiti için kapsamlı ve uyarlanabilir bir çözüm sağlar.’

Yeni makale Yerel Derin Sahtecilik Manipülasyonlarının Tespiti için Eylem Birim-Rehberli Video Temsillerinin Kullanılması olarak adlandırılıyor ve Hindistan’daki Madras’taki Hint Teknoloji Enstitüsü’nden üç yazar tarafından geliyor.

Yöntem

VideoMAE tarafından alınan yaklaşıma uygun olarak, yeni yöntem, bir videoya yüz tespiti uygulayarak ve tespit edilen yüzlerin merkezinde düzenli aralıklarla örneklenen kareleri örnekliyor. Bu kareler daha sonra küçük 3B bölümlere (yani, zamanla etkinleştirilmiş yamalar) bölünür, her biri yerel uzaysal ve zaman bilgisi yakalar.

Yeni yöntemin şeması. Giriş videosu, yüz tespiti ile işlenir ve yüz merkezli, düzenli aralıklarla örneklenen kareler elde edilir.

Her 3B yama, birkaç ardışık kareden (örneğin, 2) sabit bir boyuta sahip bir piksel penceresi (örneğin, 16×16) içerir. Bu, modelin kısa süreli hareket ve ifade değişikliklerini öğrenmesini sağlar – sadece yüzün görünümü değil, nasıl hareket ettiği.

Yamalar, gömme ve pozisyonel kodlama yoluyla işlenir ve daha sonra gerçek ve sahteyi ayırt edebilecek özellikler çıkarmak üzere tasarlanmış bir kodlayıcıya geçirilir.

Yazarlar, bu özellikle ince manipülasyonlarla başa çıkmada zor olduğunu kabul ediyor ve bu sorunu, iki ayrı öğrenilmiş temsilciliği birleştiren bir kodlayıcı oluşturarak ele alıyorlar. Bir çapraz dikkat mekanizması, bunları birleştirmek için kullanılır. Bu, daha duyarlı ve genelleştirilebilir bir özellik alanı oluşturmayı amaçlar.

Ön Görevler

Bu temsilcilerden ilki, bir masked oto-encoding görevi ile eğitilen bir kodlayıcıdır. Video, 3B yamalara bölünür (çoğu gizlenir) ve kodlayıcı, eksik kısımları yeniden oluşturmak için öğrenir, böylece önemli uzaysal-zamansal desenleri, yüz hareketi veya zaman içindeki tutarlılığı yakalamaya zorlar.

Ön görev eğitimi, video girişinin kısımlarını maskeleme ve bir kodlayıcı-dekodlayıcı kurulumu kullanarak ya da görevine bağlı olarak orijinal kareleri veya kare başına eylem birimi haritalarını yeniden oluşturmaya dayanır.

Ancak, makale, bunun alone ince düzenlemeleri tespit etmeye yetmediğini gözlemliyor ve yazarlar, yüz eylem birimleri (AUs) tespit etmeye çalışan ikinci bir kodlayıcıyı tanıtüyor. Bu görev için, model, her kare için yoğun AU haritalarını yeniden oluşturmak için öğrenir, yine kısmen maskelenmiş girişlerden. Bu, yerel kas aktivitesine odaklanmasını teşvik eder, ki bu da birçok ince deepfake düzenlemenin meydana geldiği yerdir.

Yüz Eylem Birimleri (FAUs veya AUs) için daha fazla örnek. Kaynak: https://www.eiagroup.com/the-facial-action-coding-system/

Her iki kodlayıcı da ön eğitimli olduğunda, çıktıları çapraz dikkat kullanılarak birleştirilir. İki özellik kümesini basitçe birleştirmek yerine, model, AU tabanlı özellikleri, uzaysal-zamansal özelliklere dikkat çekmek için sorgular olarak kullanır. Aslında, eylem birimi kodlayıcıya nereye bakacağını söyler.

Sonuç, hem daha geniş hareket bağlamını hem de yerel ifade seviyesi ayrıntısını yakalayan birleşik bir gizli temsil üretir. Bu birleşik özellik alanı, nihai sınıflandırma görevi için kullanılır: bir videonun gerçek veya manipüle edilmiş olup olmadığını öngörme.

Veri ve Testler

Uygulama

Yazarlar, sistemi FaceXZoo PyTorch tabanlı yüz tespiti çerçevesi ile girdi videolarını ön işleyerek uyguladılar ve her klipten 16 yüz merkezli kare elde ettiler. Yukarıda belirtilen ön görevler, CelebV-HQ veri seti üzerinde eğitildi, bu veri seti 35.000 yüksek kaliteli yüz videosunu içeriyordu.

Kaynak makaleden örnekler, yeni projede kullanılan CelebV-HQ veri seti. Kaynak: https://arxiv.org/pdf/2207.12393

Veri örneklerinin yarısı maskeledi, böylece sistem genel ilkeleri öğrenmek zorunda kaldı, bu da kaynak verilere aşırı uyarlama yapılmasını engeller.

Maskeleme kare yeniden oluşturma görevi için, model, L1 kaybı ile orijinal ve yeniden oluşturulan içeriğin arasındaki farkı en aza indirerek, eksik video karelerinin bölümlerini tahmin etmek için eğitildi.

İkinci görev için, model, her kare için 16 yüz eylem birimi haritasını oluşturmak için eğitildi, her biri kaşlar, göz kapakları, burun ve dudaklar gibi alanlardaki ince kas hareketlerini temsil eder, yine L1 kaybı ile denetlenir.

Ön eğitimden sonra, iki kodlayıcı birleştirildi ve FaceForensics++ veri seti üzerinde, deepfake tespiti için fine-tune edildi, bu veri seti hem gerçek hem de manipüle edilmiş videoları içerir.

FaceForensics++ veri seti, 2017’den beri deepfake tespiti için merkezi bir taş olmuştur. Kaynak: https://www.youtube.com/watch?v=x2g48Q2I2ZQ

Sınıf dengesizliğini hesaba katmak için, yazarlar Focal Loss (çapraz entropy kaybının bir varyasyonu) kullandı, bu da eğitim sırasında daha zorlu örnekleri vurguladı.

Tüm eğitim, 24Gb VRAM ile tek bir RTX 4090 GPU üzerinde, 600 epoch (veri setinin tam incelemeleri) için 8’lik bir toplu işleme boyutu ile, her bir ön görev için VideoMAE’den ön eğitimli ağırlıkları kullanarak gerçekleştirildi.

Testler

Niteliksel ve niceliksel değerlendirmeler, çeşitli deepfake tespit yöntemlerine karşı gerçekleştirildi: FTCN; RealForensics; Lip Forensics; EfficientNet+ViT; Face X-Ray; Alt-Freezing; CADMM; LAANet; ve BlendFace’in SBIsi. Tüm bu çerçeveler için kaynak kod mevcuttu.

Testler, yalnızca bir kaynak klipten bir kısmı değiştirilen lokal olarak düzenlenmiş deepfakes üzerine odaklandı. Kullanılan mimariler, Diffusion Video Autoencoders (DVA); Stitch It In Time (STIT); Disentangled Face Editing (DFE); Tokenflow; VideoP2P; Text2Live; ve FateZero idi. Bu yöntemler, farklı yaklaşımlar kullanıyor (DVA ve STIT için difüzyon, DFE için StyleGAN2 gibi).

Yazarlar şöyle diyor:

‘Farklı yüz manipülasyonlarının kapsamlı bir şekilde ele alınmasını sağlamak için, yüz özellikleri ve öznitelik düzenleme için geniş bir çeşitlilikte yüz özelliklerini ve özniteliklerini dahil ettik. Yüz özelliği düzenleme için, göz boyutu, göz-kaş mesafesi, burun oranı, burun-ağz arası mesafe, dudak oranı ve yanak oranı değiştirdik. Yüz özniteliği düzenleme için, gülme, öfke, iğrenme ve üzüntü gibi ifadeleri değiştirdik.

‘Bu çeşitlilik, modelimizin geniş bir yerel düzenleme yelpazesinde güçlü bir genellemeye sahip olduğunu doğrulamak için gereklidir. Toplamda, yukarıda belirtilen her düzenleme yöntemi için 50 video oluşturduk ve deepfake tespiti için yöntemimizin güçlü genellemesini doğruladık.’

Eski deepfake veri setleri de testlerin bir parçası olarak dahil edildi, özellikle Celeb-DFv2 (CDF2); DeepFake Detection (DFD); DeepFake Detection Challenge (DFDC); ve WildDeepfake (DFW).

Değerlendirme metrikleri Eğri Altında Alan (AUC); Ortalama Doğru; ve Ortalama F1 Puanı idi.

Makaledeki karşılaştırma, önerilen yöntemin diğer tümünü geride bıraktığını gösteriyor.

Yazarlar ayrıca, lokal olarak değiştirilen görünümler için görsel bir tespit karşılaştırması sunuyor (burada sadece kısmen yeniden üretilmiştir, yer eksikliği nedeniyle):

Bir gerçek video, üç farklı lokal manipülasyon kullanarak aslına benzer sahte videolar oluşturmak için değiştirildi.

Araştırmacılar yorumluyor:

‘Mevcut SOTA tespit yöntemleri, [LAANet], [SBI], [Alt-Freezing] ve [CADMM], en son deepfake oluşturma yöntemlerinde önemli bir performans düşüşü yaşıyor. Mevcut SOTA yöntemleri, AUC’ler olarak %48-71’e kadar düşük performans gösteriyor, bu da son deepfakes’e karşı genellemelerinin zayıf olduğunu gösteriyor.

‘Öte yandan, bizim yöntemimiz güçlü bir genellemeye sahip, AUC aralığında %87-93’lük bir performans gösteriyor. Benzer bir eğilim, ortalama doğruluk için de görülüyor. Aşağıdaki gibi, bizim yöntemimiz ayrıca standart veri setlerinde tutarlı olarak yüksek performans gösteriyor, %90 AUC’yi aşarak ve recent deepfake tespit modelleriyle rekabet ediyor.’

Geleneksel deepfake veri setlerinde performans, önerilen yöntemin diğer önde gelen yaklaşımlarla rekabet ettiğini gösteriyor.

Yazarlar, bu son testlerin, 2020’den önce tanıtılan ve artık eskimiş olan modelleri içerdiğini gözlemliyor.

Yeni modelin performansının daha geniş bir görsel temsili olarak, yazarlar makalenin sonunda kapsamlı bir tablo sunuyor, ancak biz sadece bir kısmını burada yeniden üretebiliyoruz:

Bu örneklerde, bir gerçek video, üç lokal düzenleme kullanarak aslına benzer sahte videolar oluşturmak için değiştirildi.

Yazarlar, önerilen yöntemin, lokal düzenlemelerin tespitinde %90’ın üzerinde bir güven puanına ulaştığını, mevcut tespit yöntemlerinin ise aynı görevde %50’nin altında kaldığını iddia ediyorlar. Bu farkı, yaklaşımın duyarlılığına ve genellemesine bir kanıt olarak yorumluyorlar ve ayrıca mevcut tekniklerin bu tür ince yüz manipülasyonlarıyla başa çıkma zorluğuna işaret ediyorlar.

Modelin gerçek dünya koşullarında güvenilirliğini değerlendirmek ve CADMM tarafından kurulan yönteme göre, yazarlar, modelin performansı, doygunluk ve kontrast ayarlamaları, Gauss bulanıklığı, pikselleme ve bloğa dayalı sıkıştırma sanatları gibi ortak bozulmalar ile test edildi.

Sonuçlar, tespit doğruluğunun bu bozulmaların więkselinde genel olarak sabit kaldığını gösterdi. Sadece Gauss gürültüsünün eklenmesi, performanstaki belirgin bir düşüşe neden oldu. Diğer değişikliklerin etkisi minimaldi.

Video bozulmalarının tespit doğruluğuna etkisi.

Bu bulgular, yazarlara göre, yöntemin lokal manipülasyonları tespit etme yeteneğinin, tipik video kalitesi bozulmalarından kolayca bozulmadığını gösteriyor, bu da pratik ortamlardaki potansiyel dayanıklılığını destekliyor.

Sonuç

AI manipülasyonu, kamu bilincinde chủ olarak geleneksel deepfake kavramında var, yani bir kişinin kimliği başka bir kişinin vücuduna bindiriliyor ve bu kişi, kimlik sahibinin ilkelerine aykırı eylemler gerçekleştirebiliyor. Bu kavram, yavaş yavaş, yeni nesil video deepfakes ve genel olarak latentsel difüzyon modellerinin yeteneklerini tanımaya doğru güncelleniyor.

Dolayısıyla, makalenin ele aldığı yerel düzenlemenin, bir Pelosi-stil olay gerçekleşene kadar kamu dikkatini çekmeyeceği makul bir beklentidir, çünkü insanlar, video deepfake dolandırıcılığı gibi daha kolay başlıklarla meşgul olabilir.

Ancak, aktör Nic Cage’in post-prodüksiyondaki süreçlerin bir aktörün performansını ‘değiştirebileceği’ konusunda sürekli endişe ifade etmesi gibi, biz de böyle bir ‘ince’ video ayarlamasının daha fazla farkındalığını teşvik etmeliyiz – bu, yüz ifadelerindeki çok küçük varyasyonlara karşı doğuştan duyduğumuz duyarlılık nedeniyle ve yüz hareketlerinin bağlamınimpactını değiştirebileceği için (örneğin, bir cenazedeki bir gülme gibi).

İlk olarak 2 Nisan 2025 Çarşamba günü yayınlandı