Derin Sahte Video Görüşmelerini Monitör Aydınlatmasıyla Belirleme

Amerika Birleşik Devletleri’ndeki Ulusal Güvenlik Ajansı’ndan (NSA) bir araştırmacı ve California Üniversitesi, Berkeley’den bir işbirliği, canlı video bağlamında derin sahte içeriği tespit etmek için yeni bir yöntem sunuyor – diğer uçtaki kişinin görünümündeki monitör aydınlatmasının etkisini gözlemleyerek.

Popüler DeepFaceLive kullanıcısı Druuzil Tech & Games, takipçileriyle canlı bir oturumda kendi Christian Bale DeepFaceLab modelini deniyor, enquanto aydınlatma kaynakları değişiyor. Kaynak: https://www.youtube.com/watch?v=XPQLDnogLKA

Sistem, kullanıcının ekranına bir grafik öğesi yerleştirerek çalışır. Bu öğe, tipik bir derin sahte sisteminin tepki veremeyeceği kadar hızlı bir şekilde dar bir renk aralığını değiştirir – hatta gerçek zamanlı derin sahte akışı uygulaması DeepFaceLive (yukarıda resmedilmiştir) gibi, canlı renk aktarımını sürdürme ve ambiente aydınlatma için bazı olanaklara sahip olsa bile.

Kullanıcının diğer ucundaki kişinin (yani potansiyel derin sahte dolandırıcının) monitöründe görünen uniform renk görüntüsü, bir web kamerasının otomatik beyaz dengesini ve diğer ad hoc aydınlatma telafi sistemlerini devre dışı bırakmayacak şekilde tasarlanan sınırlı bir varyasyonun hue-değişikliklerini döngüsel olarak geçirir.

Makaleden, bir kullanıcının önünde monitörden aydınlatma koşullarındaki değişim, etkili bir şekilde diffuse ‘alan ışığı’ olarak çalışan bir illüstrasyon. Kaynak: https://farid.berkeley.edu/downloads/publications/cvpr22a.pdf

Yaklaşımın arkasındaki teori, canlı derin sahte sistemlerinin, ekran grafiğindeki değişikliklere zamanında tepki verememesidir. Bu, belirli renk spektrumunun bazı kısımlarında derin sahte etkisinin ‘gecikmesini’ artırır ve varlığını ortaya çıkarır.

Monitörden yansıyan ışığı doğru bir şekilde ölçmek için, sistem genel çevresel aydınlatmanın etkisini hesaba katmalı ve sonra da bu etkiyi göz ardı etmelidir. Ardından, aktif aydınlatma tonu ile kullanıcıların yüz tonu arasındaki ölçümlerdeki eksiklikleri ayırt edebilir, her biri arasında 1-4 karelik bir zaman farkı temsil eder:

Ekran ‘dedektör’ grafiğindeki hue varyasyonlarını sınırlayarak ve kullanıcının web kamerasının aşırı monitör aydınlatması değişikliği nedeniyle otomatik ayarlarını değiştirmemesini sağlayarak, araştırmacılar aydınlatma değişikliklerine derin sahte sisteminin ayarlanmasındaki belirgin bir gecikmeyi belirleyebildiler.

Makale şöyle sona erer:

‘Canlı video görüşmelerine verdiğimiz makul güven ve video görüşmelerinin kişisel ve profesyonel hayatlarımızdaki artan yaygınlığı nedeniyle, video (ve ses) görüşmelerini kimlik doğrulama tekniklerinin önem kazanacağını öneriyoruz.’

Çalışma makale olarak adlandırılmıştır: Gerçek Zamanlı Derin Sahte Videoları Etkin Aydınlatma Kullanarak Belirleme ve ABD Savunma Bakanlığı’nda uygulamalı araştırma matematikçisi olan Candice R. Gerstner ve Berkeley’den Profesör Hany Farid tarafından yapılmıştır.

Güvenin Erozyonu

Derin sahte karşıtı araştırma sahnesi, son altı ay içinde, genel derin sahte tespitinden (yani önceden kaydedilmiş videolara ve pornografik içeriğe yönelik) ‘canlılık’ tespitine doğru önemli ölçüde değişti. Bu, video konferans görüşmelerinde derin sahte kullanımının artan dalgasına ve FBI’nin bu teknolojilerin uzaktan çalışma uygulamalarında kullanımına ilişkin yakın zamanda yapılan uyarısına bir yanıt olarak gerçekleşmiştir.

Bir video görüşmesinin aslında derin sahte olmadığı durumlarda bile, AI tarafından yönlendirilen video taklitçilerinin artan olanakları paranoyaya neden olmaya başlıyor.

Yeni makale şöyle diyor:

‘Gerçek zamanlı derin sahteler, canlı video veya telefon görüşmelerine ilişkin genel güven duygusu ve deepfake’leri gerçek zamanlı olarak, görüşme devam ederken tespit etmenin zorluğu nedeniyle benzersiz tehditler oluşturur.’

Araştırma topluluğu, kolayca telafi edilemeyecek derin sahte içeriğinin kesin işaretlerini bulma hedefini uzun süredir kendisine koymuştur. Medya, bu durumu genellikle güvenlik araştırmacıları ile derin sahte geliştiricileri arasında bir teknolojik savaş olarak tanımlamıştır, ancak önceki yaklaşımların (örneğin göz kırpma analizi, kafa pozlama ayırt etme ve davranış analizi) çoğu zaman reddedilmesi, geliştiricilerin ve kullanıcıların daha gerçekçi derin sahteler yaratmaya çalışması nedeniyle gerçekleşmiştir, bu da güvenlik topluluğunun son ‘ipucunu’ belirlemesinden ziyade.

Canlı Derin Sahte Videoyu Aydınlatma

Canlı video ortamlarında derin sahteleri tespit etmek, zayıf video bağlantılarını hesaba katma yükünü taşır, bu da video konferans senaryolarında çok yaygındır. Derin sahte katmanının araya girmemesine rağmen, video içeriği NASA tarzı gecikme, rendering artefaktları ve ses ve video’daki diğer tür bozulmalara tabi olabilir. Bunlar, canlı derin sahte mimarisinin kaba kenarlarını hem video hem de ses deepfake’leri açısından gizleyebilir.

Yazarların yeni sistemi, Philadelphia’daki Temple Üniversitesi’ndeki Ağlı Bilgisayar Merkezi’nden 2020 yayınındaki sonuçları ve yöntemleri geliştirir.

2020 makalesinden, kullanıcının ekran içeriği değişirken yüzün ‘doldurulan’ aydınlatmasındaki değişimi gözlemleyebiliriz. Kaynak: https://cis.temple.edu/~jiewu/research/publications/Publication_files/FakeFace__ICDCS_2020.pdf

Yeni çalışmadaki fark, web kameralarının aydınlatma değişikliklerine tepkisini hesaba katmasıdır. Yazarlar açıklar:

‘Tüm modern web kameralar otomatik pozlama yapar, bu nedenle önceki çalışmadaki yüksek yoğunluklu aktif aydınlatma, kameranın otomatik pozlamasını tetikleyecektir, bu da kaydedilen yüz görünümünü karıştıracaktır. Bunu önlemek için, bir hue-değişikliği olan izolüminan bir aktif aydınlatma kullanıyoruz.

‘Bu, kameranın otomatik pozlamasını önler, ancak kameranın beyaz dengesini tetikleyebilir, bu da yine kaydedilen yüz görünümünü karıştırır. Bunu önlemek için, beyaz dengesini tetiklemeyen bir hue aralığında çalışıyoruz, bunu deneysel olarak belirledik.’

Bu girişimle ilgili olarak, yazarlar ayrıca benzer önceki girişimleri, zoals LiveScreen gibi, dikkate aldı. Bu, bir deepfake içeriğini ortaya çıkarmak için son kullanıcının monitörüne dikkat çekici olmayan bir aydınlatma deseni zorlar.

Bu sistem, %94,8’lik bir doğruluk oranına ulaştı, ancak araştırmacılar, bu tür bir gizli yaklaşımın, parlak ortamlarda uygulanmasının zor olacağını ve bunun yerine kendi sistemlerinin veya benzer hatlarda tasarlanmış bir sistemin, popüler video konferans yazılımlarına kamu tarafından ve varsayılan olarak entegre edilebileceğini öne sürer:

‘Önerdiğimiz müdahale, bir çağrı katılımcısı tarafından basitçe ekranını paylaşarak ve değişen deseni görüntüleyerek gerçekleştirilebilir veya ideal olarak video arama istemcisine doğrudan entegre edilebilir.’

Testler

Yazarlar, sentetik ve gerçek dünya konularının bir karışımını kullanarak Dlib ile çalışan derin sahte dedektörlerini test ettiler. Sentetik senaryo için, İsviçre Federal Teknoloji Enstitüsü’nden Mitsuba adlı bir ileri ve ters renderer kullandılar.

Simüle edilen ortam testlerinden örnekler, değişen cilt tonu, ışık kaynağı boyutu, ambiente aydınlatma yoğunluğu ve kameraya yakınlık özellikleri gösterir.

Sahnede, 90° görüş açısına sahip bir sanal kameradan yakalanan parametrik CGI başları vardır. Başlar Lambertian yansıma ve nötr cilt tonlarına sahiptir ve sanal kameradan 2 feet uzaklıktadır.

Çerçeveyi çeşitli olası cilt tonları ve kurulumlar boyunca test etmek için, araştırmacılar bir dizi testi sırayla çalıştırdı. Değiştirilen yönler arasında cilt tonu, yakınlık ve aydınlatma ışığı boyutu yer aldı.

Yazarlar şunları belirtir:

‘Simülasyonda, çeşitli varsayımlarımızı karşıladığımızda, önerdiğimiz teknik, geniş bir görüntüleme konfigürasyonuna karşı oldukça robusttur.’

Gerçek dünya senaryosunda, araştırmacılar, çeşitli ortamlarda ve çeşitli cilt tonlarına sahip 15 gönüllü kullandı. Her biri, 30Hz ekran yenileme hızının web kamerasıyla senkronize edildiği koşullarda, kısıtlanmış hue varyasyonunun iki döngüsüne tabi tutuldu, bu da aktif aydınlatmanın yalnızca bir saniye süreceği anlamına geliyordu. Sonuçlar, sentetik testlerle genel olarak benzerdi, ancak daha yüksek aydınlatma değerleriyle birlikte korelasyonlar önemli ölçüde arttı.

Gelecek Yönergeler

Sistem, araştırmacıların kabul ettiği gibi, tipik yüz örtmeleri, seperti bangs, gözlükler veya sakal gibi, hesaba katmaz. Ancak, bu tür bir maskeleme daha sonraki sistemlere (etiketleme ve ardından anlamsal segmentasyon yoluyla) eklenebileceğini ve hedef konunun algılanan cilt alanlarından değerleri alması için eğitilebileceğini belirtirler.

Yazarlar ayrıca, benzer bir paradigmanın deepfake sesli görüşmeleri tespit etmek için kullanılabileceğini ve gerekli sesin normal insan işitme aralığının dışında bir frekansta çalınabileceğini öne sürer.

Belki de en ilginç olanı, araştırmacılar, değerlendirmenin yüzün ötesine, daha zengin bir yakalama çerçevesinde genişletilmesinin, derin sahte tespitinin olasılığını önemli ölçüde geliştirebileceğini öne sürer:

‘Işıklama modeli için daha gelişmiş bir 3D tahmini, daha zengin bir görünüm modeli sağlayacaktır, bu da bir sahtekârlık tarafından atlatılması daha zor olacaktır. Sadece yüzle ilgilenirken, bilgisayar ekranı ayrıca boyun, üst vücut ve çevre arka planı da aydınlatır ve benzer ölçümler buradan da yapılabilir.

‘Bu ek ölçümler, sahtekârlığın tüm 3B sahneyi, sadece yüzü değil, düşünmesini gerektirecektir.’

* Yazarların inline alıntılarını hyperlinklere dönüştürerek yaptığım değişiklik.

İlk olarak 6 Temmuz 2022’de yayımlandı.