Anderson’un Açısı
Deepfake Tespit Araçları Yeni Alanlara Yöneliyor: Gizli Difüzyon Modelleri ve GAN

Öne çıkan noktalarDerin sahte tespit araştırmaları, Stable Diffusion ve DALL-E 2 gibi gizli difüzyon…
Daha fazla göster
- Derin sahte tespit araştırmaları, Stable Diffusion ve DALL-E 2 gibi gizli difüzyon modellerine odaklanıyor.
- Blade Runner, kaynakları kısıtlı kuruluşlar için yüz işareti desenlerini kullanan tak-çalıştır bir GAN dedektörü sunuyor.
- DE-FAKE, CLIP gömme yöntemini kullanarak metinden görüntüye difüzyon modellerinden gelen görüntüleri evrensel olarak tespit etmeyi ve ilişkilendirmeyi hedefliyor.
Görüş
Son dönemde, 2017 sonundan beri neredeyse yalnızca otokodlayıcı temelli çerçeveyle ilgilenen deepfake tespiti araştırma topluluğu, o dönemde kamuoyunda hayranlık (ve kaygı) yaratan bu yaklaşımın ardından daha az durağan mimarilere adli inceleme açısından ilgi göstermeye başladı. Bunlar arasında gizli difüzyon modelleri olan DALL-E 2 ve Stable Diffusion ile üretici çekişmeli ağların (GAN) çıktıları bulunuyor. Örneğin Haziran ayında UC Berkeley, o dönemde baskın olan DALL-E 2 çıktıları için bir tespit sistemi geliştirme araştırmasının sonuçlarını yayımladı.
Bu artan ilgiyi, 2022 yılında gizli difüzyon modellerinin yetenek ve erişilebilirliğindeki ani gelişim sıçraması tetikliyor gibi görünüyor: ilkbaharda kapalı kaynaklı ve sınırlı erişimli DALL-E 2 yayımlandı, yaz sonunda ise stability.ai Stable Diffusion kodunu büyük yankı uyandırarak açık kaynak olarak sundu.
GAN sistemleri de bu bağlamda uzun süredir araştırılıyor, ancak daha az yoğun biçimde; çünkü insanları inandırıcı ve ayrıntılı videolarla yeniden oluşturmak için bunları kullanmak çok zor, en azından artık köklü hale gelen FaceSwap ve DeepFaceLab otokodlayıcı paketleri ve sonuncusunun canlı yayın akrabası DeepFaceLive ile karşılaştırıldığında.
Hareketli Görüntüler
Her iki durumda da itici güç, video sentezinde yeni bir geliştirme atağı olasılığı gibi görünüyor. Ekim başı ve 2022 yılının büyük konferans dönemi, uzun süredir çözülemeyen video sentezi sorunlarına ani ve beklenmedik çözümlerin akınıyla geçti: Facebook kendi metinden videoya platformunun örneklerini yayımlar yayımlamaz, Google Research yeni Imagen-to-Video T2V mimarisini duyurarak ilk övgüleri gölgede bıraktı. Bu sistem yüksek çözünürlüklü video üretebiliyor, ancak bunu yalnızca yedi katmanlı bir çözünürlük artırma ağıyla yapıyor.
Bu tür gelişmelerin üçlü geldiğine inanıyorsanız, stability.ai şirketinin Stable Diffusion için görünüşe göre bu yılın ilerleyen dönemlerini kasteden video geliyor vaadini de düşünün. Ortak geliştirici Runway de benzer bir söz verdi, ancak aynı sistemden bahsedip bahsetmedikleri belirsiz. Stability CEO yöneticisi Emad Mostaque tarafından gönderilen Discord mesajı ayrıca «ses, video [ve] 3D» vaat etti.
Bazıları gizli difüzyona dayanan birkaç yeni ses üretim çerçevesinin beklenmedik biçimde ortaya çıkması ve gerçekçi karakter hareketi üretebilen yeni bir difüzyon modeliyle birlikte, GAN ve difüzyon modelleri gibi durağan çerçevelerin dış animasyon çerçevelerine destekleyici ek bileşenler olarak yerleşeceği fikri güç kazanmaya başladı.
Kısacası, yalnızca yüzün orta bölümünü etkili biçimde değiştirebilen, otokodlayıcı temelli video deepfake dünyası gelecek yıl bu zamanlarda yeni nesil difüzyon temelli deepfake teknolojilerinin gölgesinde kalabilir. Bu popüler açık kaynak yaklaşımlar yalnızca bütün bedenleri değil, tüm sahneleri fotogerçekçi biçimde taklit etme potansiyeline sahip.
Belki de bu nedenle deepfake karşıtı araştırma topluluğu görüntü sentezini ciddiye almaya, bunun yalnızca sahte LinkedIn profil fotoğrafları üretmekten daha fazla işe yarayabileceğini anlamaya başladı. Yönetilmesi güç gizli uzayların zamana bağlı hareket açısından yapabileceği tek şey çok iyi bir doku işleyici olarak çalışmak olsa bile, bu aslında fazlasıyla yeterli olabilir.
Blade Runner
Sırasıyla gizli difüzyon ve GAN temelli deepfake tespitini ele alan en yeni iki çalışma, CISPA Helmholtz Center for Information Security ile Salesforce (CRM ) işbirliğinden doğan DE-FAKE: Metinden Görüntüye Difüzyon Modellerinin Ürettiği Sahte Görüntülerin Tespiti ve Kaynağının Belirlenmesi ve MIT Lincoln Laboratory bünyesinden Adam Dorian Wong tarafından hazırlanan BLADERUNNER: Sentetik (Yapay Zekâ Üretimi) StyleGAN Yüzlerine Hızlı Karşı Önlem çalışmalarıdır.
İkinci makale, yeni yöntemini açıklamadan önce bir görüntünün GAN tarafından üretilip üretilmediğini belirlemeye yönelik eski yaklaşımları inceliyor. Makale özellikle NVIDIA StyleGAN ailesini ele alıyor.
Brady Bunch yöntemi, 1970 yıllarında televizyon izlemeyen veya 1990 yıllarındaki film uyarlamalarını kaçıranlar için belki anlamsız bir gönderme olabilir. Bu yöntem, tekrarlı ve şablona dayalı üretim süreci nedeniyle bir GAN yüzünün belirli parçalarının kapladığı sabit konumlardan yararlanarak GAN sahteciliğini belirliyor.

SANS Institute tarafından 2022 yılında bir web yayınında sunulan Brady Bunch yöntemi: GAN temelli yüz üreticisi bazı yüz özelliklerini olağandışı ölçüde aynı konuma yerleştirerek kimi durumlarda fotoğrafın sentetik kökenini ele verir. Kaynak: https://arxiv.org/ftp/arxiv/papers/2210/2210.06587.pdf
Bilinen başka yararlı işaretler, StyleGAN sisteminin gerektiğinde birden çok yüzü oluşturmakta sık sık başarısız olması (aşağıdaki ilk görüntü), aksesuarlarda uyum sağlayamaması (ortadaki görüntü) ve saç çizgisini doğaçlama bir şapkanın başlangıcı yapma eğilimidir (üçüncü görüntü).

Araştırmacının dikkat çektiği üçüncü yöntem fotoğraf bindirmedir; bir örneği yapay zekâ destekli ruh sağlığı bozukluğu tanısı hakkındaki Ağustos yazımızda bulunuyor. CombineZ serisi gibi görüntü birleştirme yazılımları birçok görüntüyü tek görüntüde toplar; bu da çoğu zaman yapısal ortaklıkları, dolayısıyla olası sentez izlerini açığa çıkarır.

Yeni makalenin önerdiği mimari, belki tüm SEO tavsiyelerine aykırı olarak, Blade Runner adını taşıyor. Bu ad, bilimkurgu serisindeki karşıt karakterlerin sahte olup olmadığını belirleyen Voight-Kampff testine gönderme yapıyor.
İşlem hattı iki aşamadan oluşuyor. İlk aşama, thispersondoesnotexist.com veya generated.photos gibi bilinen GAN yüz sitelerinden toplanan verileri değerlendiren PapersPlease analiz aracı.

Kodun kısıtlı bir sürümü GitHub üzerinde incelenebilse de (aşağıya bakın), bu modülün ayrıntıları pek verilmiyor. Bilinen, toplanan malzemede yüzleri çevrelemek ve tespit etmek için OpenCV ve DLIB kullanıldığı.
İkinci modül AmongUs tespit aracı. Sistem, fotoğraflarda gözlerin uyumlu yerleşimini arıyor; bu, yukarıdaki Brady Bunch örneğinde görülen kalıcı bir StyleGAN yüz özelliği. AmongUs standart 68 yüz işaret noktası tespit aracını kullanıyor.

Intelligent Behaviour Understanding Group (IBUG) tarafından hazırlanan yüz noktası işaretleri; grubun yüz işaret noktalarını çizme kodu Blade Runner paketinde kullanılıyor.
AmongUs, PapersPlease aracındaki bilinen Brady Bunch koordinatlarına göre önceden eğitilmiş işaret noktalarına dayanıyor ve StyleGAN yüzlerinin web üzerinden erişilen güncel örneklerini incelemek için tasarlanıyor.
Yazara göre Blade Runner, bu tür deepfake tespiti için kendi çözümlerini geliştirme kaynakları bulunmayan şirket veya kuruluşlara yönelik tak-çalıştır bir çözüm; daha kalıcı karşı önlemler için zaman kazandıran geçici bir araç.
Gerçekten de böylesine değişken ve hızla büyüyen güvenlik sektöründe, kaynakları sınırlı bir şirketin güvenle başvurabileceği özel yapım veya hazır bulut sağlayıcı çözümleri şu anda pek fazla değil.
Blade Runner, StyleGAN tarafından üretilmiş gözlüklü kişileri tespit etmekte zayıf olsa da bu, benzer sistemlerde oldukça yaygın bir sorun. Temel referans olarak göz hatlarını değerlendirmeyi bekliyorlar; oysa gözlük bu hatları kapatıyor.
Blade Runner aracının kısıtlı bir sürümü GitHub üzerinde açık kaynak olarak yayımlandı. Daha zengin özellikli özel sürüm, açık kaynak deposunun işlem başına tek fotoğraf sınırı yerine birçok fotoğraf işleyebiliyor. Yazar, zaman elverdiğinde GitHub sürümünü de aynı düzeye yükseltmek istediğini söylüyor. StyleGAN sisteminin bilinen mevcut zayıflıklarını aşmasının muhtemel olduğunu ve yazılımın da buna paralel gelişmesi gerektiğini kabul ediyor.
DE-FAKE
DE-FAKE mimarisi, metinden görüntüye difüzyon modellerinin ürettiği görüntüler için yalnızca evrensel tespit sağlamakla kalmayıp görüntüyü hangi gizli difüzyon (LD) modelinin ürettiğini belirleyen bir yöntem sunmayı da amaçlıyor.

DE-FAKE evrensel tespit çerçevesi yerel görüntüleri, karma bir çerçeveyi (yeşil) ve açık dünya görüntülerini (mavi) kapsıyor. Kaynak: http://export.arxiv.org/pdf/2210.06998
Açıkçası bu, şu anda oldukça kolay bir görev; çünkü açık veya kapalı kaynaklı tüm popüler LD modellerinin belirgin ayırt edici özellikleri var.
Ayrıca çoğu, DALL-E 2, Stable Diffusion ve MidJourney gibi sistemleri besleyen büyük veri kümelerine webden toplanan kare olmayan görüntülerin gelişigüzel biçimde alınması nedeniyle başları kırpma eğilimi gibi ortak zayıflıklar taşıyor:

Gizli difüzyon modelleri, diğer bilgisayarlı görü modelleri gibi kare girdi ister. Ancak LAION5B veri kümesini besleyen toplu web taraması, yüzlere veya başka nesnelere odaklanma gibi ek yetenekler sunmaz; kenarlara boşluk eklemek yerine görüntüleri sertçe kırpar. Boşluk eklemek, daha düşük çözünürlükte tüm kaynak görüntüyü korurdu. Eğitim sırasında öğrenilen bu kırpmalar normalleşir ve Stable Diffusion gibi sistemlerin çıktısında çok sık görülür. Kaynaklar: https://blog.novelai.net/novelai-improvements-on-stable-diffusion-e10d38db82ac ve Stable Diffusion.
DE-FAKE algoritmadan bağımsız olacak şekilde tasarlanıyor. Bu, otokodlayıcı temelli deepfake karşıtı araştırmaların uzun süredir arzuladığı, LD sistemlerinde şu an oldukça ulaşılabilir bir hedef.
Mimari, OpenAI Contrastive Language-Image Pretraining (CLIP) çok modlu kütüphanesini kullanıyor. Stable Diffusion için temel bir unsur olan ve yeni görüntü/video sentezi dalgasının kalbine dönüşen bu kütüphane, sahte LD görüntülerinden vektör temsilleri çıkarmaya ve gözlenen örüntü ve sınıflara göre sınıflandırıcı eğitmeye yarıyor.
Üretim bilgisi taşıyan PNG parçalarının yükleme işlemleri veya başka nedenlerle silindiği daha kapalı kutu bir senaryoda araştırmacılar Salesforce BLIP çerçevesini kullanıyor. Stable Diffusion yazılımının en az bir dağıtımında da yer alan bu bileşen, görüntüleri başlangıç bilgisi olmaksızın inceleyerek onları oluşturan istemlerin olası anlamsal yapısını tahmin ediyor.

Araştırmacılar MSCOCO ve Flickr30k verilerinden yararlanarak eğitim ve test veri kümesini doldurmak için Stable Diffusion, Latent Diffusion (ayrı bir ürün), GLIDE ve DALL-E 2 kullandı.
Normalde yeni bir çerçevenin deney sonuçlarını kapsamlı biçimde ele alırdık. Ancak DE-FAKE bulguları, değişken ortamı ve makaledeki karşılaştırma sisteminin görüntü sentezinin henüz yeni doğduğu dönemden, neredeyse üç yıl öncesinden kalmasını düşününce, proje başarısının anlamlı bir ölçüsünden çok sonraki sürümler ve benzer projeler için gelecekteki bir karşılaştırma ölçütü olarak yararlı görünüyor.

En soldaki iki görüntü: 2019 yılında ortaya çıkan önceki karşılaştırma çerçevesi, test edilen dört LD sisteminde beklendiği gibi DE-FAKE aracından (en sağdaki iki görüntü) daha zayıf performans gösteriyor.
Ekibin sonuçları iki nedenle son derece olumlu: karşılaştırılabilecek önceki çalışma çok az ve adil karşılaştırma sunan hiç yok; yani Stable Diffusion kodunun açılmasından beri geçen yalnızca on iki haftayı kapsayan bir çalışma bulunmuyor.
İkincisi, LD görüntü sentezi alanı üstel hızla gelişse de güncel sistemlerin çıktıları, kendi yapısal ve çok öngörülebilir eksik ve tuhaflıkları nedeniyle kendilerini adeta işaretliyor. Bunların çoğunun, en azından Stable Diffusion için, sistemi çalıştıran 4 GB eğitimli model olan daha başarılı checkpoint 1.5 yayımlandığında giderilmesi muhtemel.
Bu arada Stability, V2 ve V3 için net bir yol haritası olduğunu belirtti. Son üç ayın manşetlere çıkan gelişmeleri, OpenAI ve görüntü sentezi rakiplerindeki olası kurumsal ataleti muhtemelen ortadan kaldırdı. Bu nedenle kapalı kaynak görüntü sentezinde de benzer hızda ilerleme bekleyebiliriz.
İlk yayımlanma tarihi: 14 Ekim 2022.












