Deepfake-detectoren verkennen nieuw terrein: Latent Diffusion Models en GANs

Mening

Onlangs is de onderzoekscommunity voor deepfake-detectie, die sinds eind 2017 bijna uitsluitend bezig was met het autoencoder-gebaseerde kader dat toen voor het eerst werd geïntroduceerd en veel aandacht kreeg (en verontwaardiging), begonnen met het nemen van een forensische interesse in minder stagnerende architectuur, waaronder latente diffusiemodellen zoals DALL-E 2 en Stable Diffusion, evenals de uitvoer van Generative Adversarial Networks (GANs). Zo publiceerde de Universiteit van Californië – Berkeley in juni de resultaten van hun onderzoek naar de ontwikkeling van een detector voor de uitvoer van de toen dominante DALL-E 2.

Wat lijkt de groeiende interesse te drijven, is de plotselinge evolutionaire sprong in de mogelijkheden en beschikbaarheid van latente diffusiemodellen in 2022, met de gesloten bron en beperkte toegang release van DALL-E 2 in het voorjaar, gevolgd in de late zomer door de sensationele open sourcing van Stable Diffusion door stability.ai.

GANs zijn ook lang bestudeerd in deze context, hoewel minder intensief, omdat het zeer moeilijk is om ze te gebruiken voor overtuigende en uitgebreide video-gebaseerde recreaties van mensen; tenminste, in vergelijking met de inmiddels verouderde autoencoder-pakketten zoals FaceSwap en DeepFaceLab – en de laatste live-streaming neef, DeepFaceLive.

…

Bewegende Beelden

In beide gevallen lijkt het galvaniserende factor het vooruitzicht te zijn van een daaropvolgende ontwikkelingssprint voor video-synthese. Het begin van oktober – en 2022’s grote conferentie-seizoen – werd gekenmerkt door een lawine van plotselinge en onverwachte oplossingen voor verschillende langdurige video-synthese-problemen: nauwelijks had Facebook samples van zijn eigen tekst-naar-video-platform uitgebracht, of Google Research verdronk die eerste roem snel door de aankondiging van zijn nieuwe Imagen-to-Video T2V-architectuur, die in staat is om hoge resolutie-beelden (albeit alleen via een 7-laags netwerk van upscalers) te produceren.

…

Blade Runner

Het laatste twee papers die respectievelijk latent diffusie en GAN-gebaseerde deepfake-detectie aanpakken, zijn respectievelijk DE-FAKE: Detectie en toeschrijving van valse afbeeldingen gegenereerd door tekst-naar-afbeelding diffusiemodellen, een samenwerking tussen het CISPA Helmholtz Center for Information Security en Salesforce; en BLADERUNNER: Snelle tegenmaatregel voor synthetische (AI-gegenereerde) StyleGAN-gezichten, van Adam Dorian Wong bij MIT’s Lincoln Laboratory.

…

DE-FAKE

De DE-FAKE-architectuur heeft tot doel niet alleen ‘universele detectie’ te bereiken voor afbeeldingen gegenereerd door tekst-naar-afbeelding diffusiemodellen, maar ook om een methode te bieden om te bepalen welk latent diffusiemodel de afbeelding heeft gegenereerd.

…
First published 14th oktober 2022.