Andersons hoek

Deepfake-detectoren verkennen nieuw terrein: latente diffusiemodellen en GAN-netwerken

Martin Anderson
Voeg Unite.AI toe aan je voorkeursbronnen op Google
Belangrijkste puntenOnderzoek naar deepfake-detectie verschuift de focus naar latente diffusiemodellen…
Meer weergeven
  • Onderzoek naar deepfake-detectie verschuift de focus naar latente diffusiemodellen zoals Stable Diffusion en DALL-E 2.
  • Blade Runner biedt een plug-and-play GAN-detector die gebruikmaakt van gezichtskenmerkenpatronen voor organisaties met beperkte middelen.
  • DE-FAKE streeft ernaar om universeel afbeeldingen van tekst-naar-beeld diffusiemodellen te detecteren en toe te schrijven met behulp van CLIP-embeddings.

Opinie
De onderzoeksgemeenschap voor deepfake-detectie hield zich sinds eind 2017 vrijwel uitsluitend bezig met het op autoencoders gebaseerde raamwerk dat destijds zoveel publieke verbazing en ontzetting veroorzaakte. De laatste tijd ontstaat er ook forensische belangstelling voor minder stagnerende architecturen, waaronder latente diffusiemodellen zoals DALL-E 2 en Stable Diffusion, en voor de uitvoer van generatieve adversariële netwerken (GAN’s). UC Berkeley publiceerde bijvoorbeeld in juni de resultaten van onderzoek naar een detector voor beelden van het toen toonaangevende DALL-E 2.

Deze groeiende interesse lijkt voort te komen uit de plotselinge sprong in mogelijkheden en beschikbaarheid van latente diffusiemodellen in 2022: eerst de introductie van DALL-E 2 met gesloten broncode en beperkte toegang in het voorjaar, gevolgd door de opzienbarende vrijgave van de broncode van Stable Diffusion door stability.ai aan het einde van de zomer.

GAN’s worden in dit verband ook al lang bestudeerd, zij het minder intensief. Ze zijn namelijk erg moeilijk te gebruiken voor overtuigende, complexe videoreconstructies van mensen, zeker vergeleken met de inmiddels gevestigde autoencoderpakketten FaceSwap en DeepFaceLab, en de op livestreaming gerichte verwant van dat laatste pakket, DeepFaceLive.

Bewegende beelden

In beide gevallen lijkt het vooruitzicht van een nieuwe ontwikkelingssprint voor videosynthese de aanjager. Begin oktober, tijdens het belangrijke conferentieseizoen van 2022, verschenen onverwacht allerlei oplossingen voor hardnekkige problemen met videosynthese. Nauwelijks had Facebook voorbeelden uitgebracht van zijn tekst-naar-videoplatform, of Google Research overstemde de eerste lof met de aankondiging van Imagen-to-Video T2V. Deze architectuur kan videobeelden met hoge resolutie produceren, al lukt dat alleen via een netwerk van zeven lagen resolutieverhogers.

Wie gelooft dat zulke ontwikkelingen in drietallen komen, kan ook wijzen op de raadselachtige belofte van stability.ai dat er kennelijk later dit jaar video naar Stable Diffusion komt. Medeontwikkelaar Runway heeft iets soortgelijks beloofd, maar het is onduidelijk of beide partijen hetzelfde systeem bedoelen. Het Discord-bericht van Stability-CEO Emad Mostaque beloofde bovendien “audio, video [en] 3D”.

Daar komen verschillende onverwacht verschenen raamwerken voor audiogeneratie bij, sommige gebaseerd op latente diffusie, en een nieuw diffusiemodel dat natuurgetrouwe bewegingen van personages kan maken. Daardoor wint het idee terrein dat statische raamwerken zoals GAN’s en diffusiemodellen uiteindelijk als ondersteunende aanvullingen op externe animatieraamwerken zullen dienen.

Kortom, de beperkte wereld van op autoencoders gebaseerde videodeepfakes, die effectief alleen het centrale deel van een gezicht kunnen vervangen, zou rond deze tijd volgend jaar overschaduwd kunnen worden door een nieuwe generatie op diffusie gebaseerde deepfaketechnologie. Deze populaire opensourcemethoden kunnen mogelijk niet alleen complete lichamen, maar hele scènes fotorealistisch vervalsen.

Misschien neemt de onderzoeksgemeenschap die deepfakes bestrijdt daarom beeldsynthese serieuzer en ziet zij in dat de techniek meer kan dan valse LinkedIn-profielfoto’s maken. Als die lastig te beheersen latente ruimtes bij beweging over tijd alleen al als uitstekende textuurrenderer kunnen fungeren, is dat wellicht meer dan genoeg.

Blade Runner

De twee nieuwste onderzoeken naar respectievelijk deepfake-detectie bij latente diffusie en GAN’s zijn DE-FAKE: detectie en herkomstbepaling van valse beelden uit tekst-naar-beeld-diffusiemodellen, een samenwerking tussen het CISPA Helmholtz Center for Information Security en Salesforce (CRM ), en BLADERUNNER: snelle tegenmaatregel voor synthetische, door AI gegenereerde StyleGAN-gezichten van Adam Dorian Wong van MIT’s Lincoln Laboratory.

Voordat de tweede publicatie de nieuwe methode uitlegt, bespreekt zij eerdere manieren om vast te stellen of een beeld door een GAN is gemaakt. Het onderzoek behandelt specifiek de StyleGAN-familie van NVIDIA.

De Brady Bunch-methode is misschien een betekenisloze verwijzing voor wie in de jaren zeventig geen televisie keek of de verfilmingen uit de jaren negentig miste. Zij herkent GAN-vervalsingen aan de vaste posities die bepaalde gezichtsonderdelen steeds innemen door het repetitieve en sjabloonachtige productieproces.

De Brady Bunch-methode uit een SANS-webcast van 2022: een GAN-gezichtsgenerator plaatst bepaalde gezichtskenmerken onwaarschijnlijk uniform, waardoor in sommige gevallen de oorsprong van de foto zichtbaar wordt.

De Brady Bunch-methode uit een SANS-webcast van 2022: een GAN-gezichtsgenerator plaatst bepaalde gezichtskenmerken onwaarschijnlijk uniform, waardoor in sommige gevallen de oorsprong van de foto zichtbaar wordt. Bron: https://arxiv.org/ftp/arxiv/papers/2210/2210.06587.pdf

Een ander bruikbaar signaal is dat StyleGAN vaak moeite heeft om meerdere gezichten te tekenen wanneer dat nodig is, zoals in de eerste afbeelding hieronder. Ook accessoires passen vaak niet bij elkaar, zoals in de middelste afbeelding, en de haarlijn wordt soms het begin van een geïmproviseerde hoed, zoals in de derde afbeelding.

De derde methode die de onderzoeker noemt is foto-overlapping. Een voorbeeld staat in ons artikel uit augustus over door AI ondersteunde diagnostiek van psychische aandoeningen. Beeldmengsoftware zoals de CombineZ-reeks voegt meerdere foto’s samen tot één beeld. Daarbij worden vaak gemeenschappelijke structuren zichtbaar, wat een aanwijzing voor synthese kan zijn.

De voorgestelde architectuur heet, mogelijk tegen elk SEO-advies in, Blade Runner. Die naam verwijst naar de Voight-Kampff-test, waarmee wordt bepaald of tegenstanders in de sciencefictionreeks nep zijn.

De pijplijn bestaat uit twee fasen. De eerste is de PapersPlease-analyser, die gegevens kan beoordelen die zijn verzameld van bekende websites met GAN-gezichten, zoals thispersondoesnotexist.com en generated.photos.

Hoewel op GitHub een vereenvoudigde versie van de code te bekijken is, zoals hieronder vermeld, zijn er weinig details over deze module. Wel is bekend dat OpenCV en DLIB worden gebruikt om gezichten in het verzamelde materiaal af te bakenen en te detecteren.

De tweede module is de AmongUs-detector. Deze zoekt naar overeenkomende oogposities in foto’s, een terugkerend kenmerk van StyleGAN-gezichten zoals in het eerder beschreven Brady Bunch-scenario. AmongUs gebruikt een standaarddetector met 68 gezichtsherkenningspunten.

Gezichtsherkenningspunten van de Intelligent Behaviour Understanding Group (IBUG), waarvan de code voor het plaatsen van gezichtskenmerken in Blade Runner wordt gebruikt.

Gezichtsherkenningspunten van de Intelligent Behaviour Understanding Group (IBUG), waarvan de code voor het plaatsen van gezichtskenmerken in Blade Runner wordt gebruikt.

AmongUs gebruikt vooraf getrainde herkenningspunten op basis van de bekende Brady Bunch-coördinaten van PapersPlease en is bedoeld voor actuele, op het web beschikbare voorbeelden van StyleGAN-gezichten.

Volgens de auteur is Blade Runner een kant-en-klare oplossing voor bedrijven en organisaties die niet zelf over de middelen beschikken om dit soort deepfake-detectie te ontwikkelen. Het is een tijdelijke maatregel die tijd moet winnen voor duurzamere tegenmaatregelen.

In deze snel groeiende en veranderlijke beveiligingssector zijn er in werkelijkheid weinig op maat gemaakte of standaardoplossingen van cloudaanbieders waarop een bedrijf met beperkte middelen nu met vertrouwen kan terugvallen.

Blade Runner presteert slecht bij door StyleGAN vervalste personen met een bril. Dat probleem komt vaker voor bij soortgelijke systemen: zij gebruiken de oogcontouren als belangrijke referentiepunten, maar die worden dan afgedekt.

Een vereenvoudigde versie van Blade Runner is als opensourcecode op GitHub uitgebracht. Er bestaat ook een uitgebreidere versie met gesloten broncode die meerdere foto’s kan verwerken, tegenover één foto per bewerking in de opensourceversie. De auteur wil de GitHub-versie uiteindelijk tot hetzelfde niveau uitbreiden, zodra de tijd dat toelaat. Hij erkent dat StyleGAN waarschijnlijk voorbij de huidige of bekende zwakke punten zal evolueren, zodat de software moet meegroeien.

DE-FAKE

DE-FAKE wil niet alleen universele detectie bieden voor beelden van tekst-naar-beeld-diffusiemodellen, maar ook bepalen welk latent diffusiemodel (LD) een beeld heeft gemaakt.

Het universele detectieraamwerk van DE-FAKE behandelt lokale beelden, een hybride raamwerk (groen) en beelden uit de open wereld (blauw).

Het universele detectieraamwerk van DE-FAKE behandelt lokale beelden, een hybride raamwerk (groen) en beelden uit de open wereld (blauw). Bron: http://export.arxiv.org/pdf/2210.06998

Eerlijk gezegd is dat op dit moment vrij eenvoudig, omdat alle populaire LD-modellen, zowel met gesloten als open broncode, opvallende onderscheidende kenmerken hebben.

De meeste delen bovendien zwakke punten, zoals de neiging hoofden af te snijden. Dat komt door de willekeurige manier waarop niet-vierkante webafbeeldingen worden opgenomen in de enorme datasets achter DALL-E 2, Stable Diffusion en MidJourney.

Latente diffusiemodellen vereisen, net als andere computervisiemodellen, vierkante invoer. De grootschalige webverzameling voor LAION5B biedt echter geen extra functies zoals het herkennen van en scherpstellen op gezichten of andere onderwerpen. Beelden worden daarom hard afgesneden in plaats van met randen aangevuld, wat het hele origineel op lagere resolutie zou behouden. Na training worden deze uitsneden normaal en verschijnen ze vaak in de uitvoer van systemen als Stable Diffusion.

Latente diffusiemodellen vereisen, net als andere computervisiemodellen, vierkante invoer. De grootschalige webverzameling voor LAION5B biedt echter geen extra functies zoals het herkennen van en scherpstellen op gezichten of andere onderwerpen. Beelden worden daarom hard afgesneden in plaats van met randen aangevuld, wat het hele origineel op lagere resolutie zou behouden. Na training worden deze uitsneden normaal en verschijnen ze vaak in de uitvoer van systemen als Stable Diffusion. Bron: https://blog.novelai.net/novelai-improvements-on-stable-diffusion-e10d38db82ac and Stable Diffusion.

DE-FAKE moet onafhankelijk van het gebruikte algoritme werken. Dat is een lang gekoesterde wens van onderzoekers naar deepfake-bestrijding bij autoencoders en nu een tamelijk haalbaar doel bij LD-systemen.

De architectuur gebruikt OpenAI’s multimodale bibliotheek Contrastive Language-Image Pretraining, oftewel CLIP. Die vormt een essentieel onderdeel van Stable Diffusion en wordt snel het hart van de nieuwe golf beeld- en videosynthese. DE-FAKE haalt hiermee inbeddingen uit vervalste LD-beelden en traint een classificatiemodel op de gevonden patronen en klassen.

In een sterker blackboxscenario zijn de PNG-gegevens over het generatieproces al verdwenen door uploadprocessen of andere oorzaken. De onderzoekers gebruiken dan het BLIP-raamwerk van Salesforce, dat ook onderdeel is van minstens één distributie van Stable Diffusion, om zonder voorkennis uit beelden de vermoedelijke semantische structuur af te leiden van de tekstinstructies waarmee ze zijn gemaakt.

De onderzoekers gebruikten Stable Diffusion, Latent Diffusion (een afzonderlijk product), GLIDE en DALL-E 2 om met MSCOCO en Flickr30k een trainings- en testdataset samen te stellen.

De onderzoekers gebruikten Stable Diffusion, Latent Diffusion (een afzonderlijk product), GLIDE en DALL-E 2 om met MSCOCO en Flickr30k een trainings- en testdataset samen te stellen.

Normaal bekijken we de experimentele resultaten van een nieuw raamwerk uitgebreid. De bevindingen van DE-FAKE lijken echter eerder nuttig als toekomstige vergelijkingsbasis voor volgende versies en soortgelijke projecten dan als betekenisvolle maat voor het projectsucces. De omgeving verandert snel en het systeem waarmee de publicatie vergelijkt is bijna drie jaar oud, uit de begintijd van deze vorm van beeldsynthese.

De twee beelden helemaal links: het eerdere raamwerk uit 2019 presteert zoals verwacht slechter dan DE-FAKE (de twee beelden helemaal rechts) bij de vier geteste LD-systemen.

De twee beelden helemaal links: het eerdere raamwerk uit 2019 presteert zoals verwacht slechter dan DE-FAKE (de twee beelden helemaal rechts) bij de vier geteste LD-systemen.

De resultaten van het team zijn om twee redenen overweldigend positief. Ten eerste is er weinig eerder onderzoek om mee te vergelijken, en helemaal geen onderzoek dat een eerlijke vergelijking mogelijk maakt en de slechts twaalf weken sinds de opensourcevrijgave van Stable Diffusion bestrijkt.

Ten tweede ontwikkelen LD-beeldsynthesesystemen zich weliswaar exponentieel snel, maar hun uitvoer voorziet zichzelf als het ware van een watermerk door structurele, voorspelbare tekortkomingen en eigenaardigheden. Veel daarvan zouden, in elk geval bij Stable Diffusion, verholpen kunnen worden met de beter presterende 1.5-checkpoint: het getrainde model van 4 GB dat het systeem aandrijft.

Stability heeft ondertussen al een duidelijk ontwikkelplan voor V2 en V3 aangekondigd. Gezien de gebeurtenissen die de afgelopen drie maanden de krantenkoppen haalden, is eventuele bedrijfsmatige traagheid bij OpenAI en andere concurrenten in beeldsynthese waarschijnlijk verdwenen. Ook bij beeldsynthese met gesloten broncode kunnen we dus een vergelijkbaar hoog ontwikkelingstempo verwachten.

Voor het eerst gepubliceerd op 14 oktober 2022.

Schrijver over machine learning, domeinspecialist in menselijke beeldsynthetisatie. Voormalig hoofd van onderzoekscontent bij Metaphysic.ai, tot de ontbinding ervan in DNEG's Brahma.ai.
Website: martinanderson.ai
Contact: martin@martinanderson.ai