Het identificeren van Deepfake-gegevensbronnen met AI-gebaseerde tagging

Een samenwerking tussen onderzoekers in China, Singapore en de VS heeft een robuust systeem voor het ‘taggen’ van gezichtsfoto’s opgeleverd, dat zo robuust is dat de identificerende markers niet worden vernietigd tijdens een deepfake-trainingsproces, waardoor het mogelijk wordt om IP-claims te doen die de mogelijkheid van synthetische beeldgeneratiesystemen om illegitiem gesrapte brondata te ‘anonymiseren’ kunnen beperken.

Het systeem, genaamd FakeTagger, gebruikt een encoder/decoder-proces om visueel niet-onderscheidbare ID-informatie in beelden te embedden op een laag niveau, zodat de geïnjecteerde informatie zal worden geïnterpreteerd als essentiële gezichtskenmerken en dus intact zal blijven tijdens abstractieprocessen, net zoals bijvoorbeeld oog- of mondgegevens.

Overzicht van de FakeTagger-architectuur. Brondata wordt gebruikt om een ‘redundant’ gezichtskenmerk te genereren, waarbij achtergrondelementen die door een typische deepfake-workflow worden gemaskeerd, worden genegeerd. Het bericht is herstelbaar aan het einde van het proces en kan worden geïdentificeerd met een passende herkenning-algoritme. Bron: http://xujuefei.com/felix_acmmm21_faketagger.pdf

Het onderzoek komt van de School of Cyber Science and Engineering van Wuhan, het Key Laboratory of Aerospace Information Security and Trusted Computing van het Ministerie van Onderwijs van China, de Alibaba Group in de VS, Northeastern University in Boston en de Nanyang Technological University in Singapore.

Experimentele resultaten met FakeTagger laten een heridentificatiesnelheid zien van maximaal bijna 95% over vier veelvoorkomende deepfake-methodologieën: identiteitsswap (d.w.z. DeepFaceLab, FaceSwap); gezichtsreenactment; attribuutbewerking; en totale synthese.

Beperkingen van Deepfake-detectie

Hoewel de afgelopen drie jaar een oorzaak van nieuwe benaderingen voor deepfake-identificatiemethodologieën hebben opgeleverd, zijn al deze benaderingen gebaseerd op herstelbare beperkingen van deepfake-workflows, zoals oog-glint in onvoldoende getrainde modellen en gebrek aan knipperen in eerdere deepfakes met onvoldoende diverse gezichtssets. Als nieuwe sleutels worden geïdentificeerd, hebben de gratis en open source software-repositories ze geëlimineerd, hetzij opzettelijk, hetzij als een bijproduct van verbeteringen in deepfake-technieken.

Het nieuwe artikel stelt vast dat de meest effectieve post-facto detectiemethode die is gegenereerd uit Facebook’s meest recente deepfake-detectiecompetitie (DFDC) beperkt is tot 70% nauwkeurigheid, in termen van het opsporen van deepfakes in het wild. De onderzoekers schrijven deze vertegenwoordigende mislukking toe aan slechte generalisatie tegen nieuwe en innovatieve GAN- en encoder/decoder deepfake-systemen, en aan de vaak verslechterde kwaliteit van deepfake-substituties.

In het laatste geval kan dit worden veroorzaakt door laagwaardig werk van deepfakers, of compressie-artefacten wanneer video’s worden geüpload naar delingsplatforms die proberen de bandbreedtekosten te beperken en video’s opnieuw coderen met drastisch lagere bitsnelheden dan de indieningen. Irontisch genoeg interfereert deze beeldverslechtering niet met de schijnbare authenticiteit van een deepfake, maar kan het eigenlijk versterken, aangezien de deepfake-video wordt opgenomen in een gemeenschappelijk, laagwaardig visueel idioom dat als authentiek wordt waargenomen.

Overlevende tagging als hulp bij modelinversie

Het identificeren van brondata uit machine learning-uitvoer is een relatief nieuw en groeiend veld, en een dat een nieuwe era van IP-gebaseerde rechtszaken mogelijk maakt, aangezien de huidige permissieve scherm-schraapregulaties (ontworpen om nationale onderzoeksvoorrang in het gezicht van een wereldwijde AI-‘wapenwedloop’ niet te hinderen) evolueren naar strengere wetgeving naarmate het gebied wordt gecommercialiseerd.

Modelinversie houdt zich bezig met het in kaart brengen en identificeren van brondata uit de uitvoer die wordt gegenereerd door synthese-systemen in een aantal domeinen, waaronder Natural Language Generation (NLG) en beeldsynthese. Modelinversie is bijzonder effectief bij het opnieuw identificeren van gezichten die zijn verwijderd, gepixeld of door het abstractieproces van een Generatief Adversarisch Netwerk of encoder/decoder-transformatiesysteem zoals DeepFaceLab zijn gegaan.

Het toevoegen van gerichte tagging aan nieuwe of bestaande gezichtsbeelden is een potentieel nieuwe hulp bij modelinversietechnieken, met watermerken een opkomend veld.

Post-facto tagging

FakeTagger is bedoeld als een post-processing-benadering. Bijvoorbeeld, wanneer een gebruiker een foto uploadt naar een sociaal netwerk (wat meestal een soort optimalisatieproces inhoudt en zelden een directe en ongefilterde overdracht van de oorspronkelijke afbeelding), zou de algoritme de afbeelding verwerken om vermeend onuitwisbare kenmerken aan het gezicht toe te voegen.

Alternatief kan de algoritme worden toegepast op historische beeldcollecties, zoals verschillende keren in de afgelopen twintig jaar is gebeurd, toen grote voorraad- en commerciële beeldcollectiesites hebben gezocht naar methoden om inhoud te identificeren die zonder toestemming opnieuw is gebruikt.

FakeTagger zoekt naar het embedden van herstelbare ID-kenmerken uit verschillende deepfake-processen.

Ontwikkeling en testen

De onderzoekers hebben FakeTagger getest tegen een aantal deepfake-softwaretoepassingen over de bovengenoemde vier benaderingen, waaronder de meest gebruikte repository, DeepFaceLab; Stanford’s Face2Face, die gezichtsuitdrukkingen over afbeeldingen en identiteiten kan overbrengen; en STGAN, die gezichtskenmerken kan bewerken.

De testen werden uitgevoerd met CelebA-HQ, een populaire openbare repository met 30.000 gezichtsbeelden van beroemdheden in verschillende resoluties tot 1024 x 1024 pixels.

Als basis hebben de onderzoekers eerst conventionele beeldwatermerktechnieken getest, om te zien of de opgelegde tags zouden overleven tijdens de trainingsprocessen van deepfake-workflows, maar de methoden faalden over alle vier de benaderingen.

FakeTagger’s geëmbedeerde gegevens werden geïnjecteerd in de encoderfase in de face-set-beelden met een architectuur gebaseerd op het U-Net-convolutienetwerk voor biomedische beeldsegmentatie, uitgegeven in 2015. Vervolgens wordt de decodersectie van het kader getraind om de geëmbedeerde informatie te vinden.

Het proces werd getest in een GAN-simulator die de bovengenoemde FOSS-toepassingen/algoritmen gebruikte, in een black box-omgeving met geen discrete of speciale toegang tot de workflows van elk systeem. Willekeurige signalen werden toegevoegd aan de celebrity-afbeeldingen en geregistreerd als gerelateerde gegevens voor elke afbeelding.

In een black box-omgeving kon FakeTagger een nauwkeurigheid van meer dan 88,95% bereiken over de vier toepassingen. In een parallelle white box-scenario nam de nauwkeurigheid toe tot bijna 100%. Echter, aangezien dit toekomstige iteraties van deepfake-software suggereert die FakeTagger rechtstreeks incorporeren, is dit een onwaarschijnlijke scenario in de nabije toekomst.

De kosten tellen

De onderzoekers merken op dat het meest uitdagende scenario voor FakeTagger complete beeldsynthese is, zoals CLIP-gebaseerde abstracte generatie, aangezien de invoertrainingsgegevens in een dergelijk geval onderhevig zijn aan de diepste niveaus van abstractie. Echter, dit geldt niet voor de deepfake-workflows die de afgelopen jaren de headlines hebben gedomineerd, aangezien deze afhankelijk zijn van een getrouwe weergave van ID-definiërende gezichtskenmerken.

Het artikel merkt ook op dat tegenstanders mogelijk pogingen kunnen doen om perturbaties toe te voegen, zoals kunstmatige ruis en korrel, om een dergelijk taggingsysteem te dwarsbomen, hoewel dit waarschijnlijk een nadelig effect op de authenticiteit van deepfake-uitvoer zou hebben.

Verder merken ze op dat FakeTagger redundante gegevens aan beelden moet toevoegen om de overleving van de tags die het embedt te garanderen, en dat dit een aanzienlijke computationele kostenpost kan hebben op grote schaal.

De auteurs concluderen door op te merken dat FakeTagger mogelijk potentieel heeft voor herkomstvolgingsdoeleinden in andere domeinen, zoals tegenstanderregen en andere soorten beeldgebaseerde aanvallen, zoals tegenstanderblootstelling, nevel, onscherpte, vignettering en kleur-jittering.