Identifikation af Deepfake Datakilder med AI-baseret Tagging

Et samarbejde mellem forskere i Kina, Singapore og USA har resulteret i et robust system til ‘tagging’ af ansigtsfotos, så robust, at identificeringsmarkørerne ikke ødelægges under en deepfake-træningsproces, og baner vejen for IP-krav, der kan true synthetic image generation systemers evne til at ‘anonymisere’ ulovligt skrabet kilde-data.

Systemet, kaldet FakeTagger, bruger en encoder/decoder-proces til at indsætte visuelt ikke-discernible ID-oplysninger i billeder på et lavt nok niveau, så den indsprøjtede information vil blive fortolket som essentiel ansigtskaraktærdata og derfor vil blive passeret gennem abstraktions-processer intakt, på samme måde som f.eks. øje- eller mund-data.

En oversigt over FakeTagger-arkitekturen. Kilde-data bruges til at generere en ‘redundant’ ansigtskaraktær, der ignorerer baggrundselementer, som vil blive maskeret ud gennem en typisk deepfake-workflow. Meddelelsen kan genskabes ved den anden ende af processen og kan identificeres gennem en passende genkendelsesalgoritme. Kilde: http://xujuefei.com/felix_acmmm21_faketagger.pdf

Forskningen kommer fra School of Cyber Science and Engineering på Wuhan, Key Laboratory of Aerospace Information Security and Trusted Computing på Kinas Ministerium for Uddannelse, Alibaba Group i USA, Northeastern University i Boston og Nanyang Technological University i Singapore.

Eksperimentelle resultater med FakeTagger indikerer en genkendelsesrate på op til næsten 95% på tværs af fire almindelige typer af deepfake-metodologier: identitetsudskift (dvs. DeepFaceLab, FaceSwap); ansigtsreenactment; attributredigering; og total syntese.

Deepfake-Detektions svagheder

Selv om de sidste tre år har bragt en høst af nye tilgange til deepfake-identifikationsmetodologier, hviler alle disse tilgange på reparable svagheder i deepfake-arbejdsgange, såsom øje-glint i undertrænede modeller, og manglende blinken i tidligere deepfakes med utilstrækkeligt diverse ansigts-sæt. Da nye nøgler identificeres, har de frie og åbne software-repositorier elimineret dem, enten bevidst eller som en biprodukt af forbedringer i deepfake-teknikker.

Den nye artikel bemærker, at den mest effektive post-facto-detektionsmetode, der er produceret fra Facebooks seneste deepfake-detektionskonkurrence (DFDC), er begrænset til 70% nøjagtighed i forhold til at spotte deepfakes i det vilde. Forskerne tilskriver denne repræsentative fejl til dårlig generalisering mod nye og innovative GAN og encoder/decoder deepfake-systemer, og til den ofte forringede kvalitet af deepfake-erstatninger.

I sidstnævnte tilfælde kan dette være forårsaget af lavkvalitetsarbejde fra deepfakers eller kompressionsarter, når videoer uploades til delingsplatforme, der søger at begrænse bandbreddeomkostninger, og genkodér videoer ved dramatisk lavere bitrates end uploadene. Ironisk nok forstyrer denne billeddegradering ikke den åbenlyse autenticitet af en deepfake, men kan faktisk forstærke illusionen, da deepfake-videoen indgår i en fælles, lavkvalitets visuel idiom, der opfattes som autentisk.

Overlevende Tagging som hjælp til Model Inversion

Identifikation af kilde-data fra maskinlæringsoutput er et relativt nyt og voksende felt, og et, der muliggør en ny æra af IP-baseret retsliggang, da regeringers nuværende tilladende skærm-skrabningsreguleringer (designet til ikke at kvæle national forskningsføring i ansigtet af en global AI ‘våbenkapløb’) udvikler sig til strengere lovgivning, da sektoren bliver kommerciel.

Model Inversion handler med mapping og identifikation af kilde-data fra output genereret af syntese-systemer i en række domæner, herunder Natural Language Generation (NLG) og billedsyntese. Model inversion er særligt effektiv til at genkende ansigter, der enten er blevet udslettet, pixelerede eller har passeret gennem abstraktionsprocessen i en Generativ Adversarial Network eller encoder/decoder-transformationssystem som DeepFaceLab.

Tilføjning af målrettet tagging til nye eller eksisterende ansigtsbilleder er en potentiel ny hjælp til model inversion-teknikker, med vandmærkning som et nyt felt.

Post-Facto Tagging

FakeTagger er designet som en post-processing-tilgang. For eksempel, når en bruger uploader et billede til et sociale netværk (hvillet normalt indebærer en form for optimeringsproces og sjældent en direkte og uplettet overførsel af det originale billede), vil algoritmen behandle billedet for at tilføje formodentlig uudslettelige karakteristika til ansigtet.

Alternativt kan algoritmen anvendes på historiske billedsamlinger, som er sket adskillige gange i løbet af de sidste tyve år, da store aktiebilled- og kommercielle billedsamlinger har søgt metoder til at identificere indhold, der er blevet genbrugt uden tilladelse.

FakeTagger søger at indsætte genskablige ID-karakteristika fra forskellige deepfake-processer.

Udvikling og Test

Forskerne testede FakeTagger mod en række deepfake-software-applikationer på tværs af de ovennævnte fire tilgange, herunder den mest brugte repository, DeepFaceLab; Stanfords Face2Face, der kan overføre ansigtsudtryk på tværs af billeder og identiteter; og STGAN, der kan redigere ansigtsattributter.

Testen blev udført med CelebA-HQ, en populær offentlig repository, der indeholder 30.000 ansigtsbilleder af kendisser i forskellige opløsninger op til 1024 x 1024 pixels.

Som en baseline testede forskerne oprindeligt konventionelle billedvandmærknings-teknikker for at se, om de pålagte tags ville overleve deepfake-arbejdsgangens træningsprocesser, men metoderne fejlede på tværs af alle fire tilgange.

FakeTaggers indlejrede data blev indsprøjet på encoder-stadiet i ansigtsbillederne ved hjælp af en arkitektur baseret på U-Net-konvolutionsnetværk til biomedicinsk billedsegmentering, udgivet i 2015. Herefter blev decoder-sektionen af rammeværket trænet til at finde den indlejrede information.

Processen blev testet i en GAN-simulator, der udnyttede de ovennævnte FOSS-applikationer/algoritmer i en sort boks-indstilling med ingen diskret eller speciel adgang til arbejdsgangene i hvert system. Tilfældige signaler blev tilføjet til celebrity-billederne og logget som relateret data til hvert billede.

I en sort boks-indstilling kunne FakeTagger opnå en nøjagtighed, der overgik 88,95% på tværs af de fire applikationers tilgange. I en parallel hvid boks-scenarie øgede nøjagtigheden til næsten 100%. Men da dette antyder fremtidige iterationer af deepfake-software, der inkorporerer FakeTagger direkte, er det en usandsynlig scenarie i nær fremtid.

At tælle omkostningerne

Forskerne bemærker, at den mest udfordrende scenarie for FakeTagger er komplet billedsyntese, såsom CLIP-baseret abstrakt generation, da input-træningsdata er underlagt de dybeste niveauer af abstraktion i sådant tilfælde. Men dette gælder ikke for deepfake-arbejdsgangene, der har domineret overskrifterne i de sidste flere år, da disse er afhængige af trofast reproduktion af ID-definerende ansigtskarakteristika.

Artiklen bemærker også, at adversarielle angribere kunne konceptuelt forsøge at tilføje perturbationer, såsom kunstig støj og korn, for at forhindre sådant et taggingsystem, selv om dette sandsynligvis ville have en skadelig effekt på deepfake-outputtens autenticitet.

Yderligere bemærker de, at FakeTagger skal tilføje redundant data til billeder for at sikre overlevelsen af de tags, det indsætter, og at dette kunne have en bemærkelsesværdig beregningsomkostning i stor skala.

Forfatterne konkluderer med at bemærke, at FakeTagger kan have potentiale for provenienssporingsformål i andre domæner, såsom adversarielle regnangreb og andre typer af billedbaserede angreb, såsom adversarielle eksponeringsangreb, tåge, uskarphed, vignettering og farve-jittering.