Identifikation af Deepfake Datakilder med AI-baseret Tagging

Et samarbejde mellem forskere i Kina, Singapore og USA har resulteret i et robust system for ‘tagging’ af ansigtsfotos, så robust, at de identificerende mærker ikke ødelægges under en deepfake-træningsproces, og baner vejen for IP-krav, der kan true synthetic image generation systemers evne til at ‘anonymisere’ ulovligt skrabet kilde-data.

Systemet, der hedder FakeTagger, bruger en encoder/decoder-proces til at indlejre visuelt utilgængelige ID-oplysninger i billeder på et lavt nok niveau, så den indsprøjtede information vil blive fortolket som essentielle ansigtskarakteristika-data og derfor passerer gennem abstraktions-processer intakt, på samme måde som f.eks. øjne eller mund-data.

En oversigt over FakeTagger-arkitekturen. Kilde-data bruges til at generere en ‘redundant’ ansigtskarakteristika, der ignorerer baggrundselementer, som vil blive maskeret ud gennem en typisk deepfake-workflow. Meddelelsen kan genskabes ved den anden ende af processen og kan identificeres gennem en passende genkendelsesalgoritme. Kilde: http://xujuefei.com/felix_acmmm21_faketagger.pdf

Forskningen kommer fra School of Cyber Science and Engineering på Wuhan, Key Laboratory of Aerospace Information Security and Trusted Computing på Kinas Ministerium for Uddannelse, Alibaba Group i USA, Northeastern University i Boston og Nanyang Technological University i Singapore.

Eksperimentelle resultater med FakeTagger viser en genkendelsesrate på op til næsten 95% på tværs af fire almindelige typer af deepfake-metodologier: identitetsudskift (f.eks. DeepFaceLab, FaceSwap); ansigtsreenactment; attributredigering; og total syntese.

Deepfake Detektions Svagheder

Selv om de sidste tre år har bragt en høst af nye tilgange til deepfake identifikationsmetodologier, er alle disse tilgange baseret på remedierbare svagheder i deepfake arbejdsgange, såsom øje-glans i undertrænede modeller, og manglende blinken i tidligere deepfakes med utilstrækkeligt diverse ansigts-sæt. Når nye nøgler identificeres, har de frie og åbne software-repositorier elimineret dem, enten bevidst eller som en biprodukt af forbedringer i deepfake-teknikker.

Den nye artikel bemærker, at den mest effektive post-facto detektionsmetode, der er produceret fra Facebooks seneste deepfake detektionskonkurrence (DFDC), er begrænset til 70% nøjagtighed i forhold til at spotte deepfakes i det vilde. Forskerne tilskriver denne repræsentative fejl til dårlig generalisering mod nye og innovative GAN og encoder/decoder deepfake systemer, og til den ofte forringede kvalitet af deepfake-erstatninger.

I det sidste tilfælde kan dette være forårsaget af lavkvalitetsarbejde på deepfakerens side eller kompressionsarter, når videoer uploades til delingsplatforme, der søger at begrænse bandbreddeomkostninger, og genkodér videoer i dramatisk lavere bitrate end indsendelserne. Ironisk nok interfererer denne billedforringelse ikke med deepfakens åbenlyse autenticitet, men kan faktisk forstærke illusionen, da deepfake-videoen underordnes en fælles, lavkvalitets visuelt idiom, der opfattes som autentisk.

Overlevende Tagging som Hjælp til Model Inversion

At identificere kilde-data fra maskinlæringsoutput er et relativt nyt og voksende felt, og et, der muliggør en ny æra af IP-baseret retsliggang, da regeringers nuværende tilladende skærmbeskyttelsesregler (designet til ikke at kvæle national forskning i ansigtet af en global AI ‘kapløb’) udvikler sig til strengere lovgivning, da sektoren bliver kommerciel.

Model Inversion handler om at kortlægge og identificere kilde-data fra output genereret af syntese-systemer i en række domæner, herunder Natural Language Generation (NLG) og billedsyntese. Model inversion er særligt effektiv til at genkende ansigter, der enten er blevet uskarpe, pixelerede eller har passeret gennem abstraktionsprocessen i et Generativt Adversarial Network eller encoder/decoder-transformationssystem som DeepFaceLab.

At tilføje målrettet tagging til nye eller eksisterende ansigtsbilleder er en potentiel ny hjælp til model inversion-teknikker, med vandmærkning som et nyt felt.

Post-Facto Tagging

FakeTagger er tænkt som en post-processing-tilgang. F.eks. når en bruger uploader et billede til et sociale netværk (hvad normalt indebærer en form for optimeringsproces og sjældent en direkte og uplettet overførsel af det originale billede), vil algoritmen behandle billedet for at tilføje formodentlig uudslettelige karakteristika til ansigtet.

Alternativt kan algoritmen anvendes på historiske billedsamlinger, som er sket adskillige gange i løbet af de sidste 20 år, da store aktiebilled- og kommercielle billedsamlinger har søgt metoder til at identificere indhold, der er blevet genbrugt uden tilladelse.

FakeTagger søger at indlejre genskabelige ID-karakteristika fra forskellige deepfake-processer.

Udvikling og Test

Forskerne testede FakeTagger mod en række deepfake software-applikationer på tværs af de ovennævnte fire tilgange, herunder det mest anvendte repository, DeepFaceLab; Stanfords Face2Face, der kan overføre ansigtsudtryk på tværs af billeder og identiteter; og STGAN, der kan redigere ansigtsattributter.

Testen blev udført med CelebA-HQ, en populær offentlig repository, der indeholder 30.000 ansigtsbilleder af kendisser i forskellige opløsninger op til 1024 x 1024 pixel.

Som en baseline testede forskerne først konventionelle billedvandmærknings-teknikker for at se, om de påførte mærker ville overleve deepfake-arbejdsgangens træningsprocesser, men metoderne fejlede på tværs af alle fire tilgange.

FakeTaggers indlejrede data blev indsprøjet på encoder-stadiet i ansigtsbillederne ved hjælp af en arkitektur baseret på U-Net-konvolutionsnetværk til biomedicinsk billedsegmentering, udgivet i 2015. Herefter trænes decoder-sektionen af rammen til at finde den indlejrede information.

Processen blev testet i en GAN-simulator, der udnyttede de ovennævnte FOSS-applikationer/algoritmer i en sort boks-indstilling med ingen diskrete eller speciel adgang til hver systems arbejdsgange. Tilfældige signaler blev tilføjet til de kendte billeder og logget som relateret data til hvert billede.

I en sort boks-indstilling kunne FakeTagger opnå en nøjagtighed på over 88,95% på tværs af de fire applikationers tilgange. I en parallel hvid boks-scenarie øgede nøjagtigheden til næsten 100%. Men da dette antyder fremtidige iterationer af deepfake-software, der inkorporerer FakeTagger direkte, er det en usandsynlig scenarie i nær fremtid.

At Tælle Omkostningerne

Forskerne bemærker, at den mest udfordrende scenarie for FakeTagger er komplet billedsyntese, såsom CLIP-baseret abstrakt generering, da input-træningsdata er underlagt de dybeste niveauer af abstraktion i sådant tilfælde. Men dette gælder ikke for de deepfake-arbejdsgange, der har domineret overskrifterne i de sidste flere år, da disse er afhængige af trofast reproduktion af ID-definerende ansigtskarakteristika.

Artiklen bemærker også, at adversarielle angribere kunne konceptuelt forsøge at tilføje perturbationer, såsom kunstig støj og korn, for at forhindre sådant et mærkningsystem, selv om dette sandsynligvis ville have en skadelig effekt på deepfakes autenticitet.

Desuden bemærker de, at FakeTagger skal tilføje redundant data til billeder for at sikre overlevelsen af de mærker, det indlejrer, og at dette kunne have en bemærkelsesværdig beregningsmæssig omkostning i størrelse.

Forfatterne slutter af med at bemærke, at FakeTagger kan have potentiale for provenienssporingsformål i andre domæner, såsom adversarielle regnangreb og andre typer billedbaserede angreb, såsom adversarielle eksponeringsangreb, tåge, uskarphed, vignettering og farve-jitter.

, og at dette kunne have en bemærkelsesværdig beregningsmæssig omkostning i størrelse. Forfatterne konkluderer med, at FakeTagger kan have potentiale for provenienssporingsformål i andre domæner, såsom adversarielle regnangreb og andre typer billedbaserede angreb, såsom adversarielle eksponeringsangreb, tåge, uskarphed, vignettering og farve-jitter, og at dette kunne have en bemærkelsesværdig beregningsmæssig omkostning i størrelse.