Identifikation af Deepfake-datakilder med AI-baseret tagging

Et samarbejde mellem forskere i Kina, Singapore og USA har produceret et elastisk system til at 'mærke' ansigtsbilleder så robust, at de identificerende markører ikke ødelægges under en deepfake træningsproces, der baner vejen for IP-påstande, der kunne sætte en indhug i syntetiske billedgenereringssystemers evne til at 'anonymisere' illegitimt skrabet kildedata.

Systemet, berettiget FakeTagger, bruger en koder/dekoder-proces til at indlejre visuelt umærkelig ID-information i billeder på et lavt nok niveau til, at den injicerede information vil blive fortolket som væsentlige ansigtskarakteristiske data og derfor passeret igennem abstraktion processer intakte, på samme måde, for eksempel som øjen- eller munddata.

En oversigt over FakeTagger-arkitekturen. Kildedata bruges til at generere en 'redundant' ansigtskarakteristik, der ignorerer baggrundselementer, som vil blive maskeret ud gennem en typisk deepfake-arbejdsgang. Beskeden kan gendannes i den anden ende af processen og identificeres gennem en passende genkendelsesalgoritme. Kilde: http://xujuefei.com/felix_acmmm21_faketagger.pdf

Forskningen kommer fra School of Cyber ​​Science and Engineering i Wuhan, Key Laboratory of Aerospace Information Security and Trusted Computing i Kinas undervisningsministerium, Alibaba Group i USA, Northeastern University i Boston og Nanyang Technological University i Singapore.

Eksperimentelle resultater med FakeTagger indikerer en re-identifikationsrate på op til næsten 95 % på tværs af fire almindelige typer af deepfake-metoder: identitetsbytte (dvs. DeepFaceLab, ansigtsbytte); genskabelse af ansigtet; attribut redigering; og total syntese.

Mangler ved Deepfake Detection

Selvom de sidste tre år har bragt en afgrøde af nye tilgange til deepfake-identifikationsmetoder, er alle disse tilgange nøglen til afhjælpbare mangler ved deepfake-arbejdsgange, som f.eks. øjenglimt i undertrænede modeller, og manglende blink i tidligere deepfakes med utilstrækkeligt forskellige ansigtssæt. Efterhånden som nye nøgler er identificeret, har de gratis og open source-softwarelagre undgået dem, enten bevidst eller som et biprodukt af forbedringer i deepfake-teknikker.

Det nye papir bemærker, at den mest effektive post-fakto-detektionsmetode, der er produceret fra Facebooks seneste konkurrence om deepfake-detektion (DFDC), er begrænset til 70 % nøjagtighed med hensyn til at spotte deepfakes i naturen. Forskerne tilskriver denne repræsentative svigt dårlig generalisering mod nye og innovativ GAN og encoder/decoder deepfake systemer, og til den ofte forringede kvalitet af deepfake substitutioner.

I sidstnævnte tilfælde kan dette være forårsaget af lavkvalitetsarbejde fra deepfakers side eller komprimeringsartefakter, når videoer uploades til deleplatforme, der søger at begrænse båndbreddeomkostningerne og omkode videoer med drastisk lavere bithastigheder end indsendelserne . Ironisk nok, ikke kun dette billede forringelse ikke forstyrre den tilsyneladende ægthed af en deepfake, men det kan faktisk forstærke illusionen, da den deepfake-video er indlejret i et almindeligt visuelt formsprog af lav kvalitet, der opfattes som autentisk.

Overlevelig tagging som en hjælp til modelinversion

Identifikation af kildedata fra maskinlæringsoutput er et relativt nyt og voksende område, og et område, der muliggør en ny æra med IP-baserede retssager, som regeringernes nuværende eftergivende skærmskrabningsbestemmelser (designet til ikke at kvæle national forskning fremtrædende i lyset af et globalt AI-våbenkapløb) udvikler sig til strengere lovgivning, efterhånden som sektoren bliver kommercialiseret.

Model Inversion omhandler kortlægning og identifikation af kildedata fra output genereret af syntesesystemer i en række domæner, herunder Natural Language Generation (NLG) og billedsyntese. Modelinversion er særligt effektiv til at genidentificere ansigter, der enten var slørede, pixelerede eller på anden måde har fundet vej gennem abstraktionsprocessen i et Generative Adversarial Network eller encoder/decoder-transformationssystem såsom DeepFaceLab.

Tilføjelse af målrettet tagging til nye eller eksisterende ansigtsbilleder er en potentiel ny hjælp til at modellere inversionsteknikker, med vandmærkning et fremvoksende felt.

Post-Facto Tagging

FakeTagger er tænkt som en efterbehandlingstilgang. For eksempel, når en bruger uploader et billede til et socialt netværk (som normalt involverer en form for optimeringsproces og sjældent en direkte og uforfalsket overførsel af det originale billede), vil algoritmen behandle billedet for at anvende formodede uudslettelige karakteristika til ansigtet .

Alternativt kunne algoritmen anvendes på tværs af historiske billedsamlinger, som det er sket flere gange i løbet af de sidste tyve år, som store lagerfotos og kommercielle billedsamlingssteder har søgt metoder at identificere indhold, der er blevet genbrugt uden tilladelse.

FakeTagger søger at indlejre genskabelige ID-karakteristika fra forskellige deepfake-processer.

Udvikling og test

Forskerne testede FakeTagger mod en række deepfake-softwareapplikationer på tværs af de førnævnte fire tilgange, herunder det mest udbredte lager, DeepFaceLab; Stanfords Face2Face, som kan overføre ansigtsudtryk på tværs af billeder og identiteter; og STGAN, som kan redigere ansigtsegenskaber.

Test blev udført med CelebA-HQ, et populært skrabet offentligt lager, der indeholder 30,000 ansigtsbilleder af berømtheder i forskellige opløsninger op til 1024 x 1024 pixels.

Som en baseline testede forskerne oprindeligt konventionelle billedvandmærketeknikker for at se, om de pålagte tags ville overleve træningsprocesserne i deepfake arbejdsgange, men metoderne mislykkedes på tværs af alle fire tilgange.

FakeTaggers indlejrede data blev injiceret på indkoderstadiet i face-set-billederne ved hjælp af en arkitektur baseret på U-Net foldningsnetværk for biomedicinsk billedsegmentering, udgivet i 2015. Efterfølgende trænes dekoderdelen af ​​rammeværket til at finde den indlejrede information.

Processen blev afprøvet i en GAN-simulator, der udnyttede de førnævnte FOSS-applikationer/algoritmer, i en sort boks-indstilling uden diskret eller speciel adgang til hvert systems arbejdsgange. Tilfældige signaler blev knyttet til berømthedsbillederne og logget som relaterede data til hvert billede.

I en sort boks-indstilling var FakeTagger i stand til at opnå en nøjagtighed på over 88.95 % over de fire applikationers tilgange. I et parallelt white-box-scenarie steg nøjagtigheden til næsten 100 %. Men da dette antyder fremtidige iterationer af deepfake-software, der inkorporerer FakeTagger direkte, er det et usandsynligt scenario i den nærmeste fremtid.

Optælling af omkostningerne

Forskerne bemærker, at det mest udfordrende scenarie for FakeTagger er komplet billedsyntese, såsom CLIP-baseret abstrakt generering, da input træningsdata er underlagt de allerdybeste abstraktionsniveauer i et sådant tilfælde. Dette gælder dog ikke de deepfake arbejdsgange, der har domineret overskrifter i de sidste mange år, da disse er afhængige af en tro gengivelse af ID-definerende ansigtskarakteristika.

Avisen bemærker også, at modstridende angribere kunne tænkes at forsøge at tilføje forstyrrelser, såsom kunstig støj og korn, for at forhindre et sådant mærkningssystem, selvom dette sandsynligvis vil have en skadelig effekt på ægtheden af ​​deepfake-output.

Yderligere bemærker de, at FakeTagger skal tilføje overflødige data til billeder for at sikre overlevelsen af ​​de tags, som den indlejrer, og at dette kan have en bemærkelsesværdig beregningsomkostning i skala.

Forfatterne afslutter med at bemærke, at FakeTagger kan have potentiale for herkomstsporing på andre domæner, som f.eks. modstridende regnangreb og andre typer billedbaserede angreb, som f.eks modstridende eksponering, haze, sløring, vignettering , farverystende.