Identifisering av Deepfake Datakilder med AI-basert Tagging

Et samarbeid mellom forskere i Kina, Singapore og USA har produsert et robust system for «tagging» av ansiktsfotografier så solid at identifiseringsmerkene ikke ødelegges under en deepfake-treningprosess, og åpner veien for IP-krav som kan sette en demper på syntetisk bildegenereringsystemers evne til å «anonymisere» ulovlig skrapet kilde-data.

Systemet, kalt FakeTagger, bruker en encoder/decoder-prosess til å innlemme visuelt uhørbare ID-informasjon i bilder på et lavt nok nivå slik at den injiserte informasjonen vil bli tolket som essensielle ansiktskarakteristika-data, og derfor bli videreformidlet gjennom abstraksjonsprosesser intakt, på samme måte som for eksempel øye- eller munn-data.

En oversikt over FakeTagger-arkitekturen. Kilde-data brukes til å generere en «redundant» ansiktskarakteristika, og ignorerer bakgrunns-elementer som vil bli maskert ut gjennom en typisk deepfake-arbeidsflyt. Meldingen kan gjenfinnes på den andre siden av prosessen, og kan identifiseres gjennom en passende gjenkjenningsalgoritme. Kilde: http://xujuefei.com/felix_acmmm21_faketagger.pdf

Forskningen kommer fra School of Cyber Science and Engineering ved Wuhan, Key Laboratory of Aerospace Information Security and Trusted Computing ved Kinas utdanningsministerium, Alibaba Group i USA, Northeastern University i Boston og Nanyang Technological University i Singapore.

Ekperimentelle resultater med FakeTagger indikerer en gjenkjennelsesrate på opptil nesten 95% over fire vanlige typer deepfake-metodologier: identitetsskifte (dvs. DeepFaceLab, FaceSwap); ansiktsreenactment; attributtediting; og total syntese.

Deepfake-dettektions svakheter

Selv om de siste tre årene har bragt en avling av nye tilnærminger til deepfake-identifikasjonsmetodologier, er alle disse tilnærminger basert på remediable svakheter i deepfake-arbeidsflyter, som for eksempel øye-glint i under-trente modeller, og manglende blunking i tidligere deepfakes med utilstrekkelig diverse ansiktssett. Når nye nøkler blir identifisert, har de frie og åpne kildekoderepositorier obviert dem, enten bevisst eller som en biprodukt av forbedringer i deepfake-teknikker.

Den nye artikkelen observerer at den mest effektive post-facto-dettektionsmetoden produsert fra Facebooks siste deepfake-dettektionskonkurranse (DFDC) er begrenset til 70% nøyaktighet, når det gjelder å spore deepfakes i det ville. Forskerne tilskriver denne representative feil til dårlig generalisering mot nye og innovative GAN- og encoder/decoder-deepfake-systemer, og til den ofte degraderte kvaliteten på deepfake-erstatninger.

I det sistnevnte tilfelle kan dette være forårsaket av lavkvalitetsarbeid fra deepfake-utøvernes side, eller kompresjonsarter som oppstår når videoer lastes opp til delingsplattformer som søker å begrense bandbreddskostnader, og gjenkoder videoer i drastisk lavere biterater enn innleveringene. Ironisk nok interfererer ikke denne bilde-degraderingen ikke med den åpenbare autentisiteten til en deepfake, men kan faktisk forsterke illusjonen, siden deepfake-videoen blir underordnet en vanlig, lavkvalitets visuell idiom som oppfattes som autentisk.

Overlevende Tagging som en hjelp til Model Inversion

Identifisering av kilde-data fra maskinlæringsutdata er et relativt nytt og voksende felt, og ett som muliggjør en ny æra av IP-basert rettslig prosess, ettersom regjeringers nåværende permissive skjerm-skrapping-reguleringer (designet for ikke å hemme nasjonal forsknings-utmerkethet i møte med en global AI-‘våpenkappløp’) utvikler seg til strengere lovgivning ettersom sektoren blir kommersialisert.

Model Inversion handler med kartlegging og identifisering av kilde-data fra utdata generert av syntese-systemer i en rekke domener, inkludert Natural Language Generation (NLG) og bilde-syntese. Model-inversjon er særlig effektiv til å gjenidentifisere ansikter som enten er blurret, pikslet eller har gått gjennom abstraksjonsprosessen til en Generativ Adversarial Network eller encoder/decoder-transformasjonssystem som DeepFaceLab.

Tilføying av målrettet tagging til nye eller eksisterende ansiktsbilder er en potensiell ny hjelp til model-inversjons-teknikker, med vannmerking som et fremvoksende felt.

Post-Facto Tagging

FakeTagger er ment som en post-prosess-næringsmetode. For eksempel, når en bruker laster opp et foto til en sosial nettverksplattform (som vanligvis innebærer en eller annen type optimeringsprosess, og sjelden en direkte og uforandret overføring av det originale bildet), vil algoritmen prosessere bildet for å påføre antatt uutslettelige karakteristika til ansiktet.

Alternativt kan algoritmen bli brukt over historiske bilde-samlinger, som har skjedd en rekke ganger over de siste tjue årene, da store lager av aksje-bilder og kommersielle bilde-samlinger har søkt metoder for å identifisere innhold som har blitt gjenbrukt uten tillatelse.

FakeTagger søker å innlemme gjenfinnbare ID-karakteristika fra forskjellige deepfake-prosesser.

Utvikling og Testing

Forskerne testet FakeTagger mot en rekke deepfake-programvare-applikasjoner over de ovennevnte fire tilnærminger, inkludert det mest brukte repositoriet, DeepFaceLab; Stanfords Face2Face, som kan overføre ansiktsuttrykk over bilder og identiteter; og STGAN, som kan redigere ansiktsattributter.

Testing ble gjort med CelebA-HQ, en populær skrapet offentlig repository som inneholder 30 000 ansiktsbilder av kjendiser i forskjellige oppløsninger opp til 1024 x 1024 piksler.

Som en basislinje testet forskerne først konvensjonelle bilde-vannmerkings-teknikker for å se om de påførte taggene ville overleve deepfake-arbeidsflytens treningprosesser, men metodene feilet over alle fire tilnærminger.

FakeTaggers innlemmede data ble injisert på encoder-stadiet i face-set-bildene ved hjelp av en arkitektur basert på U-Net-konvolusjonsnettet for biomedisinsk bilde-segmentering, utgitt i 2015. Deretter ble decoder-delen av rammeverket trent for å finne den innlemmede informasjonen.

Prosessene ble prøvd i en GAN-simulator som utnyttet de ovennevnte FOSS-applikasjonene/algoritmene, i en black-box-innstillning uten diskret eller spesiell tilgang til hver systems arbeidsflyt. Tilfeldige signaler ble festet til celebrity-bildene, og logget som relatert data til hvert bilde.

I en black-box-innstillning klarte FakeTagger å oppnå en nøyaktighet på over 88,95% over de fire applikasjonenes tilnærminger. I en parallell white-box-scenario økte nøyaktigheten til nesten 100%. Imidlertid, siden dette antyder fremtidige iterasjoner av deepfake-programvare som inkorporerer FakeTagger direkte, er dette en usannsynlig scenario i nær fremtid.

Kostnadsregnskap

Forskerne bemerker at den mest utfordrende scenariet for FakeTagger er komplett bilde-syntese, som for eksempel CLIP-basert abstrakt generering, siden inndata-treningdata er underlagt de dypeste nivåene av abstraksjon i slike tilfeller. Imidlertid gjelder ikke dette for deepfake-arbeidsflytene som har dominert overskriftene over de siste årene, ettersom disse er avhengige av trofast reprodusering av ID-definerende ansiktskarakteristika.

Artikkelen bemerker også at motangrepere kunne forsøke å legge til perturbasjoner, som kunstig støy og korn, for å forstyrre et slikt tagging-system, selv om dette ville være sannsynlig å ha en skadelig effekt på autentisiteten til deepfake-utdata.

Forskerne bemerker videre at FakeTagger må legge til redundant data til bilder for å sikre overlevelsen av taggene det innlemmer, og at dette kunne ha en merkbar beregningskostnad i skala.

Forskerne konkluderer med å bemerke at FakeTagger kan ha potensial for proveniens-sporing i andre domener, som for eksempel motangreps-regn-angrep og andre typer bilde-basert angrep, som for eksempel motangreps-exponerings-angrep, tåke, uskarphet, vignettering og farge-jittering.