Identifiering av Deepfake Datakällor med AI-baserad Tagging

Ett samarbete mellan forskare i Kina, Singapore och USA har resulterat i ett robust system för “tagging” av ansiktsfoton så att identifieringsmarkörerna inte förstörs under en deepfake-träningsprocess, vilket banar väg för IP-anspråk som kan påverka förmågan hos syntetisk bildgenereringssystem att “anonymisera” olagligt skrapade datakällor.

Systemet, som kallas FakeTagger, använder en encoder/decoder-process för att infoga synbart oföränderliga ID-uppgifter i bilder på en så låg nivå att den injicerade informationen kommer att tolkas som väsentliga ansiktsdrag och därför föras igenom abstraktions-processer intakta, på samma sätt som till exempel ögon- eller munndata.

En översikt av FakeTagger-arkitekturen. Källdata används för att generera en ‘redundant’ ansiktsdrag, som ignorerar bakgrunds-element som kommer att maskeras ut genom en typisk deepfake-arbetsflöde. Meddelandet kan återställas i andra änden av processen och identifieras genom en lämplig erkännandetalgoritm. Källa: http://xujuefei.com/felix_acmmm21_faketagger.pdf

Forskningen kommer från Skolan för cybersäkerhet och teknik vid Wuhan, Key Laboratory of Aerospace Information Security and Trusted Computing vid Kinas utbildningsministerium, Alibaba Group i USA, Northeastern University i Boston och Nanyang Technological University i Singapore.

Experimentella resultat med FakeTagger visar en återidentifieringsfrekvens på upp till nästan 95% över fyra vanliga typer av deepfake-metodologier: identitetsswap (t.ex. DeepFaceLab, FaceSwap); ansiktsåtergivning; attributredigering; och total syntes.

Deepfake Detektions Brist

Även om de senaste tre åren har gett upphov till en skörd av nya tillvägagångssätt för deepfake-identifieringsmetodologier, är alla dessa tillvägagångssätt beroende av åtgärdbara brister i deepfake-arbetsflöden, såsom ögonblink i outtränade modeller, och brist på blinkning i tidigare deepfakes med otillräckligt diversa ansiktsuppsättningar. När nya nycklar identifieras, har de fria och öppna källkods-repositorierna eliminerat dem, antingen medvetet eller som en biprodukt av förbättringar av deepfake-tekniker.

Den nya artikeln observerar att den mest effektiva post-facto-detektionsmetoden som producerats från Facebooks senaste deepfake-detektionskonkurrens (DFDC) är begränsad till 70% noggrannhet, när det gäller att identifiera deepfakes i vilt tillstånd. Forskarna tillskriver denna representativa misslyckande till dålig generalisering mot nya och innovativa GAN- och encoder/decoder-deepfake-system, och till den ofta försämrade kvaliteten på deepfake-ersättningar.

I det senare fallet kan detta orsakas av lågkvalitativt arbete från deepfake-utvecklare, eller komprimeringsartefakter när videor laddas upp till delningsplattformar som försöker begränsa bandbreddskostnader, och omkodar videor med drastiskt lägre bitfrekvenser än inlämningshandlingarna. Ironiskt nog, inte bara försvagar denna bildförsämring inte den uppenbara autenticiteten hos en deepfake, utan den kan faktiskt förstärka illusionen, eftersom deepfake-videon absorberas i en gemensam, lågkvalitativ visuell idiom som uppfattas som äkta.

Överlevande Tagging som Hjälp till Modellinversion

Att identifiera källdata från maskinlärningsutdata är ett relativt nytt och växande område, och ett som möjliggör en ny era av IP-baserad rättslig prövning, eftersom regeringars nuvarande tillåtande skärmdump-regler (utformade för att inte hämma nationell forskningsprestige i ansiktet av en global AI-“vapenkapprace”) utvecklas till strängare lagstiftning när sektorn kommer att kommersialiseras.

Modellinversion handlar om kartläggning och identifiering av källdata från utdata som genereras av syntetiska system i ett antal domäner, inklusive naturlig språkgenerering (NLG) och bildsyntes. Modellinversion är särskilt effektiv för att återidentifiera ansikten som antingen var suddiga, pixlade eller som har passerat genom abstraktionsprocessen i ett generativt adversariellt nätverk eller encoder/decoder-omvandlingssystem som DeepFaceLab.

Att lägga till riktad tagging till nya eller befintliga ansiktsbilder är en potentiell ny hjälp till modellinversions-tekniker, med vattenmärkning som en framväxande fält.

Post-Facto Tagging

FakeTagger är avsett som en post-processing-approach. Till exempel, när en användare laddar upp en bild till ett socialt nätverk (vilket vanligtvis innebär någon form av optimeringsprocess och sällan en direkt och oförändrad överföring av den ursprungliga bilden), skulle algoritmen bearbeta bilden för att tillämpa påstådda oförstörbara egenskaper på ansiktet.

Alternativt kunde algoritmen tillämpas på historiska bildsamlingar, som har hänt flera gånger under de senaste tjugo åren, när stora aktiebild- och kommersiella bildsamlingssajter har sökt metoder för att identifiera innehåll som har återanvänts utan tillstånd.

FakeTagger syftar till att infoga återställbara ID-egenskaper från olika deepfake-processer.

Utveckling och Testning

Forskarna testade FakeTagger mot ett antal deepfake-programvaruapplikationer över de ovannämnda fyra tillvägagångssätten, inklusive den mest använda repositoriet, DeepFaceLab; Stanfords Face2Face, som kan överföra ansiktsuttryck över bilder och identiteter; och STGAN, som kan redigera ansiktsattribut.

Testningen utfördes med CelebA-HQ, en populär skrapad offentlig repositorium som innehåller 30 000 ansiktsbilder av kändisar i olika upplösningar upp till 1024 x 1024 pixlar.

Som en baslinje testade forskarna initialt konventionella bildvattenmärknings-tekniker för att se om de påtvingade taggarna skulle överleva träningsprocesserna för deepfake-arbetsflöden, men metoderna misslyckades över alla fyra tillvägagångssätt.

FakeTaggers infogade data injicerades vid encoder-stadiet i face-set-bilder med en arkitektur baserad på U-Net-konvolutionsnätverket för biomedicinsk bildsegmentering, släppt 2015. Därefter tränades decoder-delen av ramen för att hitta den infogade informationen.

Processen testades i en GAN-simulator som utnyttjade de ovannämnda FOSS-applikationerna/algoritmerna, i en svart låda-miljö med ingen diskret eller särskild åtkomst till arbetsflödena för varje system. Slumpmässiga signaler fästes vid celebrity-bilderna och loggades som relaterad data till varje bild.

I en svart låda-miljö kunde FakeTagger uppnå en noggrannhet som översteg 88,95% över de fyra applikationernas tillvägagångssätt. I en parallell vit låda-scenario ökade noggrannheten till nästan 100%. Men eftersom detta antyder framtida iterationer av deepfake-programvara som inkorporerar FakeTagger direkt, är det en osannolik scenario i nära framtiden.

Kostnadsberäkning

Forskarna noterar att den mest utmanande scenariot för FakeTagger är komplett bildsyntes, såsom CLIP-baserad abstrakt generering, eftersom indata-träningsdata är föremål för de djupaste nivåerna av abstraktion i ett sådant fall. Men detta gäller inte för deepfake-arbetsflöden som har dominerat rubrikerna under de senaste åren, eftersom dessa är beroende av trogen reproduktion av ID-definierande ansiktsdrag.

Artikeln noterar också att adversariella angripare kan försöka lägga till perturbationer, såsom artificiell brus och korn, för att förhindra ett sådant taggningsystem, men detta skulle troligen ha en skadlig effekt på autenticiteten hos deepfake-utdata.

De noterar vidare att FakeTagger behöver lägga till redundant data till bilder för att säkerställa överlevnaden av de taggar som det infogar, och att detta kan ha en betydande beräkningskostnad i stor skala.

Författarna avslutar med att notera att FakeTagger kan ha potential för proveniensspårning i andra domäner, såsom adversarial regnattacker och andra typer av bildbaserade attacker, såsom adversarial exponering, dimma, suddighet, vignettering och färgstörning.