Forskare identifierar en resilient egenskap hos deepfakes som kan underlätta långsiktig upptäckt

Sedan de första deepfake-detektionslösningarna började dyka upp 2018 har datorseende- och säkerhetsforskningssektorn sökt efter att definiera en väsentlig egenskap hos deepfake-videor – signaler som kunde visa sig vara resistenta mot förbättringar i populära ansikts syntes-teknologier (såsom autoencoder-baserade deepfake-paket som DeepFaceLab och FaceSwap, och användningen av Generative Adversarial Networks för att återskapa, simulera eller ändra mänskliga ansikten).

Många av “tecknen”, såsom brist på blinkning, blev föråldrade av förbättringar i deepfakes, medan den potentiella användningen av digitala bevis-tekniker (såsom Adobe-ledda Content Authenticity Initiative) – inklusive blockchain-ansatser och digital vattenstämpel av potentiella källfoton – antingen kräver omfattande och dyra förändringar i den befintliga mängden tillgängliga källbilder på internet, eller också skulle behöva en betydande samarbetsinsats mellan nationer och regeringar för att skapa system för övervakning och autentisering.

Därför skulle det vara mycket användbart om en verkligt grundläggande och resilient egenskap kunde urskiljas i bild- och videoinnehåll som innehåller ändrade, uppfunna eller identitetsbyttade mänskliga ansikten; en egenskap som kunde härledas direkt från förfalskade videor, utan storskalig verifiering, kryptografisk tillgångshashing, kontextkontroll, trovärdighetsutvärdering, artefaktcentrerad upptäckningsrutiner eller andra betungande tillvägagångssätt för deepfake-upptäckt.

Deepfakes i ramen

En ny forskningssamarbete mellan Kina och Australien tror att de har funnit denna “heliga graal”, i form av regelbundenhetsstörning.

Författarna har utvecklat en metod för att jämföra den rumsliga integriteten och den temporala kontinuiteten hos riktiga videor mot de som innehåller deepfake-innehåll, och har funnit att alla former av deepfake-ingrepp stör regelbundenheten hos bilden, hur oändligt litet.

Detta beror delvis på att deepfake-processen bryter ner målvideon i ramar och tillämpar effekten av en tränad deepfake-modell i varje (ersatt) ram. Populära deepfake-distributioner fungerar på samma sätt som animatörer i detta avseende, och ger mer uppmärksamhet åt autenticiteten hos varje ram än till varje rams bidrag till den övergripande rumsliga integriteten och den temporala kontinuiteten hos videon.

Från papperet: A) Skillnader mellan typerna av data. Här ser vi att p-fakes störningar förändrar den rumsliga och temporala kvaliteten på bilden på samma sätt som en deepfake gör, utan att byta identitet. B) Bulleranalys av de tre typerna av data, som visar hur p-fake imiterar deepfake-störning. C) En temporär visualisering av de tre typerna av data, med riktiga data som visar större integritet i fluktuation. D) T-SNE-visualiseringen av extraherade funktioner för riktiga, förfalskade och p-förfalskade video. Källa: https://arxiv.org/pdf/2207.10402.pdf

Detta är inte det sätt som en videokodare behandlar en serie ramar när en originalinspelning görs eller bearbetas. För att spara på filstorlek eller göra en video lämplig för strömning, kastas en enorm mängd information bort av videokodaren. Även vid dess högsta kvalitetsinställningar kommer kodaren att allokera nyckelramar (en variabel som kan ställas in av användaren) – hela, praktiskt taget oförändrade bilder som förekommer vid ett förinställt intervall i videon.

De mellanliggande ramarna mellan nyckelramarna är, till en viss grad, uppskattade som en variant av ramarna, och kommer att återanvända så mycket information som möjligt från de angränsande nyckelramarna, snarare än att vara kompletta ramar i sig.

Till vänster, en komplett nyckelram, eller ‘i-ram’, lagras i den komprimerade videon, till en viss kostnad av filstorlek; till höger, en mellanliggande ‘delta-ram’ återanvänder alla tillämpliga delar av den mer datarika nyckelramen. Källa: https://blog.video.ibm.com/streaming-video-tips/keyframes-interframe-video-compression/

På detta sätt är blocket (innehållande x antal ramar, beroende på nyckelraminställningar) i princip den minsta enheten som beaktas i en typisk komprimerad video, snarare än någon enskild ram. Även nyckelramen i sig, känd som en i-ram, utgör en del av den enheten.

I termer av traditionell tecknad animation, utför en kodare en form av in-betweening, med nyckelramarna som fungerar som tältstolpar för de mellanliggande, härledda ramarna, kända som delta-ramar.

I kontrast till detta ägnar deepfake-superposition enorm uppmärksamhet och resurser åt varje enskild ram, utan att beakta ramen i ett vidare sammanhang, och utan att göra tillräckligt med utrymme för det sätt som kompression och blockbaserad kodning påverkar egenskaperna hos “äkta” video.

En närmare titt på diskontinuiteten mellan den temporala kvaliteten på en äkta video (vänster), och samma video när den störs av deepfakes (höger).

Även om vissa av de bättre deepfakers använder omfattande efterbearbetning, i paket som After Effects, och även om DeepFaceLab-distributionen har viss inbyggd kapacitet att applicera “blandnings”-förfaranden som rörelseoskärpa, påverkar sådana trick inte missmatchningen mellan rumslig och temporalt kvalitet mellan äkta och deepfakes-videor.

Den nya artikeln heter Upptäckt av Deepfake genom att skapa rumslig-tidslig regelbundenhetsstörning, och kommer från forskare vid Tsinghua University, Department of Computer Vision Technology (VIS) vid Baidu Inc., och University of Melbourne

‘Falska’ Falska Videor

Forskarna bakom artikeln har införlivat funktionaliteten i forskningen i en plug-and-play-modul som kallas Pseudo-fake Generator (P-fake Generator), som omvandlar riktiga videor till falska deepfake-videor, genom att störa dem på samma sätt som den faktiska deepfake-processen gör, utan att faktiskt utföra några deepfake-åtgärder.

Tester visar att modulen kan läggas till alla befintliga deepfake-upptäckningssystem praktiskt taget utan någon kostnad för resurser, och att den märkbart förbättrar deras prestanda.

Upptäckten kunde hjälpa till att hantera en av de andra hinder i deepfake-upptäckningsforskning: bristen på äkta och uppdaterade dataset. Eftersom deepfake-generering är en omfattande och tidskrävande process, har samhället utvecklat ett antal deepfake-dataset under de senaste fem åren, många av vilka är ganska föråldrade.

Genom att isolera regelbundenhetsstörning som en deepfake-agnostisk signal för videor som ändrats post-facto, gör den nya metoden det möjligt att generera obegränsade exempel och dataset-videor som fokuserar på denna aspekt av deepfakes.

Översikt av STE-blocket, där kanalvis temporal konvolution används som en sporre för att generera rumsligt-tidsligt förbättrade kodningar, vilket resulterar i samma signatur som till och med en mycket övertygande deepfake skulle ge. Med denna metod kan ‘falska’ falska videor genereras som bär samma signatur-egenskaper som någon ändrad, deepfake-liknande video, och som inte beror på specifika distributioner eller på flyktiga aspekter som funktionbeteende eller algoritmiska artefakter.

Tester

Forskarna genomförde experiment på sex noterade dataset som används i deepfake-upptäckningsforskning: FaceForensics++ (FF++); WildDeepFake; Deepfake Detection Challenge preview (DFDCP); Celeb-DF; Deepfake Detection (DFD); och Face Shifter (FSh).

För FF++ tränade forskarna sin modell på den ursprungliga dataseten och testade var och en av de fyra delmängderna separat. Utan att använda något deepfake-material i träning, kunde den nya metoden överträffa de bästa resultaten.

Metoden tog också pole position när den jämfördes med FF++ C23-komprimerade dataset, som tillhandahåller exempel som visar den typ av kompressionsartefakter som är trovärdiga i verkliga deepfake-visningsmiljöer.

Författarna kommenterar:

‘Prestanda inom FF++ validerar genomförbarheten av vår huvudidé, medan generaliserbarhet förblir ett stort problem för befintliga deepfake-upptäckningsmetoder, eftersom prestandan inte garanteras när man testar på deepfakes genererade av osedda tekniker.

‘Överväg ytterligare verkligheten i vapenkapplöpningen mellan detektorer och förfalskare, är generaliserbarhet en viktig kriterium för att mäta effektiviteten av en upptäckningsmetod i den verkliga världen.’

Även om forskarna genomförde ett antal subtester (se artikeln för detaljer) om “robusthet” och varierande typer av videor som matades in (dvs. riktiga, falska, p-förfalskade etc.), är de mest intressanta resultaten från testet för cross-dataset-prestanda.

För detta tränade författarna sin modell på den ovannämnda “verkliga världen” C23-versionen av FF++, och testade denna mot fyra dataset, och uppnådde, enligt författarna, överlägsen prestanda över alla.

Resultat från cross-dataset-utmaningen. Artikeln noterar att SBI använder en liknande ansats som författarnas egen, medan p-fake påstår sig ha bättre prestanda för rumslig-tidslig regelbundenhetsstörning.

Artikeln påstår:

‘På den mest utmanande Deepwild, överträffar vår metod SOTA-metoden med cirka 10 procentenheter i termer av AUC%. Vi tror att detta beror på den stora mångfalden av deepfakes i Deepwild, som gör att andra metoder misslyckas med att generalisera väl från sedda deepfakes.’

Metrerna som användes för testerna var Accuracy Score (ACC), Area Under the Receiver Operating Characteristic Curve (AUC) och Equal Error Rate (EER).

Motangrepp?

Även om media karakteriserar spänningen mellan deepfake-utvecklare och deepfake-upptäckningsforskare i termer av ett tekniskt krig, är det möjligt att de förra bara försöker skapa mer övertygande utdata, och att ökad svårighet för deepfake-upptäckt är en omständlig biprodukt av dessa ansträngningar.

Om utvecklare kommer att försöka åtgärda denna nyupptäckta brist beror kanske på om de känner att regelbundenhetsstörning kan uppfattas i en deepfake-video, för blotta ögat, som en token av oäkthet, och att därför denna mätning är värd att åtgärda från ett rent kvalitativt perspektiv.

Även om fem år har passerat sedan de första deepfakes gick online, är deepfaking fortfarande en relativt ny teknik, och samhället är förmodligen mer besatt av detaljer och upplösning än korrekt sammanhang eller matchning av signaturer för komprimerad video, båda av vilka kräver en viss “degradering” av utdata – just det som hela deepfake-samhället för närvarande kämpar mot.

Om den allmänna konsensusen där visar sig vara att regelbundenhetsstörning är en ny signatur som inte påverkar kvalitet, kan det finnas ingen ansträngning att kompensera för det – även om det kan “avbrytas” av vissa efterbearbetnings- eller arkitekturprocedurer, vilket är långt ifrån klart.

Publicerad första gången den 22 juli 2022.