Forskare identifierar en resilient egenskap hos deepfakes som kan underlätta långsiktig upptäckt

Sedan de första deepfake-detektionslösningarna började dyka upp 2018 har datorseende- och säkerhetsforskningssektorn försökt att definiera en väsentlig egenskap hos deepfake-videor – signaler som kunde visa sig vara resistenta mot förbättringar i populära ansikts syntesteknologier (såsom autoencoder-baserade deepfake-paket som DeepFaceLab och FaceSwap, och användningen av Generative Adversarial Networks för att återskapa, simulera eller ändra mänskliga ansikten).

Många av “tecknen”, såsom brist på blinkning, blev inaktuella på grund av förbättringar i deepfakes, medan den potentiella användningen av digitala bevismetoder (såsom Adobe-ledda Content Authenticity Initiative) – inklusive blockchain-ansatser och digital vattenstämpel av potentiella källbilder – antingen kräver omfattande och dyra ändringar i den befintliga mängden tillgängliga källbilder på internet, eller också skulle behöva en betydande samarbetsinsats mellan nationer och regeringar för att skapa system för övervakning och autentisering.

Därför skulle det vara mycket användbart om en verkligt fundamental och resilient egenskap kunde urskiljas i bild- och videoinnehåll som visar ändrade, uppfunna eller identitetsbytena mänskliga ansikten; en egenskap som kunde härledas direkt från förfalskade videor, utan storskalig verifikation, kryptografisk tillgångshashing, kontextkontroll, sannolikhetsutvärdering, artefaktcentrerade upptäcktrutiner eller andra betungande tillvägagångssätt för deepfake-upptäckt.

Deepfakes i ramen

Ett nytt forskningssamarbete mellan Kina och Australien tror att de har funnit denna “heliga graal”, i form av regelbundenhetsstörning.

Författarna har utarbetat en metod för att jämföra den rumsliga integriteten och den temporala kontinuiteten hos riktiga videor mot de som innehåller deepfake-innehåll, och har funnit att alla typer av deepfake-ingrepp stör regelbundenheten i bilden, hur oändligt litet det än må vara.

Detta beror delvis på att deepfake-processen bryter ner målvideon i ramar och tillämpar effekten av en tränad deepfake-modell i varje (ersatt) ram. Populära deepfake-distributioner fungerar på samma sätt som animatörer i detta avseende, och ger mer uppmärksamhet åt autenticiteten hos varje ram än till varje rams bidrag till den övergripande rumsliga integriteten och den temporala kontinuiteten hos videon.

Från artikeln: A) Skillnader mellan typerna av data. Här ser vi att p-fakes störningar ändrar den rumsliga och temporala kvaliteten på bilden på samma sätt som en deepfake gör, utan att byta identitet. B) Bulleranalys av de tre typerna av data, som visar hur p-fake imiterar deepfake-störning. C) En tidsmässig visualisering av de tre typerna av data, med riktiga data som visar större integritet i fluktuation. D) T-SNE-visualiseringen av extraherade funktioner för riktiga, förfalskade och p-fake-videor. Källa: https://arxiv.org/pdf/2207.10402.pdf

Detta är inte det sätt som en videokodare behandlar en serie ramar när en originalinspelning görs eller bearbetas. För att spara på filstorlek eller göra en video lämplig för strömning, kastas en enorm mängd information bort av videokodaren. Även på dess högsta kvalitetsinställningar kommer kodaren att tilldela nyckelramar (en variabel som kan ställas in av användaren) – hela, praktiskt taget oförändrade bilder som inträffar vid ett förinställt intervall i videon.

Mellanrummen mellan nyckelramarna är, till en viss grad, uppskattade som en variant av ramarna, och kommer att återanvända så mycket information som möjligt från de angränsande nyckelramarna, snarare än att vara fullständiga ramar i sig själva.

Till vänster, en fullständig nyckelram, eller ‘i-ram’, lagras i den komprimerade videon, till en viss kostnad av filstorlek; till höger, en mellanram ‘delta-ram’ återanvänder alla tillämpliga delar av den mer datarika nyckelramen. Källa: https://blog.video.ibm.com/streaming-video-tips/keyframes-interframe-video-compression/

På detta sätt är blocket (innehållande x antal ramar, beroende på nyckelraminställningar) i praktiken den minsta enheten som övervägs i en typisk komprimerad video, snarare än någon enskild ram. Även nyckelramen i sig, känd som i-ram, utgör en del av den enheten.

I termer av traditionell tecknad animation, utför en kodare en sorts in-betweening, med nyckelramarna som fungerar som tältstolpar för de mellanliggande, härledda ramarna, kända som delta-ramar.

I kontrast till detta ägnar deepfake-superposition enorm uppmärksamhet och resurser åt varje enskild ram, utan att ta hänsyn till ramens bredare sammanhang, och utan att göra tillräckligt med utrymme för hur komprimering och blockbaserad kodning påverkar egenskaperna hos “äkta” video.

En närmare titt på diskontinuiteten mellan den temporala kvaliteten hos en äkta video (till vänster), och samma video när den störs av deepfakes (till höger).

Även om några av de bättre deepfakers använder omfattande efterbearbetning, i paket som After Effects, och även om DeepFaceLab-distributionen har viss inbyggd kapacitet att tillämpa “blandningsförfaranden” som rörelseoskärpa, påverkar inte denna fingerfärdighet missmatchningen mellan rumslig och temporala kvalitet mellan äkta och deepfaked videor.

Den nya artikeln heter Upptäckt av Deepfake genom skapande av rumslig-tidslig regelbundenhetsstörning, och kommer från forskare vid Tsinghua University, Department of Computer Vision Technology (VIS) vid Baidu Inc., och University of Melbourne

‘Falska’ Falska Videor

Forskarna bakom artikeln har inkorporerat funktionen i forskningen i en plug-and-play-modul som heter Pseudo-fake Generator (P-fake Generator), som omvandlar riktiga videor till falska deepfake-videor, genom att störa dem på samma sätt som den faktiska deepfake-processen gör, utan att faktiskt utföra några deepfake-åtgärder.

Tester visar att modulen kan läggas till i alla befintliga deepfake-detektionssystem nästan utan kostnad för resurser, och att den märkbart förbättrar deras prestanda.

Upptäckten kunde hjälpa till att hantera en av de andra hinderstenarna i deepfake-detektionsforskningen: bristen på äkta och uppdaterade datamängder. Eftersom deepfake-generering är en omfattande och tidskrävande process, har samfundet utvecklat ett antal deepfake-datamängder under de senaste fem åren, många av vilka är ganska föråldrade.

Genom att isolera regelbundenhetsstörning som en deepfake-agnostisk signal för videor som ändrats post-facto, gör den nya metoden det möjligt att generera obegränsade exempel- och datamängdsvideor som fokuserar på denna aspekt av deepfakes.

Översikt över STE-blocket, där kanalvis temporal konvolution används som en sporre för att generera rumsligt-tidsligt förbättrade kodningar, vilket resulterar i samma signatur som till och med en mycket övertygande deepfake skulle ge. Med denna metod kan ‘falska’ falska videor genereras som bär samma signaturkaraktärer som någon ändrad, deepfake-liknande video, och som inte beror på särskilda distributioner eller på flyktiga aspekter som funktionbeteende eller algoritmiska artefakter.

Tester

Forskarna genomförde experiment på sex noterade datamängder som används i deepfake-detektionsforskning: FaceForensics++ (FF++); WildDeepFake; Deepfake Detection Challenge preview (DFDCP); Celeb-DF; Deepfake Detection (DFD); och Face Shifter (FSh).

För FF++ tränade forskarna sin modell på den ursprungliga datamängden och testade var och en av de fyra undermängderna separat. Utan att använda något deepfake-material i träningen kunde den nya metoden överträffa de bästa resultaten.

Metoden tog också pole position när den jämfördes med FF++ C23-komprimerad datamängd, som tillhandahåller exempel som visar den typ av kompressionsartefakter som är trovärdiga i verkliga deepfake-visningsmiljöer.

Författarna kommenterar:

‘Prestanda inom FF++ validerar genomförbarheten av vår huvudidé, medan generaliserbarhet förblir ett stort problem för befintliga deepfake-detektionsmetoder, eftersom prestandan inte garanteras när man testar på deepfakes genererade av osedda tekniker.

‘Om vi överväger verkligheten i vapenkapplöpningen mellan detektorer och förfalskare, är generaliserbarhet en viktig kriterium för att mäta effektiviteten av en detektionsmetod i den verkliga världen.’

Även om forskarna genomförde ett antal subtester (se artikeln för detaljer) kring ‘robusthet’, och varierande typer av videor som matades in (dvs. riktiga, falska, p-fake, etc.), är de mest intressanta resultaten från testet för kors-datamängdsprestanda.

För detta tränade författarna sin modell på den ovan nämnda ‘verkliga världen’ c23-versionen av FF++, och testade denna mot fyra datamängder, och uppnådde, enligt författarna, överlägsen prestanda över alla.

Resultat från kors-datamängdstestet. Artikeln noterar att SBI använder en liknande tillvägagångssätt som författarnas eget, medan forskarna hävdar att p-fake visar bättre prestanda för rumslig-tidslig regelbundenhetsstörning.

Artikeln påstår:

‘På den mest utmanande Deepwild, överträffar vår metod SOTA-metoden med cirka 10 procentenheter i termer av AUC%. Vi tror att detta beror på den stora mångfalden av deepfakes i Deepwild, som gör att andra metoder inte kan generalisera sig väl från sedda deepfakes.’

Mätetal som användes för testerna var Accuracy Score (ACC), Area Under the Receiver Operating Characteristic Curve (AUC), och Equal Error Rate (EER).

Motangrepp?

Även om media karakteriserar spänningen mellan deepfake-utvecklare och deepfake-detektionsforskare i termer av ett tekniskt krig, är det möjligt att de förra bara försöker göra mer övertygande utdata, och att ökad svårighet för deepfake-detektion är en omständlig biprodukt av dessa ansträngningar.

Om utvecklare kommer att försöka hantera denna nyupptäckta brist beror kanske på om de känner att regelbundenhetsstörning kan uppfattas i en deepfake-video, med blotta ögat, som en token för oäkthet, och att därför denna mätning är värd att hantera från ett rent kvalitativt perspektiv.

Även om fem år har passerat sedan de första deepfakes gick online, är deepfaking fortfarande en relativt ny teknik, och samfundet är förmodligen mer besatt av detalj och upplösning än korrekt sammanhang, eller att matcha signaturerna för komprimerad video, båda av vilka kräver en viss “degradering” av utdata – det som hela deepfake-samfundet för närvarande kämpar mot.

Om den allmänna konsensus där visar sig vara att regelbundenhetsstörning är en latent signatur som inte påverkar kvalitet, kan det inte finnas någon ansträngning att kompensera för det – även om det kan “kompenseras” av vissa efterbearbetnings- eller arkitekturförfaranden, vilket är långt ifrån klart.

Publicerad första gången 22 juli 2022.