Forskere identificerer en resilient egenskab af deepfakes, der kan hjælpe med langsigtede opdagelse

Siden de første deepfake-detektionsløsninger begyndte at dukke op i 2018, har computer vision- og sikkerhedsforskningssektoren søgt at definere en essentiel karakteristik af deepfake-videoer – signaler, der kunne være resistente over for forbedringer i populære ansigtssynteseteknologier (såsom autoencoder-baserede deepfake-pakker som DeepFaceLab og FaceSwap, og brugen af Generative Adversarial Networks til at genskabe, simulere eller ændre menneskeansigter).

Mange af “tællerne”, såsom manglende blinken, blev gjort overflødige af forbedringer i deepfakes, hvorimod den potentielle brug af digitale proveniens-teknikker (såsom Adobe-led Content Authenticity Initiative) – herunder blockchain-tilgange og digital vandmærkning af potentiel kilde fotos – enten kræver omfattende og dyre ændringer af den eksisterende mængde af tilgængelige kilde billeder på internettet, eller også ville kræve en bemærkelsesværdig samarbejdsindsats mellem nationer og regeringer for at skabe systemer for overvågning og autentificering.

Derfor ville det være meget nyttigt, hvis en virkelig fundamental og resilient egenskab kunne påvises i billed- og videoindhold, der indeholder ændrede, opfundne eller identitet-udskiftede menneskeansigter; en karakteristik, der kunne afledes direkte fra falske videoer, uden storstilede verificering, kryptografisk aktiv hashing, kontekst-tjek, plausibilitetsvurdering, artifact-centreret detektionsrutiner eller andre besværlige tilgange til deepfake-detektion.

Deepfakes i rammen

En ny forsknings-samarbejde mellem Kina og Australien mener, at de har fundet denne “hellige gral”, i form af reguleringsforstyrrelse.

Forskerne har udviklet en metode til at sammenligne den rumlige integritet og den tidsmæssige kontinuitet af ægte videoer mod dem, der indeholder deepfake-indhold, og har fundet, at enhver form for deepfake-indgreb forstyrer reguleringsmønsteret af billedet, om end uopdageligt.

Dette skyldes delvist, at deepfake-processen bryder målvideoen ned i billeder og anvender effekten af en trænet deepfake-model i hvert (erstattet) billede. Populære deepfake-distributioner fungerer på samme måde som animatører i denne henseende, idet de giver mere opmærksomhed til autenticiteten af hvert billede end til hvert billedes bidrag til den samlede rumlige integritet og tidsmæssige kontinuitet af videoen.

Fra artiklen: A) Forskelle mellem datatyperne. Her ser vi, at p-fakes forstyrrelser ændrer den rumlige og tidsmæssige kvalitet af billedet på samme måde som en deepfake gør, uden at udskifte identitet. B) Støjanalyse af de tre datatyper, der viser, hvordan p-fake imiterer deepfake-forstyrrelse. C) En tidsmæssig visualisering af de tre datatyper, hvor ægte data viser større integritet i fluktuation. D) T-SNE-visualisering af udtrækne funktioner for ægte, falske og p-fakede videoer. Kilde: https://arxiv.org/pdf/2207.10402.pdf

Dette er ikke den måde, en video-kode behandler en række billeder på, når en original optagelse er blevet lavet eller behandlet. For at spare på filstørrelse eller gøre en video egnet til streaming, kasserer video-kodeken en enorm mængde information. Selv på de højeste kvalitetsindstillinger vil kodeken allokkere nøgle-billeder (en variabel, der kan indstilles af brugeren) – hele, praktisk taget ukomprimerede billeder, der optræder i et forudbestemt interval i videoen.

De mellem-billeder mellem nøgle-billederne er til en vis udstrækning estimeret som en variant af billederne og vil genbruge så meget information som muligt fra de nærliggende nøgle-billeder, snarere end at være komplette billeder i deres egen ret.

Til venstre, et komplet nøgle-billede, eller ‘i-billede’, gemmes i den komprimerede video, på bekostning af filstørrelse; til højre, et mellem-billede, eller ‘delta-billede’, genbruger enhver anvendelig del af det mere data-rige nøgle-billede. Kilde: https://blog.video.ibm.com/streaming-video-tips/keyframes-interframe-video-compression/

På denne måde er blokken (indeholdende x antal billeder, afhængigt af nøgle-billede-indstillinger) sandsynligvis den mindste enhed, der overvejes i en typisk komprimeret video, snarere end ethvert enkelt billede. Selv nøgle-billedet selv, kendt som et i-billede, udgør en del af denne enhed.

I forhold til traditionel tegnefilm- animation, udfører en kode en form for in-betweening, hvor nøgle-billederne fungerer som telt-pæle for de mellem-liggende, afledte billeder, kendt som delta-billeder.

I modsætning hertil bruger deepfake-overlægning enorme ressourcer på hvert enkelt billede, uden at tage hensyn til billedets bredere kontekst, og uden at tage hensyn til, hvordan kompression og blok-baseret kodning påvirker egenskaberne af “ægte” video.

En nærmere kig på diskontinuiteten mellem den tidsmæssige kvalitet af en ægte video (venstre) og den samme video, når den er forstyrret af deepfakes (højre).

Selv om nogle af de bedre deepfakes bruger omfattende efterbehandling, i pakker som After Effects, og selv om DeepFaceLab-distributionen har en vis indbygget kapacitet til at anvende “blending”-procedurer som bevægelses-blur, påvirker denne form for fingerfærdighed ikke misforholdet mellem den rumlige og tidsmæssige kvalitet mellem ægte og deepfakede videoer.

Den nye artikel hedder Detecting Deepfake by Creating Spatio-Temporal Regularity Disruption og kommer fra forskere ved Tsinghua University, Department of Computer Vision Technology (VIS) ved Baidu Inc. og University of Melbourne

‘Falske’ Falske Videoer

Forskerne bag artiklen har inkorporeret funktionaliteten af forskningen i en plug-and-play-modul kaldet Pseudo-fake Generator (P-fake Generator), der omdanner ægte videoer til faux-deepfake-videoer, ved at forstyrre dem på samme måde, som den faktiske deepfake-proces gør, uden at udføre nogen deepfake-operationer.

Tests viser, at modulen kan tilføjes alle eksisterende deepfake-detektionssystemer på næsten nul omkostninger, og at den bemærkelsesværdigt forbedrer deres ydeevne.

Opdagelsen kunne hjælpe med at imødegå en af de andre hindringer i deepfake-detektionsforskning: manglen på ægte og opdaterede datasæt. Siden deepfake-generering er en omfattende og tidskrævende proces, har fællesskabet udviklet en række deepfake-datasæt over de sidste fem år, mange af dem er ret gamle.

Ved at isolere reguleringsforstyrrelse som en deepfake-agnostisk signal for videoer, der er ændret post-facto, gør den nye metode det muligt at generere ubegrænsede eksempler og datasæt, der fokuserer på denne facette af deepfakes.

Tests

Forskerne udførte eksperimenter på seks bemærkelsesværdige datasæt, der blev brugt i deepfake-detektionsforskning: FaceForensics++ (FF++); WildDeepFake; Deepfake Detection Challenge preview (DFDCP); Celeb-DF; Deepfake Detection (DFD); og Face Shifter (FSh).

For FF++, trænede forskerne deres model på det originale datasæt og testede hver af de fire underdatasæt separat. Uden brug af nogen deepfake-materiale i træning, var den nye metode i stand til at overgå state-of-the-art-resultaterne.

Metoden tog også pole position, da den blev sammenlignet med FF++ C23-komprimeret datasæt, der giver eksempler, der viser kompressionsarter, der er troværdige i virkelige deepfake-visningsmiljøer.

Forfatterne kommenterer:

‘Præstationer inden for FF++ validerer muligheden for vores hovedidé, mens generaliserbarhed stadig er et stort problem for eksisterende deepfake-detektionsmetoder, da præstationen ikke er garanteret, når der testes på deepfakes genereret af usete teknikker.

‘Overvej yderligere virkeligheden af kapløbet mellem detektion og forfalskning, generaliserbarhed er en vigtig kriterium for at måle effektiviteten af en detektionsmetode i den virkelige verden.’

Selv om forskerne udførte en række under-tests (se artikel for detaljer) om “robusthed” og varierende typer af video-input (dvs. ægte, falske, p-fakede osv.), er de mest interessante resultater fra testen for cross-datasæt-præstation.

Her trænede forfatterne deres model på den ovennævnte “virkelige verden”-version af FF++ og testede denne mod fire datasæt, og opnåede, ifølge forfatterne, overlegen præstation på alle af dem.

Resultater fra cross-datasæt-udfordringen. Artiklen bemærker, at SBI bruger en lignende tilgang som forfatternes egen, mens forskerne hævder, at p-fake viser bedre præstation for spatio-temporalt reguleringsforstyrrelse.

Artiklen fastslår:

‘På det mest udfordrende Deepwild, overgår vores metode SOTA-metoden med omkring 10 procentpoint i forhold til AUC%. Vi mener, det skyldes den store diversitet af deepfakes i Deepwild, der gør, at andre metoder ikke kan generalisere godt fra sete deepfakes.’

Målene, der blev brugt til testene, var Præcisionsscore (ACC), Areal Under Modtagerens Operative Karakteristika Kurve (AUC) og Ligeværdig Fejlrate (EER).

Modangreb?

Selv om medierne karakteriserer spændingen mellem deepfake-udviklere og deepfake-detektionsforskere i form af en teknologisk krig, kan det siges, at de førstnævnte blot forsøger at skabe mere overbevisende output, og at forøget vanskelighed ved deepfake-detektion er en tilfældig biprodukt af disse bestræbelser.

Om udviklerne vil forsøge at imødegå denne nye afslørede svaghed, afhænger måske af, om de føler, at reguleringsforstyrrelse kan opfattes i en deepfake-video af det blotte øje som et tegn på uægthed, og at dette derfor er et mål, der er værd at imødegå fra et rent kvalitativt synspunkt.

Om de sidste fem år har deepfaking været en relativt ung teknologi, og fællesskabet er sandsynligvis mere optaget af detaljer og opløsning end korrekt kontekst eller matchende signaturer af komprimeret video, begge dele kræver en vis “degradering” af output – netop det, som hele deepfake-fællesskabet i øjeblikket kæmper imod.

Hvis den generelle konsensus viser sig at være, at reguleringsforstyrrelse er en ung signatur, der ikke påvirker kvaliteten, kan der ikke være nogen bestræbelser på at kompensere for det – selv om det kan “kanselleres” af visse efterbehandlinger eller arkitektur-procedurer, hvilket er langt fra klart.

Først udgivet 22. juli 2022.