Forskere identificerer en resilient egenskab af deepfakes, der kan hjælpe med langsigtede opdagelse

Siden de første deepfake-detektionsløsninger begyndte at dukke op i 2018, har computer vision- og sikkerhedsforskningssektoren søgt at definere en essentiel karakteristika af deepfake-videoer – signaler, der kunne være resistente over for forbedringer i populære ansigtssynteseteknologier (såsom autoencoder-baserede deepfake-pakker som DeepFaceLab og FaceSwap, og brugen af Generative Adversarial Networks til at genskabe, simulere eller ændre menneskers ansigter).

Mange af ‘tells’, såsom manglende blinken, blev gjort overflødige af forbedringer i deepfakes, hvorimod den potentielle brug af digitale proveniens-teknikker (såsom Adobe-ledede Content Authenticity Initiative) – herunder blockchain-tilgange og digital vandmærkning af potentielle kildebilleder – enten kræver omfattende og dyre ændringer af den eksisterende mængde af tilgængelige kildebilleder på internettet, eller også ville kræve en bemærkelsesværdig samarbejdsindsats mellem nationer og regeringer for at skabe systemer for overvågning og autentificering.

Derfor ville det være meget nyttigt, hvis en virkelig fundamental og resilient egenskab kunne afledes i billed- og videoindhold, der omfatter ændrede, opfundne eller identitets-udvekslede menneskers ansigter; en karakteristika, der kunne afledes direkte fra falske videoer, uden storstile verificering, kryptografisk aktiv-hashing, kontekst-tjek, plausibilitetsvurdering, artifact-centreret detektionsruter eller andre besværlige tilgange til deepfake-detektion.

Deepfakes i rammen

En ny forsknings-samarbejde mellem Kina og Australien mener, at de har fundet denne ‘hellige gral’, i form af regulerings-forstyrrelse.

Forfatterne har udviklet en metode til at sammenligne den rumlige integritet og den tidsmæssige kontinuitet af ægte videoer mod dem, der indeholder deepfake-indhold, og har fundet, at enhver form for deepfake-indgreb forstyrer reguleringsmønsteret af billedet, selv om det er umærkeligt.

Dette skyldes delvist, at deepfake-processen bryder målvideoen ned i billeder og anvender effekten af et trænet deepfake-model i hvert (erstattet) billede. Populære deepfake-distributioner fungerer på samme måde som animatører i denne henseende, idet de giver mere opmærksomhed til ægtheden af hvert billede end til hvert billedes bidrag til den samlede rumlige integritet og tidsmæssige kontinuitet af videoen.

Fra artiklen: A) Forskelle mellem datatyperne. Her ser vi, at p-fakes forstyrrelser ændrer det rumlige og tidsmæssige kvalitet af billedet på samme måde som en deepfake gør, uden at erstatte identitet. B) Støj-analyse af de tre datatyper, der viser, hvordan p-fake imiterer deepfake-forstyrrelse. C) En tidsmæssig visualisering af de tre datatyper, med ægte data, der viser større integritet i fluktuation. D) T-SNE-visualisering af udtrækne funktioner for ægte, falske og p-fake-video. Kilde: https://arxiv.org/pdf/2207.10402.pdf

Dette er ikke den måde, en video-kodebehandler behandler en række billeder, når en original optagelse er blevet lavet eller behandlet. For at spare på filstørrelse eller gøre en video egnet til streaming, kasserer video-kodebehandleren en enorm mængde information. Selv ved de højeste kvalitetsindstillinger vil kodebehandleren allokerer nøgle-billeder (en variabel, der kan indstilles af brugeren) – hele, praktisk taget ukomprimerede billeder, der optræder i et forudindstillet interval i videoen.

De mellem-billeder mellem nøgle-billederne er, i en vis udstrækning, estimeret som en variant af billederne og vil genbruge så megen information som muligt fra de tilstødende nøgle-billeder, snarere end at være komplette billeder i deres egen ret.

Til venstre, et komplet nøgle-billede eller ‘i-billede’, der gemmes i den komprimerede video, på bekostning af filstørrelse; til højre, et mellem-billede eller ‘delta-billede’ genbruger enhver anvendelig del af det mere data-rige nøgle-billede. Kilde: https://blog.video.ibm.com/streaming-video-tips/keyframes-interframe-video-compression/

På denne måde er blokken (indeholdende x antal billeder, afhængigt af nøgle-billede-indstillinger) sandsynligvis den mindste enhed, der overvejes i en typisk komprimeret video, snarere end noget enkelt billede. Selv nøgle-billedet selv, kendt som et i-billede, danner en del af denne enhed.

I forhold til traditionel tegnefilm-animation udfører en kodebehandler en form for in-betweening, hvor nøgle-billederne fungerer som teltstænger for de mellem-liggende, afledte billeder, kendt som delta-billeder.

I modsætning hertil bruger deepfake-overlægning enorme ressourcer og opmærksomhed på hvert enkelt billede, uden at tage hensyn til billedets bredere kontekst, og uden at lave plads til, hvordan kompression og blok-baseret kodning påvirker karakteristikkerne af ‘ægte’ video.

En nærmere kig på diskontinuiteten mellem den tidsmæssige kvalitet af en ægte video (venstre) og den samme video, når den forstyrres af deepfakes (højre).

Selv om nogle af de bedre deepfakes bruger omfattende efterbehandling i pakker som After Effects, og selv om DeepFaceLab-distributionen har en vis indbygget kapacitet til at anvende ‘blending’-procedurer som bevægelses-udviskning, påvirker denne form for manipulation ikke misforholdet mellem den rumlige og tidsmæssige kvalitet mellem ægte og deepfakede videoer.

Den nye artikel hedder Detecting Deepfake by Creating Spatio-Temporal Regularity Disruption og kommer fra forskere ved Tsinghua University, Department of Computer Vision Technology (VIS) ved Baidu Inc. og University of Melbourne

‘Falske’ Falske Videoer

Forskerne bag artiklen har inkorporeret funktionaliteten af forskningen i en plug-and-play-modul kaldet Pseudo-fake Generator (P-fake Generator), som omdanner ægte videoer til faux-deepfake-videoer, ved at forstyrre dem på samme måde, som den faktiske deepfake-proces gør, uden at udføre nogen deepfake-operationer.

Test viser, at modulen kan tilføjes alle eksisterende deepfake-detektionssystemer næsten uden ressource-omkostninger, og at den mærkbart forbedrer deres ydelse.

Opdagelsen kunne hjælpe med at løse en af de andre forhindringer i deepfake-detektionsforskning: manglen på ægte og opdaterede datasæt. Siden deepfake-generering er en omfattende og tidskrævende proces, har fællesskabet udviklet en række deepfake-datasæt over de sidste fem år, mange af hvilke er ret gamle.

Ved at isolere regulerings-forstyrrelse som en deepfake-agnostisk signal for videoer, der er ændret post-facto, gør den nye metode det muligt at generere ubegrænsede prøve- og datasæt-videoer, der fokuserer på denne facette af deepfakes.

Overblik over STE-blokken, hvor kanal-vis tidsmæssig konvolution bruges som en impuls til at generere spatio-temporalt forbedrede kodninger, hvilket resulterer i samme signatur, som selv en meget overbevisende deepfake vil give. Ved denne metode kan ‘falske’ falske videoer genereres, der bærer samme signatur-karakteristika som enhver ændret, deepfake-lignende video, og som ikke afhænger af bestemte distributioner eller af flygtige aspekter som funktion-adfærd eller algoritme-arter.

Test

Forskerne udførte eksperimenter på seks bemærkelsesværdige datasæt, der bruges i deepfake-detektionsforskning: FaceForensics++ (FF++); WildDeepFake; Deepfake Detection Challenge preview (DFDCP); Celeb-DF; Deepfake Detection (DFD); og Face Shifter (FSh).

Til FF++ trænede forskerne deres model på det originale datasæt og testede hver af de fire underdatasæt separat. Uden brug af nogen deepfake-materiale i træning var den nye metode i stand til at overgå den hidtidige bedste ydelse.

Metoden tog også pole position, da den sammenlignedes med FF++ C23 komprimeret datasæt, der giver eksempler, der viser den type kompressions-arter, der er troværdige i virkelige deepfake-visningsmiljøer.

Forfatterne kommenterer:

‘Præstationer inden for FF++ validerer muligheden for vores hovedidé, mens generaliserbarhed stadig er et stort problem for eksisterende deepfake-detektionsmetoder, da præstationen ikke er garanteret, når der testes på deepfakes genereret af usete teknikker.

‘Overvej yderligere virkeligheden af kapløbet mellem detektorer og forfalskere, generaliserbarhed er en vigtig kriterium for at måle effektiviteten af en detektionsmetode i den virkelige verden.’

Selv om forskerne udførte en række under-tester (se artikel for detaljer) om ‘robusthed’ og varierede typerne af videoer, der indgik (dvs. ægte, falske, p-fakede osv.), er de mest interessante resultater fra testen for cross-datasæt-ydelse.

Til dette formål trænede forskerne deres model på den ovennævnte ‘virkelige verden’ c23-version af FF++ og testede denne mod fire datasæt, og opnåede, ifølge forfatterne, overlegen ydelse på alle af dem.

Resultater fra cross-datasæt-udfordringen. Artiklen bemærker, at SBI bruger en lignende tilgang som forfatternes egen, mens forskerne hævder, at p-fake viser bedre ydelse for spatio-temporalt regulerings-forstyrrelse.

Artiklen fastslår:

‘På den mest udfordrende Deepwild, overgår vores metode SOTA-metoden med omkring 10 procentpoint i forhold til AUC%. Vi mener, at dette skyldes den store diversitet af deepfakes i Deepwild, som gør, at andre metoder ikke kan generalisere godt fra sete deepfakes.’

Målene, der blev brugt til testene, var Præcisions-score (ACC), Areal Under Modtagerens Operative Karakteristika Kurve (AUC) og Ligeværdig Fejlrate (EER).

Mod-angreb?

Selv om medierne karakteriserer spændingen mellem deepfake-udviklere og deepfake-detektionsforskere i form af en teknologisk krig, kan det siges, at de sidstnævnte blot forsøger at lave mere overbevisende output, og at forøget deepfake-detektions-sværhedsgrad er en tilfældig biprodukt af disse bestræbelser.

Om udviklerne vil forsøge at imødegå denne nyopdagede svaghed, afhænger måske af, om de føler, at regulerings-forstyrrelse kan opfattes i en deepfake-video som et tegn på uægthed, og at dette mål derfor er værd at imødegå fra et rent kvalitativt synspunkt.

Selv om fem år er gået, siden de første deepfakes kom online, er deepfaking stadig en ret ny teknologi, og fællesskabet er sandsynligvis mere optaget af detaljer og opløsning end korrekt kontekst eller matchende signaturerne af komprimeret video, begge dele kræver en vis ‘degradering’ af output – det samme, som hele deepfake-fællesskabet i øjeblikket kæmper imod.

Hvis den generelle konsensus derude viser sig at være, at regulerings-forstyrrelse er en ny signatur, der ikke påvirker kvaliteten, kan der måske ikke blive gjort nogen indsats for at kompensere for det – selv om det kan ‘kanselleres’ af visse efterbehandlinger eller arkitektur-procedurer, hvilket langt fra er klart.

Først udgivet 22. juli 2022.