Forskere Identifiserer en Resilient Egenskap ved Deepfakes som Kan Bidra til Langsiktig Deteksjon

Siden de første deepfake-detteknologiene begynte å dukke opp i 2018, har computer-vision og sikkerhetsforskningssammenhengen søkt å definere en essensiell karakteristikk av deepfake-videoklipp – signaler som kunne være motstandsdyktige mot forbedringer i populære ansiktssynteseteknologier (som autoencoder-baserte deepfake-pakker som DeepFaceLab og FaceSwap, og bruk av Generative Adversarial Networks for å gjenskape, simulere eller endre menneskeansikter).

Mange av “tellene”, som manglende blunkning, ble gjort overflødige av forbedringer i deepfakes, mens den potensielle bruken av digitale proveniens-teknikker (som Adobe-led Content Authenticity Initiative) – inkludert blockchain-tilnærminger og digital vannmerking av potensielle kildebilder – enten krever omfattende og dyre endringer i den eksisterende kroppen av tilgjengelige kildebilder på internett, eller også ville trenge en merkbart samarbeidende innsats blant nasjoner og regjeringer for å skape systemer for invigilasjon og autentisering.

Derfor ville det være svært nyttig hvis en virkelig grunnleggende og resilient egenskap kunne påvises i bilde- og videoinnhold som inneholder endrede, oppfunne eller identitet-ombyttede menneskeansikter; en karakteristikk som kunne påvises direkte fra falske videoer, uten stor skala-verifisering, kryptografisk asset-hashing, kontekst-kontroll, plausibilitetsvurdering, artifact-sentrert detekteringsrutiner eller andre byrdefulle tilnærminger til deepfake-deteksjon.

Deepfakes i Rammen

En ny forsknings-samarbeid mellom Kina og Australia mener at de har funnet denne “hellige gralen”, i form av regelmessighets-forstyrrelse.

Forfatterne har utviklet en metode for å sammenligne den romlige integriteten og den tidsmessige kontinuiteten av ekte videoer mot de som inneholder deepfake-innhold, og har funnet at enhver type deepfake-forstyrrelse forstyrer regelmessigheten av bildet, uansett hvor lite merkbar.

Dette skyldes delvis at deepfake-prosessen bryter ned målvideoen i rammer og anvender effekten av en trenet deepfake-modell i hver (erstattet) ramme. Populære deepfake-distribusjoner fungerer på samme måte som animatører, i dette henseende, og gir mer oppmerksomhet til autentisiteten av hver enkelt ramme enn til hver rammes bidrag til den overordnede romlige integriteten og den tidsmessige kontinuiteten av videoen.

Fra papiret: A) Forskjeller mellom datatypene. Her ser vi at p-fakes forstyrrelser endrer den romlige og tidsmessige kvaliteten av bildet på samme måte som en deepfake gjør, uten å bytte identitet. B) Støy-analyse av de tre datatypene, som viser hvordan p-fake imiterer deepfake-forstyrrelse. C) En tidsmessig visualisering av de tre datatypene, med ekte data som viser større integritet i fluktuasjon. D) T-SNE-visualiseringen av uttrukne funksjoner for ekte, fakede og p-fakede videoer. Kilde: https://arxiv.org/pdf/2207.10402.pdf

Dette er ikke måten en video-kodek behandler en serie rammer når en original innspilling blir gjort eller prosessert. For å spare på fil-størrelse eller gjøre en video egnet for strømming, kastes en enorm mengde informasjon bort av video-kodeken. Selv ved de høyeste kvalitetsinnstillinger vil kodeken tildele nøkkel-rammer (en variabel som kan settes av brukeren) – hele, praktisk talt ukomprimerte bilder som skjer ved en forhåndsbestemt intervall i videoen.

De interstitielle rammene mellom nøkkel-rammene er, i en viss grad, estimert som en variant av rammene, og vil gjenbruke så mye informasjon som mulig fra de tilstøtende nøkkel-rammene, i stedet for å være komplette rammer i seg selv.

Til venstre, en komplett nøkkel-ramme, eller ‘i-ramme’, lagres i den komprimerte videoen, på bekostning av fil-størrelse; til høyre, en interstitiell ‘delta-ramme’ gjenbruker så mye informasjon som mulig fra den mer data-rike nøkkel-rammen. Kilde: https://blog.video.ibm.com/streaming-video-tips/keyframes-interframe-video-compression/

På denne måten er blokken (som inneholder x antall rammer, avhengig av nøkkel-ramme-innstillinger) arguablet den minste enheten som blir vurdert i en typisk komprimert video, i stedet for noen enkelt ramme. Selv nøkkel-rammen selv, kjent som en i-ramme, danner en del av denne enheten.

I forhold til tradisjonell tegnefilm-animasjon, utfører en kodek en form for in-betweening, med nøkkel-rammene som fungerer som telt-pæler for de interstitielle, avledede rammene, kjent som delta-rammer.

I motsetning til dette, viet deepfake-overlegg enorm oppmerksomhet og ressurser til hver enkelt ramme, uten å vurdere rammens videre kontekst, og uten å gjøre noen innrømmelser for måten komprimering og blokk-basert kodning påvirker karakteristikkene av “ekte” video.

En nærmere titt på diskontinuiteten mellom den tidsmessige kvaliteten av en ekte video (venstre), og samme videoen når den blir forstyrret av deepfakes (høyre).

Selv om noen av de bedre deepfakerne bruker omfattende etterbehandling, i pakker som After Effects, og selv om DeepFaceLab-distribusjonen har en del innbyggede kapasiteter til å anvende “blandings”-prosedyrer som bevegelsesuskarpa, påvirker ikke denne slags fingerferdismatchen mellom ekte og deepfakede videoer.

Den nye artikkelen heter Detecting Deepfake by Creating Spatio-Temporal Regularity Disruption, og kommer fra forskere ved Tsinghua University, Department of Computer Vision Technology (VIS) ved Baidu Inc., og University of Melbourne

‘Falske’ Falske Videoklipp

Forskerne bak artikkelen har inkorporert funksjonaliteten til forskningen i en plug-and-play-modul kalt Pseudo-fake Generator (P-fake Generator), som transformerer ekte videoer til faux-deepfake-videoklipp, ved å forstyrre dem på samme måte som den faktiske deepfake-prosessen gjør, uten å utføre noen deepfake-operasjoner.

Tester indikerer at modulen kan legges til alle eksisterende deepfake-detteknologier uten å påføre noen ressurskostnader, og at den merkbar forbedrer deres ytelse.

Oppdagelsen kunne hjelpe til å løse ett av de andre hindrene i deepfake-detteknologiforskning: mangelen på ekte og oppdaterte datasamlinger. Siden deepfake-generering er en omfattende og tidskrevende prosess, har samfunnet utviklet en rekke deepfake-datasamlinger over de siste fem årene, mange av dem er ganske utdaterte.

Ved å isolere regelmessighets-forstyrrelse som en deepfake-agnostisk signal for videoer som er endret post-facto, gjør den nye metoden det mulig å generere ubegrensede eksempler og datasamlinger som fokuserer på denne aspekt av deepfakes.

Oversikt over STE-blokken, hvor kanalvis tidsmessig konvolusjon brukes som en impuls til å generere romlige og tidsmessige forbedringer, resulterende i samme signatur som selv en svært overbevisende deepfake vil gi. Ved denne metoden kan ‘falske’ falske videoer genereres som bærer samme signatur-egenskaper som noen endret, deepfake-liknende videoer, og som ikke avhenger av bestemte distribusjoner eller flyktige aspekter som funksjonsatferd eller algoritmiske artefakter.

Tester

Forskerne utførte eksperimenter på seks noterte datasamlinger som brukes i deepfake-detteknologiforskning: FaceForensics++ (FF++); WildDeepFake; Deepfake Detection Challenge preview (DFDCP); Celeb-DF; Deepfake Detection (DFD); og Face Shifter (FSh).

For FF++, trenet forskerne modellen på den opprinnelige datasamlingen og testet hver av de fire undersamlingene separat. Uten å bruke noen deepfake-materiale i trening, var den nye metoden i stand til å overgå state-of-the-art-resultatene.

Metoden tok også pole-position når den ble sammenlignet med FF++ C23 komprimerte datasamling, som gir eksempler som viser kompresjonsartefakter som er troverdige i sanntids deepfake-visningsmiljøer.

Forfatterne kommenterer:

‘Ytelsene innen FF++ validerer muligheten for vår hovedidé, mens generaliserbarhet forblir et større problem for eksisterende deepfake-detteknologier, da ytelsen ikke er garantert når testing på deepfakes generert av usette teknikker.

‘Vurdere videre virkeligheten av våpenkappløpet mellom detektorer og forfalskere, er generaliserbarhet en viktig kriterium for å måle effektiviteten av en detekteringsmetode i den virkelige verden.’

Selv om forskerne utførte en rekke under-eksperimenter (se papiret for detaljer) rundt “robusthet”, og variasjoner av typene videoer som ble innmatet (dvs. ekte, falske, p-fakede osv.), er de mest interessante resultater fra testen for kryss-datasamling-prestasjon.

For dette, trenet forfatterne modellen på den ovennevnte “sanntids”-versjonen av FF++, og testet denne mot fire datasamlinger, og fikk, ifølge forfatterne, overlegen ytelse over alle av dem.

Resultater fra kryss-datasamling-utfordringen. Papiret bemerker at SBI bruker en lignende tilnærming som forfatternes egen, mens forskerne hevder at p-fake viser bedre ytelse for romlig og tidsmessig regelmessighets-forstyrrelse.

Papiret sier:

‘På den mest utfordrende Deepwild, overgår vår metode SOTA-metoden med omtrent 10 prosentpoeng i AUC%. Vi tror dette skyldes den store diversiteten av deepfakes i Deepwild, som gjør at andre metoder svikter å generalisere godt fra sett deepfakes.’

Metrikker som ble brukt for testene var Nøyaktighetspoeng (ACC), Areal Under mottakerens Operasjonell Karakteristikkurve (AUC), og Lik Error Rate (EER).

Motangrep?

Selv om media karakteriserer spenningen mellom deepfake-utviklere og deepfake-detteknologiforskere som en teknologisk krig, er det mulig at de førstnevnte bare prøver å lage mer overbevisende utgang, og at økt deepfake-detteknologisvanskelighet er en tilfeldig biprodukt av disse innsatsene.

Om utviklere vil prøve å løse denne nyoppdagede svakheten, avhenger kanskje av om de føler at regelmessighets-forstyrrelse kan oppfattes i en deepfake-video, med det blotte øye, som et tegn på uekthet, og at derfor denne metrikken er verdt å løse fra et rent kvalitativt synspunkt.

Om fem år har gått siden de første deepfakes gikk online, er deepfaking fortsatt en relativt ny teknologi, og samfunnet er arguablet mer opptatt av detalj og oppløsning enn korrekt kontekst eller å matche signaturer av komprimert video, begge av disse krever en viss “degradering” av utgang – nettopp det som hele deepfake-samfunnet nå slåss mot.

Om den generelle konsensus der blir at regelmessighets-forstyrrelse er en ny signatur som ikke påvirker kvalitet, kan det ikke være noen innsats for å kompensere for det – selv om det kan bli “kansellert” av noen etterbehandlinger eller arkitektur-prosedyrer, som er langt ifra klart.

Først publisert 22. juli 2022.