Å avsløre små, men betydelige AI-redigeringer i virkelige videoer

I 2019 var den amerikanske Representantenes Hus-taler Nancy Pelosi gjenstand for et målrettet og ganske enkelt deepfake-angrep, da virkelige videoer av henne ble redigert for å gjøre henne utseende beruset – en uvirkelig hendelse som ble delt flere millioner ganger før sannheten om det kom ut (og, potensielt, etter at noen skade på hennes politiske kapital var effektuert av de som ikke holdt seg oppdatert med historien).

Selv om denne misrepresentasjonen bare krevde enkel audiovisuell redigering, og ikke noen AI, er det fortsatt et nøkkel eksempel på hvordan små endringer i virkelige audiovisuelle utdata kan ha en ødeleggende effekt.

På den tiden var deepfake-scenen dominert av autoencoder-baserte ansikts-erstatningssystemer som hadde debutert i slutten av 2017, og som ikke hadde forbedret seg vesentlig siden da. Slike tidlige systemer ville ha hatt vanskelig for å skape denne typen små, men betydelige endringer, eller å realistisk følge moderne forskningsstrømmer som uttrykksredigering:

Det nylige ‘Neural Emotion Director’-rammeverket endrer humøret til et berømt ansikt. Kilde: https://www.youtube.com/watch?v=Li6W8pRDMJQ

Ting er nå ganske forskjellig. Film- og TV-industrien er seriøst interessert i post-produksjonsendringer av virkelige opptrer med maskinlæringsmetoder, og AI-ens fasilitasjon av post facto-perfeksjonisme har sogar kommet under kritikk nylig.

I forkant av (eller kanskje skapende) denne etterspørselen, har bildesyn- og videosynteseforskningsfeltet kastet frem en rekke prosjekter som tilbyr ‘lokale redigeringer’ av ansiktsopptak, i stedet for å erstatte dem helt: prosjekter av denne typen inkluderer Diffusion Video Autoencoders; Stitch it in Time; ChatFace; MagicFace; og DISCO, blant andre.

Uttrykksredigering med januar 2025-prosjektet MagicFace. Kilde: https://arxiv.org/pdf/2501.02260

Nye ansikter, nye rynker

Men de aktiverende teknologiene utvikler seg mye raskere enn metoder for å oppdage dem. Nesten alle deepfake-oppdagingmetodene som dukker opp i litteraturen, jakter på gårsdagens deepfake-metoder med gårsdagens datasett. Inntil denne uken, hadde ingen av dem behandlet den krypende potensialet for AI-systemer til å skape små og lokale endringer i videoer.

Nå, har en ny artikkel fra India rettet opp dette, med et system som søker å identifisere ansikter som har blitt redigert (i stedet for erstattet) gjennom AI-baserte teknikker:

Oppdaging av subtile lokale redigeringer i deepfakes: En virkelig video blir endret for å produsere fakes med nyanserte endringer som hevede øyenbryn, modifiserte kjønnskarakteristika og endringer i uttrykk mot avsky (illustrert her med en enkelt ramme). Kilde: https://arxiv.org/pdf/2503.22121

Forfatternes system er rettet mot å identifisere deepfakes som involverer subtile, lokale ansiktsmanipulasjoner – en ellers forlatt klasse av forfalskning. I stedet for å fokusere på globale inkonsistenser eller identitetsfeil, retter tilnærmingen seg mot fine-grained endringer som små uttrykksendringer eller små redigeringer av bestemte ansiktsfunksjoner.

Metoden gjør bruk av Action Units (AUs) delimiter i Facial Action Coding System (FACS), som definerer 64 mulige individuelle mutable områder i ansiktet, som sammen danner uttrykk.

Noen av de konstituerende 64 uttrykksdelene i FACS. Kilde: https://www.cs.cmu.edu/~face/facs.htm

Forfatterne evaluerte sin tilnærming mot en rekke nylige redigeringsmetoder og rapporterer konsistente ytelsesforbedringer, både med eldre datasett og med mye nyere angrepsvektorer:

‘Ved å bruke AU-baserte funksjoner til å guide video-representasjoner lært gjennom Masked Autoencoders [(MAE)], vår metode fanger effektivt lokale endringer som er avgjørende for å oppdage subtile ansiktsredigeringer.

‘Denne tilnærmingen gjør det mulig for oss å konstruere en forent latent representasjon som koder både lokale redigeringer og bredere endringer i ansikts-sentrerte videoer, og gir en omfattende og tilpasningsdyktig løsning for deepfake-oppdaging.’

Den nye artikkelen heter Oppdaging av lokale deepfake-manipulasjoner ved hjelp av Action Unit-guidede video-representasjoner, og kommer fra tre forfattere ved Indian Institute of Technology i Madras.

Metode

I linje med tilnærmingen tatt av VideoMAE, begynner den nye metoden med å anvende ansiktsdeteksjon på en video og sampling av jevnt fordelt rammeverk sentrert på detekterte ansikter. Disse rammene deles deretter inn i små 3D-inndelinger (dvs. tidsaktiverende patcher), hver med lokal romlig og tidsmessig detalj.

Schema for den nye metoden. Innputtvideoen blir prosessert med ansiktsdeteksjon for å trekke ut jevnt fordelt, ansikts-sentrerte rammeverk, som deretter deles inn i ‘tubulære’ patcher og sendes gjennom en encoder som fusjonerer latente representasjoner fra to forhånds-treningstasks. Den resulterende vektoren blir deretter brukt av en klassifiserer til å bestemme om videoen er ekte eller falsk.

Hver 3D-patch inneholder et fast størrelsesvindu av piksler (dvs. 16×16) fra et lite antall påfølgende rammeverk (dvs. 2). Dette lar modellen lære kortvarige bevegelser og uttrykksendringer – ikke bare hvordan ansiktet ser ut, men hvordan det beveger seg.

Patchene blir innbeddede og posisjonelt kodet før de sendes inn i en encoder designet til å trekke ut funksjoner som kan skille ekte fra falske.

Forfatterne innrømmer at dette er særlig vanskelig når det gjelder subtile manipulasjoner, og tar tak i dette problemet ved å konstruere en encoder som kombinerer to separate typer lært representasjoner, ved hjelp av en kryss-oppmerksomhetsmekanisme til å fusjonere dem. Dette er ment til å produsere en mer sensitiv og generaliserbar funksjonsrom for å oppdage lokale redigeringer.

Forhånds-treningstasks

Den første av disse representasjonene er en encoder trent med en maskert autoencoding-oppdrag. Med videoen delt inn i 3D-patcher (de fleste av dem skjulte), lærer encoderen deretter å rekonstruere de manglende delene, og tvinger den til å fange viktige romlige og tidsmessige mønster, som ansiktsbevegelser eller konsistens over tid.

Forhånds-treningstask-trening involverer å maskere deler av video-innputt og bruke en encoder-decoder-oppsättning til å rekonstruere enten de opprinnelige rammene eller per-ramme-handlingsenhet-kart, avhengig av oppdraget.

Men artikkelen observerer at dette alene ikke gir nok sensitivitet til å oppdage fine-grained redigeringer, og forfatterne introduserer derfor en annen encoder trent til å oppdage ansikts-handlingsenheter (AUs). For dette oppdraget lærer modellen å rekonstruere tette AU-kart for hver ramme, igjen fra delvis maskerte innputt. Dette oppmuntret den til å fokusere på lokale muskelaktiviteter, som er der mange subtile deepfake-redigeringer skjer.

Flere eksempler på ansikts-handlingsenheter (FAUs, eller AUs). Kilde: https://www.eiagroup.com/the-facial-action-coding-system/

Når begge encodere er forhåndstrent, kombineres deres utdata ved hjelp av kryss-oppmerksomhet. I stedet for å bare fusjonere de to funksjonssettene, bruker modellen AU-baserte funksjoner som forespørsler som guider oppmerksomhet over de romlige og tidsmessige funksjoner lært fra maskert autoencoding. I virkeligheten forteller ansikts-handlingsenhet-encoderen modellen hvor den skal se.

Resultatet er en fusjonert latent representasjon som er ment til å fange både den bredere bevegelseskonteksten og den lokale uttrykksnivådet. Denne kombinerende funksjonsrommet brukes deretter til den endelige klassifiseringsoppdraget: å forutsi om en video er ekte eller manipulert.

Data og tester

Implementering

Forfatterne implementerte systemet ved å forhåndsbearbeide innputtvideoer med FaceXZoo PyTorch-basert ansiktsdeteksjonsrammeverk, og fikk 16 ansikts-sentrerte rammeverk fra hver klipp. Forhånds-treningstaskene omtalt ovenfor ble deretter trent på CelebV-HQ-datasettet, som består av 35 000 høykvalitets ansiktsvideoer.

Eksempler fra kildeartikkelen, fra CelebV-HQ-datasettet brukt i det nye prosjektet. Kilde: https://arxiv.org/pdf/2207.12393

Halvparten av dataeksemplene ble maskert, og tvang systemet til å lære generelle prinsipper i stedet for å overfitte til kilde-dataene.

For maskert ramme-rekonstruksjonsoppdraget ble modellen trent til å forutsi manglende regioner av video-rammer ved hjelp av en L1-tap, og minimerte forskjellen mellom den opprinnelige og rekonstruerte innholdet.

For det andre oppdraget ble modellen trent til å generere kart for 16 ansikts-handlingsenheter, hver representert av subtile muskelbevegelser i områder som inkluderer øyenbryn, øyelokk, nese og lepper, igjen overvåket av L1-tap.

Etter forhåndstrening ble de to encodere fusjonert og finjustert for deepfake-oppdaging ved hjelp av FaceForensics++-datasettet, som inneholder både ekte og manipulerte videoer.

FaceForensics++-datasettet har vært det sentrale berøringspunktet for deepfake-oppdaging siden 2017, selv om det nå er betraktelig utdatert i forhold til de nyeste ansikts-syntetiske teknikkene. Kilde: https://www.youtube.com/watch?v=x2g48Q2I2ZQ

Til å håndtere klasse-ubalanse, brukte forfatterne Focal Loss (en variant av cross-entropy-tap), som betoner mer utfordrende eksempler under trening.

All trening ble utført på en enkelt RTX 4090 GPU med 24Gb VRAM, med en batch-størrelse på 8 for 600 epoker (fullstendige gjennomganger av dataene), ved hjelp av forhåndstrede checkpoints fra VideoMAE til å initialisere vektene for hver av forhånds-treningstaskene.

Tester

Kvantitative og kvalitative evalueringer ble utført mot en rekke deepfake-oppdagingmetoder: FTCN; RealForensics; Lip Forensics; EfficientNet+ViT; Face X-Ray; Alt-Freezing; CADMM; LAANet; og BlendFace’s SBI. I alle tilfeller var kildekode tilgjengelig for disse rammeverkene.

Testene sentrerte seg rundt lokalt redigerte deepfakes, hvor bare en del av en kildeklipp var endret. Arkitekturer brukt var Diffusion Video Autoencoders (DVA); Stitch It In Time (STIT); Disentangled Face Editing (DFE); Tokenflow; VideoP2P; Text2Live; og FateZero. Disse metodene anvender en mangfoldighet av tilnærminger (diffusjon for DVA og StyleGAN2 for STIT og DFE, for eksempel)

Forfatterne uttaler:

‘For å sikre omfattende dekning av forskjellige ansiktsmanipulasjoner, inkorporerte vi en stor variasjon av ansiktsfunksjoner og attributt-redigeringer. For ansiktsfunksjonsredigering, endret vi øyestørrelse, øye-øyenbryn-avstand, nese-forhold, nese-munn-avstand, leppe-forhold og kind-forhold. For ansiktsattributt-redigering, varierte vi uttrykk som smil, sinne, avsky og sorg.

‘Denne mangfoldigheten er essensiell for å validere robustheten til vår modell over en bred rekke lokale redigeringer. I alt genererte vi 50 videoer for hver av de ovennevnte redigeringsmetodene og validerte vår metodes sterke generalisering for deepfake-oppdaging.’

Eldre deepfake-datasett ble også inkludert i runden, nemlig Celeb-DFv2 (CDF2); DeepFake Detection (DFD); DeepFake Detection Challenge (DFDC); og WildDeepfake (DFW).

Evaluering-metrikker var Areal Under Kurve (AUC); Gjennomsnittlig Presisjon; og Gjennomsnittlig F1-Score.

Fra artikkelen: sammenligning på nylige lokale deepfakes viser at den foreslåtte metoden overgikk alle andre, med en 15 til 20 prosent økning i både AUC og gjennomsnittlig presisjon over den neste beste tilnærmingen.

Forfatterne tilbyr også en visuell oppdagingssammenligning for lokalt manipulerte visninger (reprodusert bare delvis her, på grunn av manglende plass):

En ekte video ble endret ved hjelp av tre forskjellige lokale manipulasjoner for å produsere fakes som var visuelt like den opprinnelige. Her vises representative rammeverk sammen med gjennomsnittlige falske oppdagingsscore for hver metode. Mens eksisterende detektorer kjempet med disse subtile endringene, tildelte den foreslåtte modellen konsekvent høye falske sannsynligheter, hvilket indikerer større sensitivitet til lokale endringer.

Forskerne kommenterer:

‘[Eksisterende] SOTA-oppdagingmetoder, [LAANet], [SBI], [AltFreezing] og [CADMM], opplever en betydelig nedgang i ytelse på de nyeste deepfake-genereringsmetodene. De nåværende SOTA-metodene viser AUC-er så lave som 48-71%, hvilket demonstrerer deres dårlige generaliserings-evner til de nyeste deepfakes.

‘På den andre siden, viser vår metode robust generalisering, og oppnår en AUC i rekkevidden 87-93%. En lignende trend er synlig i tilfelle av gjennomsnittlig presisjon også. Som vist nedenfor, oppnår vår metode også konsekvent høy ytelse på standard-datasett, og overgår 90% AUC og er konkurransedyktige med nylige deepfake-oppdagingmodeller.’

Ytelse på tradisjonelle deepfake-datasett viser at den foreslåtte metoden forble konkurransedyktig med ledende tilnærminger, hvilket indikerer sterk generalisering over en rekke manipulasjonstyper.

Forfatterne observerer at disse siste testene involverer modeller som kan anses å være foreldede, og som ble introdusert før 2020.

For en mer omfattende visuell fremstilling av den nye modellens ytelse, tilbyr forfatterne en omfattende tabell på slutten, bare delvis gjengitt her:

Her er eksempler hvor en ekte video ble endret ved hjelp av tre lokale redigeringer for å produsere fakes som var visuelt like den opprinnelige. Gjennomsnittlige konfidens-score over disse manipulasjonene viser, ifølge forfatterne, at den foreslåtte metoden oppdaget forfalskningene mer pålitelig enn andre ledende tilnærminger. Vennligst se den fullstendige artikkelen for komplett resultater.

Forfatterne hevder at deres metode oppnår konfidens-score over 90 prosent for oppdaging av lokale redigeringer, mens eksisterende oppdagingmetoder forble under 50 prosent på samme oppdrag. De tolker denne forskjellen som bevis på både sensitiviteten og generaliserbarheten til deres tilnærming, og som en indikasjon på utfordringene som møtes av nåværende teknikk i å håndtere disse typene subtile ansiktsmanipulasjoner.

For å vurdere modellens pålitelighet under virkelige forhold, og i henhold til metoden etablert av CADMM, testet forfatterne dens ytelse på videoer modifisert med vanlige forvrengninger, inkludert justeringer av metning og kontrast, gaussisk uskarphet, pikselering og blokk-basert kompresjonsarter, samt additivt støy.

Resultatene viste at oppdagingssannsynligheten forble hovedsakelig stabil over disse forvrengningene. Den eneste merkbare nedgang skjedde med tilførsel av gaussisk støy, som forårsaket en moderat nedgang i ytelse. Andre endringer hadde minimal effekt.

En illustrasjon av hvordan oppdagingssannsynligheten endrer seg under forskjellige video-forvrengninger. Den nye metoden forble resilient i de fleste tilfeller, med bare en liten nedgang i AUC. Den mest betydelige nedgang skjedde da gaussisk støy ble introdusert.

Disse funnene, foreslår forfatterne, antyder at metodens evne til å oppdage lokale manipulasjoner ikke lett forstyrres av typiske degraderinger i video-kvalitet, og støtter dens potensielle robusthet i praktiske sammenhenger.

Konklusjon

AI-manipulasjon eksisterer i det offentlige bevissthet hovedsakelig i den tradisjonelle forestillingen om deepfakes, hvor en persons identitet påføres en annen persons kropp, som kan utføre handlinger som er motsatt av identitetseierens prinsipper. Denne forestillingen er sakte bli oppdatert til å anerkjenne de mer skjulte evnene til generative videosystemer (i den nye generasjonen av video-deepfakes), og til evnene til latente diffusjonsmodeller (LDM) i alminnelighet.

Så det er rimelig å forvente at den type lokale redigering som den nye artikkelen er opptatt av, kanskje ikke vil nå offentlighetens oppmerksomhet før en Pelosi-lignende avgjørende hendelse skjer, ettersom folk er avledet fra denne muligheten av mer lett-overskuelige emner som video-deepfake-svindel.

Likevel, slik som skuespilleren Nic Cage har uttrykt konsekvent bekymring om muligheten for post-produksjonsprosesser til å ‘revidere’ en skuespillers prestasjon, bør vi også oppmuntre til større bevissthet om denne typen ‘subtile’ video-justering – ikke minst fordi vi er av natur ekstremt følsomme overfor små variasjoner i ansiktsuttrykk, og fordi konteksten kan betydelig endre effekten av små ansiktsbevegelser (vurdér den forstyrrende effekten av å bare smilke på en begravelse, for eksempel).

Først publisert onsdag, 2. april 2025