Afsløring af små, men betydningsfulde AI-redigeringer i virkelige videoer

I 2019 var den amerikanske Repræsentanternes Hus-formand Nancy Pelosi genstand for et målrettet og ret simpelt deepfake-angreb, hvor virkelige videoer af hende blev redigeret, så hun så beruset ud – en ureel begivenhed, der blev delt flere millioner gange, før sandheden om det kom frem (og, potentielt, efter at nogen skade på hendes politiske kapital var sket hos dem, der ikke havde holdt sig ajour med historien).

Selv om denne misrepræsentation kun krævede nogle simple audiovisuelle redigeringer og ikke noget AI, er det stadig et nøgleeksempel på, hvordan subtile ændringer i virkelige audiovisuelle udgaver kan have en ødelæggende effekt.

På det tidspunkt var deepfake-scenen domineret af autoencoder-baserede ansigtsudskiftningssystemer, der havde debuteret i slutningen af 2017, og som ikke havde forbedret sig væsentligt i kvalitet siden da. Sådanne tidlige systemer ville have haft svært ved at skabe denne type små, men betydningsfulde ændringer eller at realistisk forfølge moderne forskningsstrømme som expression-redigering:

Det nyeste ‘Neural Emotion Director’-rammeværk ændrer humøret på et berømt ansigt. Kilde: https://www.youtube.com/watch?v=Li6W8pRDMJQ

Forholdene er nu helt anderledes. Film- og tv-industrien er meget interesseret i post-produktionsændring af virkelige præstationer ved hjælp af maskinelæringstilgange, og AI’s muliggørelse af post facto-perfectionisme er endda blevet kritiseret for nylig.

I forventning (eller måske skabende) af denne efterspørgsel har billed- og videosynteseforskningsområdet kastet en lang række projekter frem, der tilbyder ‘lokale redigeringer’ af ansigtsfornyelser, snarere end direkte udskiftninger: projekter af denne type inkluderer Diffusion Video Autoencoders; Stitch it in Time; ChatFace; MagicFace; og DISCO, blandt andre.

Expression-redigering med januar 2025-projektet MagicFace. Kilde: https://arxiv.org/pdf/2501.02260

Nye ansigter, nye rynker

Men de muliggørende teknologier udvikler sig langt hurtigere end metoderne til at opdage dem. Næsten alle deepfake-opdagelsesmetoder, der dukker op i litteraturen, jagter gårsdagens deepfake-metoder med gårsdagens datasæt. Indtil denne uge havde ingen af dem behandlet den snigende potentiale for AI-systemer til at skabe små og lokale ændringer i videoer.

Nu har en ny artikel fra Indien rettet dette op, med et system, der søger at identificere ansigter, der er blevet redigeret (snarere end udskiftet) gennem AI-baserede teknikker:

Opdagelse af subtile lokale redigeringer i deepfakes: En virkelig video ændres for at producere falske videoer med nuancerede ændringer som højrede øjenbryn, modificerede kønskarakteristika og skift i udtryk mod væmmelse (illustreret her med en enkelt ramme). Kilde: https://arxiv.org/pdf/2503.22121

Forfatternes system er rettet mod at identificere deepfakes, der involverer subtile, lokale ansigtsmanipulationer – en ellers forladt klasse af forfalskninger. Snarere end at fokusere på globale inkonsistenser eller identitetsforskelle, retter tilgangen sig mod finmærkede ændringer som små udtryksændringer eller små redigeringer af bestemte ansigtsfunktioner.

Metoden anvender Action Units (AUs) delimiteren i Facial Action Coding System (FACS), der definerer 64 mulige enkelte mutable områder i ansigtet, som tilsammen danner udtryk.

Nogle af de bestandige 64 udtryksdele i FACS. Kilde: https://www.cs.cmu.edu/~face/facs.htm

Forfatterne evaluerede deres tilgang mod en række nyere redigeringmetoder og rapporterer konsekvente præstationsgevinster, både med ældre datasæt og med langt nyere angrebsvektorer:

‘Ved at bruge AU-baserede funktioner til at guide video-repræsentationer, der er lært gennem Masked Autoencoders [(MAE)], kan vores metode effektivt fange lokale ændringer, der er afgørende for at opdage subtile ansigtsredigeringer.

‘Denne tilgang ermögiller os at konstruere en samlet latent repræsentation, der koder både lokale redigeringer og bredere ændringer i ansigtscentreret videoer, og giver en komprehensiv og tilpasningsdygtig løsning til deepfake-opdagelse.’

Den nye artikel har titlen Opdagelse af lokale deepfake-manipulationer ved hjælp af Action Unit-guidede video-repræsentationer og kommer fra tre forfattere ved Indian Institute of Technology i Madras.

Metode

I overensstemmelse med tilgangen, der er taget af VideoMAE, begynder den nye metode med at anvende ansigtsdetektion på en video og sampel jævnt fordelt rammer centreret omkring de detekterede ansigter. Disse rammer deles derefter op i små 3D-afdelinger (dvs. tidsaktiverede patches), hver især indfanger lokale rumlige og tidsmæssige detaljer.

Schema for den nye metode. Input-videoen behandles med ansigtsdetektion for at trække jævnt fordelt, ansigtscentreret rammer, som derefter deles op i ‘tubular’ patches og passerer gennem en encoder, der fusionerer latente repræsentationer fra to forudindlærte pretext-opsætninger. Den resulterende vektor bruges derefter af en klassifikator til at bestemme, om videoen er ægte eller falsk.

Hver 3D-patch indeholder et fast størrelsesvindue af pixels (dvs. 16×16) fra et lille antal pågældende rammer (dvs. 2). Dette giver mulighed for, at modellen kan lære kortvarige bevægelser og udtryksændringer – ikke kun, hvordan ansigtet ser ud, men hvordan det bevæger sig.

Patchene indkodes og positionelt kodet før de passerer ind i en encoder, der er designet til at trække funktioner, der kan skelne mellem ægte og falske videoer.

Forfatterne anerkender, at dette er særligt svært, når det handler om subtile manipulationer, og tilgår dette problem ved at konstruere en encoder, der kombinerer to separate typer af lært repræsentationer, ved hjælp af en cross-attention-mekanisme til at fusionere dem. Dette er tænkt til at producere en mere følsom og generaliserbar funktionrum til opdagelse af lokale redigeringer.

Pretext-opsætninger

Den første af disse repræsentationer er en encoder, der er trænet med en maskeret autoencoding-opgave. Med videoen delt op i 3D-patches (de fleste af dem er skjulte), lærer encoderen derefter at genskabe de manglende dele, hvilket tvinger den til at fange vigtige rumlige og tidsmæssige mønstre, såsom ansigtsbevægelser eller konsistens over tid.

Pretext-opgave-træning indebærer at maskere dele af video-input og bruge en encoder-decoder-opsætning til at genskabe enten de originale rammer eller per-ramme-handlingseenheder, afhængigt af opgaven.

Men artiklen bemærker, at dette alene ikke giver nok følsomhed til at opdage finmærkede redigeringer, og forfatterne introducerer derfor en anden encoder, der er trænet til at detektere ansigts-handlingseenheder (AUs). For denne opgave lærer modellen at genskabe tætte AU-kort for hver ramme, igen fra delvist maskerede input. Dette opmuntrer den til at fokusere på lokale muskelaktiviteter, hvor mange subtile deepfake-redigeringer finder sted.

Yderligere eksempler på ansigts-handlingseenheder (FAUs, eller AUs). Kilde: https://www.eiagroup.com/the-facial-action-coding-system/

Når begge encodere er forudindlært, kombineres deres output ved hjælp af cross-attention. I stedet for blot at fusionere de to sæt funktioner, bruger modellen AU-baserede funktioner som forespørgsler, der guider opmærksomhed over de rumlige og tidsmæssige funktioner, der er lært fra maskeret autoencoding. I virkeligheden fortæller ansigts-handlingseenheds-encoderen modellen, hvor den skal se.

Resultatet er en fusioneret latent repræsentation, der er tænkt til at fange både den bredere bevægelseskontekst og den lokale udtryksniveau-detale. Denne kombinerede funktionrum bruges derefter til den endelige klassifikationsopgave: at forudsige, om en video er ægte eller manipuleret.

Data og tests

Implementering

Forfatterne implementerede systemet ved at forarbejde input-videoer med FaceXZoo PyTorch-baseret ansigtsdetektionsramme, og fik 16 ansigtscentreret rammer fra hver klip. Pretext-opsætningerne ovenfor blev trænet på CelebV-HQ-datasættet, der består af 35.000 højkvalitetsfaciale videoer.

Fra kildeartiklen, eksempler fra CelebV-HQ-datasættet, der er brugt i det nye projekt. Kilde: https://arxiv.org/pdf/2207.12393

Halvdelen af dataeksemplerne var maskerede, hvilket tvang systemet til at lære generelle principper i stedet for at overfitte til kilde-dataene.

For opgaven med at genskabe maskerede ramme-input, blev modellen trænet til at forudsige manglende områder af video-rammer ved hjælp af en L1-tab, der minimerer forskellen mellem den originale og genskabte indhold.

For den anden opgave blev modellen trænet til at generere kort for 16 ansigts-handlingseenheder, hver repræsenterende subtile muskelbevægelser i områder, herunder øjenbryn, øjenlåg, næse og læber, igen superviseret af L1-tab.

Efter forudindlæring blev de to encodere fusioneret og finjusteret til deepfake-opdagelse ved hjælp af FaceForensics++-datasættet, der indeholder både ægte og manipulerede videoer.

FaceForensics++-datasættet har været det centrale pejlemærke for deepfake-opdagelse siden 2017, selv om det nu er betydeligt forældet i forhold til de nyeste ansigtssyntesteknikker. Kilde: https://www.youtube.com/watch?v=x2g48Q2I2ZQ

For at tage højde for klasse-ubalance brugte forfatterne Focal Loss (en variant af cross-entropy-tab), der betoner mere udfordrende eksempler under træning.

Alt træning blev udført på en enkelt RTX 4090 GPU med 24Gb VRAM, med en batch-størrelse på 8 for 600 epoch (komplet gennemgang af dataene), ved hjælp af forudindlært checkpoints fra VideoMAE til at initialisere vægtene for hver af pretext-opsætningerne.

Tests

Kvantitative og kvalitative evalueringer blev udført mod en række deepfake-opdagelsesmetoder: FTCN; RealForensics; Lip Forensics; EfficientNet+ViT; Face X-Ray; Alt-Freezing; CADMM; LAANet; og BlendFace’s SBI. I alle tilfælde var kildekode tilgængelig for disse rammer.

Testene fokuserede på lokalredigerede deepfakes, hvor kun en del af en kildeklip var ændret. Arkitekturer, der blev brugt, var Diffusion Video Autoencoders (DVA); Stitch It In Time (STIT); Disentangled Face Editing (DFE); Tokenflow; VideoP2P; Text2Live; og FateZero. Disse metoder anvender en diversitet af tilgange (diffusion for DVA og StyleGAN2 for STIT og DFE, for eksempel)

Forfatterne fastslår:

‘For at sikre en komprehensiv dækning af forskellige ansigtsmanipulationer, inkorporerede vi en bred vifte af ansigtsfunktioner og attribut-redigeringer. For ansigtsfunktion-redigering ændrede vi øjestørrelse, øjne-øjenbryn-afstand, næseforhold, næse-mund-afstand, læberforhold og kindforhold. For ansigtsattribut-redigering varierede vi udtryk som smil, vrede, væmmelse og sorg.

‘Denne diversitet er afgørende for at validere robustheden af vores model over en bred vifte af lokale redigeringer. I alt genererede vi 50 videoer for hver af de ovennævnte redigeringmetoder og validerede vores metodes stærke generalisering for deepfake-opdagelse.’

Ældre deepfake-datasæt blev også inkluderet i runderne, navnlig Celeb-DFv2 (CDF2); DeepFake Detection (DFD); DeepFake Detection Challenge (DFDC); og WildDeepfake (DFW).

Evaluationsmetrikkerne var Areal Under Kurve (AUC); Gennemsnitlig Præcision; og Gennemsnitlig F1-Score.

Fra artiklen: Sammenligning på nyere lokale deepfakes viser, at den foreslåede metode overgår alle andre, med en 15-20 procents gevinst i både AUC og gennemsnitlig præcision over den næstbedste tilgang.

Forfatterne yderligere giver en visuel opdagelses-sammenligning for lokalmanipulerede visninger (reproduceret kun delvist her, på grund af manglende plads):

En ægte video blev ændret ved hjælp af tre forskellige lokale manipulationer for at producere falske videoer, der ligner den originale. Vist her er repræsentative rammer sammen med den gennemsnitlige falske opdagelsesscore for hver metode. Mens eksisterende detektorer havde svært ved at håndtere disse subtile redigeringer, tildelte den foreslåede model konsekvent høje falske sandsynligheder, hvilket indikerer en større følsomhed over for lokale ændringer.

Forskerne kommenterer:

‘[Eksisterende] SOTA-opdagelsesmetoder, [LAANet], [SBI], [AltFreezing] og [CADMM], oplever en betydelig nedgang i præstation på de nyeste deepfake-genereringsmetoder. De nuværende SOTA-metoder viser AUC’er så lavt som 48-71%, hvilket demonstrerer deres dårlige generaliserings-evner til de nyeste deepfakes.

‘På den anden side viser vores metode en robust generalisering, med en AUC i intervallet 87-93%. En lignende tendens er synlig i tilfældet af gennemsnitlig præcision. Som vist nedenfor, opnår vores metode også konsekvent høje præstationer på standard-datasæt, overgår 90% AUC og er konkurrencedygtige med nyere deepfake-opdagelsesmodeller.’

Præstation på traditionelle deepfake-datasæt viser, at den foreslåede metode forblev konkurrencedygtig med førende tilgange, hvilket indikerer en stærk generalisering på tværs af en række manipulationstyper.

Forfatterne bemærker, at disse sidste tests indebærer modeller, der kan anses for at være forældede, og som blev introduceret før 2020.

For en mere omfattende visuel fremstilling af den nye models præstation, giver forfatterne en omfattende tabel i slutningen, som vi kun har plads til at reproducere delvist her:

Her vises en ægte video, der blev ændret ved hjælp af tre lokale redigeringer for at producere falske videoer, der ligner den originale. Den gennemsnitlige konfidens-score over disse manipulationer viser, ifølge forfatterne, at den foreslåede metode opdagede forfalskningerne mere pålideligt end andre førende tilgange. Venligst se den sidste side af kilde-PDF’en for de komplette resultater.

Forfatterne fastslår, at deres metode opnår konfidens-scores over 90% for opdagelse af lokale redigeringer, mens eksisterende opdagelsesmetoder forblev under 50% på samme opgave. De fortolker dette gap som bevis for både følsomheden og generaliserbarheden af deres tilgang, og som en indikation af de udfordringer, som nuværende teknikker står over for i forhold til at håndtere disse typer subtile ansigtsmanipulationer.

For at evaluere models robusthed under realverden-forhold, og i overensstemmelse med metoden etableret af CADMM, testede forfatterne dens præstation på videoer, der var ændret med almindelige forvridninger, herunder justeringer af mætning og kontrast, Gaussisk blur, pixelering og blok-baseret kompressionsarter, samt additivt støj.

Resultaterne viste, at opdagelsesnøjagtigheden forblev stort set stabil på tværs af disse forvridninger. Den eneste bemærkelsesværdige nedgang skete med tilføjelsen af Gaussisk støj, der medførte en moderat nedgang i præstation. Andre ændringer havde minimal effekt.

En illustration af, hvordan opdagelsesnøjagtigheden ændrer sig under forskellige video-forvridninger. Den nye metode forblev robust i de fleste tilfælde, med kun en lille nedgang i AUC. Den mest betydelige nedgang skete, da Gaussisk støj blev introduceret.

Disse fund, foreslår forfatterne, antyder, at metodens evne til at opdage lokale manipulationer ikke let kan forstyrres af typiske degraderinger i video-kvalitet, hvilket understøtter dens potentielle robusthed i praktiske sammenhænge.

Konklusion

AI-manipulation findes i den offentlige bevidsthed primært i den traditionelle forestilling om deepfakes, hvor en persons identitet påføres en anden persons krop, der måske udfører handlinger, der er imod identitets-ejerskabets principper. Denne forestilling er langsomt ved at blive opdateret til at anerkende de mere snigende evner af generative video-systemer (i den nye race af video-deepfakes) og til evnerne af latente diffusionsmodeller (LDM’er) generelt.

Så det er rimeligt at forvente, at den type lokale redigering, som den nye artikel er beskæftiget med, måske ikke vil nå den offentlige opmærksomhed, før en Pelosi-lignende afgørende begivenhed indtræffer, da folk er distraheret fra denne mulighed af mere lette overskrifter som video-deepfake-svindel.

Likevel, ligesom skuespilleren Nic Cage har udtrykt konstant bekymring om muligheden for post-produktionsprocesser til at ‘revidere’ en skuespillers præstation, bør vi også opmuntre til større bevidsthed om denne type ‘subtil’ video-justering – ikke mindst, fordi vi er af natur utroligt følsomme over for meget små variationer i ansigtsudtryk, og fordi kontekst kan ændre effekten af små ansigtsbevægelser (overvej den disruptive effekt af blot at smilke på en begravelse, for eksempel).

Først udgivet onsdag, 2. april 2025