Avslöjande av små men betydande AI-redigeringar i riktiga videor

2019 var talman i USA:s representanthus Nancy Pelosi föremål för ett riktat och ganska lågteknologiskt deepfake-liknande angrepp, när riktiga videor av henne redigerades för att göra henne till synes berusad – ett overkligt tillfälle som delades flera miljoner gånger innan sanningen om det kom fram (och, potentiellt, efter att viss bestående skada på hennes politiska kapital hade åstadkommits av dem som inte höll sig à jour med historien).

Även om denna missrepresentation endast krävde någon enkel ljud- och video-redigering, snarare än någon AI, kvarstår det som ett nyckel-exempel på hur subtila förändringar i riktiga ljud- och video-utdata kan ha en förödande effekt.

Vid den tiden dominerades den deepfake-scenen av de autoencoder-baserade ansiktsbytar-system som hade debuterat i slutet av 2017 och som inte hade förbättrats avsevärt i kvalitet sedan dess. Sådana tidiga system skulle ha haft svårt att skapa den här typen av små men betydande förändringar eller att realistiskt följa moderna forskningssträngar som t.ex. uttrycksredigering:

Det nyligen lanserade ‘Neural Emotion Director’-ramverket ändrar humöret hos ett berömt ansikte. Källa: https://www.youtube.com/watch?v=Li6W8pRDMJQ

Saker och ting är nu helt annorlunda. Film- och TV-branschen är seriöst intresserad av post-produktions-ändring av riktiga prestationer med hjälp av maskin-inlärnings-ansatser, och AI:s underlättande av post facto-perfectionism har till och med kritiserats nyligen.

I förväg (eller möjligen skapande) denna efterfrågan har bilden- och video-syntes-forsknings-scenen kastat fram ett brett utbud av projekt som erbjuder ‘lokala redigeringar’ av ansikts-fångster, snarare än ut-rätt-ersättningar: projekt av den här typen inkluderar Diffusion Video Autoencoders; Stitch it in Time; ChatFace; MagicFace; och DISCO, bland andra.

Uttrycksredigering med januari 2025-projektet MagicFace. Källa: https://arxiv.org/pdf/2501.02260

Nya ansikten, nya rynkor

Men de möjliggörande teknologierna utvecklas mycket snabbare än metoder för att upptäcka dem. Nästan alla deepfake-upptäcktsmetoder som dyker upp i litteraturen jagar gårdagens deepfake-metoder med gårdagens datamängder. Fram till denna vecka hade ingen av dem hanterat den krypande potentialen för AI-system att skapa små och lokala lokala förändringar i video.

Nu har en ny artikel från Indien åtgärdat detta, med ett system som syftar till att identifiera ansikten som har redigerats (snarare än ersatts) genom AI-baserade tekniker:

Upptäckt av subtila lokala redigeringar i deepfakes: En riktig video ändras för att producera falska med nyanserade förändringar som t.ex. höjda ögonbryn, ändrade könsegenskaper och skiftningar i uttryck mot avsmak (illustrerad här med en enda ram). Källa: https://arxiv.org/pdf/2503.22121

Författarnas system är riktat mot att identifiera deepfakes som involverar subtila, lokala ansiktsmanipulationer – en annars försummad klass av förfalskning. Snarare än att fokusera på globala inkonsekvenser eller identitets-missmatch, riktar sig metoden mot fin-granulerade förändringar som t.ex. små uttrycksförändringar eller små redigeringar av specifika ansiktsdrag.

Metoden använder sig av Action Units (AUs) delimiter i Facial Action Coding System (FACS), som definierar 64 möjliga enskilda mutable områden i ansiktet, som tillsammans bildar uttryck.

Några av de konstituerande 64 uttrycksdelarna i FACS. Källa: https://www.cs.cmu.edu/~face/facs.htm

Författarna utvärderade sin metod mot en mängd olika redigeringsmetoder och rapporterar konsekventa prestandavinster, både med äldre datamängder och med mycket senare attackvektorer:

‘Genom att använda AU-baserade funktioner för att vägleda video-representationer som lärts genom Masked Autoencoders [(MAE)], fångar vår metod effektivt lokala förändringar som är avgörande för att upptäcka subtila ansiktsredigeringar.

‘Denna metod möjliggör för oss att konstruera en enhetlig latent representation som kodar både lokala redigeringar och bredare förändringar i ansikts-centrerade videor, vilket ger en omfattande och anpassningsbar lösning för deepfake-upptäckt.’

Den nya artikeln är titlad Upptäckt av lokala deepfake-manipulationer med hjälp av Action Unit-guidade video-representationer, och kommer från tre författare vid Indian Institute of Technology i Madras.

Metod

I linje med den metod som används av VideoMAE, börjar den nya metoden med att applicera ansiktsdetektering på en video och sampelar jämnt fördelade ramar centrerade på de upptäckta ansiktena. Dessa ramar delas sedan in i små 3D-avdelningar (dvs. tidsmässigt aktiverade patchar), var och en som fångar lokala rumsliga och tidsmässiga detaljer.

Schema för den nya metoden. In-data-videon bearbetas med ansiktsdetektering för att extrahera jämnt fördelade, ansikts-centrerade ramar, som sedan delas in i ‘rörformade’ patchar och skickas genom en encoder som sammanfogar latenta representationer från två förtränade pretext-uppgifter. Den resulterande vektorn används sedan av en klassificerare för att bestämma om videon är riktig eller falsk.

Varje 3D-patch innehåller ett fast storleksfönster av pixlar (dvs. 16×16) från ett litet antal på varandra följande ramar (dvs. 2). Detta låter modellen lära sig kortvarig rörelse och uttrycksförändringar – inte bara hur ansiktet ser ut, utan hur det rör sig.

Patcharna bäddas in och positionellt kodas innan de skickas in i en encoder som är utformad för att extrahera funktioner som kan skilja riktiga från falska.

Författarna erkänner att detta är särskilt svårt när man hanterar subtila manipulationer, och hanterar detta problem genom att konstruera en encoder som kombinerar två separata typer av inlärda representationer, med hjälp av en cross-attention-mekanism för att sammanfoga dem. Detta är tänkt att producera en mer känslig och generaliserbar funktion-rymd för att upptäcka lokala redigeringar.

Pretext-uppgifter

Den första av dessa representationer är en encoder som tränats med en maskerad autoencoding-uppgift. Med videon delad in i 3D-patchar (de flesta av dem dolda), lär sig encodern sedan att återställa de saknade delarna, vilket tvingar den att fånga viktiga rumsliga och tidsmässiga mönster, som t.ex. ansiktsrörelse eller konsekvens över tid.

Pretext-uppgiftsträning innebär att maskera delar av video-inmatningen och använda en encoder-decoder-uppsättning för att återställa antingen de ursprungliga ramarna eller per-ram-ansikts-aktivitets-kartor, beroende på uppgiften.

Men artikeln observerar att detta ensam inte ger tillräcklig känslighet för att upptäcka fin-granulerade redigeringar, och författarna introducerar därför en andra encoder som tränats för att upptäcka ansikts-aktivitets-enheter (AUs). För denna uppgift lär sig modellen att återställa täta AU-kartor för varje ram, igen från delvis maskerade inmatningar. Detta uppmuntrar den att fokusera på lokala muskelaktiviteter, där många subtila deepfake-redigeringar sker.

Ytterligare exempel på Facial Action Units (FAUs, eller AUs).

När båda encoderna är förtränade, kombineras deras utdata med hjälp av cross-attention. Istället för att bara slå samman de två uppsättningarna av funktioner, använder modellen AU-baserade funktioner som frågor som vägleder uppmärksamhet över de rumsliga och tidsmässiga funktioner som lärts från maskerad autoencoding. I princip berättar ansikts-aktivitets-enheten för modellen var den ska titta.

Resultatet är en sammanfogad latent representation som är tänkt att fånga både den bredare rörelsekontexten och den lokala uttrycks-nivå-detaljen. Denna kombinerade funktion-rymd används sedan för den slutliga klassificeringsuppgiften: att förutsäga om en video är riktig eller manipulerad.

Data och tester

Implementering

Författarna implementerade systemet genom att förbearbeta in-data-videor med FaceXZoo PyTorch-baserad ansiktsdetekterings-ram, och erhöll 16 ansikts-centrerade ramar från varje klipp. Pretext-uppgifterna ovan tränades på CelebV-HQ-datamängden, som består av 35 000 högkvalitativa ansikts-videor.

Från käll-artikeln, exempel från CelebV-HQ-datamängden som används i det nya projektet. Källa: https://arxiv.org/pdf/2207.12393

Hälften av data-exemplen maskerades, vilket tvingade systemet att lära sig allmänna principer istället för att överanpassa sig till käll-data.

För den maskerade ram-återställningsuppgiften tränades modellen för att förutsäga saknade områden av video-ramar med hjälp av en L1-förlust, som minimerar skillnaden mellan den ursprungliga och återställda innehållet.

För den andra uppgiften tränades modellen för att generera kartor för 16 ansikts-aktivitets-enheter, var och en som representerar subtila muskelrörelser i områden som t.ex. ögonbryn, ögonlock, näsa och läppar, igen under tillsyn av L1-förlust.

Efter förträning, sammanfogades de två encoderna och finjusterades för deepfake-upptäckt med hjälp av FaceForensics++-datamängden, som innehåller både riktiga och manipulerade videor.

FaceForensics++-datamängden har varit den centrala utgångspunkten för deepfake-upptäckt sedan 2017, även om den nu är ganska föråldrad i förhållande till de senaste ansikts-syntes-teknikerna. Källa: https://www.youtube.com/watch?v=x2g48Q2I2ZQ

För att hantera klass-obalans, använde författarna Focal Loss (en variant av cross-entropy-förlust), som betonar svårare exempel under träning.

All träning genomfördes på en enda RTX 4090 GPU med 24Gb VRAM, med en batch-storlek på 8 för 600 epoker (kompletta granskningar av data), med förtränade startpunkter från VideoMAE för att initiera vikterna för var och en av pretext-uppgifterna.

Tester

Kvantitativa och kvalitativa utvärderingar genomfördes mot en mängd olika deepfake-upptäcktsmetoder: FTCN; RealForensics; Lip Forensics; EfficientNet+ViT; Face X-Ray; Alt-Freezing; CADMM; LAANet; och BlendFace’s SBI. I alla fall var källkod tillgänglig för dessa ramverk.

Testerna koncentrerades på lokalt redigerade deepfakes, där endast en del av en käll-klipp ändrades. Arkitekturer som användes var Diffusion Video Autoencoders (DVA); Stitch It In Time (STIT); Disentangled Face Editing (DFE); Tokenflow; VideoP2P; Text2Live; och FateZero. Dessa metoder använder en mängd olika tillvägagångssätt (diffusion för DVA och StyleGAN2 för STIT och DFE, till exempel)

Författarna påstår:

‘För att säkerställa en omfattande täckning av olika ansiktsmanipulationer, inkorporerade vi en stor mängd olika ansiktsfunktioner och attribut-redigeringar. För ansiktsfunktion-redigering, ändrade vi ögon-storlek, ögon-ögonbryns-avstånd, näsa-förhållande, näsa-mun-avstånd, läpp-förhållande och kind-förhållande. För ansikts-attribut-redigering, varierade vi uttryck som t.ex. leende, ilska, avsmak och sorg.

‘Denna mångfald är avgörande för att validera modellens robusthet över en stor mängd lokala redigeringar. Sammanlagt genererade vi 50 videor för var och en av de ovan nämnda redigeringsmetoderna och validerade vår metod för stark generalisering för deepfake-upptäckt.’

Äldre deepfake-datamängder ingick också i testerna, nämligen Celeb-DFv2 (CDF2); DeepFake Detection (DFD); DeepFake Detection Challenge (DFDC); och WildDeepfake (DFW).

Utvärderings-mått var Area Under Curve (AUC); Genomsnittlig precision; och Medel F1-poäng.

Från artikeln: jämförelse på nyligen lokalt redigerade deepfakes visar att den föreslagna metoden överträffade alla andra, med en 15 till 20 procents vinst i både AUC och genomsnittlig precision jämfört med den näst bästa metoden.

Författarna tillhandahåller dessutom en visuell upptäckts-jämförelse för lokalt manipulerade vyer (reproducerad endast delvis här, på grund av brist på utrymme):

En riktig video ändrades med hjälp av tre olika lokala manipulationer för att producera falska som förblev visuellt lika den ursprungliga. Visade här är representativa ramar tillsammans med genomsnittliga falska upptäckts-poäng för varje metod. Medan befintliga upptäckts-metoder kämpade med dessa subtila redigeringar, tilldelade den föreslagna modellen konsekvent höga falska sannolikheter, vilket indikerar större känslighet för lokala förändringar.

Forskarna kommenterar:

‘[De] befintliga SOTA-upptäcktsmetoderna, [LAANet], [SBI], [AltFreezing] och [CADMM], upplever en betydande nedgång i prestanda på de senaste deepfake-genereringsmetoderna. De nuvarande SOTA-metoderna visar AUC-värden så låga som 48-71%, vilket visar deras dåliga generaliseringsförmåga till de senaste deepfakes.

‘Å andra sidan visar vår metod robust generalisering, med en AUC inom intervallet 87-93%. En liknande trend är märkbar i fallet med genomsnittlig precision också. Som visas [nedan] uppnår vår metod också konsekvent hög prestanda på standard-datamängder, överträffande 90% AUC och är konkurrenskraftiga med nyligen deepfake-upptäckts-modeller.’

Prestanda på traditionella deepfake-datamängder visar att den föreslagna metoden förblev konkurrenskraftig med ledande tillvägagångssätt, vilket indikerar stark generalisering över en mängd manipulationstyper.

Författarna observerar att dessa sista tester involverar modeller som rimligen kan ses som föråldrade, och som introducerades före 2020.

Genom att tillhandahålla en mer omfattande visuell beskrivning av den nya modellens prestanda, tillhandahåller författarna en omfattande tabell i slutet, som vi endast har utrymme att reproducera delvis:

I dessa exempel ändrades en riktig video med hjälp av tre lokala redigeringar för att producera falska som förblev visuellt lika den ursprungliga. De genomsnittliga förfalsknings-poängen över dessa manipulationer visar, enligt författarna, att den föreslagna metoden upptäckte förfalskningarna mer tillförlitligt än andra ledande tillvägagångssätt. Vänligen se den sista sidan av käll-PDF för de kompletta resultaten.

Författarna hävdar att deras metod uppnår förtroendepoäng över 90 procent för upptäckt av lokala redigeringar, medan befintliga upptäcktsmetoder förblev under 50 procent på samma uppgift. De tolkar denna klyfta som bevis för både känsligheten och generaliserbarheten hos deras tillvägagångssätt, och som en indikation på de utmaningar som befintliga tekniker möter när de hanterar dessa typer av subtila ansiktsmanipulationer.

För att utvärdera modellens tillförlitlighet under verkliga förhållanden, och enligt den metod som etablerats av CADMM, testade författarna dess prestanda på videor som ändrats med vanliga distorsioner, inklusive justeringar av mättnad och kontrast, Gaussisk oskärpa, pixlisering och blockbaserade kompressionsartefakter, samt additivt brus.

Resultaten visade att upptäckts-precisionen förblev i stort sett stabil över dessa perturbationer. Den enda märkbara nedgången inträffade med tillägg av Gaussiskt brus, som orsakade en måttlig nedgång i prestanda. Andra ändringar hade minimal effekt.

En illustration av hur upptäckts-precisionen ändras under olika video-distorsioner. Den nya metoden förblev resilient i de flesta fallen, med endast en liten nedgång i AUC. Den mest betydande nedgången inträffade när Gaussiskt brus introducerades.

Dessa fynd, föreslår författarna, tyder på att metoden för att upptäcka lokala manipulationer inte är lätt att störa av typiska försämringar av video-kvalitet, vilket stöder dess potentiella robusthet i praktiska sammanhang.

Slutsats

AI-manipulation existerar i allmänhetens medvetande främst i den traditionella föreställningen om deepfakes, där en persons identitet påtvingas en annan persons kropp, som kan utföra handlingar som strider mot identitetsägarens principer. Denna uppfattning uppdateras långsamt för att erkänna de mer illvilliga förmågorna hos generativa video-system (i den nya generationen video-deepfakes) och till de förmågor som latent diffusionsmodeller (LDM) har i allmänhet.

Det är därför rimligt att förvänta sig att den typ av lokal redigering som den nya artikeln är intresserad av kanske inte kommer att väcka allmänhetens uppmärksamhet förrän ett Pelosi-liknande avgörande händelse inträffar, eftersom människor distraheras från denna möjlighet av lättare rubriker som t.ex. video-deepfake-bedrägeri.

Ändå, liksom skådespelaren Nic Cage har uttryckt konsekvent oro över möjligheten att post-produktions-processer ‘reviderar’ en skådespelares prestation, bör vi också uppmuntra ökad medvetenhet om den här typen av ‘subtil’ video-justering – inte minst eftersom vi av naturen är otroligt känsliga för mycket små variationer av ansiktsuttryck, och eftersom sammanhang kan signifikant ändra påverkan av små ansiktsrörelser (t.ex. den störande effekten av att bara flina på en begravning, till exempel).

Publicerad första gången onsdag, 2 april 2025