Blootstelling van kleine maar significante AI-bewerkingen in echte video’s

In 2019 was de voorzitter van het Huis van Afgevaardigden van de Verenigde Staten, Nancy Pelosi, het onderwerp van een gerichte en vrij eenvoudige deepfake-achtige aanval, waarbij echte video’s van haar werden bewerkt om haar dronken te laten lijken – een onwerkelijk incident dat meer dan een paar miljoen keer werd gedeeld voordat de waarheid erachter naar buiten kwam (en, mogelijk, nadat enige schade aan haar politieke kapitaal was aangericht door degenen die niet op de hoogte bleven van het verhaal).

Hoewel deze misrepresentatie slechts enkele eenvoudige audiovisuele bewerkingen vereiste, in plaats van enige AI, blijft het een belangrijk voorbeeld van hoe subtiele veranderingen in echte audiovisuele uitvoer een verwoestend effect kunnen hebben.

Ten tijde van de aanval werd de deepfake-scene gedomineerd door de autoencoder-gebaseerde gezichtsvervangingssystemen die eind 2017 waren geïntroduceerd en die sindsdien niet aanzienlijk in kwaliteit waren verbeterd. Dergelijke vroege systemen zouden moeite hebben gehad om dit soort kleine maar significante veranderingen te creëren of om realistisch moderne onderzoekslijnen zoals expressiebewerking na te streven:

Het ‘Neural Emotion Director’-framework van 2022 verandert de stemming van een beroemd gezicht. Bron: https://www.youtube.com/watch?v=Li6W8pRDMJQ

De dingen zijn nu heel anders. De film- en tv-industrie is ernstig geïnteresseerd in post-productiebewerking van echte uitvoeringen met behulp van machine learning-benaderingen, en AI’s facilitering van post facto perfectionisme is zelfs onder recente kritiek komen te staan.

De beeld- en videosynthesiseringsonderzoekssector heeft, in afwachting van (of mogelijk creërend) deze vraag, een breed scala aan projecten naar voren gebracht die ‘lokale bewerkingen’ van gezichtscaptures aanbieden, in plaats van complete vervangingen: projecten van dit type omvatten Diffusion Video Autoencoders; Stitch it in Time; ChatFace; MagicFace; en DISCO, om er maar een paar te noemen.

Expressiebewerking met het project MagicFace van januari 2025. Bron: https://arxiv.org/pdf/2501.02260

Nieuwe gezichten, nieuwe rimpels

Echter, de technologieën die deze bewerkingen mogelijk maken, ontwikkelen zich veel sneller dan de methoden om ze te detecteren. Bijna alle deepfake-detectiemethoden die in de literatuur worden genoemd, proberen gisteren’s deepfake-methoden met gisteren’s datasets te achterhalen. Tot vorige week hadden geen van hen het sluipende potentieel van AI-systemen aangepakt om kleine en lokale veranderingen in video’s aan te brengen.

Nu heeft een nieuw artikel uit India dit rechtgezet, met een systeem dat probeert om gezichten te identificeren die zijn bewerkt (in plaats van vervangen) door AI-gebaseerde technieken:

Detectie van subtiele lokale bewerkingen in deepfakes: een echte video wordt gewijzigd om nepvideo’s te produceren met verfijnde veranderingen zoals opgetrokken wenkbrauwen, gewijzigde geslachtskenmerken en verschuivingen in expressie naar afkeer (hier afgebeeld met een enkele frame). Bron: https://arxiv.org/pdf/2503.22121

De auteur’s systeem is gericht op het identificeren van deepfakes die subtiele, lokale gezichtsmanipulaties betreffen – een eerder verwaarloosde klasse van vervalsing. In plaats van te focussen op globale inconsistenties of identiteitsmismatches, richt de aanpak zich op fijne, lokale veranderingen zoals kleine expressieverschuivingen of kleine bewerkingen van specifieke gezichtskenmerken.

De methode maakt gebruik van de Action Units (AUs) delimiter in het Facial Action Coding System (FACS), dat 64 mogelijke individueel mutable gebieden in het gezicht definieert, die samen expressies vormen.

Enkele van de constituerende 64 expressieonderdelen in FACS. Bron: https://www.cs.cmu.edu/~face/facs.htm

De auteurs hebben hun aanpak getest tegen een verscheidenheid aan recente bewerkingsmethoden en melden consistente prestatieverbeteringen, zowel met oudere datasets als met veel recentere aanvalsvector:

‘Door AU-gebaseerde kenmerken te gebruiken om video-representaties te leiden die zijn geleerd via Masked Autoencoders (MAE), kan onze methode effectief lokale veranderingen vastleggen die cruciaal zijn voor het detecteren van subtiele gezichtsbewerkingen.

‘Deze aanpak stelt ons in staat om een verenigde latent representatie te construeren die zowel lokale bewerkingen als bredere veranderingen in gezichtsgerichte video’s codeert, waardoor een uitgebreide en aanpasbare oplossing voor deepfake-detectie wordt geboden.’

Het nieuwe artikel heeft als titel Detectie van lokale deepfake-manipulaties met behulp van Action Unit-geleide video-representaties en komt van drie auteurs aan het Indian Institute of Technology in Madras.

Methode

In overeenstemming met de aanpak van VideoMAE, begint de nieuwe methode met het toepassen van gezichtsdetectie op een video en het bemonsteren van gelijkmatig gespreide frames die zijn gecentreerd op de gedetecteerde gezichten. Deze frames worden vervolgens verdeeld in kleine 3D-divisies (d.w.z. tijdelijk ingeschakelde patches), die elk lokale ruimtelijke en tijdelijke details vastleggen.

Schema voor de nieuwe methode. De invoervideo wordt verwerkt met gezichtsdetectie om gelijkmatig gespreide, gezichtsgerichte frames te extraheren, die vervolgens worden verdeeld in ‘buisvormige’ patches en door een encoder worden geleid die latent representaties van twee vooraf getrainde pretexttaken combineert. De resulterende vector wordt vervolgens gebruikt door een classificator om te bepalen of de video echt of nep is.

Elk 3D-patch bevat een vaste grootte venster van pixels (d.w.z. 16×16) uit een klein aantal opeenvolgende frames (d.w.z. 2). Dit stelt het model in staat om korte-termijn beweging en expressieveranderingen te leren – niet alleen hoe het gezicht eruit ziet, maar hoe het beweegt.

De patches worden ingebed en positioneel gecodeerd voordat ze worden doorgegeven aan een encoder die is ontworpen om kenmerken te extraheren die echt van nep kunnen onderscheiden.

De auteurs erkennen dat dit bijzonder moeilijk is bij het omgaan met subtiele manipulaties en lossen dit probleem op door een encoder te construeren die twee aparte soorten geleerde representaties combineert, met behulp van een cross-attention-mechanisme om ze te combineren. Dit is bedoeld om een meer gevoelige en generaliseerbare kenmerkruimte voor het detecteren van lokale bewerkingen te produceren.

Pretexttaken

De eerste van deze representaties is een encoder getraind met een gemaskeerde auto-encoder-taak. Met de video gesplitst in 3D-patches (de meeste waarvan zijn verborgen), leert de encoder vervolgens om de ontbrekende delen te reconstrueren, waardoor het wordt gedwongen om belangrijke spatiotemporele patronen te vastleggen, zoals gezichtsbeweging of consistentie over tijd.

Pretexttaaktraining omvat het maskeren van delen van de video-invoer en het gebruik van een encoder-decoder-opstelling om óf de oorspronkelijke frames te reconstrueren, óf per-frame actie-eenheidkaarten, afhankelijk van de taak.

Echter, zoals het artikel opmerkt, biedt dit alleen niet voldoende gevoeligheid om fijne bewerkingen te detecteren, en de auteurs introduceren daarom een tweede encoder getraind om gezichtsactie-eenheden (AUs) te detecteren. Voor deze taak leert het model om dichte AU-kaarten voor elke frame te reconstrueren, opnieuw vanuit gedeeltelijk gemaskeerde invoer. Dit moedigt het aan om te focussen op gelokaliseerde spieractiviteit, waar veel subtiele deepfake-bewerkingen plaatsvinden.

Verdere voorbeelden van Facial Action Units (FAUs, of AUs). Bron: https://www.eiagroup.com/the-facial-action-coding-system/

Als beide encoders zijn voorgetraind, worden hun uitvoer gecombineerd met cross-attention. In plaats van de twee sets kenmerken eenvoudig te combineren, gebruikt het model de AU-gebaseerde kenmerken als queries die aandacht over de spatiotemporele kenmerken geleerd uit gemaskeerde auto-encoding leiden. In feite vertelt de actie-eenheidencoder het model waar het moet kijken.

Het resultaat is een gefuseerde latent representatie die zowel de bredere bewegingscontext als de gelokaliseerde expressieniveau-details moet vastleggen. Deze gecombineerde kenmerkruimte wordt vervolgens gebruikt voor de finale classificatietaken: het voorspellen of een video echt of gemanipuleerd is.

Gegevens en tests

Implementatie

De auteurs hebben het systeem geïmplementeerd door invoervideo’s voor te verwerken met de FaceXZoo PyTorch-gebaseerde gezichtsdetectieframework, waarbij 16 gezichtsgerichte frames uit elke clip werden verkregen. De pretexttaken die hierboven zijn uiteengezet, werden getraind op de CelebV-HQ-dataset, bestaande uit 35.000 hoge kwaliteit gezichtsvideo’s.

Uit het bronartikel, voorbeelden uit de CelebV-HQ-dataset die in het nieuwe project worden gebruikt. Bron: https://arxiv.org/pdf/2207.12393

De helft van de gegevensvoorbeelden werd gemaskeerd, waardoor het systeem werd gedwongen om algemene principes te leren in plaats van overfitting op de brondata.

Voor de gemaskeerde frame-reconstructietaken werd het model getraind om ontbrekende delen van video-frames te voorspellen met behulp van een L1-verlies, waardoor het verschil tussen de oorspronkelijke en gereconstrueerde inhoud werd geminimaliseerd.

Voor de tweede taak werd het model getraind om kaarten voor 16 gezichtsactie-eenheden te genereren, waarbij elke subtiele spierbeweging in gebieden zoals wenkbrauwen, oogleden, neus en lippen vertegenwoordigde, opnieuw onder toezicht van L1-verlies.

Na voortraining werden de twee encoders gefuseerd en fijngesteld voor deepfake-detectie met behulp van de FaceForensics++-dataset, die zowel echte als gemanipuleerde video’s bevat.

De FaceForensics++-dataset is sinds 2017 de hoeksteen van deepfake-detectie, hoewel deze inmiddels aanzienlijk verouderd is met betrekking tot de nieuwste gezichtssynthesetechnieken. Bron: https://www.youtube.com/watch?v=x2g48Q2I2ZQ

Om klasse-ongelijkheid te verantwoorden, gebruikten de auteurs Focal Loss (een variant van cross-entropy-verlies), die meer uitdagende voorbeelden tijdens training benadrukt.

Alle training werd uitgevoerd op een enkele RTX 4090 GPU met 24Gb VRAM, met een batchgrootte van 8 voor 600 epochs (volledige beoordelingen van de gegevens), met behulp van voorgetrainde checkpoints van VideoMAE om de gewichten voor elke pretexttaak te initialiseren.

Tests

Kwantitatieve en kwalitatieve evaluaties werden uitgevoerd tegen een verscheidenheid aan deepfake-detectiemethoden: FTCN; RealForensics; Lip Forensics; EfficientNet+ViT; Face X-Ray; Alt-Freezing; CADMM; LAANet; en BlendFace’s SBI. In alle gevallen was de broncode voor deze kaders beschikbaar.

De tests concentreerden zich op lokaal bewerkte deepfakes, waarbij alleen een deel van een bronclip werd gewijzigd. Architecturen die werden gebruikt, waren Diffusion Video Autoencoders (DVA); Stitch It In Time (STIT); Disentangled Face Editing (DFE); Tokenflow; VideoP2P; Text2Live; en FateZero. Deze methoden gebruiken een diversiteit van benaderingen (diffusie voor DVA en StyleGAN2 voor STIT en DFE, bijvoorbeeld)

De auteurs verklaren:

‘Om een uitgebreide dekking van verschillende gezichtsmanipulaties te waarborgen, hebben we een breed scala aan gezichtskenmerken en attribuutbewerkingen opgenomen. Voor gezichtskenmerkbewerking hebben we ooggrootte, oog-wenkbrauw-afstand, neusverhouding, neus-mondbewerking, lipverhouding en wangverhouding gewijzigd. Voor gezichtsattribuutbewerking hebben we expressies zoals glimlach, boosheid, afkeer en verdriet gewijzigd.

‘Deze diversiteit is essentieel om de robuustheid van ons model over een breed scala aan lokale bewerkingen te valideren. In totaal hebben we 50 video’s voor elk van de bovengenoemde bewerkingsmethoden gegenereerd en hebben we de sterke generalisatie van onze methode voor deepfake-detectie geverifieerd.’

Oudere deepfake-datasets werden ook opgenomen in de ronden, namelijk Celeb-DFv2 (CDF2); DeepFake Detection (DFD); DeepFake Detection Challenge (DFDC); en WildDeepfake (DFW).

Evaluatiemetrics waren Area Under Curve (AUC); Average Precision; en Gemiddelde F1 Score.

Uit het artikel: vergelijking met recente lokale deepfakes toont aan dat de voorgestelde methode alle anderen overtrof, met een winst van 15 tot 20 procent in zowel AUC als gemiddelde precisie ten opzichte van de volgende beste benadering.

De auteurs bieden ook een visuele detectievergelijking voor lokaal gemanipuleerde weergaven (hier alleen gedeeltelijk weergegeven vanwege beperkte ruimte):

Een echte video werd gewijzigd met behulp van drie verschillende lokale bewerkingen om nepvideo’s te produceren die visueel vergelijkbaar waren met het origineel. Hier worden representatieve frames weergegeven, samen met de gemiddelde nepdetectiescores voor elke methode. Terwijl bestaande detectors moeite hadden met deze subtiele bewerkingen, wees de voorgestelde methode consequent hoge nepwaarschijnlijkheden toe, wat een grotere gevoeligheid voor lokale veranderingen aangaf.

De onderzoekers merken op:

‘[De] bestaande SOTA-detectiemethoden, [LAANet], [SBI], [AltFreezing] en [CADMM], ervaren een aanzienlijke daling in prestaties op de nieuwste deepfake-generatiemethoden. De huidige SOTA-methoden vertonen AUC’s van zo laag als 48-71%, wat hun slechte generalisatiecapaciteiten voor recente deepfakes aantoont.

‘Aan de andere kant toont onze methode robuuste generalisatie, met een AUC in het bereik van 87-93%. Een soortgelijk patroon is zichtbaar in het geval van gemiddelde precisie. Zoals hieronder wordt aangetoond, behaalt onze methode ook consequent hoge prestaties op standaarddatasets, met AUC’s boven de 90% en concurrerend met recente deepfake-detectiemodellen.’

Prestaties op traditionele deepfake-datasets laten zien dat de voorgestelde methode concurrerend is met toonaangevende benaderingen, wat een sterke generalisatie over een breed scala aan manipulatietypen aantoont.

De auteurs merken op dat deze laatste tests modellen betreffen die redelijkerwijs als verouderd kunnen worden beschouwd en die vóór 2020 zijn geïntroduceerd.

Om een uitgebreider visueel beeld van de prestaties van het nieuwe model te geven, bieden de auteurs een uitgebreide tabel aan het einde, waarvan alleen een deel hier kan worden weergegeven:

In deze voorbeelden werd een echte video gewijzigd met behulp van drie lokale bewerkingen om nepvideo’s te produceren die visueel vergelijkbaar waren met het origineel. De gemiddelde vertrouwensscores over deze manipulaties laten, volgens de auteurs, zien dat de voorgestelde methode de vervalsingen betrouwbaarder detecteerde dan andere toonaangevende benaderingen. Raadpleeg het laatste blad van de bron-PDF voor de complete resultaten.

De auteurs beweren dat hun methode vertrouwensscores boven de 90 procent bereikt voor de detectie van lokale bewerkingen, terwijl bestaande detectiemethoden onder de 50 procent blijven voor dezelfde taak. Zij interpreteren deze kloof als bewijs van zowel de gevoeligheid als de generaliseerbaarheid van hun aanpak, en als een indicatie van de uitdagingen waarmee huidige technieken te kampen hebben bij het omgaan met dit soort subtiele gezichtsmanipulaties.

Om de betrouwbaarheid van het model in real-world-omstandigheden te beoordelen, en volgens de methode vastgesteld door CADMM, hebben de auteurs de prestaties getest op video’s die zijn gewijzigd met algemene distorties, waaronder aanpassingen van verzadiging en contrast, Gaussian blur, pixelatie en blokgewijze compressie-artefacten, evenals additief ruis.

De resultaten toonden aan dat de detectie-accuratesse grotendeels stabiel bleef over deze perturbaties. De enige opvallende daling trad op bij de toevoeging van Gaussian ruis, die een bescheiden daling in prestaties veroorzaakte. Andere wijzigingen hadden een minimaal effect.

Een voorbeeld van hoe de detectie-accuratesse verandert onder verschillende video-distorties. De nieuwe methode bleef grotendeels robuust in de meeste gevallen, met slechts een kleine daling in AUC. De meest significante daling trad op bij de introductie van Gaussian ruis.

Deze bevindingen, stellen de auteurs voor, suggereren dat de methode’s vermogen om lokale manipulaties te detecteren niet gemakkelijk wordt verstoord door typische degradaties in video-kwaliteit, waardoor deze robuustheid in praktische omstandigheden wordt ondersteund.

Conclusie

AI-manipulatie bestaat in het publieke bewustzijn voornamelijk in de traditionele notie van deepfakes, waarbij iemands identiteit wordt opgelegd op het lichaam van een andere persoon, die mogelijk handelingen uitvoert die in strijd zijn met de principes van de identiteitseigenaar. Dit concept is langzaam aan het veranderen om de meer sinistere capaciteiten van generatieve videosystemen (in de nieuwe generatie video-deepfakes) en de capaciteiten van latent diffusiemodellen (LDM’s) in het algemeen te erkennen.

Dus het is redelijk om te verwachten dat het soort lokale bewerking waar het nieuwe artikel zich mee bezighoudt, mogelijk niet de aandacht van het publiek zal trekken totdat een Pelosi-achtig sleutelmoment plaatsvindt, aangezien mensen worden afgeleid van deze mogelijkheid door gemakkelijker kopende onderwerpen zoals video-deepfake-fraude.

Nonetheless, net zoals de acteur Nic Cage consistent zijn bezorgdheid heeft geuit over de mogelijkheid van post-productieprocessen die een acteurs prestatie ‘herzien’, zouden wij ook moeten aanmoedigen om meer bewustzijn te creëren over dit soort ‘subtiele’ video-aanpassing – niet in de laatste plaats omdat wij van nature buitengewoon gevoelig zijn voor zeer kleine variaties in gezichtsuitdrukking, en omdat context de impact van kleine gezichtsbewegingen aanzienlijk kan veranderen (denk aan het disruptieve effect van zelfs maar een glimlach op een begrafenis, bijvoorbeeld).

Publicatie op woensdag 2 april 2025