Kleine Deepfakes Zijn Misschien Wel Het Grotere Gevaar

Conversational AI-tools zoals ChatGPT en Google Gemini worden nu gebruikt om deepfakes te maken die geen gezichten verwisselen, maar op meer subtiele manieren het hele verhaal binnen een afbeelding herschrijven. Door gebaren, voorwerpen en achtergronden te veranderen, misleiden deze bewerkingen zowel AI-detectors als mensen, waardoor de inzet voor het herkennen van wat online echt is, wordt verhoogd.

In de huidige situatie, vooral in de nasleep van significante wetgeving zoals de TAKE IT DOWN-wet, associëren veel van ons deepfakes en AI-gedreven identiteitssynthese met non-consensuele AI-porno en politieke manipulatie – in het algemeen, grove vertekeningen van de waarheid.

Dit laat ons verwachten dat AI-manipuleerde afbeeldingen altijd hoogwaardige inhoud zullen hebben, waar de kwaliteit van de rendering en de manipulatie van de context mogelijk succesvol zal zijn in het bereiken van een geloofwaardigheidsstunt, althans op korte termijn.

Historisch gezien hebben echter veel subtielere veranderingen vaak een meer sinistere en langdurige invloed gehad – zoals de state-of-the-art fotografische trucage die Stalin toeliet degenen die in ongenade waren gevallen, uit het fotografische archief te verwijderen, zoals gesatiriseerd in de roman Nineteen Eighty-Four van George Orwell, waar de protagonist Winston Smith zijn dagen doorbrengt met het herschrijven van de geschiedenis en het creëren, vernietigen en ‘wijzigen’ van foto’s.

In het volgende voorbeeld is het probleem met de tweede afbeelding dat we ‘niet weten wat we niet weten’ – dat de voormalige hoofd van Stalin’s geheime politie, Nikolai Yezhov, de ruimte bezette waar nu alleen een veiligheidsbarrière is:

Nu zie je hem, nu is hij… verdwenen. Stalin-tijdperk fotografische manipulatie verwijdert een in ongenade gevallen partijlid uit de geschiedenis. Bron: Openbaar domein, via https://www.rferl.org/a/soviet-airbrushing-the-censors-who-scratched-out-history/29361426.html

Deze soort stromen, vaak herhaald, bestaan op veel manieren voort; niet alleen cultureel, maar ook in computerzicht, dat trends afleidt uit statistisch dominante thema’s en motieven in trainingsdatasets. Om een voorbeeld te geven, het feit dat smartphones de drempel hebben verlaagd en massaal de kosten van fotografie hebben verlaagd, betekent dat hun iconografie onweerstaanbaar is verbonden met veel abstracte concepten, zelfs als dit niet passend is.

Als conventionele deepfaking kan worden beschouwd als een daad van ‘aanval’, zijn pernicieuze en persistente kleine veranderingen in audiovisuele media meer verwant aan ‘gaslighting’. Bovendien maakt de capaciteit van dit soort deepfaking om onopgemerkt te blijven, het moeilijk om te identificeren met behulp van state-of-the-art deepfake-detectiesystemen (die op zoek zijn naar grove veranderingen). Deze aanpak is meer verwant aan water dat over een langere periode tegen een rots slijt, dan een steen die naar iemands hoofd wordt gegooid.

MultiFakeVerse

Onderzoekers uit Australië hebben een poging gedaan om de gebrek aan aandacht voor ‘subtiele’ deepfaking in de literatuur aan te pakken, door een omvangrijke nieuwe dataset van persoonsgerichte beeldmanipulaties te cureren die context, emotie en verhaal veranderen zonder de kernidentiteit van de persoon te veranderen:

Uit de nieuwe collectie, echte/valse paren, met sommige veranderingen subtieler dan andere. Let op, bijvoorbeeld, het verlies van autoriteit voor de Aziatische vrouw, rechtsonder, wanneer haar doktersstethoscoop door AI wordt verwijderd. Bron: https://huggingface.co/datasets/parulgupta/MultiFakeVerse_preview

De collectie, getiteld MultiFakeVerse, bestaat uit 845.826 afbeeldingen gegenereerd via visuele taalmodellen (VLM’s), die online kunnen worden geopend en gedownload, met toestemming.

De auteurs verklaren:

‘Deze VLM-gedreven benadering maakt semantische, contextuele veranderingen mogelijk, zoals het wijzigen van acties, scènes en mens-objectinteracties, in plaats van synthetische of laag-niveau-identiteitsuitwisselingen en regiospecifieke bewerkingen die gebruikelijk zijn in bestaande datasets.’

‘Onze experimenten laten zien dat huidige state-of-the-art deepfake-detectiemodellen en menselijke waarnemers moeite hebben om deze subtiele maar betekenisvolle manipulaties te detecteren.’

De onderzoekers testten zowel mensen als toonaangevende deepfake-detectiesystemen op hun nieuwe dataset om te zien hoe goed deze subtiele manipulaties konden worden geïdentificeerd. Menselijke deelnemers worstelden, classificeerden afbeeldingen correct als echt of vals slechts ongeveer 62% van de tijd, en hadden nog meer moeite om te bepalen welke delen van de afbeelding waren bewerkt.

Bestaande deepfake-detectors, getraind op meer voor de hand liggende gezichtsverwisselingen of inpainting-datasets, presteerden ook slecht, faalden vaak om te registreren dat er enige manipulatie had plaatsgevonden. Zelfs na fine-tuning op MultiFakeVerse, bleven detectiepercentages laag, waardoor duidelijk werd hoe slecht huidige systemen omgaan met deze subtiele, narratief-gedreven bewerkingen.

Het nieuwe artikel is getiteld Multiverse Through Deepfakes: The MultiFakeVerse Dataset of Person-Centric Visual and Conceptual Manipulations, en komt van vijf onderzoekers uit Monash University in Melbourne en Curtin University in Perth. Code en gerelateerde gegevens zijn vrijgegeven op GitHub, naast de Hugging Face-hosting die eerder werd genoemd.

Methode

De MultiFakeVerse-dataset werd opgebouwd uit vier reële beeldsets met mensen in diverse situaties: EMOTIC; PISC, PIPA, en PIC 2.0. Vanuit 86.952 oorspronkelijke afbeeldingen produceerden de onderzoekers 758.041 gemanipuleerde versies.

De Gemini-2.0-Flash– en ChatGPT-4o-frameworks werden gebruikt om zes minimale bewerkingen voor elke afbeelding voor te stellen – bewerkingen die waren ontworpen om de meest prominente persoon in de afbeelding subtiel te veranderen.

De modellen werden geïnstrueerd om modificaties te genereren die de onderwerp onervaren, trots, berouwvol, onbevangen of nonchalant zouden laten lijken, of om een feitelijk element in de scène aan te passen. Naast elke bewerking produceerden de modellen ook een verwijzingsuitdrukking om duidelijk de doelwit van de modificatie te identificeren, waardoor het latere bewerkingsproces de veranderingen kon toepassen op de juiste persoon of object binnen elke afbeelding.

De auteurs verduidelijken:

‘Let op dat verwijzingsuitdrukking een breed onderzocht domein is in de gemeenschap, dat een frase betekent die het doelwit in een afbeelding kan verduidelijken, bijvoorbeeld voor een afbeelding met twee mannen die op een bureau zitten, een van hen praat aan de telefoon en de ander kijkt door documenten, een geschikte verwijzingsuitdrukking voor de laatste zou zijn de man links die een stuk papier vasthoudt.’

Nadat de bewerkingen waren gedefinieerd, werd de daadwerkelijke beeldmanipulatie uitgevoerd door visuele taalmodellen te instrueren om de gespecificeerde veranderingen aan te brengen terwijl de rest van de scène intact bleef. De onderzoekers testten drie systemen voor deze taak: GPT-Image-1; Gemini-2.0-Flash-Image-Generation; en ICEdit.

Na het genereren van 22.000 voorbeeldafbeeldingen, bleek Gemini-2.0-Flash de meest consistente methode te zijn, die bewerkingen produceerde die natuurlijk in de scène pasten zonder zichtbare artefacten te introduceren; ICEdit produceerde vaak meer voor de hand liggende vervalsingen, met opvallende fouten in de bewerkte gebieden; en GPT-Image-1 beïnvloedde soms onbedoelde delen van de afbeelding, deels vanwege zijn conformiteit met vaste uitvoeraspectverhoudingen.

Beeldanalyse

Elke gemanipuleerde afbeelding werd vergeleken met de oorspronkelijke om te bepalen hoeveel van de afbeelding was bewerkt. De pixelniveauverschillen tussen de twee versies werden berekend, met kleine willekeurige ruis gefilterd om te focussen op betekenisvolle bewerkingen. In sommige afbeeldingen werden alleen kleine gebieden beïnvloed; in andere werd tot tachtig procent van de scène gewijzigd.

Om te evalueren hoeveel de betekenis van elke afbeelding verschoof als gevolg van deze veranderingen, werden onderschriften gegenereerd voor zowel de oorspronkelijke als de gemanipuleerde afbeeldingen met behulp van de ShareGPT-4V-visuele taalmodel.

Deze onderschriften werden vervolgens omgezet in embeddings met behulp van Long-CLIP, waardoor een vergelijking kon worden gemaakt van hoe ver de inhoud was afgedwaald tussen versies. De sterkste semantische veranderingen werden waargenomen in gevallen waarin objecten dicht bij of rechtstreeks betrokken bij de persoon waren gewijzigd, aangezien deze kleine aanpassingen de interpretatie van de afbeelding aanzienlijk konden veranderen.

Gemini-2.0-Flash werd vervolgens gebruikt om het type van manipulatie dat op elke afbeelding was toegepast, te classificeren, op basis van waar en hoe de bewerkingen waren gemaakt. Manipulaties werden gegroepeerd in drie categorieën: persoonsniveau-bewerkingen betroffen veranderingen in de gelaatsuitdrukking, houding, blik, kleding of andere persoonlijke kenmerken van de onderwerp; objectniveau-bewerkingen beïnvloedden objecten die met de persoon waren verbonden, zoals objecten die ze vasthielden of waarmee ze in de voorgrond interacteerden; en scèneniveau-bewerkingen betroffen achtergrondselementen of bredere aspecten van de setting die de persoon niet rechtstreeks betroffen.

De MultiFakeVerse-datasetgeneratiepijplijn begint met echte afbeeldingen, waar visuele taalmodellen narratieve bewerkingen voorstellen die mensen, objecten of scènes als doelwit hebben. Bron: https://arxiv.org/pdf/2506.00868

Aangezien afzonderlijke afbeeldingen meerdere soorten bewerkingen tegelijk konden bevatten, werd de verdeling van deze categorieën in kaart gebracht over de gehele dataset. Ongeveer een derde van de bewerkingen richtte zich alleen op de persoon, ongeveer een vijfde beïnvloedde alleen de scène, en ongeveer een zesde was beperkt tot objecten.

Beoordeling van perceptuele impact

Gemini-2.0-Flash werd gebruikt om te beoordelen hoe de manipulaties de perceptie van een kijker zouden kunnen veranderen over zes gebieden: emotie, persoonlijke identiteit, macht dynamiek, scènenarratief, manipulatie-intentie, en ethische zorgen.

Voor emotie werden de bewerkingen vaak beschreven met termen als vrolijk, boeiend of toegankelijk, wat suggereert dat de onderwerpen op emotioneel niveau anders werden geframed. In narratieve termen wezen woorden als professioneel of verschillend op veranderingen in het verhaal of de setting:

Gemini-2.0-Flash werd geïnstrueerd om te evalueren hoe elke manipulatie zes aspecten van de perceptie van de kijker beïnvloedde.

Beschrijvingen van identiteitsveranderingen omvatten termen als jonger, speels en kwetsbaar, wat aangeeft hoe kleine veranderingen de perceptie van individuen konden beïnvloeden. De intentie achter veel bewerkingen werd gelabeld als overtuigend, misleidend of esthetisch. Terwijl de meeste bewerkingen als mild ethisch werden beoordeeld, werd een klein deel als matig of ernstig ethisch geïmpliceerd.

Voorbeelden uit MultiFakeVerse die laten zien hoe kleine bewerkingen de perceptie van de kijker veranderen.

Metrieken

De visuele kwaliteit van de MultiFakeVerse-collectie werd beoordeeld met behulp van drie standaardmetrieken: Peak Signal-to-Noise Ratio (PSNR); Structural Similarity Index (SSIM); en Fréchet Inception Distance (FID):

Beeldkwaliteitsscores voor MultiFakeVerse gemeten door PSNR, SSIM en FID.

De SSIM-score van 0,5774 weerspiegelt een matige mate van overeenkomst, in overeenstemming met het doel om het grootste deel van de afbeelding te behouden terwijl gerichte bewerkingen worden toegepast; de FID-score van 3,30 suggereert dat de gegenereerde afbeeldingen een hoge kwaliteit en diversiteit behouden; en een PSNR-waarde van 66,30 decibel geeft aan dat de afbeeldingen een goede visuele geloofwaardigheid behouden na bewerking.

Gebruikerstest

Een gebruikerstest werd uitgevoerd om te zien hoe goed mensen de subtiele vervalsingen in MultiFakeVerse konden herkennen. Achttien deelnemers werden getoond vijftig afbeeldingen, gelijkmatig verdeeld tussen echte en gemanipuleerde voorbeelden die een breed scala aan bewerkingstypen omvatten. Elke persoon werd gevraagd om de afbeelding te classificeren als echt of vals, en, als vals, om aan te geven welk type manipulatie was toegepast.

De algehele nauwkeurigheid voor het bepalen of een afbeelding echt of vals was, was 61,67 procent, wat betekent dat deelnemers afbeeldingen meer dan een derde van de tijd verkeerd classificeerden.

De auteurs verklaren:

‘Bij de analyse van de menselijke voorspellingen van manipulatieniveaus voor de valse afbeeldingen, werd de gemiddelde intersectie-over-unie tussen de voorspelde en daadwerkelijke manipulatieniveaus gevonden te zijn 24,96%.

‘Dit toont aan dat het niet triviaal is voor menselijke waarnemers om de regio’s van manipulaties in onze dataset te identificeren.’

Het opbouwen van de MultiFakeVerse-dataset vereiste uitgebreide computationele middelen: voor het genereren van bewerkingsinstructies, werden meer dan 845.000 API-aanroepen gedaan naar Gemini- en GPT-modellen, met deze prompttaken die ongeveer $1000 kostten; het produceren van de Gemini-gebaseerde afbeeldingen kostte ongeveer $2.867; en het genereren van afbeeldingen met GPT-Image-1 kostte ongeveer $200. ICEdit-afbeeldingen werden lokaal gegenereerd op een NVIDIA A6000 GPU, waardoor de taak in ongeveer vierentwintig uur werd voltooid.

Tests

Vóór de tests werd de dataset gesplitst in trainings-, validatie- en testsets door eerst 70% van de echte afbeeldingen te selecteren voor training; 10% voor validatie; en 20% voor testing. De gemanipuleerde afbeeldingen gegenereerd uit elke echte afbeelding werden toegewezen aan dezelfde set als hun overeenkomstige oorspronkelijke.

Verdere voorbeelden van echte (links) en gewijzigde (rechts) inhoud uit de dataset.

De prestaties op het detecteren van vervalsingen werden gemeten met behulp van afbeeldingsniveau-accuraatheid (of het systeem de hele afbeelding correct classificeert als echt of vals) en F1-scores. Voor het lokaliseren van gemanipuleerde regio’s werd de evaluatie uitgevoerd met behulp van Area Under the Curve (AUC), F1-scores en intersectie-over-unie (IoU).

De MultiFakeVerse-dataset werd gebruikt tegen toonaangevende deepfake-detectiesystemen op de volledige testset, met de rivaliserende frameworks CnnSpot; AntifakePrompt; TruFor; en de visuele taalgebaseerde SIDA. Elk model werd eerst geëvalueerd in zero-shot-modus, met behulp van de oorspronkelijke voorgetrainde gewichten zonder verdere aanpassing.

Twee modellen, CnnSpot en SIDA, werden vervolgens fine-tuned op MultiFakeVerse-trainingsgegevens om te beoordelen of hertrainen de prestaties verbeterde.

Deepfake-detectieresultaten op MultiFakeVerse onder zero-shot- en fine-tuned-omstandigheden.

Van deze resultaten verklaren de auteurs:

‘[De] modellen getraind op eerdere inpainting-gebaseerde vervalsingen worstelen om onze VLM-Edit-gebaseerde vervalsingen te identificeren, met name CNNSpot die de neiging heeft om bijna alle afbeeldingen als echt te classificeren. AntifakePrompt heeft de beste zero-shot-prestatie met 66,87% gemiddelde class-wise nauwkeurigheid en 55,55% F1-score.

‘Na fine-tuning op onze trainingsset zien we een prestatieverbetering in zowel CNNSpot als SIDA-13B, met CNNSpot dat SIDA-13B overtreft in zowel gemiddelde class-wise nauwkeurigheid (met 1,92%) als F1-score (met 1,97%).’

SIDA-13B werd geëvalueerd op MultiFakeVerse om te meten hoe nauwkeurig het gemanipuleerde regio’s binnen elke afbeelding kon lokaliseren. Het model werd getest in zowel zero-shot-modus als na fine-tuning op de dataset.

In zijn oorspronkelijke staat bereikte het een intersectie-over-unie-score van 13,10, een F1-score van 19,92 en een AUC van 14,06, wat een zwakke lokaliseringsprestatie aangaf.

Na fine-tuning verbeterden de scores tot 24,74 voor IoU, 39,40 voor F1 en 37,53 voor AUC. Echter, zelfs met extra training had het model nog steeds moeite om exact te bepalen waar de bewerkingen waren uitgevoerd, waardoor duidelijk werd hoe moeilijk het kan zijn om deze soort kleine, gerichte veranderingen te detecteren.

Conclusie

De nieuwe studie onthult een blind spot in zowel menselijke als machineperceptie: terwijl veel van het publieke debat over deepfakes zich richt op opzienbarende identiteitsuitwisselingen, zijn deze stillere ‘narratieve bewerkingen’ moeilijker te detecteren en mogelijk meer corrosief op lange termijn.

Terwijl systemen zoals ChatGPT en Gemini een meer actieve rol spelen in het genereren van dit soort inhoud, en wijzelf steeds vaker deelnemen aan het veranderen van de realiteit van onze eigen fotostromen, kunnen detectiemodellen die afhankelijk zijn van het detecteren van grove manipulaties mogelijk onvoldoende verdediging bieden.

Wat MultiFakeVerse demonstreert, is niet dat detectie heeft gefaald, maar dat ten minste een deel van het probleem mogelijk verschuift naar een moeilijker, langzamer bewegende vorm: een waarin kleine visuele leugens onopgemerkt ophopen.

First published donderdag, 5 juni 2025