Mindre Deepfakes Kan Være Den Større Trussel

Conversational AI-værktøjer som ChatGPT og Google Gemini bruges nu til at oprette deepfakes, der ikke udveksler ansigter, men på mere subtile måder kan omskrive hele historien inde i et billede. Ved at ændre gestus, rekvisitter og baggrunde, kan disse redigeringer narre både AI-detektorer og mennesker, og det øger spillet for at opdage, hvad der er ægte online.

I den nuværende klima, især i kølvandet på betydelig lovgivning som TAKE IT DOWN-loven, associerer mange af os deepfakes og AI-drevet identitetssyntese med ikke-samtykkende AI-porno og politisk manipulation – generelt grove forvanskninger af sandheden.

Dette accilirerer os til at forvente, at AI-manipulerede billeder altid vil gå efter højrisikoinhold, hvor kvaliteten af renderingen og manipulationen af konteksten kan lykkes i at opnå en troværdighedscoup, i det mindste på kort sigt.

Historisk set har mere subtile ændringer ofte haft en mere sinistertype og varig effekt – såsom den avancerede fotografiske trickery, der tillod Stalin at fjerne dem, der var faldet i unåde, fra den fotografiske optegnelse, som satiriseres i George Orwells roman Nitten Åttifire, hvor hovedpersonen Winston Smith tilbringer sine dage med at omskrive historien og have billeder lavet, ødelagt og ‘ændret’.

I følgende eksempel er problemet med det andet billede, at vi ‘ikke ved, hvad vi ikke ved’ – at den tidligere chef for Stalins hemmelige politi, Nikolai Yezhov, tidligere havde besat pladsen, hvor der nu kun er en sikkerhedsbarriere:

Nu ser du ham, nu er han… væk. Stalins fotografiske manipulation fjerner en udstødt partimedlem fra historien. Kilde: Offentligt domæne, via https://www.rferl.org/a/soviet-airbrushing-the-censors-who-scratched-out-history/29361426.html

Strømninger af denne type, ofte gentaget, består på mange måder; ikke kun kulturelt, men også i computer vision selv, der udleder tendenser fra statistisk dominerende temaer og motiver i træningsdata. For at give et eksempel, betyder det, at smartphones har sænket adgangsbarrieren og massivt sænket omkostningerne ved fotografering, så deres ikonografi er blevet uundgåeligt forbundet med mange abstrakte begreber, selv når dette ikke er passende.

Hvis konventionel deepfaking kan opfattes som en form for ‘angreb’, er pernisøse mindre ændringer i audiovisuelt medie mere ligner ‘gaslighting’. Desuden gør evnen til, at denne type deepfaking kan gå ubemærket hen, det svært at identificere via state-of-the-art deepfake-detektionssystemer (der søger efter grove ændringer). Denne tilgang er mere ligner vand, der slidder en sten over en længere periode, end en sten, der kastes mod et hoved.

MultiFakeVerse

Forskere fra Australien har forsøgt at imødekomme manglen på opmærksomhed på ‘subtile’ deepfaking i litteraturen ved at kuraterer en betydelig ny dataset af personcentreret billedmanipulation, der ændrer kontekst, følelse og narrativ uden at ændre den centrale identitet:

Eksempler fra den nye samling, ægte/falske par, med nogle ændringer mere subtile end andre. Bemærk, for eksempel, tabet af autoritet for den asiatiske kvinde, nederst til højre, da hendes læge-stetoskop fjernes af AI. Kilde: https://huggingface.co/datasets/parulgupta/MultiFakeVerse_preview

Denne samling, kaldet MultiFakeVerse, består af 845.826 billeder genereret via vision-sprogmodeller (VLM’er), der kan tilgås online og downloades, med tilladelse.

Forfatterne skriver:

‘Denne VLM-drevne tilgang muliggør semantiske, kontekstbevidste ændringer såsom ændring af handlinger, scener og menneske-objektinteraktioner snarere end syntetiske eller lavniveaudækkende identitetsudvekslinger og regionsspecifikke redigeringer, der er almindelige i eksisterende datasæt.’

‘Vore eksperimenter viser, at nuværende state-of-the-art deepfake-detektionsmodeller og menneskelige observatører har svært ved at opdage disse subtile, men betydningsfulde manipulationer.’

Forskere testede både mennesker og førende deepfake-detektionssystemer på deres nye dataset for at se, hvor godt disse subtile manipulationer kunne identificeres. Menneskelige deltagere havde svært ved det, og klassificerede billeder som ægte eller falske kun omkring 62% af tiden, og havde endnu større vanskelighed med at pege på, hvilke dele af billedet var blevet ændret.

Eksisterende deepfake-detektorer, der er trænet mest på mere åbenlyse ansigtsudvekslinger eller inpainting-datasæt, fungerede dårligt, og fejlede ofte i at registrere, at nogen manipulation havde fundet sted. Selv efter finjustering på MultiFakeVerse, forblev detektionsraterne lave, og afslørede, hvor dårligt nuværende systemer håndterer disse subtile, narrativ-drevne redigeringer.

Den nye artikel har titlen Multiverse Through Deepfakes: The MultiFakeVerse Dataset of Person-Centric Visual and Conceptual Manipulations, og kommer fra fem forskere på Monash University i Melbourne og Curtin University i Perth. Kode og relateret data er udgivet på GitHub, ud over Hugging Face-værten, der blev nævnt tidligere.

Metode

MultiFakeVerse-datasættet blev opbygget fra fire virkelige billedsæt med mennesker i forskellige situationer: EMOTIC; PISC, PIPA, og PIC 2.0. Startende med 86.952 originale billeder, producerede forskerne 758.041 manipulatede versioner.

Gemini-2.0-Flash– og ChatGPT-4o-rammerne blev brugt til at foreslå seks minimale redigeringer for hvert billede – redigeringer, der var designet til at subtilt ændre, hvordan den mest fremtrædende person i billedet ville blive opfattet af en tilskuer.

Modellerne blev instrueret til at generere ændringer, der ville gøre subjektet til at se naivt, stolt, angret, ufravirket eller nonchalant ud, eller til at justere nogen faktisk element i scenen. Sammen med hver redigering producerede modellerne også en henvisningsudtryk for at tydeligt identificere målet for ændringen, og sikre, at den efterfølgende redigeringsproces kunne anvende ændringerne til den korrekte person eller objekt i hvert billede.

Forfatterne forklarer:

‘Bemærk, at henvisningsudtryk er et bredt udforsket område i fællesskabet, der betyder en frase, der kan afklare målet i et billede, f.eks. for et billede med to mænd, der sidder på en skrivebord, en taler i telefon, og den anden ser på dokumenter, ville en passende henvisningsudtryk for den sidste være manden til venstre, der holder et stykke papir.’

Da redigeringerne var defineret, blev den faktiske billedmanipulation udført ved at prompte vision-sprogmodeller til at anvende de specifikke ændringer, mens resten af scenen forblev intakt. Forskerne testede tre systemer til denne opgave: GPT-Image-1; Gemini-2.0-Flash-Billedgeneration; og ICEdit.

Efter at have genereret 22.000 eksempler på billeder, viste Gemini-2.0-Flash sig at være den mest konsekvente metode, der producerede redigeringer, der naturligt blev en del af scenen uden at introducere synlige artefakter; ICEdit producerede ofte mere åbenlyse forfalskninger med bemærkelsesværdige fejl i de ændrede områder; og GPT-Image-1 påvirkede undertiden uventede dele af billedet, delvist på grund af sin overensstemmelse med faste output-aspektforhold.

Billedeanalyse

Hvert manipuleret billede blev sammenlignet med det originale for at bestemme, hvor meget af billedet var blevet ændret. Pixel-niveau-forskellene mellem de to versioner blev beregnet, og små tilfældige støj blev filtreret fra for at fokusere på meningsfulde redigeringer. I nogle billeder var kun små områder berørt; i andre var op til otteogfirs procent af scenen ændret.

For at evaluere, hvor meget betydningen af hvert billede skiftede i lyset af disse ændringer, blev undertekster genereret for både det originale og det manipulerede billede ved hjælp af ShareGPT-4V-vision-sprogmodellen.

Disse undertekster blev derefter konverteret til indlejringer ved hjælp af Long-CLIP, hvilket muliggjorde en sammenligning af, hvor langt indholdet havde afviet mellem versioner. De stærkeste semantiske ændringer blev set i tilfælde, hvor objekter nær eller direkte involveret med personen var blevet ændret, da disse små justeringer kunne betydeligt ændre, hvordan billedet blev fortolket.

Gemini-2.0-Flash blev derefter brugt til at klassificere typen af manipulation, der var anvendt på hvert billede, baseret på hvor og hvordan redigeringerne var lavet. Manipulationer blev grupperet i tre kategorier: person-niveau-redigeringer involverede ændringer i subjektets ansigtsudtryk, holdning, blik, tøj eller andre personlige træk; objekt-niveau-redigeringer påvirkede objekter forbundet med personen, såsom objekter, de holdt eller interagerede med i forgrunden; og scene-niveau-redigeringer involverede baggrundselementer eller bredere aspekter af indstillingen, der ikke direkte involverede personen.

MultiFakeVerse-datasættets genereringspipeline begynder med ægte billeder, hvor vision-sprogmodeller foreslår narrative redigeringer, der rammer mennesker, objekter eller scener. Den højre panel viser fordelingen af person-niveau-, objekt-niveau- og scene-niveau-manipulationer på tværs af datasættet. Kilde: https://arxiv.org/pdf/2506.00868

Da individuelle billeder kunne indeholde multiple typer af redigeringer på én gang, blev fordelingen af disse kategorier kortlagt på tværs af datasættet. Omtrent en tredjedel af redigeringerne var rettet mod kun personen, omkring en femtedel påvirkede kun scenen, og cirka en sjette var begrænset til objekter.

Vurdering af Perceptuel Indvirkning

Gemini-2.0-Flash blev brugt til at evaluere, hvordan manipulationerne kunne ændre en tilskuers perception på seks områder: følelse, personlig identitet, magtdynamik, scenenarrativ, manipulationshensigt og etiske bekymringer.

For følelse blev redigeringerne ofte beskrevet med termer som glad, engagerende eller tilgængelig, hvilket antydede skift i, hvordan subjekterne blev følelsesmæssigt ramt. I narrativ sammenhæng antydede ord som professionel eller forskellig ændringer i den underforståede historie eller indstilling:

Gemini-2.0-Flash blev promptet til at evaluere, hvordan hver manipulation påvirkede seks aspekter af tilskuers perception. Venstre: eksempel på prompt-struktur, der guidede modellens vurdering. Højre: ordskyer, der summerer skift i følelse, identitet, scenenarrativ, hensigt, magtdynamik og etiske bekymringer på tværs af datasættet.

Beskrivelser af identitetsskift indeholdt termer som yngre, legende og sårbar, hvilket viste, hvordan små ændringer kunne påvirke, hvordan individer blev opfattet. Hensigten bag mange redigeringer blev betegnet som overbevisende, bedragerisk eller æstetisk. Mens de fleste redigeringer blev vurderet til at rejse kun milde etiske bekymringer, blev en lille fraktion set som indeholdende moderate eller alvorlige etiske implikationer.

Eksempler fra MultiFakeVerse, der viser, hvordan små redigeringer skifter tilskuers perception. Gule kasser fremhæver de ændrede områder, med tilhørende analyse af ændringer i følelse, identitet, narrativ og etiske bekymringer.

Metrikker

Den visuelle kvalitet af MultiFakeVerse-samlingen blev vurderet ved hjælp af tre standardmetrikker: Peak Signal-to-Noise Ratio (PSNR); Structural Similarity Index (SSIM); og Fréchet Inception Distance (FID):

Billedkvalitetsvurderinger for MultiFakeVerse målt med PSNR, SSIM og FID.

SSIM-værdien på 0,5774 afspejler en moderat grad af lighed, som er konsistent med målet om at bevare det meste af billedet, mens der anvendes målrettede redigeringer; FID-værdien på 3,30 antyder, at de genererede billeder bevare en høj kvalitet og diversitet; og en PSNR-værdi på 66,30 decibel angiver, at billederne bevare en god visuel troværdighed efter manipulation.

Brugerundersøgelse

En brugerundersøgelse blev gennemført for at se, hvor godt mennesker kunne spotte de subtile forfalskninger i MultiFakeVerse. Attende deltagere blev vist 50 billeder, ligeligt fordelt mellem ægte og manipulerede eksempler, der dækkede en række redigeringstyper. Hver person blev bedt om at klassificere, om billedet var ægte eller falsk, og hvis det var falsk, om at identificere, hvilken type manipulation der var anvendt.

Den samlede nøjagtighed for at afgøre ægte kontra falsk var 61,67 procent, hvilket betyder, at deltagere misklassificerede billeder mere end en tredjedel af tiden.

Forfatterne skriver:

‘Ved at analysere menneskelige forudsigelser af manipulationens niveau for de falske billeder, blev den gennemsnitlige intersection over union mellem de forudsagte og faktiske manipulationer fundet til at være 24,96%.

‘Dette viser, at det ikke er let for menneskelige observatører at identificere de manipulerede områder i vores datasæt.’

Opbygningen af MultiFakeVerse-datasættet krævede omfattende beregningsressourcer: for at generere redigeringsskemaer, blev der lavet over 845.000 API-kald til Gemini- og GPT-modeller, og disse opgaver kostede omkring 1000 dollars; produktionen af Gemini-baserede billeder kostede omkring 2867 dollars; og generering af billeder med GPT-Image-1 kostede omkring 200 dollars. ICEdit-billeder blev lavet lokalt på en NVIDIA A6000 GPU, og opgaven blev fuldført på omkring 24 timer.

Tests

Før tests blev datasættet opdelt i trænings-, validerings- og test-sæt ved først at vælge 70% af de ægte billeder til træning; 10% til validering; og 20% til test. De manipulerede billeder, der blev genereret fra hvert ægte billede, blev tildelt det samme sæt som deres tilsvarende originale.

Yderligere eksempler på ægte (venstre) og ændrede (højre) indhold fra datasættet.

Præstationen på at opdage forfalskninger blev målt ved hjælp af billed-niveau-nøjagtighed (om systemet korrekt klassificerer hele billedet som ægte eller falsk) og F1-scores. For at lokalisere de manipulerede områder blev evalueringen udført ved hjælp af Area Under the Curve (AUC), F1-scores og intersection over union (IoU).

MultiFakeVerse-datasættet blev anvendt mod førende deepfake-detektionssystemer på det fulde test-sæt, hvor de konkurrerende rammer var CnnSpot; AntifakePrompt; TruFor; og den vision-sprog-baserede SIDA. Hver model blev først evaluaret i zero-shot-tilstand, ved hjælp af dens originale fortrænede vægte uden yderligere tilpasning.

To modeller, CnnSpot og SIDA, blev derefter finjusteret på MultiFakeVerse-træningsdata for at se, om genoptræning forbedrede præstationen.

Deepfake-detektionsresultater på MultiFakeVerse under zero-shot og finjusteret tilstand. Tal i parentes viser ændringer efter finjustering.

Af disse resultater skriver forfatterne:

‘[De] modeller, der er trænet på tidligere inpainting-baserede forfalskninger, har svært ved at identificere vores VLM-redigering-baserede forfalskninger, især CnnSpot, der tenderer til at klassificere næsten alle billeder som ægte. AntifakePrompt har den bedste zero-shot-præstation med 66,87% gennemsnitlig klassifikationsnøjagtighed og 55,55% F1-score.

‘Efter finjustering på vores træningssæt observerer vi en forbedring af præstationen i både CnnSpot og SIDA-13B, hvor CnnSpot overgår SIDA-13B i både gennemsnitlig klassifikationsnøjagtighed (med 1,92%) og F1-score (med 1,97%).’

SIDA-13B blev evaluaret på MultiFakeVerse for at måle, hvor præcist den kunne lokalisere de manipulerede områder inden for hvert billede. Modellen blev testet både i zero-shot-tilstand og efter finjustering på datasættet.

I dens originale tilstand nåede den en intersection-over-union-score på 13,10, en F1-score på 19,92 og en AUC på 14,06, hvilket afspejler en svag lokaliseringspræstation.

Efter finjustering forbedredes scorene til 24,74 for IoU, 39,40 for F1 og 37,53 for AUC. Men selv med ekstra træning havde modellen stadig svært ved at finde præcis, hvor redigeringerne var lavet, hvilket understreger, hvor svært det kan være at opdage disse små, målrettede ændringer.

Konklusion

Den nye studie afslører en blind plet både i menneskelig og maskinperception: mens meget af den offentlige debat omkring deepfakes har fokuseret på overskriftsagtige identitetsudvekslinger, er disse mere stille ‘narrative redigeringer’ sværere at opdage og potentielt mere korrosive på lang sigt.

Som systemer som ChatGPT og Gemini tager en mere aktiv rolle i generering af denne type indhold, og vi selv større og større deltagelse i at ændre virkeligheden af vores egne fotostrømme, kan detektionsmodeller, der afhænger af at spotte grove manipulationer, måske tilbyde utilstrækkelig forsvar.

Hvad MultiFakeVerse demonstrerer, er ikke, at detektion har fejlet, men at en del af problemet måske er under skift til en mere svær og langsommere form: en, hvor små visuelle løgne akkumulerer sig ubemærket.

Først udgivet torsdag, 5. juni 2025