Mindre Deepfakes Kan Vara Det Större Hotet

Conversational AI-verktyg som ChatGPT och Google Gemini används nu för att skapa deepfakes som inte byter ansikten, men på mer subtila sätt kan skriva om hela historien inuti en bild. Genom att ändra gester, rekvisita och bakgrunder lurar dessa redigeringar både AI-detektorer och människor, vilket höjer insatserna för att upptäcka vad som är verkligt online.

I den nuvarande klimatet, särskilt i kölvattnet av betydande lagstiftning som TAKE IT DOWN-lagen, associerar många av oss deepfakes och AI-driven identitetssyntes med icke-samtyckande AI-porr och politisk manipulation – i allmänhet, grova förvrängningar av sanningen.

Denna vänjer oss att förvänta oss att AI-manipulerade bilder alltid ska vara inriktade på högriskinnehåll, där kvaliteten på renderingen och manipulationen av sammanhanget kan lyckas med att uppnå en trovärdighetskupp, åtminstone på kort sikt.

Historiskt sett har dock mycket subtilare ändringar ofta haft en mer ondskefull och varaktig effekt – såsom den avancerade fotografiska trickery som tillät Stalin att ta bort de som hade fallit i onåd från det fotografiska registret, som parodierades i George Orwells roman 1984, där huvudpersonen Winston Smith tillbringar sina dagar med att skriva om historia och ha foton skapade, förstörda och “ändrade”.

I följande exempel är problemet med den andra bilden att vi “vet inte vad vi inte vet” – att den tidigare chefen för Stalins hemliga polis, Nikolaj Jezjov, tidigare upptog utrymmet där nu finns enbart en säkerhetsbarriär:

Nu ser du honom, nu är han… försvunnen. Stalinepokens fotografiska manipulation tar bort en vanärad partimedlem från historien. Källa: Allmänhetens domän, via https://www.rferl.org/a/soviet-airbrushing-the-censors-who-scratched-out-history/29361426.html

Strömmar av detta slag, ofta upprepade, består på många sätt; inte bara kulturellt, utan i datorseende självt, som hämtar trender från statistiskt dominerande teman och motiv i träningsdata. För att ge ett exempel, det faktum att smartphones har sänkt tröskeln och massivt sänkt kostnaden för fotografering, innebär att deras ikonografi har blivit oupplösligt förknippad med många abstrakta begrepp, även när detta inte är lämpligt.

Om konventionell deepfaking kan uppfattas som en handling av “attack”, är perniciösa och ihållande mindre ändringar i audiovisuella medier mer likt “gaslighting”. Dessutom gör förmågan hos denna typ av deepfaking att gå obemärkt förbi det svårt att identifiera via statliga deepfake-detektionssystem (som letar efter grova förändringar). Denna metod är mer likt vatten som sliter ner sten över en längre period, än en sten som kastas mot huvudet.

MultiFakeVerse

Forskare från Australien har gjort ett försök att bemöta bristen på uppmärksamhet för “subtil” deepfaking i litteraturen, genom att samla in en betydande ny dataset med personcentrerade bildmanipulationer som ändrar sammanhang, känslor och berättelse utan att ändra subjektets kärnidentitet:

Exempel från den nya samlingen, verkliga/falska par, med vissa ändringar mer subtila än andra. Observera till exempel förlusten av auktoritet för den asiatiska kvinnan, nedre höger, när hennes läkarstetoskop tas bort av AI. Samtidigt har utbytet av läkarblocket mot klippboken ingen uppenbar semantisk vinkel. Källa: https://huggingface.co/datasets/parulgupta/MultiFakeVerse_preview

Den kallas MultiFakeVerse, och samlingen består av 845 826 bilder genererade via visionsspråksmodeller (VLM), som kan åtkommas online och laddas ner, med tillstånd.

Författarna skriver:

‘Denna VLM-drivna metod möjliggör semantiska, sammanhangsmedvetna ändringar, såsom att modifiera handlingar, scener och mänskliga objektsinteraktioner, snarare än syntetiska eller lågnivåidentitetsbyten och regionspecifika redigeringar som är vanliga i befintliga dataset.’

‘Våra experiment visar att nuvarande toppmodeller för deepfakedetektion och mänskliga observatörer har svårt att upptäcka dessa subtila men meningsfulla manipulationer.’

Forskarna testade både människor och ledande deepfakedetektionssystem på deras nya dataset för att se hur väl dessa subtila manipulationer kunde identifieras. Mänskliga deltagare kämpade, och klassificerade bilder som verkliga eller falska endast cirka 62 procent av tiden, och hade ännu större svårigheter att peka ut vilka delar av bilden som hade ändrats.

Existerande deepfakedetektorer, som tränats mest på mer uppenbara ansiktsbyten eller inpainting-dataset, presterade dåligt också, och misslyckades ofta med att registrera att någon manipulation hade skett. Även efter finjustering på MultiFakeVerse, förblev detekteringsfrekvenserna låga, vilket visar hur dåligt nuvarande system hanterar dessa subtila, berättelsedrivna redigeringar.

Den nya artikeln heter Multiverse Through Deepfakes: The MultiFakeVerse Dataset of Person-Centric Visual and Conceptual Manipulations, och kommer från fem forskare på Monash University i Melbourne och Curtin University i Perth. Koden och relaterade data har släppts på GitHub, utöver Hugging Face-värdtjänsten som nämndes tidigare.

Metod

MultiFakeVerse-datasetet byggdes från fyra verkliga bildsats med människor i olika situationer: EMOTIC; PISC, PIPA, och PIC 2.0. Från 86 952 ursprungliga bilder producerade forskarna 758 041 manipulerade versioner.

Gemini-2.0-Flash– och ChatGPT-4o-ramverken användes för att föreslå sex minimala redigeringar för varje bild – redigeringar som var avsedda att subtilt ändra hur den mest framträdande personen i bilden skulle uppfattas av en tittare.

Modellerna instruerades att generera ändringar som skulle göra subjektet verka naivt, stolt, ångerfullt, omedvetet, eller nonchalant, eller för att justera någon faktisk del av scenen. Tillsammans med varje redigering producerade modellerna också en hänvisningsuttryck för att tydligt identifiera målet för redigeringen, vilket säkerställde att den efterföljande redigeringsprocessen kunde tillämpa ändringar på rätt person eller objekt inom varje bild.

Författarna förklarar:

‘Observera att hänvisningsuttryck är ett brett utforskat område i samhället, som innebär en fras som kan ta bort tvetydighet i en bild, t.ex. för en bild med två män som sitter på ett skrivbord, en som pratar i telefon och den andra som tittar på dokument, är en lämplig hänvisningsuttryck för den senare mannen till vänster som håller i ett papper.’

När redigeringarna väl definierats, utfördes den faktiska bildmanipuleringen genom att visionsspråksmodeller instruerades att tillämpa de angivna ändringarna medan resten av scenen lämnades intakt. Forskarna testade tre system för denna uppgift: GPT-Image-1; Gemini-2.0-Flash-Image-Generation; och ICEdit.

Efter att ha genererat tjugoettusen exempelbilder visade det sig att Gemini-2.0-Flash var den mest konsekventa metoden, som producerade redigeringar som smälte naturligt in i scenen utan att införa synliga artefakter; ICEdit producerade ofta mer uppenbara förfalskningar, med märkbara brister i de ändrade områdena; och GPT-Image-1 ibland påverkade oavsiktliga delar av bilden, delvis på grund av dess förmåga att följa fasta utmatningsförhållanden.

Bildanalys

Varje manipulerad bild jämfördes med sin ursprungliga för att bestämma hur mycket av bilden som hade ändrats. Pixeldifferenserna mellan de två versionerna beräknades, och små slumpmässiga brus filtrerades bort för att fokusera på meningsfulla redigeringar. I vissa bilder påverkades bara små områden; i andra ändrades upp till åttio procent av scenen.

För att utvärdera hur mycket betydelsen av varje bild förändrades i ljuset av dessa ändringar, genererades bildtexter för både de ursprungliga och manipulerade bilderna med hjälp av ShareGPT-4V-visionsspråksmodellen.

Dessa bildtexter konverterades sedan till inbäddningar med hjälp av Long-CLIP, vilket möjliggjorde en jämförelse av hur långt innehållet hade avvikit mellan versionerna. De starkaste semantiska förändringarna observerades i fall där objekt nära eller direkt involverade i personen hade ändrats, eftersom dessa små justeringar kunde betydligt förändra hur bilden tolkades.

Gemini-2.0-Flash användes sedan för att klassificera typen av manipulation som tillämpats på varje bild, baserat på var och hur redigeringarna gjordes. Manipulationer grupperades i tre kategorier: personnivå-redigeringar involverade förändringar av subjektets ansiktsuttryck, pose, blick, kläder eller andra personliga funktioner; objektnivå-redigeringar påverkade föremål som var kopplade till personen, såsom föremål de höll i eller interagerade med i förgrunden; och scennivå-redigeringar involverade bakgrundsdelar eller bredare aspekter av inställningen som inte direkt involverade personen.

MultiFakeVerse-datasetgenereringspipelinen börjar med verkliga bilder, där visionsspråksmodeller föreslår berättelseredigeringar som riktar sig till personer, föremål eller scener. Dessa instruktioner tillämpas sedan av bildredigeringsmodeller. Högerpanelen visar fördelningen av personnivå-, objektnivå- och scennivåmanipulationer i datasetet. Källa: https://arxiv.org/pdf/2506.00868

Eftersom enskilda bilder kunde innehålla flera typer av redigeringar samtidigt, kartlades fördelningen av dessa kategorier över datasetet. Ungefär en tredjedel av redigeringarna riktade sig enbart mot personen, cirka en femtedel påverkade enbart scenen, och cirka en sjättedel var begränsade till föremål.

Bedömning av Perceptuell Inverkan

Gemini-2.0-Flash användes för att bedöma hur manipulationerna kunde förändra en tittares uppfattning över sex områden: känslor, personlig identitet, maktdynamik, scenberättelse, manipulationens avsikt, och etiska problem.

För känslor beskrevs redigeringarna ofta med termer som glädjande, engagerande, eller tillgängligt, vilket tyder på förändringar i hur ämnen emotionellt ramades. I narrativa termer indikerade ord som professionell eller annorlunda förändringar i den underförstådda berättelsen eller inställningen:

Gemini-2.0-Flash instruerades att utvärdera hur varje manipulation påverkade sex aspekter av tittarens uppfattning. Vänster: exempel på promptstruktur som vägleder modellens bedömning. Höger: ordmoln som sammanfattar förändringar i känslor, identitet, scenberättelse, avsikt, maktdynamik och etiska problem över datasetet.

Beskrivningar av identitetsförändringar innehöll termer som yngre, leksamma, och sårbara, vilket visar hur små förändringar kunde påverka hur individer uppfattades. Avsikten bakom många redigeringar beskrevs som övertygande, bedräglig, eller estetisk. Medan de flesta redigeringar bedömdes som att de väckte endast milda etiska problem, sågs en liten andel som att de hade måttliga eller allvarliga etiska implikationer.

Exempel från MultiFakeVerse som visar hur små redigeringar förändrar tittarens uppfattning. Gula rutor markerar de ändrade områdena, med tillhörande analys av förändringar i känslor, identitet, berättelse och etiska problem.

Mätvärden

Den visuella kvaliteten på MultiFakeVerse-samlingen utvärderades med hjälp av tre standardmätvärden: Peak Signal-to-Noise Ratio (PSNR); Structural Similarity Index (SSIM); och Fréchet Inception Distance (FID):

Bildkvalitetssiffror för MultiFakeVerse mätta med PSNR, SSIM och FID.

SSIM-poängen på 0,5774 reflekterar en måttlig grad av likhet, vilket är förenligt med målet att bevara större delen av bilden medan man tillämpar riktade redigeringar; FID-poängen på 3,30 tyder på att de genererade bilderna behåller hög kvalitet och mångfald; och ett PSNR-värde på 66,30 decibel indikerar att bilderna behåller god visuell trohet efter manipulation.

Användarstudie

En användarstudie genomfördes för att se hur bra människor kunde upptäcka de subtila förfalskningarna i MultiFakeVerse. Arton deltagare visades femtio bilder, jämnt fördelade mellan verkliga och manipulerade exempel som täckte ett urval av redigeringstyper. Varje person ombads att klassificera om bilden var verklig eller falsk, och om den var falsk, att identifiera vilken typ av manipulation som hade tillämpats.

Den övergripande noggrannheten för att avgöra verklig eller falsk var 61,67 procent, vilket innebär att deltagarna missklassificerade bilder mer än en tredjedel av tiden.

Författarna skriver:

‘Vid analys av mänskliga förutsägelser av manipulationsnivåer för de falska bilderna, visade sig genomsnittet av överlappning mellan förutsagda och faktiska manipulationsnivåer vara 24,96%.

‘Detta visar att det inte är enkelt för mänskliga observatörer att identifiera områdena med manipulation i vårt dataset.’

Att bygga MultiFakeVerse-datasetet krävde omfattande beräkningsresurser: för att generera redigeringsinstruktioner gjordes över 845 000 API-samtal till Gemini- och GPT-modeller, och dessa promptuppgifter kostade cirka 1000 dollar; att producera Gemini-baserade bilder kostade cirka 2867 dollar; och att generera bilder med hjälp av GPT-Image-1 kostade cirka 200 dollar. ICEdit-bilder skapades lokalt på en NVIDIA A6000 GPU, och uppgiften slutfördes på cirka tjugofyra timmar.

Tester

Innan tester delades datasetet upp i tränings-, validerings- och testuppsättningar genom att först välja 70 procent av de verkliga bilderna för träningsändamål; 10 procent för validering; och 20 procent för testning. De manipulerade bilderna som genererades från varje verklig bild tilldelades samma uppsättning som den ursprungliga.

Ytterligare exempel på verkliga (vänster) och ändrade (höger) innehåll från datasetet.

Prestanda på att upptäcka förfalskningar mättes med hjälp av bildnivå-precision (om systemet korrekt klassificerar hela bilden som verklig eller falsk) och F1-poäng. För att lokalisera de manipulerade områdena användes Area Under the Curve (AUC), F1-poäng och intersection over union (IoU).

MultiFakeVerse-datasetet användes mot ledande deepfakedetektionssystem på hela testuppsättningen, med rivaliserande ramverk som CnnSpot; AntifakePrompt; TruFor; och den visionsspråksbaserade SIDA. Varje modell utvärderades först i zero-shot-läge, med hjälp av sina ursprungliga förtränade vikter utan ytterligare justering.

Två modeller, CnnSpot och SIDA, finjusterades på MultiFakeVerse-träningsdata för att bedöma om omträning förbättrade prestandan.

Deepfakedetektionsresultat på MultiFakeVerse under zero-shot och finjusterade förhållanden. Siffror inom parentes visar förändringar efter finjustering.

Av dessa resultat skriver författarna:

‘[De] modeller som tränats på tidigare inpainting-baserade förfalskningar kämpar för att identifiera våra VLM-redigeringsbaserade förfalskningar, särskilt CNNSpot, som tenderar att klassificera nästan alla bilderna som verkliga. AntifakePrompt har den bästa zero-shot-prestandan med 66,87 procents genomsnittlig klassvis noggrannhet och 55,55 procents F1-poäng.

‘Efter finjustering på vår träningsuppsättning observerar vi en prestandaförbättring i både CNNSpot och SIDA-13B, med CNNSpot som överträffar SIDA-13B i termer av både genomsnittlig klassvis noggrannhet (med 1,92 procent) och F1-poäng (med 1,97 procent).’

SIDA-13B utvärderades på MultiFakeVerse för att mäta hur exakt den kunde lokalisera de manipulerade områdena inom varje bild. Modellen testades både i zero-shot-läge och efter finjustering på datasetet.

I dess ursprungliga tillstånd nådde den en intersection-over-union-poäng på 13,10, en F1-poäng på 19,92, och en AUC på 14,06, vilket visar svag lokaliseringsprestanda.

Efter finjustering förbättrades poängen till 24,74 för IoU, 39,40 för F1, och 37,53 för AUC. Men även med extra träningsdata hade modellen fortfarande svårt att hitta exakt var redigeringarna hade gjorts, vilket understryker hur svårt det kan vara att upptäcka dessa typer av små, riktade ändringar.

Slutsats

Den nya studien avslöjar en blind fläck både i mänsklig och maskinell perception: medan mycket av den offentliga debatten kring deepfakes har fokuserat på rubrikskapande identitetsbyten, är dessa tysta “berättelseredigeringar” svårare att upptäcka och potentiellt mer korrosiva på lång sikt.

Sådana system som ChatGPT och Gemini tar en alltmer aktiv roll i att generera detta slag av innehåll, och vi själva deltar alltmer i att ändra verkligheten i våra egna fotostreams, kan detekteringsmodeller som förlitar sig på att upptäcka grova manipulationer erbjuda otillräckligt försvar.

Det som MultiFakeVerse visar är inte att detektionen har misslyckats, utan att en del av problemet kan vara på väg att förändras till en svårare, långsammare form: en där små visuella lögner ansamlas utan att upptäckas.

Publicerad första gången torsdagen den 5 juni 2025