Mindre dyptfalsk kan være den større trusselen

Conversasjons AI-verktøy som ChatGPT og Google Gemini brukes nå til å lage dyptfalsk som ikke bytter ansikter, men på mer subtile måter kan omskrive hele historien inni et bilde. Ved å endre gester, rekvisitter og bakgrunner, narer disse redigeringene både AI-detektorer og mennesker, og øker risikoen for å oppdage hva som er ekte på nettet.

I dagens klima, spesielt i kjølvannet av betydelig lovgivning som TAKE IT DOWN-loven, assosierer mange av oss dyptfalsk og AI-drevet identitetssyntese med ikke-samtykkende AI-porn og politisk manipulasjon – generelt, grove forvrengninger av sannheten.

Dette vant oss til å forvente at AI-manipulerte bilder alltid skal være rettet mot høyrisiko-innhold, der kvaliteten på renderingen og manipuleringen av konteksten kan lykkes i å oppnå en troverdighetskupp, i det minste på kort sikt.

Historisk sett har imidlertid mye mer subtile endringer ofte hatt en mer skadelig og varig effekt – som den avanserte fotografiske trickery som tillot Stalin å fjerne de som hadde falt i unåde fra det fotografiske registret, som ble parodiert i George Orwells roman Nitten Åttifire, der hovedpersonen Winston Smith tilbringer dagene sine med å omskrive historien og få bilder laget, ødelagt og ‘revidert’.

I følgende eksempel er problemet med det andre bildet at vi ‘ikke vet hva vi ikke vet’ – at den tidligere sjefen for Stalins hemmelige politi, Nikolai Yezhov, tidligere okkuperte plassen der nå bare er en sikkerhetsbarriere:

Nå ser du ham, nå er han…vapor. Stalin-æraens fotografiske manipulasjon fjerner en vanæret partimedlem fra historien. Kilde: Offentlig eiendom, via https://www.rferl.org/a/soviet-airbrushing-the-censors-who-scratched-out-history/29361426.html

Aktuelle strømmer av denne typen, ofte gjentatt, består på mange måter; ikke bare kulturelt, men også i datavisjon, som trekker trender fra statistisk dominerende temaer og motiv i treningsdatasett. For å gi et eksempel, det faktum at smarttelefoner har senket terskelen for inngang, og massivt redusert kostnadene for fotografering, betyr at deres ikonografi har blitt uunngåelig assosiert med mange abstrakte konsepter, selv når dette ikke er passende.

If conventional deepfaking kan oppfattes som en handling av ‘assault’, pernisøse og varige mindre endringer i audiovisuelle medier er mer lignende ‘gaslighting’. I tillegg gjør evnen til at denne type dyptfalsk kan gå ubemerket, det vanskelig å identifisere via statens avanserte dyptfalsk-dettekteringssystemer (som søker etter grove endringer). Denne tilnærmingen er mer lignende vann som sliter ned en stein over en periode, enn en stein kastet mot et hode.

MultiFakeVerse

Forskere fra Australia har gjort et forsøk på å møte mangelen på oppmerksomhet rundt ‘subtile’ dyptfalsk i litteraturen, ved å kuratere en betydelig ny datasett med person-sentrerte bildeendringer som endrer kontekst, emosjon og narrativ uten å endre subjektets kjernidentitet:

Eksempler fra den nye samlingen, ekte/falske par, med noen endringer mer subtile enn andre. Merk, for eksempel, tapet av myndighet for den asiatiske kvinnen, nederst til høyre, da hennes lege-stetoskop fjernes av AI. Samtidig har erstatningen av legens blokk for klipsen ingen åpenbar semantisk vinkel. Kilde: https://huggingface.co/datasets/parulgupta/MultiFakeVerse_preview

Tittelen MultiFakeVerse består av 845 826 bilder generert via visjon-språk-modeller (VLM), som kan tilgås online og lastes ned, med tillatelse.

Forfatterne skriver:

‘Dette VLM-drevne tilnærmingen muliggjør semantiske, kontekst-bevisste endringer som å modifisere handlinger, scener og menneske-objekt-interaksjoner, snarere enn syntetiske eller lavnivå-identitetsbyttinger og regionsspesifikke redigeringer som er vanlig i eksisterende datasett.’

‘Våre eksperimenter avslører at nåværende statens avanserte dyptfalsk-dettekteringssystemer og menneskelige observatører sliter med å oppdage disse subtile, men meningsfulle endringene.’

Forskerne testet både mennesker og ledende dyptfalsk-dettektingssystemer på deres nye datasett for å se hvor godt disse subtile endringene kunne identifiseres. Menneskelige deltakere sliter, og klassifiserte bildene som ekte eller falske bare om lag 62% av tiden, og hadde enda større vanskeligheter med å peke ut hvilke deler av bildet som var blitt endret.

Eksisterende dyptfalsk-dettektorsystemer, som hovedsakelig er trent på mer åpenbare ansiktsbytting eller inpainting-datasett, fungerte dårlig også, og ofte ikke engang registrerte at noen endring hadde funnet sted. Selv etter finjustering på MultiFakeVerse, forblettekstingsraten lav, og avslørte hvor dårlig nåværende systemer håndterer disse subtile, narrativ-drevne redigeringer.

Den nye artikkelen har tittelen Multiverse Through Deepfakes: The MultiFakeVerse Dataset of Person-Centric Visual and Conceptual Manipulations, og kommer fra fem forskere på Monash University i Melbourne, og Curtin University i Perth. Kode og relatert data er utgitt på GitHub, i tillegg til Hugging Face-vertningen som ble nevnt tidligere.

Metode

MultiFakeVerse-datasettet ble bygget fra fire virkelige billedsett som viser mennesker i forskjellige situasjoner: EMOTIC; PISC, PIPA, og PIC 2.0. Startende med 86 952 originale bilder, produserte forskerne 758 041 manipulerte versjoner.

Gemini-2.0-Flash– og ChatGPT-4o-rammeverkene ble brukt til å foreslå seks minimale endringer for hvert bilde – endringer som var designet til å subtilt endre hvordan den mest prominente personen i bildet ville bli oppfattet av en tilskuer.

Modellene ble instruert til å generere endringer som ville gjøre subjektet å se naiv, stolt, angret, uerfaren, eller likegyldig, eller til å justere noen faktiske elementer i scenen. Sammen med hver endring produserte modellene også en henvisningsuttrykk for å tydelig identifisere målet for endringen, og sikre at den påfølgende redigeringsprosessen kunne gjøre endringer i riktig person eller objekt i hvert bilde.

Forfatterne forklarer:

‘Merk at henvisningsuttrykk er et vidt utforsket område i samfunnet, som betyr en frase som kan gjøre det mulig å identifisere målet i et bilde, f.eks. for et bilde som viser to menn som sitter på et skrivebord, en som snakker i telefon og den andre som ser gjennom dokumenter, en passende henvisningsuttrykk for den siste ville være mannen til venstre som holder et stykke papir.’

Når endringene var definert, ble den faktiske bildeendringen utført ved å instruere visjon-språk-modeller til å anvende de spesifiserte endringene mens resten av scenen forble uendret. Forskerne testet tre systemer for denne oppgaven: GPT-Image-1; Gemini-2.0-Flash-Bilde-generering; og ICEdit.

Etter å ha generert 22 000 eksempler, viste Gemini-2.0-Flash seg å være den mest konsistente metoden, og produserte endringer som ble naturlig innlemmet i scenen uten å introdusere synlige artefakter; ICEdit produserte ofte mer åpenbare forfalskninger, med merkbare feil i de endrede regionene; og GPT-Image-1 påvirkte noen gang uventede deler av bildet, delvis på grunn av sin overensstemmelse med faste utgangsforhold.

Bildeanalyse

Hvert manipulert bilde ble sammenlignet med det originale for å bestemme hvor mye av bildet som var blitt endret. Pixel-nivå-forskjellene mellom de to versjonene ble beregnet, og små tilfeldige støy ble filtrert ut for å fokusere på meningsfulle endringer. I noen bilder var bare små områder berørt; i andre var opptil 80% av scenen endret.

For å evaluere hvor mye betydningen av hvert bilde skiftet i lys av disse endringene, ble bildetekster generert for både det originale og det manipulerte bildet ved hjelp av ShareGPT-4V-visjon-språk-modellen.

Disse bildetekstene ble deretter konvertert til innlejringer ved hjelp av Long-CLIP, og gjorde det mulig å sammenligne hvor langt innholdet hadde divergert mellom versjoner. De sterkeste semantiske endringene ble sett i tilfeller der objekter nær eller direkte involvert med personen var blitt endret, da disse små justeringene kunne betydelig endre hvordan bildet ble tolket.

Gemini-2.0-Flash ble deretter brukt til å klassifisere typen av endring som var anvendt på hvert bilde, basert på hvor og hvordan endringene var gjort. Endringer ble gruppert i tre kategorier: person-nivå-endringer involverte endringer i subjektets ansiktsuttrykk, holdning, blikk, klær eller andre personlige trekk; objekt-nivå-endringer påvirkte objekter koblet til personen, som objekter de holdt eller interagerte med i forgrunnen; og scene-nivå-endringer involverte bakgrunns-elementer eller bredere aspekter av settingen som ikke direkte involverte personen.

MultiFakeVerse-datasett-genererings-pipeline begynner med ekte bilder, der visjon-språk-modeller foreslår narrative endringer som målretter mennesker, objekter eller scener. Disse instruksjonene blir deretter anvendt av bilde-redigerings-modeller. Høyre panel viser fordelingen av person-nivå, objekt-nivå og scene-nivå-endringer i datasettet. Kilde: https://arxiv.org/pdf/2506.00868

Ettersom individuelle bilder kunne inneholde flere typer endringer samtidig, ble fordelingen av disse kategoriene kartlagt over hele datasettet. Omtrent en tredjedel av endringene målrettede bare personen, omtrent en femtedel påvirkte bare scenen, og rundt en sjette del var begrenset til objekter.

Vurdering av perseptiv innvirkning

Gemini-2.0-Flash ble brukt til å vurdere hvordan endringene kunne endre en tilskuers persepsjon over seks områder: emosjon, personlig identitet, makt dynamikk, scene-narrativ, manipulasjons-intent, og etiske bekymringer.

For emosjon ble endringene ofte beskrevet med termer som glad, engasjerende eller tilnærmende, og antydet endringer i hvordan subjektene ble emosjonelt rammet. I narrative termer indikerte ord som profesjonell eller annen endringer i den underforståtte historien eller settingen:

Gemini-2.0-Flash ble instruert til å evaluere hvordan hver endring påvirkte seks aspekter av tilskuers persepsjon. Venstre: eksempel på prompt-struktur som guidet modellens vurdering. Høyre: ord-skyer som summerer endringer i emosjon, identitet, scene-narrativ, intent, makt-dynamikk og etiske bekymringer over hele datasettet.

Beskrivelser av identitetsendringer inkluderte termer som yngre, leken og sårbar, og viste hvordan små endringer kunne påvirke hvordan enkeltpersoner ble oppfattet. Intentionen bak mange endringer ble beskrevet som øvet, deceptiv eller estetisk. Mens de fleste endringer ble vurdert til å vekke bare milde etiske bekymringer, ble en liten fraksjon sett på som å bære moderate eller alvorlige etiske implikasjoner.

Eksempler fra MultiFakeVerse som viser hvordan små endringer endrer tilskuers persepsjon. Gule bokser høydepunkter de endrede regionene, med tilhørende analyse av endringer i emosjon, identitet, narrativ og etiske bekymringer.

Mål

Den visuelle kvaliteten på MultiFakeVerse-samlingen ble evaluert ved hjelp av tre standard-mål: Peak Signal-to-Noise Ratio (PSNR); Structural Similarity Index (SSIM); og Fréchet Inception Distance (FID):

Bildekvalitetspoeng for MultiFakeVerse målt med PSNR, SSIM og FID.

SSIM-poengsummen på 0,5774 reflekterer en moderat grad av likhet, i overensstemmelse med målet om å bevare mesteparten av bildet mens målrettede endringer blir anvendt; FID-poengsummen på 3,30 antyder at de genererte bildene beholder høy kvalitet og diversitet; og en PSNR-verdi på 66,30 desibel indikerer at bildene beholder god visuell trofasthet etter endring.

Brukerstudie

En brukerstudie ble gjennomført for å se hvor godt mennesker kunne oppdage de subtile falsk i MultiFakeVerse. 18 deltakere ble vist 50 bilder, jevnt fordelt mellom ekte og manipulerte eksempler som dekket et spekter av endringstyper. Hver person ble bedt om å klassifisere om bildet var ekte eller falskt, og hvis falskt, å identifisere hva slags endring som var blitt anvendt.

Den totale nøyaktigheten for å bestemme ekte kontra falske var 61,67 prosent, noe som betyr at deltakerne feilklassifiserte bildene mer enn en tredjedel av tiden.

Forfatterne skriver:

‘Ved å analysere menneskelige prediksjoner av manipulasjonsnivåer for de falske bildene, ble gjennomsnittlig intersection over union mellom de predikerte og faktiske manipulasjonsnivåer funnet å være 24,96%.

‘Dette viser at det ikke er enkelt for menneskelige observatører å identifisere områdene av manipulasjoner i vårt datasett.’

Byggingen av MultiFakeVerse-datasettet krevde omfattende beregningsressurser: for å generere redigeringsinstruksjoner, ble over 845 000 API-forespørsler sendt til Gemini- og GPT-modeller, og disse oppgavene kostet rundt 1000 dollar; å produsere Gemini-baserte bilder kostet omtrent 2867 dollar; og å generere bilder ved hjelp av GPT-Image-1 kostet rundt 200 dollar. ICEdit-bilder ble laget lokalt på en NVIDIA A6000-GPU, og fullførte oppgaven på omtrent 24 timer.

Tester

Før testing, ble datasettet delt inn i trenings-, validerings- og testsett ved å først velge 70% av de ekte bildene for treningsformål; 10 prosent for validering; og 20 prosent for testing. De manipulerte bildene som ble generert fra hvert ekte bilde, ble tildelt samme sett som det tilhørende originale bildet.

Flere eksempler på ekte (venstre) og endret (høyre) innhold fra datasettet.

Ytelsen på å oppdage falske bilder ble målt ved hjelp av bilde-nivå-nøyaktighet (hvor godt systemet korrekt klassifiserer hele bildet som ekte eller falskt) og F1-poeng. For å lokalisere manipulerte områder, ble vurderingen utført ved hjelp av Area Under the Curve (AUC), F1-poeng og intersection over union (IoU).

MultiFakeVerse-datasettet ble brukt mot ledende dyptfalsk-dettektingssystemer på hele testsettet, med rivaliserende rammer som CnnSpot; AntifakePrompt; TruFor; og den visjon-språk-baserte SIDA. Hver modell ble først evaluert i zero-shot-modus, ved å bruke sine originale forhånds-trente vekt uten videre justering.

To modeller, CnnSpot og SIDA, ble deretter finjustert på MultiFakeVerse-treningsdata for å vurdere om om-trening forbedret ytelsen.

Dyptfalsk-dettektingsresultater på MultiFakeVerse under zero-shot og finjustert betingelser. Tall i parentes viser endringer etter finjustering.

Av disse resultater skriver forfatterne:

‘[Modellene] trent på tidligere inpainting-baserte falskninger sliter med å identifisere våre VLM-Redigering-baserte forfalskninger, spesielt, CNNSpot klassifiserer nesten alle bildene som ekte. AntifakePrompt har den beste zero-shot-ytelsen med 66,87% gjennomsnittlig klassifikasjonsnøyaktighet og 55,55% F1-poeng.

‘Etter finjustering på vårt treningssett, observerer vi en ytelsesforbedring i både CNNSpot og SIDA-13B, med CNNSpot overgår SIDA-13B i både gjennomsnittlig klassifikasjonsnøyaktighet (med 1,92%) og F1-poeng (med 1,97%).’

SIDA-13B ble evaluert på MultiFakeVerse for å måle hvor nøyaktig det kunne lokalisere de manipulerte områdene i hvert bilde. Modellen ble testet både i zero-shot-modus og etter finjustering på datasettet.

I sin originale tilstand, nådde den en intersection-over-union-poengsum på 13,10, en F1-poengsum på 19,92, og en AUC på 14,06, og viste svak lokalisering av ytelse.

Etter finjustering, forbedret poengsummene til 24,74 for IoU, 39,40 for F1, og 37,53 for AUC. Likevel, selv med ekstra trening, hadde modellen fortsatt vanskeligheter med å finne nøyaktig hvor endringene var gjort, og understreker hvor vanskelig det kan være å oppdage disse typene små, målrettede endringer.

Konklusjon

Den nye studien avslører en blind flekk både i menneskelig og maskin-persepsjon: mens mye av den offentlige debatten om dyptfalsk har fokusert på overskrift-vennlige identitetsbyttinger, er disse mer subtile ‘narrative redigeringer’ vanskeligere å oppdage og potensielt mer korrosive på lang sikt.

Som systemer som ChatGPT og Gemini tar en mer aktiv rolle i å generere denne typen innhold, og som vi selv øker deltakelsen i å endre virkeligheten av våre egne fotostrømmer, kan detektingsmodeller som avhenger av å oppdage grove manipulasjoner, være utilstrekkelige til forsvar.

Hva MultiFakeVerse demonstrerer, er ikke at detektering har feilet, men at en del av problemet kan være i ferd med å flytte inn i en mer vanskelig, langsommere form: en der små visuelle løgner akkumuleres ubemerket.

Først publisert torsdag, 5. juni 2025