Pienemmät Deepfakes Voivat Olla Suurempi Uhka

Conversational AI -työkalut, kuten ChatGPT ja Google Gemini, käytetään nyt luomaan deepfake-kuvia, jotka eivät vaihda kasvoja, vaan muokkaavat kuvan tarinaa hillitymmällä tavalla. Muokkaamalla eleitä, rekvisiittaa ja taustoja nämä muokkaukset pettävät sekä AI-havaintojärjestelmiä että ihmisiä, mikä korostaa sen tärkeyttä, mitä verkossa on todellista.

Nykyisessä ilmapiirissä, erityisesti merkittävien lakien, kuten TAKE IT DOWN -lain, myötä, useimmat meistä liittävät deepfakesit ja AI-vetensä synteesiin epäsuostuvasti luoduissa AI-porno- ja poliittisissa manipulaatioissa – yleensä karkeisiin totuuden vääristelyihin.

Tämä totuttaa meidät odottamaan, että AI-manipuloituja kuvia aina pyritään korkean profiloinnin sisältöön, jossa renderöintien laatu ja kontekstin muokkaus saattavat onnistua saavuttamaan uskottavuuden, ainakin lyhyellä aikavälillä.

Historiallisesti kuitenkin paljon hillitymmät muutokset ovat usein vaikuttaneet pahemmin ja kestävimmin – kuten valokuvallinen temppu, joka mahdollisti Stalinin poistaa epäsuosioon joutuneita henkilöitä valokuvista, kuten George Orwellin romaanissa Nineteen Eighty-Four, jossa päähenkilö Winston Smith viettää päivänsä historiaa uudelleenkirjoittamassa ja valokuvien luomisessa ja “muokkaamisessa”.

Seuraavassa esimerkissä toisen kuvan ongelma on, että “emme tiedä, mitä emme tiedä” – että Stalinin salaisen poliisin entinen johtaja Nikolai Yezhov oli aikaisemmin ollut tilassa, jossa nyt on vain turvallisuuseste:

Nyt sinä näet hänet, nyt hän on… höyry. Stalinin ajan valokuvallinen temppu poistaa epäsuosioon joutuneen puolueen jäsenen historiasta. Source: Public domain, via https://www.rferl.org/a/soviet-airbrushing-the-censors-who-scratched-out-history/29361426.html

Nämä virtaukset, usein toistuvat, jatkuvat monin tavoin; ei vain kulttuurisesti, vaan myös tietokoneen näkössä, joka johtaa trendejä tilastollisesti määräävistä teemoista ja aiheista koulutusaineistoissa. Esimerkiksi se, että älypuhelinten on alentanut esteitä ja massiivisesti laskenut valokuvauksen kustannuksia, tarkoittaa, että niiden ikonografia on tullut vääjättömästi yhdistetyksi moniin abstrakteihin käsitteisiin, jopa silloin, kun se ei ole soveliasta.

Jos perinteinen deepfaking voidaan nähdä “hyökkäyksenä”, niin ilkeät ja kestävät pienet muutokset audiovisuaalisessa mediassa ovat enemmän “kaasulaitteita”. Lisäksi kyky näille deepfakeille jäämään huomaamatta tekee niiden tunnistamisesta vaikeaa valtiollisilla deepfake-havaintojärjestelmillä (joilla etsitään karkeita muutoksia). Tämä lähestymistapa on enemmän vettä, joka kuluttaa kiveä pitkän ajan kuluessa, kuin kivi, joka osuu päähän.

MultiFakeVerse

Australian tutkijat ovat pyrkineet korjaamaan puutetta huomiota “hillittyihin” deepfakeihin kirjallisuudessa luomalla merkittävän uuden aineiston henkilökeskeisistä kuvamanipulaatioista, jotka muuttavat kontekstia, emotionaalisuutta ja tarinaa ilman, että muuttavat henkilön perustavanlaatuista identiteettiä:

Näyte uudesta kokoelmasta, todellisia ja väärennettyjä pareja, joissa joitakin muutoksia on hillitympi kuin toisia. Huomaa esimerkiksi aasialaisen naisen auktoriteetin menetys alhaalla oikealla, kun hänen lääkärin stetoskooppi poistetaan AI: n avulla. Samalla lääkärin padin korvaaminen tarkistuslistalla ei ole ilmeistä semanttista kulmaa. Source: https://huggingface.co/datasets/parulgupta/MultiFakeVerse_preview

Kokoelma, joka on nimetty MultiFakeVerseksi, koostuu 845 826: sta kuvasta, jotka on luotu visuaalisen kielen mallien (VLM) avulla, ja ne voidaan käyttää verkossa ja ladata, lupaa vastaan.

Tekijät toteavat:

‘Tämä VLM-pohjainen lähestymistapa mahdollistaa semanttiset, kontekstiherkät muutokset, kuten toimintojen, kohtauksien ja ihmisen ja objektin vuorovaikutusten muuttamisen, eikä syntetisiä tai matalan tason identiteetin vaihtoa ja aluekohtaisia muokkauksia, joita on yleisesti olemassa olevissa aineistoissa.’

‘Kokeemme osoittavat, että nykyiset huipputason deepfake-havaintomallit ja ihmiset kamppailevat näiden hillittyjen, mutta merkittävien muutosten tunnistamisessa.’

Tutkijat testasivat sekä ihmisiä että johtavia deepfake-havaintojärjestelmiä uudella aineistollaan, jotta he voivat nähdä, miten hyvin nämä hillityt muutokset voidaan tunnistaa. Ihmiskoeosallistujat kamppailivat, luokitellen kuvat oikein vain noin 62 prosenttisesti, ja heillä oli vielä suurempi vaikeus kohdistaa, mitkä osat kuvasta oli muutettu.

Olemassa olevat deepfake-havainnontekijät, jotka on koulutettu enimmäkseen selvämpiin kasvojen vaihtoihin tai täyttöihin perustuviin aineistoihin, suorittivat hekin huonosti, usein epäonnistuen rekisteröimään, että mitään manipulaatiota oli tehty. Jopa hienosäätöä MultiFakeVerse-aineistolla, havaintojärjestelmien suorituskyky säilyi alhaisena, paljastaen, miten huonosti nykyiset järjestelmät käsittelevät näitä hillittyjä, tarinaperusteisia muokkauksia.

Uusi artikkeli on nimeltään Multiverse Through Deepfakes: The MultiFakeVerse Dataset of Person-Centric Visual and Conceptual Manipulations, ja se tulee viideltä tutkijalta Melbournen Monash-yliopistosta ja Perthin Curtin-yliopistosta. Koodi ja liittyvä aineisto on julkaistu GitHubissa, lisäksi Hugging Facen isäntäpalveluun mainittuna aiemmin.

Menetelmä

MultiFakeVerse-aineistoa rakennettiin neljästä todellisesta kuvakokoelmasta, joissa ihmiset olivat moninaisissa tilanteissa: EMOTIC; PISC, PIPA ja PIC 2.0. Aloittaen 86 952: sta alkuperäisestä kuvasta, tutkijat tuottivat 758 041 muokattua versiota.

Gemini-2.0-Flash – ja ChatGPT-4o -kehykset käytettiin ehdottamaan kuudelle vähäiselle muokkaukselle jokaiselle kuvalle – muokkauksille, jotka oli suunniteltu hillitysti muuttamaan, miten kuvan merkittävin henkilö näyttäytyy katsojalle.

Mallit ohjattiin generoimaan muutoksia, jotka tekisivät aiheesta näyttävän tietämättömältä, ylenpalttiselta, katumapitoiselta, kokemattomalta tai huolettomalta, tai sopeuttamaan jotain tosiasiallista elementtiä kohtauksessa. Jokaisen muokkauksen ohella mallit tuottivat myös viittaavan lauseen, jotta muokkausprosessi voisi soveltaa muutoksia oikeaan henkilöön tai esineeseen jokaisessa kuvassa.

Tekijät selventävät:

‘Huomaa, että viittaava lause on laajasti tutkittu aihe yhteisössä, joka tarkoittaa lausetta, joka voi erottaa kohde kuvassa, esim. kuvassa, jossa on kaksi miestä istuvat pöydällä, yksi puhuu puhelimessa ja toinen tarkastelee asiakirjoja, sopiva viittaava lause jälkimmäiselle olisi mies vasemmalla, jolla on paperi kädessään.’

Kun muokkaukset määriteltiin, itse kuvamanipulaatio suoritettiin ohjelmalla visuaalisen kielen malleja soveltamaan määriteltyjä muutoksia, jättäen loput kohtauksesta koskemattomaksi. Tutkijat testasivat kolmea järjestelmää tämän tehtävän suorittamiseksi: GPT-Image-1; Gemini-2.0-Flash-Image-Generation; ja ICEdit.

Kun 22 000 näytekuvaa oli generoitu, Gemini-2.0-Flash osoittautui johdonmukaisimmaksi menetelmäksi, joka tuotti muokkauksia, jotka sulautuivat luonnollisesti kohtaukseen ilman näkyvien artefaktien tuottamista; ICEdit tuotti usein enemmän selvästi väärennettyjä kuvia, joissa oli havaittavia virheitä muokatissa alueissa; ja GPT-Image-1 vaikutti joskus vaikuttavan tahattomiin osiin kuvaa, osittain sen kiinteiden ulostulun suhteiden mukaisuuden vuoksi.

Kuvan Analyysi

Jokainen muokattu kuva verrattiin alkuperäiseen, jotta voitiin määrittää, kuinka paljon kuvaa oli muutettu. Pikselitasolla laskettiin eroja kahden version välillä, ja pieniä satunnaisia häiriöitä suodatettiin pois, jotta keskityttäisiin merkittäviin muokkauksiin. Jotkut kuvat olivat muuttuneet vain pienillä alueilla; toisissa jopa 80 prosenttia kohtauksesta oli muutettu.

Kuvien merkityksen siirtymistä valossa näiden muutoksia arvioitiin generoimalla kuvauksia sekä alkuperäisille että muokatuille kuville ShareGPT-4V -visuaalisen kielen mallilla.

Nämä kuvaukset muunnettiin sitten upotusmuodoiksi Long-CLIP: n avulla, mikä mahdollisti sisällön vertailun versioiden välillä. Voimakkaimmat semanttiset muutokset havaittiin tapauksissa, joissa objekteja lähellä tai suoraan liittyviä henkilöön oli muutettu, koska nämä pienet sopeutukset voivat merkittävästi muuttaa, miten kuvaa tulkitsee.

Gemini-2.0-Flash käytettiin luokittelemään tyyppi muokkausta, jota jokaisessa kuvassa oli tehty, sen perusteella, missä ja miten muokkaukset oli tehty. Muokkaukset jaettiin kolmeen kategoriaan: henkilökohtaiset muokkaukset käsittivät muutoksia henkilön ilmeeseen, asentoon, katseeseen, vaatetukseen tai muihin henkilökohtaisiin piirteisiin; objektin muokkaukset vaikuttivat esineisiin, jotka liittyivät henkilöön, kuten esineisiin, joita he pitivät tai vuorovaikuttivat etualalla; ja kohtauksen muokkaukset käsittivät taustaelementtejä tai laajempia kohtauksen aspekteja, jotka eivät suoraan vaikuttaneet henkilöön.

[caption id="attachment_218826" align="alignnone" width="927"] MultiFakeVerse-aineiston luomisputki alkaa todellisista kuvista, joissa visuaalisen kielen mallit ehdottavat kertomuksellisia muokkauksia, jotka kohdistuvat ihmisiin, esineisiin tai kohtauksiin. Nämä ohjeet sovelletaan sitten kuvamuokkausmalleilla. Oikea paneeli näyttää henkilökohtaisten, objektien ja kohtauksen muokkausten jakautumisen aineistossa. Source: https://arxiv.org/pdf/2506.00868

Koska yksittäiset kuvat voivat sisältää useita muokkaustyyppejä samanaikaisesti, näiden kategorioiden jakautumista aineistossa kartoitettiin. Karkeasti kolmasosa muokkauksista kohdistui vain henkilöön; noin viidesosa vaikutti vain kohtaukseen; ja noin kuudesosa rajoittui objekteihin.

Havainnon Arviointi

Gemini-2.0-Flashia käytettiin arvioimaan, miten muokkaukset voivat muuttaa katsojan havaintoa kuudella alueella: emotionaalisuus, henkilöllinen identiteetti, valta dynamiikka, kohtauksen kertomus, muokkauksen tarkoitus ja eettiset huolenaiheet.

Emotionaalisuuden osalta muokkaukset kuvasivat usein termejä, kuten ilo, viihdyttävä tai lähestyttävä, viitaten siihen, miten aiheita emotionaalisesti kehystettiin. Kertomuksellisissa termeissä sanat, kuten ammattimainen tai erilainen, osoittivat muutoksia kertomuksessa tai asetelmassa:

[caption id="attachment_218827" align="alignnone" width="872"] Gemini-2.0-Flash ohjattiin arvioimaan, miten jokainen muokkaus vaikuttaa kuuden havainnon alueen osalta. Vasemmalla: esimerkki ohjausstruktuurista, joka ohjaa mallin arviointia. Oikealla: sanapilvi, joka tiivistää tunteiden, identiteetin, kohtauksen kertomuksen, aikomusten, valtadynamiikan ja eettisten huolenaiheiden muutoksia aineistossa.

Identiteetin muutoksia kuvasivat sanat, kuten nuorempi, leikkisä ja haavoittuvainen, osoittaen, miten pienet muutokset voivat vaikuttaa yksilöiden havaitsemiseen. Monien muokkausten tarkoitus luokiteltiin suostuttavaksi, petolliseksi tai esteettiseksi. Vaikka useimmat muokkaukset arvioitiin aiheuttavan vain lieviä eettisiä huolenaiheita, pieni osa nähtiin kantavan kohtuullisia tai vakavia eettisiä implikaatioita.

Esimerkkejä MultiFakeVersesta, joissa näytetään, miten pienet muokkaukset siirtävät katsojan havaintoa. Keltaiset ruudut korostavat muutettuja alueita, ja niiden kanssa on analyysi tunteiden, identiteetin, kertomuksen ja eettisten huolenaiheiden muutoksista.

Mittarit

MultiFakeVerse-kokoelman visuaalinen laatu arvioitiin kolmella standardimittarilla: Huippu-signaali-kohina-suhde (PSNR); Rakenteellinen samankaltaisuusindeksi (SSIM); ja Fréchet Inception -etäisyys (FID):

Kuvan laatuindeksit MultiFakeVerse-aineistolle mitattuna PSNR: llä, SSIM: llä ja FID: llä.

SSIM-arvo 0,5774 heijastaa kohtuullista samankaltaisuutta, joka on yhdenmukainen aineiston tavoitteen kanssa, joka on säilyttää suurin osa kuvasta ja soveltaa kohdennettuja muokkauksia; FID-arvo 3,30 osoittaa, että generoidut kuvat säilyttävät korkean laadun ja monimuotoisuuden; ja PSNR-arvo 66,30 desibeliä osoittaa, että kuvat säilyttävät hyvän visuaalisen uskottavuuden muokkauksen jälkeen.

Käyttäjätutkimus

Käyttäjätutkimus tehtiin, jotta voitiin nähdä, miten hyvin ihmiset voivat havaita hillityt väärennökset MultiFakeVerse-aineistossa. Kahdeksantoista osallistujaa esiteltiin viidelleenkymmenelle kuvalle, jotka jaettiin tasaisesti todellisten ja muokattujen esimerkkien välillä, jotka kattoivat laajan valikoiman muokkaustyyppejä. Jokainen osallistuja pyydettiin luokittelemaan, onko kuva aito vai väärennetty, ja jos väärennetty, määrittämään, minkälaista manipulaatiota oli tehty.

Kokonaisuuden mukaan oikean ja väärän kuvan luokittelun tarkkuus oli 61,67 prosenttia, mikä tarkoittaa, että osallistujat luokittelivat kuvat väärin yli kolmanneksen ajasta.

Tekijät toteavat:

‘Analysoimalla ihmisten ennusteita manipulaation tasosta väärennettyjen kuvien osalta, havaittiin, että keskimääräinen leikkaus ennusteen ja todellisen manipulaation tasojen välillä oli 24,96 %.

‘Tämä osoittaa, että on haastavaa ihmisille tunnistaa manipulaation alueet aineistossamme.’

MultiFakeVerse-aineiston rakentaminen vaati laajat laskennalliset resurssit: muokkausohjeiden generoimiseksi tehtiin yli 845 000 API-kutsua Gemini- ja GPT-malleihin, ja nämä ohjaustehtävät maksoivat noin 1000 dollaria; Gemini-pohjaisen kuvien tuottaminen maksoi noin 2867 dollaria; ja GPT-Image-1-kuvien generointi maksoi noin 200 dollaria. ICEdit-kuvat luotiin paikallisesti NVIDIA A6000-grafiikkaprosessorilla, ja tehtävä valmistui noin 24 tunnissa.

Testit

Ennen testejä aineisto jaettiin koulutus-, validointi- ja testijoukkoihin valitsemalla 70 prosenttia todellisista kuvista koulutukseen; 10 prosenttia validointiin; ja 20 prosenttia testaamiseen. Muokatut kuvat, jotka oli generoitu kustakin todellisesta kuvasta, määriteltiin samalle joukolle kuin niiden vastaava alkuperäinen kuva.

Lisää esimerkkejä aineistosta, todellisia (vasemmalla) ja muokattuja (oikealla) sisältöjä.

Väärennösten havaitsemisen suorituskyky mitattiin kuvakohtaisella tarkkuudella (jossa järjestelmä luokitteli koko kuvan oikein aidoksi tai väärennetyksi) ja F1-lukemalla. Muokattujen alueiden sijainnin arvioinnissa käytettiin alueen alla olevaa käyrää (AUC), F1-lukemaa ja leikkausyhteenvedon (IoU).

MultiFakeVerse-aineistoa käytettiin johtavien deepfake-havaintojärjestelmien testaamiseen koko testijoukossa, ja vertailumalleina olivat CnnSpot; AntifakePrompt; TruFor; ja visuaalisen kielen perustuva SIDA. Jokainen malli arvioitiin aluksi nollasuorituskykytilassa, käyttäen alkuperäisiä esikoulutettuja painoja ilman lisämuokkauksia.

Kaksi mallia, CnnSpot ja SIDA, hienosäädettiin sitten MultiFakeVerse-koulutusaineistolla, jotta voitiin arvioida, parantavatko ne suorituskykyä.

<img class=" wp-image-218831" src="https://archive.is/sXFdH" alt="Deepfake-havaintotulokset MultiFakeVerse-aineistolla nollasuorituskyky- ja hienosäätötilassa. Sulkeissa olevat luvut osoittavat muutokset hienosäätöön.

Tuloksista tekijät toteavat:

‘[Mallit], jotka on koulutettu aiemmin maalausperusteisiin väärennöksiin, kamppailevat tunnistamaan meidän VLM-muokkausperusteisia väärennöksiä, erityisesti CNNSpot luokittelisi lähes kaikki kuvat aidoiksi. AntifakePromptilla on paras nollasuorituskyky, 66,87 prosentin keskimääräinen luokittelutarkkuus ja 55,55 prosentin F1-luku.

‘Hienosäätöä harjoitettuamme aineistomme koulutusjoukossa havaitsemme suorituskyvyn parantuvan sekä CNNSpotilla että SIDA-13B: llä, CNNSpot ylittää SIDA-13B: n sekä keskimääräisessä luokittelutarkkuudessa (1,92 prosenttiyksiköllä) että F1-luvussa (1,97 prosenttiyksiköllä). ‘

SIDA-13B: tä arvioitiin MultiFakeVerse-aineistolla, jotta voitiin mitata, kuinka tarkasti se voisi sijainnittaa muokatut alueet kussakin kuvassa. Malli testattiin sekä nollasuorituskykytilassa että hienosäätöä harjoitettuaan aineistolla.

Alkuperäisessä tilassa se saavutti leikkausyhteenvedon 13,10, F1-luvun 19,92 ja AUC-arvon 14,06, mikä osoittaa heikkoa sijainninmääritystoimintaa.

Hienosäätöä harjoitettuaan tulokset paranevat seuraavasti: leikkausyhteenvedolle 24,74, F1-luvulle 39,40 ja AUC-arvolle 37,53. Vaikka malli paransi suorituskykyään hienosäätöä harjoitettuaan, se kamppaili edelleen löytämään tarkasti, missä muokkaukset oli tehty, korostaen haasteita, joita näiden tyyppisten pienien, kohdennettujen muutosten havaitseminen voi aiheuttaa.

Johtopäätös

Uusi tutkimus paljastaa sokean tilan sekä ihmisen että koneen havainnossa: vaikka suuri osa julkisesta keskustelusta deepfakeista on keskittynyt otsikkojen kaltaisiin identiteetin vaihtoihin, nämä hiljaisemmat “kertomukselliset muokkaukset” ovat vaikeampia havaitsemaan ja mahdollisesti myrkyllisempiä pitkällä aikavälillä.

Nykyjärjestelmissä, kuten ChatGPT ja Gemini, jotka osallistuvat tällaisen sisällön luomiseen, ja meidän itse osallistumme yhä enemmän todellisuutemme oman valokuvavirran muokkaamiseen, havaintomallit, jotka riippuvat karkeiden manipulaatioiden havaitsemisesta, saattavat tarjota riittämättömän puolustuksen.

MultiFakeVerse osoittaa, että ongelma ei ole siinä, että havainto on epäonnistunut, vaan siinä, että osa ongelmaa saattaa siirtyä haasteellisempaan, hitaammin liikkuvampaan muotoon: yhteen, jossa pienet visuaaliset valheet kertyvät huomaamatta.

Julkaistu ensimmäisen kerran torstaina 5. kesäkuuta 2025