“Suojatut” Kuvat ovat Helpommin Varastettavissa Tekoälyllä

Uusi tutkimus osoittaa, että vesileimojen kaltaiset suojausmenetelmät, jotka on tarkoitettu estämään tekoälykuvien muokkaus, voivat olla vastoin odotuksia. Sen sijaan, että estäisivät mallit kuten Stable Diffusion muokkaamasta kuvia, jotkin suojaukset voivat itse asiassa parantaa tekoälyn muokkauskykyä, tehdäkseen kuvamuokkaukset helpommiksi.

Tietokoneen näköalan alalla on vahva ja vankka suunta, joka on omistettu suojattujen kuvien suojaamiselle tekijänoikeuksien rikkomiselta tekoälymallien koulutuksessa tai suorassa kuvien muokkauksessa. Nämä järjestelmät ovat yleensä suunnattu Latent Diffusion Models (LDM) kuten Stable Diffusion ja Flux, jotka käyttävät melu-pohjaisia menetelmiä kuvien koodaamiseen ja dekoodaamiseen.

Liittämällä vastustuskykyistä melua muuten normaaleihin kuviin, on mahdollista saada kuvantunnistimet väärin arvioimaan kuvan sisältöä ja estämään kuvien luomisen järjestelmiä hyväksikäyttämästä tekijänoikeuksien rikkomiseen.

MIT:n tutkimuksesta ‘Raising the Cost of Malicious AI-Powered Image Editing’, esimerkkejä suojatusta kuvasta, joka on suojaamaton manipulaatiolta (alempi rivi). Lähde: https://arxiv.org/pdf/2302.06588

Tutkimuskohtaus on tuottanut useita variaatioita samasta aiheesta – ideasta, että kuvat voidaan “myrkyttää” tekoälyjärjestelmiä vastaan ilman, että kuvan laatu heikkenee keskivertokatselijalle.

Kaikissa tapauksissa on suora korrelaatio suojauksen voimakkuuden ja kuvan suojaamattomuuden välillä, ja sen, kuinka paljon kuva ei näytä aivan oikein.

Vaikka tutkimuspaperin laatu ei täysin kuvaa ongelmaa, suuremmat määrät vastustuskykyistä melua uhraavat laadun turvallisuuden vuoksi. Tässä nähdään laadun häiriöiden kirjo vuoden 2020 ‘Fawkes’ -projektissa, jota johti Chicagon yliopisto. Lähde: https://arxiv.org/pdf/2002.08327

Erityisen kiinnostavaa taiteilijoille, jotka haluavat suojella tyylinsä tekijänoikeuksien rikkomiselta, on kyky näille järjestelmille peittää identiteetin ja muita tietoja, ja “vakuuttaa” tekoälykoulutusprosessille, että se näkee jotain muuta kuin mitä se todella näkee, jotta yhteydet eivät muodostu semanttisen ja visuaalisen alan välillä “suojatulle” koulutusaineistolle (esim. “Paul Klee -tyyli”).

Mist ja Glaze ovat kaksi suosituinta injektioon perustuvaa menetelmää, jotka voivat estää tai vaikeuttaa tekijänoikeuksien rikkomista tekoälytyövirroissa ja koulutusohjelmissa. Lähde: https://arxiv.org/pdf/2506.04394

Oma Maali

Nyt uusi tutkimus Yhdysvalloista on osoittanut, että ei ainoastaan suojaukset voivat epäonnistua suojaamassa kuvaa, vaan suojauksen lisääminen voi itse asiassa parantaa kuvan hyväksikäytettävyyttä kaikissa tekoälyprosesseissa, joita suojaus on tarkoitettu suojaamaan.

Tutkimusraportti toteaa:

‘Kokeilumme erilaisilla suojauksella perustuvilla menetelmillä useilla alueilla (luonnonkohtauksissa ja taiteessa) ja muokkaustehtävissä (kuvasta kuvaan ja tyylin muokkaus) osoittivat, että tällainen suojaus ei saavuta täysin tavoitettaan.

‘Useimmissa tilanteissa diffuusiopohjainen kuvan muokkaus suojatuista kuvista tuotti toivottua lopputulosta, joka noudatti ohjeita tarkasti.

‘Havaintomme viittaavat siihen, että kuvien lisääminen meluun voi paradoksaalisesti lisätä niiden yhteyttä annettuihin tekstipromptteihin generoinnin aikana, johtaen odottamattomiin seurauksiin, kuten parempiin lopputuloksiin.

‘Siispä väitämme, että suojauksella perustuvat menetelmät eivät välttämättä tarjoa riittävää ratkaisua kuvien suojaamiseksi diffuusiopohjaiselta muokkaukselta.’

Kokeissa suojatut kuvat altistettiin kahdelle tutulle tekoälymuokkaustilanteelle: suoraan kuvasta kuvaan ja tyylin siirto. Nämä prosessit heijastavat yleisiä tapoja, joilla tekoälymallit voivat hyväksikäyttää suojattua sisältöä, joko muokkaamalla kuvaa suoraan tai omaksumalla sen tyylistä piirteitä muuhun käyttöön.

Menetelmä

Tutkijat suorittivat kokeita, joissa käytettiin kolmea suojauksella perustuvaa menetelmää, jotka soveltavat huolellisesti suunniteltuja vastustuskykyisiä meluhäiriöitä: PhotoGuard; Mist; ja Glaze.

Glaze, yksi testatuista kehyksistä. Glaze-suojauksen esimerkit kolmelle taiteilijalle. Ensimmäiset kaksi saraketta näyttävät alkuperäisiä teoksia. Kolmas sarake näyttää jäljitelmän tuloksia ilman suojaa. Neljäs sarake näyttää tyylin siirtämisen tuloksia, joita käytettiin viittauksen optimointiin yhdessä kohdetyylin nimien kanssa. Viides ja kuudes sarake näyttävät jäljitelmän tuloksia, kun suojaa sovellettiin meluhäiriön tasolla p = 0,05 ja p = 0,1. Kaikki tulokset käyttävät Stable Diffusion -malleja. https://arxiv.org/pdf/2302.04222

PhotoGuardia sovellettiin luonnonkohtauksiin, kun taas Mistiä ja Glazea käytettiin taiteellisissa teoksissa (eli “taiteellisesti tyylitetyissä” alueissa).

Kokeet kattoivat sekä luonnon että taiteelliset kuvat heijastamaan mahdollisia todellisia käyttötapauksia. Jokaisen menetelmän tehokkuutta arvioitiin tarkastelemalla, voivatko tekoälymallit edelleen tuottaa realistisia ja ohjeisiin perustuvia muokkauksia, kun ne työskentelevät suojatuilla kuvilla; jos tulokset olivat vakuuttavia ja vastasivat ohjeisiin, suojauksen katsottiin epäonnistuneen.

Stable Diffusion v1.5 käytettiin esikoulutettuna kuvageneraattorina tutkijoiden muokkaustehtävissä. Viisi siemenarvoa valittiin varmistamaan toistettavuus: 9222, 999, 123, 66, ja 42. Kaikki muut generointiasetukset, kuten ohjausasteikon, voimakkuuden ja yhteisten askelten määrän, seurasivat PhotoGuard-kokeiden oletusarvoja.

PhotoGuardia testattiin luonnonkohtauksilla Flickr8k -aineistolla, joka sisältää yli 8 000 kuvaa, joista jokaiseen on liitetty jopa viisi kuvausta.

Vastakkaiset Ajatukset

Kaksi muutettua kuvauksia luotiin jokaisen kuvan ensimmäisestä kuvauksesta Claude Sonnet 3.5:n avulla. Toisessa kuvauksessa ohjeet olivat kontekstuaalisesti lähellä alkuperäisiä kuvauksia; toisessa ohjeet olivat kontekstuaalisesti etäisiä.

Esimerkiksi alkuperäisestä kuvauksesta ‘Nuori tyttö pinkaisessa mekossa menee puuhirsin sisään’, lähellä oleva ohje voisi olla ‘Nuori poika sinisessä paidassa menee tiilitaloon’. Sen sijaan etäinen ohje voisi olla ‘Kaksi kissaa makaamassa sohvalta’.

Lähellä olevat ohjeet muodostettiin korvaamalla substantiivit ja adjektiivit semanttisesti samankaltaisilla termeillä; kaukaiset ohjeet luotiin ohjaamalla mallia luomaan kuvauksia, jotka olivat kontekstuaalisesti hyvin erilaisia.

Kaikki generoidut kuvaukset tarkistettiin manuaalisesti laadun ja semanttisen merkityksen varmistamiseksi. Google:n Universal Sentence Encoder käytettiin laskemaan semanttisen samankaltaisuuden alkuperäisen ja muutetun kuvauksen välillä:

Lisäaineistosta, semanttisen samankaltaisuuden jakaumat muutetuille kuvauksille Flickr8k-kokeissa. Vasemmalla oleva kaavio näyttää samankaltaisuuspisteet lähellä muutetuille kuvauksille, jotka ovat keskimäärin noin 0,6. Oikealla oleva kaavio näyttää laajasti muutetut kuvaukset, jotka ovat keskimäärin noin 0,1, heijastaen suurempaa semanttista etäisyyttä alkuperäisistä kuvauksista. Arvot laskettiin Google:n Universal Sentence Encoderin avulla. Lähde: https://sigport.org/sites/default/files/docs/IncompleteProtection_SM_0.pdf

Jokainen kuva, yhdessä sen suojatun version kanssa, muokattiin sekä lähellä olevilla että kaukaisilla ohjeilla. Blind/Referenceless Image Spatial Quality Evaluator (BRISQUE) käytettiin arvioidakseen kuvan laatua:

Kuvasta kuvaan generoinnin tulokset luonnonvalokuvilla, jotka on suojattu PhotoGuardilla. Vaikka häiriöt ovat läsnä, Stable Diffusion v1.5 seurasi onnistuneesti sekä pieniä että suuria semanttisia muutoksia ohjeissa, tuottaen realistisia tuloksia, jotka vastasivat uusiin ohjeisiin.

Mittarit

Arvioidakseen, kuinka hyvin suojaukset estivät tekoälymuokkauksia, tutkijat mittasivat, kuinka hyvin lopulliset kuvat vastasivat annettuihin ohjeisiin, käyttäen pisteytysjärjestelmiä, jotka vertasivat kuvan sisältöä tekstiohjeeseen, nähdäkseen, kuinka hyvin ne ovat samansuuntaisia.

Tähän tarkoitukseen CLIP-S -mittari käyttää mallia, joka ymmärtää sekä kuvia että tekstiä, tarkastellakseen, kuinka samanlaisia ne ovat, kun taas PAC-S++ lisää lisää näytteitä, jotka on luotu tekoälyllä, jotta vertailu olisi lähempänä ihmisen arviointia.

Nämä kuvan ja tekstin yhdenmukaisuuspisteet (ITA) osoittavat, kuinka tarkasti tekoäly seurasi ohjeita muokatessaan suojattua kuvaa: jos suojattu kuva johti edelleen hyvin yhdenmukaiseen lopputulokseen, suojauksen katsottiin epäonnistuneen estämään muokkauksen.

Suojauksen vaikutus Flickr8k-aineistoon viidellä siemenarvolla, sekä lähellä olevilla että kaukaisilla ohjeilla. Kuvan ja tekstin yhdenmukaisuus mitattiin CLIP-S- ja PAC-S++-pisteillä.

Tutkijat vertailivat, kuinka hyvin tekoäly seurasi ohjeita muokatessaan suojattuja kuvia verrattuna suojaamattomiin kuviin. He tarkastelivat ensin eroa näiden kahden välillä, jota kutsutaan Todelliseksi Muutokseksi. Sitten eroa mitattiin prosentteina, jotta tulokset olisivat helpommin vertailtavissa.

Tämä prosessi paljasti, tekivätkö suojaukset tekoälylle helpommaksi tai vaikeammaksi seurata ohjeita. Kokeet toistettiin viisi kertaa eri satunnaisilla siemenarvoilla, kattamaan sekä pienet että suuret muutokset alkuperäisiin kuvauksiin.

Taidehyökkäys

Luonnonvalokuvien kokeissa käytettiin Flickr1024-aineistoa, joka sisältää yli tuhat korkealaatuista kuvaa. Jokainen kuva muokattiin ohjeilla, jotka seurasivat kaavaa: ‘Vaihda tyyli [V]:ksi’, jossa [V] edusti yhtä seuraavista seitsemästä kuuluisasta taidetyylistä: Kubismi; Postimpressionismi; Impressionismi; Surrealismi; Barokki; Fauvismi; ja Renessanssi.

Prosessi käsitti soveltamisen PhotoGuardia alkuperäisiin kuviiin, generoimisen suojattuja versioita ja sitten suorittamisen sekä suojattujen että suojaamattomien kuvien kautta samojen tyylin siirtämisen muokkausten:

Alkuperäinen ja suojattu versio luonnonvalokuvasta, joka on muokattu soveltamaan kubismia, surrealismia ja fauvismia.

Taiteellisten teosten suojauksessa tehtiin tyylin siirto WikiArt -aineistosta, joka kokoaa laajan valikoiman taiteellisia tyylejä. Ohjeet seurasivat samaa kaavaa kuin aiemmin, ohjaamalla tekoälyä muuttamaan tyyliä satunnaisesti valittuun, ei-liittyvään tyyliin WikiArt-merkinnöistä.

Molemmat Glaze- ja Mist-suojaukset sovellettiin kuviin ennen muokkausta, jotta tutkijat voivat havainnoida, kuinka hyvin kumpikaan puolustus kestää tai muuttaa tyylin siirron tuloksia:

Esimerkkejä siitä, kuinka suojaukset vaikuttavat tyylin siirtoon taiteessa. Alkuperäinen barokkikuva on esitetty yhdessä Mistillä ja Glazella suojattujen versioiden kanssa. Kubismin tyylin siirron soveltamisen jälkeen voidaan havainnoida eroja siinä, kuinka kunkin suojauksen lopputulos muuttuu.

Tutkijat testasivat vertailuja määrällisesti:

Muutokset kuvan ja tekstin yhdenmukaisuuspisteissä tyylin siirron jälkeen.

Näistä tuloksista tutkijat toteavat:

‘Tulokset korostavat merkittävää rajoitusta vastustuskykyisten häiriöiden käytölle suojauksessa. Sen sijaan, että estäisivät yhdenmukaisuutta, vastustuskykyiset häiriöt usein parantavat generatiivisen mallin vastetta ohjeisiin, tahattomasti mahdollistaen hyväksikäyttäjille tuottaa tuloksia, jotka ovat lähempänä heidän tavoitteitaan. Tällainen suojaus ei ole haitallista kuvan muokkaukselle ja saattaa olla kykenemätön estämään pahantahtoisia agentteja kopioimasta laitonta materiaalia.

‘Vastustuskykyisten häiriöiden odottamattomat seuraukset paljastavat heikkoudet olemassa olevissa menetelmissä ja korostavat kiireellistä tarvetta tehokkaampien suojauksen kehittämiseksi.’

Tutkijat selittävät, että odottamattomat tulokset voidaan jäljittää siihen, kuinka diffuusiomallit toimivat: LDM:t muokkaavat kuvia muuttamalla ne ensin tiivistetyksi versioksi, josta kutsutaan latenteiksi; sitten melua lisätään tähän latenttiin monien askelten kautta, kunnes datasta tulee melkein satunnainen.

Malli kääntää tämän prosessin generoinnissa, poistaen melun askel kerrallaan. Jokaisessa tämän kääntämisen vaiheessa tekstiohje auttaa ohjaamaan, kuinka melua tulisi puhdistaa, muokkaamalla kuvaa hitaasti ohjeen mukaiseksi:

Vertailu sukupolven välillä suojaamattomasta kuvasta ja PhotoGuardilla suojatusta kuvasta, jossa välimuodot on muunnettu takaisin kuviksi visualisointia varten.

Suojaukset lisäävät pieniä määriä lisämelua alkuperäiseen kuvaan ennen kuin se sisällytetään tähän prosessiin. Vaikka nämä häiriöt ovat pieniä aluksi, ne kertyvät, kun malli soveltaa omia melun kerroksiaan.

Tämä kertyminen jättää enemmän kuvan osia ‘epävarmaksi’, kun malli alkaa poistaa melua. Suuremman epävarmuuden vuoksi malli turvautuu enemmän tekstiohjeeseen täyttämään puuttuvat yksityiskohdat, antaen ohjeelle entistä enemmän vaikutusvaltaa.

Praktisesti suojaukset tekevät siis helpommaksi tekoälylle muokata kuvaa ohjeen mukaiseksi, sen sijaan, että se olisi vaikeampi.

Lopulta tutkijat suorittivat kokeen, jossa korvattiin suunnitellut häiriöt Raising the Cost of Malicious AI-Powered Image Editing -tutkimuksesta peräisin olevilla häiriöillä.

Tulokset seurasivat samaa kaavaa, joka havaittiin aiemmin: kaikissa kokeissa prosentuaalisen muutoksen arvot pysyivät positiivisina. Jopa tämä satunnainen, rakenteeton melu johti vahvempaan yhdenmukaisuuteen generoituissa kuvissa ja ohjeissa.

Simuloitu suojauksen vaikutus Flickr8k-aineistoon gaussian-melun avulla.

Tämä tuki perustavaa selitystä, että lisätty melu, riippumatta sen suunnittelusta, luo enemmän epävarmuutta mallille generoinnin aikana, antaen tekstiohjeelle enemmän valtaa lopullisen kuvan muokkauksessa.

Johtopäätös

Tutkimusala on pyrkinyt ratkaisemaan tekijänoikeusongelman LDM:ien kanssa vastustuskykyisten häiriöiden avulla niin kauan kuin LDM:t ovat olleet olemassa; mutta kestäviä ratkaisuja ei ole löydetty poikkeuksellisen suuresta määrästä julkaistuja tutkimuksia huolimatta.

Joko aiheutetut häiriöt heikentävät liikaa kuvan laatua, tai mallit osoittautuvat haavoittuviksi manipuloinnille ja muunnoksille.

Kuitenkin on haasteellista luopua tästä unelmasta, koska vaihtoehtona näyttäytyy kolmannen osapuolen valvonta ja peräisin olevat kehykset, kuten Adoben johtama C2PA-ohjelma, joka pyrkii ylläpitämään valvontaketjua kuvista kameran anturista alkaen, mutta jolla ei ole luontaisesti yhteyttä kuvaamiseen.

Tapauksessa, jos vastustuskykyinen häiriö aiheuttaa todella ongelmia, kuten uusi tutkimus viittaa, voisi kysyä, kuuluuko tekijänoikeuksien suojaamisen tavoittelu tällä tavoin ‘alkemiaksi’.

Julkaistu ensimmäisen kerran maanantaina, 9. kesäkuuta 2025