«Beskyttede» bilder er lettere å stjele med AI, ikke vanskeligere

Ny forskning viser at vannmerking-verktøy som er ment å blokkere AI-bildeendringer, kan ha motsatt effekt. I stedet for å stoppe modeller som Stable Diffusion fra å gjøre endringer, kan noen beskyttelser faktisk hjelpe AI-en med å følge redigeringspromter mer nøyaktig, og gjøre uønskede endringer enda enklere.

Det finnes en betydelig og robust del av datavitenskapelig litteratur som er viet til å beskytte opphavsrettslige bilder mot å bli trent inn i AI-modeller eller brukt i direkte bilde-til-bilde AI-prosesser. Systemer av denne typen er vanligvis rettet mot Latent Diffusion Models (LDMs) som Stable Diffusion og Flux, som bruker støybaserte prosedyrer for å kode og dekode bilder.

Ved å sette inn motstandsdyktig støy i ellers normale bilder, kan det være mulig å få bilde-detektorer til å gjette bildeinnhold feil, og hindre bilde-genererings-systemer fra å utnytte opphavsrettslige data:

Fra MIT-papiret ‘Raising the Cost of Malicious AI-Powered Image Editing’, eksempler på en kildebilde ‘immunisert’ mot endring (nederste rad). Kilde: https://arxiv.org/pdf/2302.06588

Siden en kunstnerisk motreaksjon mot Stable Diffusions liberal bruk av webskrapede bilder (inkludert opphavsrettslige bilder) i 2023, har forskningsscenen produsert flere variasjoner av samme tema – ideen om at bilder kan være usynlig «forgiftet» mot å bli trent inn i AI-systemer eller sugt inn i generative AI-pipelines, uten å påvirke kvaliteten på bildet for den gjennomsnittlige seeren.

I alle tilfeller er det en direkte korrelasjon mellom intensiteten av den påførte perturbasjonen, og omfanget av hvilken grad bildet deretter er beskyttet, og omfanget av hvilken grad bildet ikke ser helt så bra ut som det burde:

Selv om kvaliteten på forsknings-PDF-en ikke fullt ut illustrerer problemet, ofrer større mengder motstandsdyktig perturbasjon kvalitet for sikkerhet. Her ser vi variasjonen av kvalitetsforstyrrelser i 2020-prosjektet Fawkes, ledet av University of Chicago. Kilde: https://arxiv.org/pdf/2002.08327

Av særlig interesse for kunstnere som søker å beskytte sine stiler mot uautorisert appropriasjon, er evnen til slike systemer ikke bare å skjule identitet og annen informasjon, men også å «overbevise» en AI-treningprosess om at den ser noe annet enn det den faktisk ser, så at forbindelser ikke dannes mellom semantiske og visuelle domener for «beskyttet» treningdata (dvs. en prompt som ‘I stilen til Paul Klee’).

Mist og Glaze er to populære injiseringsmetoder som kan forhindre, eller i det minste alvorlig hindre, forsøk på å bruke opphavsrettslige stiler i AI-arbeidsflyter og trening rutiner. Kilde: https://arxiv.org/pdf/2506.04394

Egen mål

Nå har ny forskning fra USA funnet ut at ikke bare kan perturbasjoner feile i å beskytte et bilde, men at å legge til perturbasjon faktisk kan forbedre bildets mulighet til å bli utnyttet i alle AI-prosessene som perturbasjonen er ment å immunisere mot.

Papiret sier:

‘I våre eksperimenter med ulike perturbasjonsbaserte bildebeskyttelsesmetoder over flere domener (natur-scene-bilder og kunstverk) og redigeringsoppgaver (bilde-til-bilde-generering og stil-redigering), oppdager vi at slike beskyttelser ikke oppnår dette målet fullstendig.

‘I de fleste scenarier genererer diffusjonsbasert redigering av beskyttede bilder et ønsket utgangsbilde som følger instruksjonene nøyaktig.

‘Våre funn viser at å legge til støy til bilder kan paradoksalt øke deres assosiasjon med gitte tekstpromter under genereringsprosessen, og føre til uventede konsekvenser som better resultatredigering.

‘Derfor argumenterer vi for at perturbasjonsbaserte metoder kanskje ikke tilbyr en tilstrekkelig løsning for robust bildebeskyttelse mot diffusjonsbasert redigering.’

I tester ble de beskyttede bildene utsatt for to kjente AI-redigerings-scenarier: rett frem bilde-til-bilde-generering og stiloverføring. Disse prosessene reflekterer vanlige måter AI-modeller kan utnytte beskyttet innhold, enten ved å endre bildet direkte eller ved å låne dets stilistiske trekk for bruk andre steder.

De beskyttede bildene, hentet fra standardkilder for fotografi og kunstverk, ble kjørt gjennom disse pipelineene for å se om de tilføyde perturbasjonene kunne blokkere eller forringe redigeringene.

I stedet syntes perturbasjonens tilstedeværelse ofte å skjerpe modellens alignering med promter, og produserte rene, nøyaktige utganger der noen feil hadde vært forventet.

Forfatterne råder, i virkeligheten, at denne svært populære metoden for beskyttelse kan gi en falsk trygghet, og at alle slike perturbasjonsbaserte immuniserings-tilnærminger bør testes grundig mot forfatternes egne metoder.

Metode

Forfatterne kjørte eksperimenter med tre beskyttelsesmetoder som anvender nøye designet motstandsdyktig støy: PhotoGuard; Mist; og Glaze.

Glaze, en av rammeverkene testet av forfatterne, viser Glaze-beskyttelseseksempler for tre kunstnere. Den første kolonnen viser de originale kunstverkene; den andre kolonnen viser etterligningsresultater uten beskyttelse; den tredje kolonnen viser stiloverførte versjoner brukt til kappe-optimisering, sammen med målstilnavnet. Den fjerde og femte kolonnen viser etterligningsresultater med kappe anvendt ved perturbasjonsnivåer p = 0,05 og p = 0,1. Alle resultater bruker Stable Diffusion-modeller. https://arxiv.org/pdf/2302.04222

PhotoGuard ble anvendt på natur-scene-bilder, mens Mist og Glaze ble brukt på kunstverk (dvs. «kunstnerisk-stilte» domener).

Tester dekket både naturlige og kunstneriske bilder for å reflektere mulige virkelige anvendelser. Effektiviteten av hver metode ble vurdert ved å sjekke om en AI-modell fortsatt kunne produsere realistiske og prompt-relevante redigeringer når den arbeidet med beskyttede bilder; hvis de resulterende bildene så ut som om de var overbevisende og matchet promter, ble beskyttelsen ansett å ha feilet i å blokkere redigeringen.

Stable Diffusion v1.5 ble brukt som forhånds-trent bilde-genereringsmodell for forfatternes redigeringsoppgaver. Fem frø ble valgt for å sikre reproduserbarhet: 9222, 999, 123, 66 og 42. Alle andre genereringsinnstillinger, som veiledningsskala, styrke og totalt antall skritt, fulgte standardverdiene brukt i PhotoGuard-eksperimentene.

PhotoGuard ble testet på natur-scene-bilder ved hjelp av Flickr8k-datasettet, som inneholder over 8 000 bilder parret med opptil fem undertekster hver.

Motstridende tanker

To sett med modifiserte undertekster ble laget fra den første underteksten av hvert bilde med hjelp av Claude Sonnet 3.5. Et sett inneholdt promter som var kontekstuell nær de originale undertekstene; det andre settet inneholdt promter som var kontekstuell fjern.

For eksempel, fra den originale underteksten ‘En ung jente i en rosa kjole går inn i en trehytte’, ville en nær prompt være ‘En ung gutt i en blå skjorte går inn i en mursteinsbygning’. Til sammenligning ville en fjern prompt være ‘To katter som lener seg tilbake på en sofa’.

Nære promter ble konstruert ved å erstatte substantiver og adjektiver med semantisk likeverdige termer; fjerne promter ble generert ved å instruere modellen til å lage undertekster som var kontekstuell meget forskjellig.

Alle genererte undertekster ble manuelt sjekket for kvalitet og semantisk relevans. Googles Universal Sentence Encoder ble brukt til å beregne semantiske likhetsskår mellom de originale og modifiserte undertekstene:

Fra supplementmaterialet, semantiske likhetssfordelinger for de modifiserte undertekstene brukt i Flickr8k-tester. Grafen til venstre viser likhetsskårene for nære modifiserte undertekster, i gjennomsnitt rundt 0,6. Grafen til høyre viser de omfattende modifiserte undertekstene, i gjennomsnitt rundt 0,1, som reflekterer større semantisk avstand fra de originale undertekstene. Verdier ble beregnet ved hjelp av Googles Universal Sentence Encoder. Kilde: https://sigport.org/sites/default/files/docs/IncompleteProtection_SM_0.pdf

Hvert bilde, sammen med sin beskyttede versjon, ble redigert ved hjelp av både nære og fjerne promter. Den blinde/referanse-løse bilde-spatiale kvalitetsvurderingsverktøyet (BRISQUE) ble brukt til å vurdere bildekvalitet:

Bilde-til-bilde-genereringsresultater på naturlige fotografier beskyttet av PhotoGuard. Til tross for perturbasjonens tilstedeværelse, fulgte Stable Diffusion v1.5 både små og store semantiske endringer i redigeringspromter, og produserte realistiske utganger som matchet de nye instruksjonene.

Mål

For å vurdere hvor godt beskyttelsene forstyrret AI-redigering, målte forskerne hvor nært de endelige bildene matchet instruksjonene de ble gitt, ved hjelp av vurderingssystemer som sammenlignet bildeinnholdet med tekstprompten for å se hvor godt de alignerte.

Til dette formålet brukte CLIP-S-målet en modell som kunne forstå både bilder og tekst for å sjekke hvor like de var, mens PAC-S++ la til ekstra eksempler skapt av AI for å alignere sammenligningen mer nært til en menneskelig estimat.

Disse Bilde-Tekst-Alignering (ITA)-skårene indikerer hvor nøyaktig AI-en fulgte instruksjonene når det redigerte et beskyttet bilde: hvis et beskyttet bilde fortsatt resulterte i et høyt alignert utgangsbilde, betød det at beskyttelsen ble ansett å ha feilet i å blokkere redigeringen.

Effekten av beskyttelse på Flickr8k-datasettet over fem frø, ved hjelp av både nære og fjerne promter. Bilde-tekst-alignment ble målt ved hjelp av CLIP-S- og PAC-S++-skårene.

Forskerne sammenlignet hvor godt AI-en fulgte promter når det redigerte beskyttede bilder sammenlignet med ubeskyttede bilder. De så først på forskjellen mellom de to, kalt Den faktiske endringen. Deretter ble forskjellen skalert for å lage en Prosentendring, noe som gjorde det enklere å sammenligne resultater over mange tester.

Dette avslørte om beskyttelsene gjorde det vanskeligere eller enklere for AI-en å matche promter. Testene ble gjentatt fem ganger ved hjelp av forskjellige tilfeldige frø, dekkende både små og store endringer av de originale undertekstene.

Kunst-angrep

For testene på naturlige fotografier, ble Flickr1024-datasettet brukt, som inneholder over tusen høykvalitetsbilder. Hvert bilde ble redigert med promter som fulgte mønsteret: ‘Endre stilen til [V]’, hvor [V] representerte en av syv berømte kunststiler: Kubisme; Post-Impresjonisme; Impresjonisme; Surrealisme; Barokk; Fauvisme; og Renessanse.

Prosessen involverte å anvende PhotoGuard på de originale bildene, generere beskyttede versjoner, og deretter kjøre både beskyttede og ubeskyttede bilder gjennom samme sett med stiloverføringsredigeringer:

Originale og beskyttede versjoner av et naturlig scenarie-bilde, hver redigert for å anvende Kubisme-, Surrealisme- og Fauvisme-stiler.

For å teste beskyttelsesmetoder på kunstverk, ble stiloverføring utført på bilder fra WikiArt-datasettet, som kuraterer en bred rekke av kunststiler. Redigeringspromter fulgte samme format som før, og instruerte AI-en om å endre stilen til en tilfeldig valgt, uavhengig stil hentet fra WikiArt-merkene.

Både Glaze og Mist-beskyttelsesmetoder ble anvendt på bildene før redigeringene, og lot forskerne observere hvor godt hver forsvarsmekanisme kunne blokkere eller forstyrre stiloverføringsresultatene:

Eksempler på hvordan beskyttelsesmetoder påvirker stiloverføring på kunstverk. Det originale Barokk-bildet vises sammen med versjoner beskyttet av Mist og Glaze. Etter å ha anvendt Kubisme-stiloverføring, kan forskjellene i hvordan hver beskyttelse endrer den endelige utgangen sees.

Forskerne testet sammenligningene kvantitativt også:

Endringer i bilde-tekst-alignment-skårene etter stiloverføringsredigeringer.

Av disse resultater kommenterte forfatterne:

‘Resultatene understreker en betydelig begrensning av motstandsdyktig støy for beskyttelse. I stedet for å hindre alignering, forsterker motstandsdyktig støy ofte den generative modellens respons på promter, og uventet muliggjør at utnyttere kan produsere utganger som aligner mer nært med deres mål. Slike beskyttelser er ikke disruptive for bilde-redigeringsprosessen og kan kanskje ikke forhindre at ondsinnede agenter kopierer uautorisert materiale.

‘De uventede konsekvensene av å bruke motstandsdyktig støy avslører svakheter i eksisterende metoder og understreker det presserende behovet for mer effektive beskyttelsesmetoder.’

Forfatterne forklarer at de uventede resultene kan spores tilbake til hvordan diffusjonsmodeller fungerer: LDM-er redigerer bilder ved først å konvertere dem til en komprimert versjon kalt en latent; støy blir deretter lagt til denne latente gjennom mange skritt, til dataene blir nesten tilfeldige.

Modellen reverserer denne prosessen under generering, fjerner støyen skritt for skritt. På hvert stadium av denne reverseringen hjelper tekstprompten med å guide hvordan støyen skal fjernes, og former gradvis bildet til å matche prompten:

Sammenligning mellom genereringer fra et ubeskyttet bilde og et PhotoGuard-beskyttet bilde, med mellomliggende latente tilstander konvertert tilbake til bilder for visualisering.

Beskyttelsesmetodene legger til små mengder ekstra støy til det originale bildet før det går inn i denne prosessen. Mens disse perturbasjonene er små til å begynne med, akkumulerer de seg når modellen legger til sine egne lag av støy.

Dette bygget igjen etterlater flere deler av bildet «usikre» når modellen begynner å fjerne støy. Med større usikkerhet, baserer modellen seg mer på tekstprompten for å fylle inn de manglende detaljene, og gir prompten endå mer innflytelse enn den ville hatt normalt.

I virkeligheten gjør beskyttelsene det enklere for AI-en å forme bildet til å matche prompten, i stedet for å gjøre det vanskeligere.

Til slutt utførte forfatterne en test som erstattet konstruerte perturbasjoner fra Raising the Cost of Malicious AI-Powered Image Editing papiret med ren Gaussisk støy.

Resultatene fulgte samme mønster som tidligere observert: over alle tester forble Prosentendringsverdiene positive. Selv denne tilfeldige, ustrukturerte støyen ledet til sterkere alignering mellom de genererte bildene og promptene.

Effekten av simuleringsbeskyttelse ved hjelp av Gaussisk støy på Flickr8k-datasettet.

Dette støttet den underliggende forklaringen at all tilføyd støy, uavhengig av design, skaper større usikkerhet for modellen under generering, og lar tekstprompten utøve enda mer kontroll over det endelige bildet.

Konklusjon

Forskingsscenen har vært opptatt av å fremme motstandsdyktig perturbasjon på LDM-oppførselsproblemet så lenge LDM-er har eksistert; men ingen resiliente løsninger har dukket opp fra det ekstraordinære antallet papirer publisert på denne måten.

Enten er de påførte forstyrrelsene for ekstreme og reduserer bildets kvalitet, eller mønstrene viser seg å ikke være resilient mot manipulering og transformative prosesser.

Likevel er det en hard drøm å gi opp, siden alternativet ville synes å være tredjeparts-overvåking og proveniens-rammeverk som Adobe-ledede C2PA-scheme, som søker å opprettholde en kjede av besittelse for bilder fra kamera-sensoren og utover, men som ikke har noen innate sammenhenger med innholdet som avbildes.

I alle tilfeller, hvis motstandsdyktig perturbasjon faktisk gjør problemet verre, som det nye papiret indikerer kan være tilfelle i mange tilfeller, spørger en seg om jakten på opphavsrettslig beskyttelse via slike midler faller under ‘alkymi’.

Først publisert mandag, 9. juni 2025