’Skyddade’ Bilder Är Lättare, Inte Svårare, Att Stjäla Med AI

Nya studier tyder på att verktyg för vattenstämpel som är avsedda att blockera AI-bildredigeringar kan ha motsatt effekt. Istället för att stoppa modeller som Stable Diffusion från att göra ändringar, kan vissa skydd faktiskt hjälpa AI:n att följa redigeringsprompten mer exakt, vilket gör oönskade manipulationer ännu enklare.

Det finns en betydande och robust sträng inom datorseende-litteraturen som är dedikerad till att skydda upphovsrättsskyddade bilder från att tränas in i AI-modeller eller användas i direkt bild-till-bild AI-processer. System av detta slag är vanligtvis riktade mot Latent Diffusion Models (LDMs) som Stable Diffusion och Flux, som använder brus-baserade procedurer för att koda och avkoda bilder.

Genom att införa adversarialt brus i annars normala bilder, kan det vara möjligt att orsaka att bild-detektorer gissar bildinnehåll felaktigt och försvårar bild-genererande system från att utnyttja upphovsrättsskyddat material:

Från MIT-pappret ‘Raising the Cost of Malicious AI-Powered Image Editing’, exempel på en källbild ‘immuniserad’ mot manipulation (nedre raden). Källa: https://arxiv.org/pdf/2302.06588

Sedan en konstnärsreaktion mot Stable Diffusions liberala användning av webbskrapade bilder (inklusive upphovsrättsskyddade bilder) 2023, har forskningsscenen producerat flera variationer av samma tema – idén att bilder kan osynligt “förgiftas” mot att tränas in i AI-system eller sugas in i generativ AI-pipelines, utan att negativt påverka bildens kvalitet för den genomsnittlige åskådaren.

I alla fall finns det en direkt korrelation mellan intensiteten hos den påtvingade perturbationen, den utsträckning till vilken bilden sedan skyddas och den utsträckning till vilken bilden inte ser riktigt bra ut som den borde:

Även om kvaliteten på forsknings-PDF:n inte fullständigt illustrerar problemet, offrar större mängder adversarial perturbation kvalitet för säkerhet. Här ser vi skalan av kvalitetsstörningar i 2020 års ‘Fawkes’-projekt som lett av University of Chicago. Källa: https://arxiv.org/pdf/2002.08327

Av särskilt intresse för konstnärer som söker skydda sina stilar mot obehörig appropriering är förmågan hos sådana system att inte bara förvilla identitet och annan information, utan att “övertyga” en AI-träningsprocess om att den ser något annat än vad den faktiskt ser, så att kopplingar inte bildas mellan semantiska och visuella domäner för “skyddat” träningsmaterial (dvs. en prompt som ‘I stilen med Paul Klee’).

Mist och Glaze är två populära injektionsmetoder som kan förhindra, eller åtminstone allvarligt försvåra, försök att använda upphovsrättsskyddade stilar i AI-arbetsflöden och träningsrutiner. Källa: https://arxiv.org/pdf/2506.04394

Egen Mål

Nu har ny forskning från USA visat att inte bara perturbationer kan misslyckas med att skydda en bild, utan att tillägga perturbationer faktiskt kan förbättra bildens exploaterbarhet i alla AI-processer som perturbationen är avsedd att immunisera mot.

Forskningspappret slår fast:

‘I våra experiment med olika perturbations-baserade bildskyddsmetoder över flera domäner (naturliga scener och konstverk) och redigeringsuppgifter (bild-till-bild-generering och stilredigering), upptäckte vi att sådant skydd inte uppnår detta mål fullständigt.

‘I de flesta scenarier genererar diffusion-baserad redigering av skyddade bilder en önskvärd utgångsbild som följer guidningsprompten exakt.

‘Våra resultat tyder på att tillägga brus till bilder kan paradoxalt öka deras association med givna textprompt under genereringsprocessen, vilket leder till oavsiktliga konsekvenser som bättre resultat.

‘Därför hävdar vi att perturbations-baserade metoder inte kan ge en tillräcklig lösning för robust bildskydd mot diffusion-baserad redigering.’

I testerna utsattes de skyddade bilderna för två bekanta AI-redigerings-scenarier: direkt bild-till-bild-generering och stilöverföring. Dessa processer återspeglar de vanliga sätten som AI-modeller kan utnyttja skyddat innehåll, antingen genom att direkt ändra en bild eller genom att låna dess stilistiska egenskaper för användning på annat håll.

De skyddade bilderna, hämtade från standardkällor för fotografi och konstverk, kördes genom dessa pipelines för att se om de tillagda perturbationerna kunde blockera eller försämra redigeringarna.

Istället tycktes närvaron av skydd ofta skärpa modellens anpassning till prompten, vilket resulterade i rena och exakta utgångar där viss misslyckande hade förväntats.

Författarna råder, i effekt, att denna mycket populära metod för skydd kan ge en falsk känsla av säkerhet, och att alla sådana perturbations-baserade immuniseringsmetoder bör testas noggrant mot författarnas egna metoder.

Metod

Författarna körde experiment med tre skyddsmetoder som tillämpar noggrant utformade adversariala perturbationer: PhotoGuard; Mist; och Glaze.

Glaze, en av ramverken som testades av författarna, som visar Glaze-skyddsexempel för tre konstnärer. Den första och andra kolumnen visar de ursprungliga konstverken; den tredje kolumnen visar mimicry-resultat utan skydd; den fjärde, stilöverförda versioner som användes för cloak-optimisering, tillsammans med målstilsnamnet. Den femte och sjätte kolumnen visar mimicry-resultat med cloaking tillämpad vid perturbationsnivåer p = 0,05 och p = 0,1. Alla resultat använder Stable Diffusion-modeller. https://arxiv.org/pdf/2302.04222

PhotoGuard tillämpades på naturliga scener, medan Mist och Glaze användes på konstverk (dvs. “konstnärligt formade” domäner).

Testerna omfattade både naturliga och konstnärliga bilder för att återspegla möjliga verkliga användningsfall. Effektiviteten hos varje metod bedömdes genom att kontrollera om en AI-modell kunde producera realistiska och prompt-relevanta redigeringar när den arbetade med skyddade bilder; om de resulterande bilderna såg övertygande ut och matchade prompten, ansågs skyddet ha misslyckats.

Stable Diffusion v1.5 användes som den förtränade bild-genereringsmodellen för forskarnas redigeringsuppgifter. Fem frön valdes för att säkerställa reproducerbarhet: 9222, 999, 123, 66 och 42. Alla andra genereringsinställningar, som guidnings-skala, styrka och totala steg, följde standardvärdena som användes i PhotoGuard-experimenten.

PhotoGuard testades på naturliga scener med hjälp av Flickr8k-datasetet, som innehåller över 8 000 bilder parade med upp till fem undertexter var.

Motsatta Tankar

Två uppsättningar modifierade undertexter skapades från den första undertexten för varje bild med hjälp av Claude Sonnet 3.5. En uppsättning innehöll prompter som var kontextuellt nära de ursprungliga undertexterna; den andra uppsättningen innehöll prompter som var kontextuellt avlägsna.

Till exempel, från den ursprungliga undertexten ‘En ung flicka i en rosa klänning som går in i en trästuga’, skulle en nära prompt vara ‘En ung pojke i en blå skjorta som går in i ett tegelhus’. I kontrast skulle en avlägsen prompt vara ‘Två katter som ligger på en soffa’.

Nära prompter konstruerades genom att ersätta substantiv och adjektiv med semantiskt liknande termer; långt bort prompter genererades genom att instruera modellen att skapa undertexter som var kontextuellt mycket olika.

Alla genererade undertexter kontrollerades manuellt för kvalitet och semantisk relevans. Googles Universal Sentence Encoder användes för att beräkna semantiska likhetspoäng mellan de ursprungliga och modifierade undertexterna:

Från det kompletterande materialet, semantiska likhetsfördelningar för de modifierade undertexterna som användes i Flickr8k-testerna. Grafen till vänster visar likhetspoängen för nära modifierade undertexter, som i genomsnitt ligger runt 0,6. Grafen till höger visar de omfattande modifierade undertexterna, som i genomsnitt ligger runt 0,1, vilket återspeglar en större semantisk avstånd från de ursprungliga undertexterna. Värden beräknades med hjälp av Googles Universal Sentence Encoder. Källa: https://sigport.org/sites/default/files/docs/IncompleteProtection_SM_0.pdf

Varje bild, tillsammans med dess skyddade version, redigerades med hjälp av både nära och avlägsna prompter. Den blinda/referenslösa bildkvalitetsutvärderaren (BRISQUE) användes för att bedöma bildkvalitet:

Bild-till-bild-genereringsresultat på naturliga fotografier skyddade av PhotoGuard. Trots närvaron av perturbationer följde Stable Diffusion v1.5 lydigt både små och stora semantiska förändringar i redigeringsprompten, vilket resulterade i realistiska utgångar som matchade de nya instruktionerna.

De genererade bilderna fick ett betyg på 17,88 på BRISQUE, med 17,82 för nära prompter och 17,94 för avlägsna prompter, medan de ursprungliga bilderna fick ett betyg på 22,27. Detta visar att de redigerade bilderna förblev nära de ursprungliga i kvalitet.

Mätvärden

För att bedöma hur väl skydden störde AI-redigeringen, mätte forskarna hur väl de slutliga bilderna matchade de instruktioner de fick, med hjälp av poängsystem som jämförde bildinnehållet med textprompten för att se hur väl de stämde överens.

För detta ändamål användes CLIP-S-måttet, som använder en modell som kan förstå både bilder och text för att kontrollera hur lika de är, medan PAC-S++ lägger till extra prover skapade av AI för att anpassa sin jämförelse mer till en mänsklig uppskattning.

De här Bild-Text-Justeringspoängen (ITA) anger hur exakt AI:n följde instruktionerna när den modifierade en skyddad bild: om en skyddad bild fortfarande ledde till en högt anpassad utgång, ansågs skyddet ha misslyckats med att blockera redigeringen.

Effekten av skydd på Flickr8k-datasetet över fem frön, med hjälp av både nära och avlägsna prompter. Bild-Text-justering mättes med hjälp av CLIP-S och PAC-S++-poäng.

Forskarna jämförde hur väl AI:n följde prompter när den redigerade skyddade bilder jämfört med oskyddade. De tittade först på skillnaden mellan de två, kallad Verklig Förändring. Sedan skalförstorades skillnaden för att skapa en Procentuell Förändring, vilket gjorde det enklare att jämföra resultat över många tester.

Denna process avslöjade om skydden gjorde det svårare eller enklare för AI:n att matcha prompterna. Testerna upprepades fem gånger med hjälp av olika slumpmässiga frön, som täckte både små och stora förändringar av de ursprungliga undertexterna.

Konst Attack

För testerna på naturliga fotografier användes Flickr1024-datasetet, som innehåller över tusen högkvalitativa bilder. Varje bild redigerades med prompter som följde mönstret: ‘ändra stilen till [V]’, där [V] representerade en av sju berömda konststilar: Kubism; Post-Impressionism; Impressionism; Surrealism; Barock; Fauvism; och Renässans.

Processen innebar att tillämpa PhotoGuard på de ursprungliga bilderna, generera skyddade versioner och sedan köra både skyddade och oskyddade bilder genom samma uppsättning stilöverföringsredigeringar:

Original och skyddade versioner av en naturlig scenbild, var och en redigerad för att tillämpa Kubism, Surrealism och Fauvism-stilar.

För att testa skyddsmetoder på konstverk utfördes stilöverföring på bilder från WikiArt-datasetet, som kuraterar en bred variation av konststilar. Redigeringsprompterna följde samma format som tidigare, med instruktioner till AI:n att ändra stilen till en slumpmässigt vald, orelaterad stil från WikiArt-etiketterna.

Både Glaze och Mist-skyddsmetoder tillämpades på bilderna innan redigeringarna, vilket möjliggjorde för forskarna att observera hur väl varje försvar kunde blockera eller förvränga stilöverföringsresultaten:

Exempel på hur skyddsmetoder påverkar stilöverföring på konstverk. Den ursprungliga Barock-bilden visas bredvid versioner skyddade av Mist och Glaze. Efter tillämpning av Kubism-stilöverföring kan man se skillnader i hur varje skydd förändrar den slutliga utgången.

Forskarna testade jämförelserna kvantitativt också:

Förändringar i bild-text-justeringspoäng efter stilöverföringsredigeringar.

Av dessa resultat kommenterar författarna:

‘Resultaten belyser en betydande begränsning av adversariala perturbationer för skydd. Istället för att förhindra justering, förstärker adversariala perturbationer ofta den generativa modellens respons på prompter, vilket oavsiktligt möjliggör för utnyttjare att producera utgångar som anpassar sig mer exakt till deras mål. Sådant skydd är inte störande för bildredigeringsprocessen och kan inte förhindra att illvilliga agenter kopierar obehörigt material.

‘De oavsiktliga konsekvenserna av att använda adversariala perturbationer avslöjar sårbarheter i befintliga metoder och understryker det brådskande behovet av mer effektiva skyddstekniker.’

Författarna förklarar att de oväntade resultaten kan spåras tillbaka till hur diffusionsmodeller fungerar: LDM:er redigerar bilder genom att först konvertera dem till en komprimerad version kallad latent; brus läggs sedan till denna latenta genom många steg, tills datat blir nästan slumpmässigt.

Modellen omvänder denna process under generering, genom att ta bort bruset steg för steg. Vid varje stadium av denna omvända process hjälper textprompten till att styra hur bruset ska rensas, gradvis formande bilden för att matcha prompten:

Jämförelse mellan generationer från en oskyddad bild och en PhotoGuard-skyddad bild, med intermediära latenta tillstånd omvandlade tillbaka till bilder för visualisering.

Skyddsmetoder lägger till små mängder extra brus till den ursprungliga bilden innan den går in i denna process. Medan dessa perturbationer är små från början, ackumuleras de när modellen tillämpar sina egna lager av brus.

Denna ackumulering lämnar fler delar av bilden ‘osäkra’ när modellen börjar ta bort brus. Med större osäkerhet litar modellen mer på textprompten för att fylla i de saknade detaljerna, vilket ger prompten även mer inflytande än den normalt skulle ha.

I effekt gör skydden det enklare för AI:n att omforma bilden för att matcha prompten, snarare än svårare.

Till sist utförde författarna ett test som ersatte konstruerade perturbationer från Raising the Cost of Malicious AI-Powered Image Editing pappret med ren Gaussian-brus.

Resultaten följde samma mönster som observerades tidigare: över alla tester förblev Procentuell Förändring-värdena positiva. Även detta slumpmässiga, ostrukturerade brus ledde till en starkare anpassning mellan de genererade bilderna och prompterna.

Effekten av simulerat skydd med Gaussian-brus på Flickr8k-datasetet.

Detta stödde den underliggande förklaringen att allt tillagt brus, oavsett dess design, skapar större osäkerhet för modellen under generering, vilket tillåter textprompten att utöva ännu mer kontroll över den slutliga bilden.

Slutsats

Forsknings-scenen har tryckt på adversarial perturbation för att lösa LDM-upphovsrättsproblemet så länge som LDM:er har funnits; men inga robusta lösningar har dykt upp från den exceptionella mängden artiklar publicerade på detta spår.

Antingen sänker de påtvingade störningarna bildens kvalitet alltför mycket, eller så visar sig mönstren inte vara motståndskraftiga mot manipulation och transformerande processer.

Men det är en svår dröm att ge upp, eftersom alternativet skulle verka vara tredjepartsövervakning och proveniens-ramverk som Adobe-ledda C2PA-schemat, som syftar till att upprätthålla en kedja av ägande för bilder från kamerans sensor och framåt, men som inte har någon medfödd koppling till innehållet som avbildas.

I vilket fall som helst, om adversarial perturbation faktiskt förvärrar problemet, som den nya artikeln tyder på kan vara fallet i många situationer, undrar man om jakten på upphovsrättsskydd via sådana medel faller under ‘alkemi’.

Publicerad första gången måndagen den 9 juni 2025