Automatisering av upphovsrättsskydd i AI-genererade bilder

Som diskuterades förra veckan, kan till och med de grundläggande modellerna bakom populära generativa AI-system producera upphovsrättsintrång, på grund av otillräcklig eller felaktig kurering, samt närvaron av flera versioner av samma bild i träningsdata, vilket leder till överanpassning, och ökar sannolikheten för igenkännliga reproduktioner.

Trots ansträngningar för att dominera den generativa AI-marknaden och ökande tryck för att begränsa intrång i immateriella rättigheter, fortsätter stora plattformar som MidJourney och OpenAI:s DALL-E att möta utmaningar i att förhindra oavsiktlig reproduktion av upphovsrättsskyddat material:

Förmågan hos generativa system att reproducera upphovsrättsskyddat material dyker upp regelbundet i media.

När nya modeller dyker upp och kinesiska modeller vinner marknadsandelar, är undertryckandet av upphovsrättsskyddat material i grundmodeller en mödosam uppgift; faktum är att marknadsledaren OpenAI förklarade förra året att det är ‘omöjligt’ att skapa effektiva och användbara modeller utan upphovsrättsskyddat material.

Tidigare konst

I fråga om den oavsiktliga genereringen av upphovsrättsskyddat material, står forskarscenen inför en liknande utmaning som den med att inkludera porr och annat NSFW-material i källkod: man vill ha fördelarna med kunskapen (dvs. korrekt mänsklig anatomi, som historiskt alltid har varit baserad på nakna studier) utan förmågan att missbruka den.

På samma sätt vill modellskaparna ha fördelarna med det stora omfånget av upphovsrättsskyddat material som kommer in i hyperskaleuppsättningar som LAION, utan att modellen utvecklar förmågan att faktiskt intrånga immateriella rättigheter.

Att bortse från de etiska och juridiska riskerna med att försöka dölja användningen av upphovsrättsskyddat material, är filtrering för det senare fallet betydligt svårare. NSFW-innehåll innehåller ofta distinkta lågnivålatent funktioner som möjliggör alltmer effektiv filtrering utan att kräva direkt jämförelse med verkliga material. I kontrast reduceras de latent embeddings som definierar miljontals upphovsrättsskyddade verk inte till en uppsättning lätt identifierbara markörer, vilket gör automatisk upptäckt betydligt mer komplex.

CopyJudge

Mänsklig bedömning är en sällsynt och dyrbar vara, både i kureringen av datamängder och i skapandet av efterbearbetningsfilter och “säkerhetsbaserade” system som är avsedda att säkerställa att IP-låst material inte levereras till användarna av API-baserade portaler som MidJourney och bildgenereringsfunktionen i ChatGPT.

Därför erbjuder ett nytt akademiskt samarbete mellan Schweiz, Sony AI och Kina CopyJudge – en automatiserad metod för att orkestrera på varandra följande grupper av samverkande ChatGPT-baserade “domare” som kan undersöka indata för tecken på sannolika upphovsrättsintrång.

CopyJudge utvärderar olika IP-intrång i AI-genereringar. Källa: https://arxiv.org/pdf/2502.15278

CopyJudge erbjuder i princip en automatiserad ram som utnyttjar stora vision-språkmodeller (LVLM) för att bestämma väsentlig likhet mellan upphovsrättsskyddade bilder och de som genereras av text-till-bild-diffusionsmodeller.

CopyJudge-ansatsen använder förstärkt inlärning och andra metoder för att optimera upphovsrättsintrång i prompter och sedan använder information från sådana prompter för att skapa nya prompter som är mindre benägna att framkalla upphovsrättsskyddade bilder.

Även om många onlinebaserade AI-bildgenereringsverktyg filtrerar användarprompter för NSFW, upphovsrättsskyddat material, återgivning av verkliga personer och andra förbjudna domäner, använder CopyJudge istället raffinerade “intrångs”-prompter för att skapa “sanerade” prompter som är minst benägna att framkalla förbjudna bilder, utan avsikt att direkt blockera användarens inmatning.

Även om detta inte är en ny ansats, går det en bit på väg mot att frigöra API-baserade generativa system från att enbart vägra användarindata (inte minst för att detta tillåter användare att utveckla bakdörrstillgång till förbjudna generationer genom experiment).

En sådan nylig exploatering (som nu är stängd av utvecklarna) tillät användare att generera pornografiskt material på Kling-generativa AI-plattformen genom att enbart inkludera ett framträdande kors eller korskrift i bilden som laddades upp i en bild-till-video-arbetsflöde.

I en lucka som åtgärdades av Kling-utvecklare i slutet av 2024 kunde användare tvinga systemet att producera förbjudet NSFW-innehåll genom att enbart inkludera ett kors eller korskrift i I2V-ursprungsbilden. Det har inte funnits någon förklaring till varför denna nu avslutade hack fungerade. Källa: Discord

Sådana fall betonar behovet av prompt-sanering i onlinebaserade generativa system, inte minst eftersom maskinell avinlärning, där grundmodellen i sig ändras för att ta bort förbjudna begrepp, kan ha ovälkomna effekter på den slutliga modellens användbarhet.

CopyJudge-systemet imiterar mänskliga rättsliga bedömningar genom att använda AI för att bryta ner bilder i nyckelelement som komposition och färg, för att filtrera bort icke-upphovsrättsskyddade delar och jämföra vad som återstår. Det innehåller också en AI-driven metod för att justera prompter och modifiera bildgenerering, vilket hjälper till att undvika upphovsrättsproblem samtidigt som det bevarar kreativt innehåll.

Experimentella resultat, hävdar författarna, visar att CopyJudge är likvärdig med state-of-the-art-ansatser i detta företag, och indikerar att systemet visar överlägsen generalisering och tolkbarhet, i jämförelse med tidigare arbeten.

Den nya artikeln är titlad CopyJudge: Automatiserad upptäckt och mitigering av upphovsrättsintrång i text-till-bild-diffusionsmodeller och kommer från fem forskare på EPFL, Sony AI och Kinas Westlake University.

Metod

Även om CopyJudge använder GPT för att skapa rullande tribunaler av automatiserade domare, betonar författarna att systemet inte är optimerat för OpenAI:s produkt, och att vilken som helst av ett antal alternativa stora vision-språkmodeller (LVLM) kunde användas istället.

I det första fallet krävs författarnas abstraktions-filtrerings-jämförelse-ramverk för att bryta ner källbilder i beståndsdelar, som visas på vänster sida av schemat nedan:

Konceptuell schema för den första fasen av CopyJudge-arbetsflödet.

I nedre vänstra hörnet ser vi en filteragent som bryter ner bildsektioner i ett försök att identifiera egenskaper som kan vara native till ett upphovsrättsskyddat verk i samverkan, men som i sig skulle vara för generiska för att kvalificera som ett brott.

Flera LVLM används sedan för att utvärdera de filtrerade elementen – en ansats som har visat sig vara effektiv i artiklar som 2023 års CSAIL erbjudande Förbättring av fakticitet och resonemang i språkmodeller genom multiagent-debatt och ChatEval, bland andra som erkänns i den nya artikeln.

Författarna hävdar:

‘[Vi] antar en fullständigt ansluten synkron kommunikationsdebatt-ansats, där varje LVLM tar emot [svar] från [andra] LVLM innan de gör nästa bedömning. Detta skapar en dynamisk återkopplingsloop som stärker tillförlitligheten och djupet i analysen, eftersom modellerna anpassar sina utvärderingar baserat på nya insikter som presenteras av deras peer-grupper.

‘Varje LVLM kan justera sin poäng baserat på svaren från de andra LVLM eller låta den vara oförändrad.’

Flera par av bilder som poängsatts av människor ingår också i processen via fåskott-in-context-lärande.

När “tribunalerna” i loopen har nått en konsensuspoäng som ligger inom acceptabelhetens gränser, skickas resultaten vidare till en “meta-domare”-LVLM, som syntetiserar resultaten till en slutgiltig poäng.

Mitigering

Därefter fokuserade författarna på den prompt-mitigeringsprocess som beskrivits tidigare.

CopyJudge-schema för att mitigera upphovsrättsintrång genom att raffinera prompter och latent brus. Systemet justerar prompter iterativt, använder förstärkt inlärning för att modifiera latenta variabler när prompterna utvecklas, vilket hoppas reducera risken för intrång.

De två metoderna som användes för prompt-mitigering var LVLM-baserad prompt-kontroll, där effektiva icke-intrångs-prompter utvecklades iterativt över GPT-kluster – en ansats som är helt “svart låda”, som inte kräver intern åtkomst till modellarkitekturen; och en förstärkt inlärningsbaserad (RL-baserad) ansats, där belöningen är utformad för att bestraffa utdata som intrår i upphovsrätt.

Data och tester

För att testa CopyJudge användes olika datamängder, inklusive D-Rep, som innehåller riktiga och falska bildpar som poängsatts av människor på en 0-5-poängsskala.

Utforskning av D-Rep-datasetet på Hugging Face. Denna samling parar riktiga och genererade bilder. Källa: https://huggingface.co/datasets/WenhaoWang/D-Rep/viewer/default/

CopyJudge-schemat ansåg D-Rep-bilder som poängsatts 4 eller högre som intrångsexempel, medan resten hölls tillbaka som icke-IP-relevant. De 4000 officiella bilderna i datasetet användes som testbilder. Dessutom valde och kuraterade forskarna bilder för 10 kända tecknade figurer från Wikipedia.

De tre diffusionsbaserade arkitekturerna som användes för att generera potentiellt intrångs-bilder var Stable Diffusion V2; Kandinsky2-2; och Stable Diffusion XL. Författarna valde manuellt en intrångs-bild och en icke-intrångs-bild från var och en av modellerna, vilket resulterade i 60 positiva och 60 negativa prover.

Baslinje-metoderna som valdes för jämförelse var: L₂-norm; Lärd perceptuell bildpatch-likhet (LPIPS); SSCD; RLCP; och PDF-Emb. För mått användes noggrannhet och F1-poäng som kriterier för intrång.

GPT-4o användes för att fylla i de inre debattlagen i CopyJudge, med tre agenter för maximalt fem iterationer på en viss inmatad bild. En slumpmässig tre bilder från varje betyg i D-Rep användes som mänskliga priors för agenterna att överväga.

Intrångsresultat för CopyJudge i den första omgången.

Av dessa resultat kommenterar författarna:

‘[Det] är uppenbart att traditionella bildkopieringsupptäktmetoder visar begränsningar i uppgiften att identifiera upphovsrättsintrång. Vår ansats överträffar betydligt de flesta metoder. För state-of-the-art-metoden, PDF-Emb, som tränades på 36 000 prover från D-Rep, är vår prestation på D-Rep något sämre.

‘Men dess dåliga prestanda på Cartoon IP- och konstverksdatasetet betonar dess brist på generaliseringsförmåga, medan vår metod visar lika utmärkta resultat över dataset.’

Författarna noterar också att CopyJudge tillhandahåller en “relativt” mer distinkt gräns mellan giltiga och intrångsfall:

Ytterligare exempel från testomgångarna, i den nya artikeln.

Forskarna jämförde sina metoder med ett samarbete från 2024 som involverade Sony AI, med titeln Upptäckt, förklaring och mitigering av memorisering i diffusionsmodeller. Detta arbete använde en finjusterad Stable Diffusion-modell med 200 memoriserade (dvs. överanpassade) bilder för att framkalla upphovsrättsskyddat material vid inferenstid.

Författarna till det nya arbetet fann att deras egen prompt-mitigeringsmetod, jämfört med 2024 års ansats, kunde producera bilder som var mindre benägna att orsaka intrång.

Resultat av mitigering av memorisering med CopyJudge jämfört med 2024 års arbete.

Författarna kommenterar:

‘[Vår] ansats kunde generera bilder som var mindre benägna att orsaka intrång, samtidigt som den upprätthöll en jämförbar, något reducerad matchningsnoggrannhet. Som visas i [bilden nedan] undviker vår metod effektivt bristerna i [den tidigare] metoden, inklusive att den inte lyckas mitigera memorisering eller genererar högt avvikande bilder.’

Jämförelse av genererade bilder och prompter före och efter mitigering av memorisering.

Författarna körde ytterligare tester i fråga om mitigering av intrång, studerande explicit och implicit intrång.

Explicit intrång inträffar när prompter direkt refererar till upphovsrättsskyddat material, såsom ‘Generera en bild av Musse Pigg’. För att testa detta använde forskarna 20 tecknade och konstverksprover, genererande intrångs-bilder i Stable Diffusion v2 med prompter som explicit innehöll namn eller författarattribut.

Jämförelse mellan författarnas Latent Kontroll (LC)-metod och den tidigare arbets Prompt Kontroll (PC)-metoden, i olika varianter, med Stable Diffusion för att skapa bilder som visar explicit intrång.

Implicit intrång inträffar när en prompt saknar explicita upphovsrättsreferenser men ändå resulterar i en intrångs-bild på grund av vissa beskrivande element – en scenario som är särskilt relevant för kommersiella text-till-bild-modeller, som ofta inkorporerar innehållsdetekteringssystem för att identifiera och blockera upphovsrättsrelaterade prompter.

För att undersöka detta använde författarna samma IP-låsta prover som i det explicita intrångstestet, men genererade intrångs-bilder utan direkt upphovsrättsreferenser, med DALL-E 3 (även om artikeln noterar att modellens inbyggda säkerhetsdetekteringsmodul observerades för att rejectera vissa prompter som utlöste dess filter).

Implicit intrång med DALL-E 3, med intrångs- och CLIP-poäng.

Författarna hävdar:

‘[Det] kan ses att vår metod signifikant reducerar sannolikheten för intrång, både för explicit och implicit intrång, med endast en liten minskning av CLIP-poängen. Intrångspoängen efter endast latent kontroll är relativt högre än efter promptkontroll eftersom det är ganska svårt att hämta icke-intrångs-latent utan att ändra prompten. Men vi kan fortfarande effektivt reducera intrångspoängen samtidigt som vi upprätthåller högre bild-text-matchningskvalitet.’

‘[Bilden nedan] visar visualiseringsresultat, där det kan observeras att vi undviker IP-intrång samtidigt som vi upprätthåller användarbehov.’

Genererade bilder före och efter IP-intrångsmitigering.

Slutsats

Även om studien presenterar en lovande ansats för upphovsrättsskydd i AI-genererade bilder, kan beroendet av stora vision-språkmodeller (LVLM) för intrångs-upptäckt väcka oro för bias och konsekvens, eftersom AI-drivna bedömningar inte alltid överensstämmer med juridiska standarder.

Kanske viktigast, antar projektet också att upphovsrättsenforcement kan automatiseras, trots att verkliga juridiska beslut ofta involverar subjektiva och kontextuella faktorer som AI kan ha svårt att tolka.

I den verkliga världen verkar automatiseringen av juridisk konsensus, särskilt kring utdata från AI, sannolikt förbli en kontroversiell fråga långt bortom denna tid och långt bortom den domän som behandlas i detta arbete.

Publicerad första gången måndagen den 24 februari 2025