Automatisering av opphavsrettsbeskyttelse i AI-genererte bilder

Som det ble diskutert forrige uke, kan selv de grunnleggende modellene bak populære generative AI-systemer produsere opphavsrettskrenkende innhold, på grunn av utilstrekkelig eller feiljustert kurering, samt på grunn av flere versjoner av samme bilde i treningsdata, noe som fører til overfitting, og øker sannsynligheten for gjenkjennelige reproduksjoner.

Tropper på å dominere det generative AI-rommet, og økende press for å begrense IP-krenkelser, møter større plattformer som MidJourney og OpenAI’s DALL-E fortsatt utfordringer i å forhindre uforvollte reproduksjoner av opphavsrettsbeskyttet innhold:

Evnen til generative systemer til å reproducere opphavsrettsbeskyttet data kommer ofte opp i media.

Som nye modeller dukker opp, og som kinesiske modeller får dominans, er undertrykking av opphavsrettsbeskyttet materiale i grunnmodellene en tung oppgave; faktisk erklærte markedets leder, open.ai, i fjor at det er ‘umulig’ å lage effektive og nyttige modeller uten opphavsrettsbeskyttet data.

Tidligere kunnskap

I forhold til den uforvollte generering av opphavsrettsbeskyttet materiale, møter forskningsscenen en lignende utfordring som inklusjon av pornografi og annet NSFW-materiale i kildedata: en ønsker å ha fordelen av kunnskapen (dvs. korrekt menneskeanatomi, som historisk alltid har vært basert på nakenstudier) uten å kunne misbruke det.

Liksom modellmakerne ønsker å ha fordelen av det enorme omfanget av opphavsrettsbeskyttet materiale som kommer inn i hyperskale-samlinger som LAION, uten at modellen utvikler evnen til å faktisk krenke opphavsrett.

Å se bort fra de etiske og juridiske risikoene ved å prøve å skjule bruk av opphavsrettsbeskyttet materiale, er filtrering for det siste tilfelle betydelig mer utfordrende. NSFW-innhold inneholder ofte distinkte lav-nivå latente egenskaper som muliggjør stadig mer effektiv filtrering uten å kreve direkte sammenligninger med virkelige data. I motsetning til dette er latente innlegg som definerer millioner av opphavsrettsbeskyttede verk, ikke redusert til en samling av lett gjenkjennelige markører, noe som gjør automatisk deteksjon mye mer komplisert.

CopyJudge

Menneskelig dømmekraft er en sjelden og dyrekjøpt vare, både i kurering av datasamlinger og i skapelsen av post-prosessering-filtre og ‘sikkerhets’-baserte systemer designet for å sikre at IP-låst materiale ikke leveres til brukerne av API-baserte portalene som MidJourney og bilde-genereringskapasiteten til ChatGPT.

Derfor tilbyr et nytt akademisk samarbeid mellom Sveits, Sony AI og Kina CopyJudge – en automatisert metode for å koordinere påfølgende grupper av samarbeidende ChatGPT-baserte ‘dommere’ som kan undersøke innputt for tegn på sannsynlig opphavsrettskrenkelse.

CopyJudge vurderer forskjellige IP-krenkende AI-generasjoner. Kilde: https://arxiv.org/pdf/2502.15278

CopyJudge tilbyr effektivt en automatisert ramme som utnytter store visuelt-språklige modeller (LVLMs) for å bestemme vesentlig likhet mellom opphavsrettsbeskyttede bilder og de som produseres av tekst-til-bilde-diffusjonsmodeller.

CopyJudge-tilnærmingen bruker forsterkingslæring og andre tilnærminger til å optimalisere opphavsrettskrenkende promter, og deretter bruker informasjon fra slike promter til å skape nye promter som er mindre sannsynlige til å innkalle opphavsrettsbeskyttet bilde.

Selv om mange online AI-baserte bilde-generatore filterer brukerens promter for NSFW, opphavsrettsbeskyttet materiale, rekonstruksjon av virkelige personer og andre forbudte domener, bruker CopyJudge i stedet raffinerte ‘krenkende’ promter til å skape ‘saniterte’ promter som er minst sannsynlige til å innkalle forbudte bilder, uten å ha til hensikt å direkte blokkere brukerens innputt.

Selv om dette ikke er en ny tilnærming, går det en del vei i å frigjøre API-baserte generative systemer fra å bare nekte brukerens innputt (ikke minst fordi dette tillater brukerne å utvikle bakdørs-tilgang til forbudte generasjoner, gjennom eksperimentering).

En nylig utnyttelse (som nå er stengt av utviklerne) tillot brukerne å generere pornografisk materiale på Kling-generative AI-plattformen bare ved å inkludere et fremtredende kors eller krusifiks i bildet som ble lastet opp i en bilde-til-video-arbeidsflyt.

I en lukket løpehull i 2024 kunne brukerne tvinge systemet til å produsere forbudt NSFW-utgang bare ved å inkludere et kors eller krusifiks i I2V-seed-bildet. Det har ikke kommet noen forklaring på logikken bak denne nå utgåtte hakken. Kilde: Discord

Slike eksempler understreker behovet for prompt-sanitering i online generative systemer, ikke minst siden maskinell glemsel, hvor grunnmodellen selv blir endret for å fjerne forbudte konsepter, kan ha uønskede effekter på modellens brukbarhet.

Søkende mindre drastiske løsninger, etterligner CopyJudge-systemet menneskebasert juridisk dømmekraft ved å bruke AI til å bryte bilder ned i nøkkel-elementer som komposisjon og farge, for å filtere ut ikke-opphavsrettsbeskyttede deler, og sammenligne det som er igjen. Det inkluderer også en AI-drevet metode for å justere promter og modifisere bilde-generering, for å unngå opphavsrettskrenkelser samtidig som kreativt innhold bevares.

Ekperimentelle resultater, hevder forfatterne, demonstrerer CopyJudges likhet med state-of-the-art-tilnærminger i dette forsøket, og indikerer at systemet utviser overlegen generalisering og tolkbarhet, i sammenligning med tidligere arbeid.

Den nye artikkelen har tittelen CopyJudge: Automatisert opphavsrettskrenkelse-identifikasjon og -mitigering i tekst-til-bilde-diffusjonsmodeller, og kommer fra fem forskere over EPFL, Sony AI og Kinas Westlake University.

Metode

Selv om CopyJudge bruker GPT til å skape rullende tribunal av automatiserte dommere, understreker forfatterne at systemet ikke er optimalisert for OpenAIs produkt, og at noen andre store visuelt-språklige modeller (LVLMs) kunne brukes i stedet.

I første omgang er forfatternes abstraksjons-filtrerings-sammenlignings-ramme nødvendig for å bryte ned kildebilder i konstituerende deler, som vist i venstre side av skjemaet nedenfor:

Konseptuell skjema for den første fasen av CopyJudge-arbeidsflyten.

I nedre venstre hjørne ser vi en filter-agent som bryter ned bilde-seksjoner i et forsøk på å identifisere egenskaper som kan være native for et opphavsrettsbeskyttet verk i samarbeid, men som i seg selv ville være for generiske til å kvalifisere som en krenkelse.

Flere LVLMs brukes deretter til å evaluere de filterte elementene – en tilnærming som har vist seg å være effektiv i arbeid som 2023 CSAIL tilbud Forbedring av faktiskhet og resonnering i språkmodeller gjennom multi-agent-debate, og ChatEval, blant andre diverse arbeid som blir erkjent i den nye artikkelen.

Forfatterne uttaler:

‘[Vi] adopterer en fullt koblet synkron kommunikasjons-debate-tilnærming, hvor hver LVLM mottar [responsene] fra [andre] LVLMs før de gjør neste dømmekraft. Dette skaper en dynamisk tilbakemeldings-løkke som styrker påliteligheten og dybden av analysen, ettersom modellene justerer sine vurderinger basert på nye innsikter presentert av deres like.

‘Hver LVLM kan justere sin score basert på responsene fra andre LVLMs eller holde den uendret.’

Flere par av bilder som er scoret av mennesker er også inkludert i prosessen via few-shot in-context-læring’

Når ‘tribunalene’ i løkken har nådd en konsensus-score som er innenfor akseptabelhetens grense, blir resultatene sendt videre til en ‘meta-dommer’ LVLM, som syntetiserer resultatene til en endelig score.

Mitigering

Deretter konsentrerte forfatterne seg om den prompt-mitigeringsprosessen som ble beskrevet tidligere.

CopyJudges skjema for å mitigere opphavsrettskrenkelse ved å raffinere promter og latent støy. Systemet justerer promter iterativt, bruker forsterkingslæring til å modifisere latente variabler mens promter utvikler seg, håper å redusere risikoen for krenkelse.

De to metodene som brukes for prompt-mitigering var LVLM-basert prompt-kontroll, hvor effektive ikke-krenkende promter utvikles iterativt over GPT-klaster – en tilnærming som er fullstendig ‘black box’, og som ikke krever intern tilgang til modell-arkitekturen; og en forsterkingslæring-basert (RL-basert) tilnærming, hvor belønningen er designet for å straffe utgang som krenker opphavsrett.

Data og tester

For å teste CopyJudge, ble forskjellige datasamlinger brukt, inkludert D-Rep, som inneholder ekte og falske bilde-par som er scoret av mennesker på en 0-5-skala.

Utforsking av D-Rep-datasamlingen på Hugging Face. Denne samlingen parer ekte og genererte bilder. Kilde: https://huggingface.co/datasets/WenhaoWang/D-Rep/viewer/default/

CopyJudge-skjemaet betraktet D-Rep-bilder som scoret 4 eller mer som krenkelseseksempler, med resten holdt tilbake som ikke-IP-relevante. De 4000 offisielle bildene i datasamlingen ble brukt som test-bilder. Videre valgte og kurerte forskerne bilder for 10 berømte tegneseriefigurer fra Wikipedia.

De tre diffusjons-baserte arkitekturer som ble brukt til å generere potensielt krenkende bilder var Stable Diffusion V2; Kandinsky2-2; og Stable Diffusion XL. Forfatterne valgte manuelt en krenkende bilde og en ikke-krenkende bilde fra hver av modellene, og kom frem til 60 positive og 60 negative eksempler.

Referansemetodene som ble valgt for sammenligning var: L₂-norm; Lært Perceptual Image Patch Similarity (LPIPS); SSCD; RLCP; og PDF-Emb. For målinger, ble nøyaktighet og F1-score brukt som kriterier for krenkelse.

GPT-4o ble brukt til å populerer de interne debatt-lagene i CopyJudge, med tre agenter for en maksimum av fem iterasjoner på hver enkelt submitted bilde. Et tilfeldig tre bilder fra hver rangering i D-Rep ble brukt som menneskelig prior for agentene å vurdere.

Krenkelsesresultater for CopyJudge i den første runden.

Av disse resultater kommenterer forfatterne:

‘[Det] er tydelig at tradisjonelle bilde-kopi-dettekter-metoder utviser begrensninger i opphavsrettskrenkelse-identifikasjonen. Vår tilnærming overgår betydelig de fleste metoder. For state-of-the-art-metoden, PDF-Emb, som ble trent på 36 000 eksempler fra D-Rep, er vår ytelse på D-Rep litt dårligere.

‘Men dens dårlige ytelse på Tegneserie-IP- og Kunstverk-datasamlingen understreker dens manglende generaliserings-evne, mens vår metode viser like godt resultater over datasamlinger.’

Forfatterne bemerker også at CopyJudge gir en ‘relativt’ mer distinkt grense mellom gyldige og krenkende tilfeller:

Flere eksempler fra test-rundene, i supplement-materialet fra den nye artikkelen.

Forskerne sammenlignet sine metoder med en Sony AI-medvirket samarbeid fra 2024 med tittelen Deteksjon, forklaring og mitigering av memorisering i diffusjonsmodeller. Dette arbeidet brukte en finjustert Stable Diffusion-modell med 200 memoriserte (dvs. overfittede) bilder for å fremkalle opphavsrettsbeskyttet data på inferens-tid.

Forfatterne av det nye arbeidet fant at deres egen prompt-mitigeringsmetode, i motsetning til 2024-tilnærmingen, var i stand til å produsere bilder som var mindre sannsynlige til å forårsake krenkelse.

Resultater av memorisering-mitigering med CopyJudge sammenlignet med 2024-arbeidet.

Forfatterne kommenterer her:

‘[Vår] tilnærming kunne generere bilder som var mindre sannsynlige til å forårsake krenkelse, samtidig som de beholdt en sammenlignbar, noe redusert match-nøyaktighet. Som vist i [bildet under], vår metode unngår effektivt manglene i [den forrige] metoden, inkludert å ikke mitigere memorisering eller generere høyt avvikende bilder.’

Sammenligning av genererte bilder og promter før og etter å ha mitigert memorisering.

Forfatterne utførte ytterligere tester i forhold til krenkelses-mitigering, og studerte eksplisitt og implisitt krenkelse.

Eksplisitt krenkelse skjer når promter direkte refererer til opphavsrettsbeskyttet materiale, som ‘Generer et bilde av Mickey Mouse’. For å teste dette, brukte forskerne 20 tegneserie- og kunstverk-eksempler, og genererte krenkende bilder i Stable Diffusion v2 med promter som eksplisitt inkluderte navn eller forfatter-attributter.

En sammenligning mellom forfatternes Latent Kontroll (LC)-metode og den forrige arbeidets Prompt Kontroll (PC)-metode, i diverse variasjoner, ved å bruke Stable Diffusion til å skape bilder som avbilder eksplisitt krenkelse.

Implisitt krenkelse skjer når en prompt mangler eksplisitte opphavsretts-referanser, men likevel resulterer i et krenkende bilde på grunn av visse beskrivende elementer – en scenario som er særlig relevant for kommersielle tekst-til-bilde-modeller, som ofte inkorporerer innholdsdeteksjonssystemer for å identifisere og blokkere opphavsretts-relaterte promter.

For å utforske dette, brukte forfatterne samme IP-låste eksempler som i den eksplisitte krenkelsestesten, men genererte krenkende bilder uten direkte opphavsretts-referanser, ved å bruke DALL-E 3 (selv om artikkelen bemerker at modellens innebygde sikkerhets-detteksjonsmodul ble observert å avvise visse promter som utløste dens filtre).

Implisitt krenkelse ved å bruke DALLE-3, med krenkelse og CLIP-poeng.

Forfatterne uttaler:

‘[Det] kan ses at vår metode betydelig reduserer sannsynligheten for krenkelse, både for eksplisitt og implisitt krenkelse, med bare en liten reduksjon i CLIP-poeng. Krenkelsespoeng etter bare latent kontroll er relativt høyere enn etter prompt-kontroll fordi å hente ikke-krenkende latente uten å endre prompten er ganske utfordrende. Likevel kan vi fortsatt effektivt redusere krenkelsespoeng samtidig som vi beholder høyere bilde-tekst-matching-kvalitet.

‘[Bildet under] viser visualiseringsresultater, hvor det kan observeres at vi unngår IP-krenkelse samtidig som vi beholder brukerens krav.’

Genererte bilder før og etter IP-krenkelses-mitigering.

Konklusjon

Selv om studien presenterer en lovende tilnærming til opphavsrettsbeskyttelse i AI-genererte bilder, kan avhengigheten av store visuelt-språklige modeller (LVLMs) for krenkelses-detteksjon vekke bekymringer om bias og konsistens, ettersom AI-drevne dømmekraft kan ikke alltid sammenfalle med juridiske standarder.

Kanskje mest viktig, antar prosjektet også at opphavsretts-enforcement kan automatiseres, til tross for virkelige juridiske avgjørelser som ofte involverer subjektive og kontekstuelle faktorer som AI kan ha vanskelig for å tolke.

I den virkelige verden, synes automatisering av juridisk konsensus, særlig rundt utgangen fra AI, å være et omstridt spørsmål som vil forbli langt utenfor denne tiden, og langt utenfor omfanget av domenet som behandles i dette arbeidet.

Først publisert mandag, 24. februar 2025