Sensurering av AI-modeller fungerer ikke godt, viser studie

Forsøk på å sensurere AI-bilde-generering ved å slette forbudt innhold (såsom pornografi, vold eller opphavsrettslige stiler) fra trenede modeller, har ikke lyktes: en ny studie finner at gjeldende konsept-sletting-metoder tillater “forbudt” attributter å trenge inn i ubeslektede bilder, og klarer ikke å stoppe nært beslektede varianter av det angivelig “slettede” innholdet fra å dukke opp.

Hvis selskaper som produserer grunnleggende AI-modeller ikke kan forhindre dem fra å misbrukes til å produsere uakseptabelt eller ulovlig materiale, risikerer de å bli saksøkt og/eller stengt ned. Omvendt, leverandører som bare gjør modellene sine tilgjengelige via en API, som med Adobes Firefly generative motor, er i en posisjon der de ikke behøver å bekymre seg for hva modellene deres kan produsere, ettersom både brukerens prompt og det resulterende utgangspunktet inspiseres og saneres:

Adobes Firefly-system, brukt i verktøy som Photoshop, avviser noen ganger en generativ forespørsel med en gang ved å blokkere prompten før noe er skapt. Andre ganger genererer den bildet, men blokkerer så resultatet etter gjennomgang. Dette midlertidige avvisning kan også skje i ChatGPT, når modellen starter en respons, men kutter den av etter å ha gjenkjent en politiviolasjon – og noen ganger kan man se det avbrutte bildet kortvarig under denne prosessen.

Likevel kan API-liknende filtre av denne typen vanligvis neutraliseres av brukere på lokalt installerte modeller, inkludert visjon-språk-modeller (VLMs) som brukeren kan ønske å tilpasse gjennom lokal trening på eget data.

I de fleste tilfeller er det enkelt å deaktivere slike operasjoner, noe som vanligvis innebærer å kommentere ut en funksjonskall i Python (selv om slike hakker vanligvis må gjentas eller gjenoppfinnes etter rammeoppdateringer).

Fra et forretningsperspektiv er det vanskelig å forstå hvordan dette kan være et problem, ettersom en API-tilnærming maksimerer bedriftens kontroll over brukerens arbeidsflyt. Fra brukerens perspektiv, derimot, er både kostnaden av API-baserte modeller og risikoen for feil eller overdriven sensurering sannsynligvis å kompensere for å laste ned og tilpasse lokale installasjoner av åpne kildealternativer – i alle fall der FOSS-lisensen er gunstig.

Den siste betydelige modellen som ble utgitt uten noen forsøk på å innføre selv-sensurering, var Stable Diffusion V1.5, nesten tre år siden. Senere avslørte det at dens treningskorpus inkluderte CSAM-data ledet til økende krav om å forbyte dens tilgjengelighet, og dens fjerning fra Hugging Face-repositoriet i 2024.

Kutt det ut!

Skeptikere hevder at et selskaps interesse for å sensurere lokalt installerte generative AI-modeller bare er basert på bekymringer om juridisk eksponering, hvis deres rammeverk blir offentliggjort for å fasilitere ulovlig eller uakseptabelt innhold.

Noen ‘lokalt-vennlige’ åpne kilde-modeller er ikke så vanskelige å desensurere (såsom Stable Diffusion 1.5 og DeepSeek R1).

I motsetning til dette var den nylige utgivelsen av Black Forest Labs’ Flux Kontext-modellserien preget av selskapets merkbare forpliktelse til å bowdlerisere hele Kontext-rekken. Dette ble oppnådd både gjennom omsorgsfull datakurering og målrettet fine-tuning etter trening, designet for å fjerne enhver resterende tendens mot NSFW eller forbudt innhold.

Dette er der handlingens sentrum har vært i forskningsscenen de siste 2-3 årene: med fokus på etterfølgende fiksering av modeller med under-kurerte data. Tilbud av denne typen inkluderer Unified Concept Editing in Diffusion Models (UCE); Reliable and Efficient Concept Erasure of Text-to-Image Diffusion Models (RECE); Mass Concept Erasure in Diffusion Models (MACE); og concept-Semi-Permeable structure is injected as a Membrane (SPM):

2024-papiret ‘Unified Concept Editing in Diffusion Models’ tilbød lukkede former for redigering av oppmerksomhetsvekt, og muliggjorde effektiv redigering av flere konsepter i tekst-til-bilde-modeller. Men står metoden for skarpskyting? Source: https://arxiv.org/pdf/2308.14761

Selv om dette er en effektiv tilnærming (hyperskala-samlinger som LAION er langt for store til å kunne kurere manuelt), er det ikke nødvendigvis en effektiv en: ifølge en ny amerikansk studie, fungerer ingen av de ovennevnte redigeringsprosessene – som representerer tilstanden for etter-trening AI-modell-modifisering – særlig godt.

Forfatterne fant ut at disse konsept-sletting-teknikkene vanligvis kan omgås lett, og at selv der de er effektive, har de betydelige bieffekter:

Effekter av konsept-sletting på tekst-til-bilde-modeller. Hver kolonne viser en prompt og konseptet merket for sletting, sammen med genererte utdata før og etter redigering. Hierarkier indikerer forelder-barn-relasjoner mellom konsepter. Eksemplene høydepunkterer vanlige bieffekter, inkludert svikt i å slette under-konsepter, undertrykking av nærliggende konsepter, unngåelse gjennom omformulering og overføring av slettede attributter til ubeslektede objekter. Source: https://arxiv.org/pdf/2508.15124

Forfatterne fant ut at de ledende nåværende konsept-sletting-teknikkene ikke blokkerer komposisjonsprompter (for eksempel, red car eller small wooden chair); ofte lar de under-kategorier gli gjennom selv etter å ha slettet en over-kategori (såsom car eller bus som fortsatt dukker opp etter å ha fjernet vehicle); og introduserer nye problemer som attributt-lekkasje (hvor, for eksempel, sletting av blue couch kunne få modellen til å generere ubeslektede objekter som blue chair).

I over 80% av testtilfellene, sletting av et bredt konsept som vehicle stoppet ikke modellen fra å generere mer spesifikke vehicle-eksempler som biler eller busser.

Redigering, observerer papiret, forårsaker også oppmerksomhets-kart (delene av modellen som bestemmer hvor å fokusere i bildet) å spre, og svekker utgangskvaliteten.

Interessant nok finner papiret ut at sletting av relaterte trenede konsepter ett for ett fungerer bedre enn å prøve å fjerne dem alle på en gang – selv om det ikke fjerner alle svakhetene i de studerte redigeringsmetodene:

Sammenligning av progressive og alle-på-én-gang-sletting-strategier. Når alle varianter av ‘teddy bear’ slettes samtidig, fortsetter modellen å generere bjørn-liknende objekter. Sletting av variantene ett for ett er mer effektivt, og får modellen til å undertrykke målkonseptet mer pålitelig.

Selv om forskerne for tiden ikke kan tilby noen løsning på problemene som papiret beskriver, har de utviklet en ny datasett og benchmark som kan hjelpe senere forskningsprosjekter å forstå om deres egne ‘sensurerte’ modeller fungerer som forventet.

Papiret slår fast:

‘Tidligere evalueringer har bare avhengig av en liten mengde mål- og bevare-klasser; for eksempel, når konseptet som skal slettes er ‘car,’ er det bare modellens evne til å generere biler som testes. Vi demonstrerer at denne tilnærmingen er grunnleggende utilstrekkelig og konsept-sletting-evaluering bør være mer omfattende for å omfatte alle relaterte under-konsepter som ‘red car’.

‘Ved å introdusere en diversifisert datasett med komposisjonelle variasjoner og systematisk analyse av effekter som påvirkning av nærliggende konsepter, konsept-unngåelse og attributt-lekkasje, avdekker vi betydelige begrensninger og bieffekter av eksisterende CETs.

‘Vår benchmark er modell-agnostisk og lett integrerbar og er ideelt egnet til å hjelpe utviklingen av nye konsept-sletting-teknikker (CETs).’

Selv om CETs sletter målkonseptet ‘bird’, feiler de på den komposisjonelle varianten ‘red bird’ (topp). Etter å ha slettet ‘blue couch’, mister alle metoder også evnen til å generere en blå stol (bunn). Suksessfulle resultater er merket med en grønn hake-symbol, og feil med et rødt ‘X’-symbol.

Studien tilbyr en interessant innsikt i omfanget av sammenflettingen av konsepter trenet inn i en modells latent rom, og omfanget av hvilken sammenfletting ikke vil tillate noen form for definitiv og virkelig diskret konsept-sletting.

Den nye papiret heter Side Effects of Erasing Concepts from Diffusion Models, og kommer fra fire forskere fra University of Maryland.

Metode og data

Forfatterne mener at tidligere arbeider som hevder å slette konsepter fra diffusjonsmodeller ikke beviser kravet tilstrekkelig, og uttaler*:

‘Krav om sletting trenger mer robuste og omfattende evaluering. For eksempel, hvis konseptet som skal slettes er ‘vehicle’, bør under-konsepter som ‘car’ og komposisjonelle konsepter som ‘red car’ eller ‘small car’ også slettes.

‘Likevel er dette aspektet av konsept-hierarki og komposisjonalitet ikke vurdert i eksisterende evaluering-protokoller, da de bare fokuserer på nøyaktigheten av det enkelte slettede konseptet. [Forfatterne av EraseBench] vurderer hvordan CETs påvirker visuelt like og paraphrasede konsepter (såsom ‘cat’ og ‘kitten’)[;] likevel gjør de ikke en uttømmende undersøkelse av hierarkiet og komposisjonaliteten av konsepter.’

For å gi benchmark-data for fremtidige prosjekter, skapte forfatterne Side Effect Evaluation (SEE)-datasettet – en stor samling av tekst-prompts designet for å teste hvor godt konsept-sletting-metoder fungerer.

Promptene følger en enkel mal hvor et objekt beskrives med attributter av størrelse, farge og materiale – for eksempel, et bilde av en liten rød trebil.

Objekter ble trukket fra MS-COCO-datasettet, og organisert i en hierarki av over-kategorier som vehicle, og under-kategorier som car eller bus, med deres attributt-kombinasjoner som danner blad-nodene (det mest spesifikke nivået i hierarkiet). Denne strukturen gjør det mulig å teste sletting på ulike semantiske nivåer, fra brede kategorier til spesifikke varianter.

For å støtte automatisert evaluering, ble hver prompt parret med en ja/nei-spørsmål, som Er det en bil i bildet?, og også brukt som en klasse-merke for bilde-klassifiseringsmodeller:

Prompt-kombinasjoner i SEE-datasettet generert ved å variere størrelse, farge og materiale-attributter.

For å måle hvor godt hver konsept-sletting-metode fungerte, utviklet forfatterne to scorings-metoder: mål-akkuratus, som sporer hvor ofte slettede konsepter fortsatt dukker opp i de genererte bildene; og bevare-akkuratus, som sporer om modellen fortsatt genererer materiale som ikke skulle slettes.

Balansen mellom de to poengene er ment å avsløre om metoden vellykket fjerner det forbudte konseptet uten å skade modellens bredere utgang.

Forfatterne evaluerte konsept-sletting over tre feil-måter: først, en måling av hvor mye fjerning av et konsept som car forstyrer nærliggende eller ubeslektede konsepter, basert på semantisk og attributt-lignende likhet; andre, en test for om sletting kan omgås ved å bruke under-konsepter som red car etter å ha slettet vehicle.

Til slutt ble det utført en kontroll for attributt-lekkasje, hvor egenskaper koblet til et slettet konsept dukker opp i andre deler av bildet (for eksempel, sletting av couch kunne føre til at et annet objekt, som en potted plant, arver dens farge eller materiale). Den endelige datasettet inneholder 5056 komposisjonelle prompts

Tester

De tidligere rammeverkene som ble testet, var de som ble nevnt tidligere – UCE, RECE, MACE og SPM. Forskerne tok i bruk standard-innstillingene fra de opprinnelige prosjektene, og fin-justerte alle modellene på en NVIDIA RTX 6000 GPU med 48GB VRAM.

Stable Diffusion 1.4, en av de mest varige modellene i litteraturen, ble brukt til alle testene – kanskje ikke minst fordi de tidligste SD-modellene hadde liten eller ingen konseptuell begrensning, og som sådan tilbyr en blank skisse i denne forskningskonteksten.

Hver av de 5056 promptene fra SEE-datasettet ble kjørt gjennom både de uredigerte og redigerte versjonene av modellen, og genererte fire bilder per prompt ved hjelp av faste tilfeldige frø, og tillot å teste om slettingseffekter forble konsekvente over flere utgangspunkter. Hver redigert modell produserte totalt 20 224 bilder.

Tilstedeværelsen av bevarte konsepter ble evaluert i henhold til tidligere metoder for tekst-til-bilde-sletting-prosedyrer, ved hjelp av VQA-modellene BLIP, QWEN 2.5 VL og Florence-2base.

Påvirkning av nærliggende konsepter

Den første testen målte om sletting av et konsept utilsiktet påvirkede nærliggende konsepter. For eksempel, etter å ha fjernet car, skulle modellen stoppe å generere red car eller large car, men fortsatt være i stand til å generere relaterte konsepter som bus eller truck, og ubeslektede konsepter som fork.

Analysen brukte CLIP-innkapslings-lignhet og attributt-basert redigering-avstand for å anslå hvor nært hvert konsept var til det slettede målet, og tillot studien å kvantifisere hvor langt forstyrrelsen spredte seg:

Kombinerte resultater for mål-akkuratus (venstre) og bevare-akkuratus (høyre) plottet mot semantisk lignhet (topp) og komposisjons-avstand (bunn). En ideal konsept-sletting-metode ville vise lav mål-akkuratus og høy bevare-akkuratus over alle avstander; men resultater viser at nåværende teknikker ikke generaliserer renlig, med nærmere konsepter som enten ikke er tilstrekkelig slettet eller ubeslektede konsepter som blir forstyrret.

Av disse resultater kommenterer forfatterne:

‘Alle CETs fortsatt genererer komposisjonelle eller semantisk fjerne varianter av målet, til tross for slettingen, noe som ideal sett ikke skulle skje. Det er åpenbart at UCE konsekvent oppnår høyere akkuratus enn andre CET-metoder på [bevare-settet], og indikerer minimal uønsket påvirkning på semantisk relaterte konsepter.

‘I motsetning til dette oppnår SPM den laveste akkuratusen, og antyder at dens redigeringsstrategi er mer utsatt for konsept-lignhet.’

Blant de fire metodene som ble testet, var RECE mest effektiv i å blokkere målkonseptet. Likevel, som vist i venstre del av bildet ovenfor, feilet alle metoder i å undertrykke komposisjonelle varianter. Etter å ha fjernet bird, genererte modellen fortsatt bilder av en rød fugl, og indikerte at konseptet fortsatt var delvis intakt.

Fjerning av blue couch hindret også modellen i å generere en blue chair, og indikerte skade på nærliggende konsepter.

RECE håndterte komposisjonelle varianter bedre enn de andre, mens UCE gjorde en bedre jobb med å bevare relaterte konsepter.

Sletting-invasjon

Sletting-unngåelse-testen evaluerte om modeller kunne fortsatt generere under-konsepter etter at deres over-kategori var fjernet. For eksempel, hvis vehicle var fjernet, ble testen utført for å se om modellen kunne fortsatt produsere utgangspunkter som bicycle eller red car.

Promptene var rettet mot både direkte under-kategorier og komposisjonelle varianter for å bestemme om konsept-sletting-operasjonen hadde virkelig fjernet hele hierarkiet eller kunne omgås gjennom mer spesifikke beskrivelser:

Omgåelse av slettede over-kategorier gjennom deres under-kategorier og komposisjonelle varianter, med høyere akkuratus som indikerer større unngåelse.

Den uredigerte modellen beholdt høy akkuratus over alle over-kategorier, og bekreftet at den ikke hadde fjernet noen målkonsepter. Blant CETs viste MACE den minste unngåelsen, og oppnådde den laveste under-kategori-akkuratusen i mer enn halvparten av de testede kategoriene. RECE fungerte også godt, spesielt i accessory, sports og electronic-gruppene.

I motsetning til dette viste UCE og SPM høyere under-kategori-akkuratus, og indikerte at slettede konsepter kunne lettere omgås gjennom relaterte eller innbyggede prompter.

Forfatterne bemerker:

‘[Alle] CETs undertrykker vellykket mål-over-kategori-konseptet (“food”). Likevel, når promptet med attributt-basert barn av mat-hierarkiet (for eksempel, en stor pizza”), genererer alle metoder matvarer.

‘Liknende i vehicle-kategorien, genererer alle modeller sykler, til tross for å ha fjernet “vehicle”.’

Attributt-lekkasje

Den tredje testen, attributt-lekkasje, sjekket om egenskaper koblet til et slettet konsept dukket opp i andre deler av bildet.

For eksempel, etter å ha fjernet couch, skulle modellen hverken generere en couch eller bruke dens typiske attributter (såsom farge eller materiale) på ubeslektede objekter i samme prompt. Dette ble målt ved å prompte modellen med par-objekter og undersøke om de slettede attributtene feilaktig dukket opp i bevarte konsepter:

Oppmerksomhets-kart for attributt-token etter konsept-sletting. Venstre: Når ‘bench’ er fjernet, flyttes token ‘wooden’ til fuglen i stedet, og resulterer i tre-liknende fugler. Høyre: Fjerning av ‘couch’ feiler i å undertrykke couch-generering, mens token ‘large’ feilaktig tildeles donut.

RECE var den mest effektive i å slette mål-attributter, men introduserte også mest attributt-lekkasje i bevarte prompter, og overgikk selv den uredigerte modellen. UCE lekket mindre enn andre metoder.

Resultatene, foreslår forfatterne, indikerer nødvendigheten for en innebygd kompromiss, hvor sterkere sletting øker risikoen for feilaktig attributt-overføring.

Konklusjon

Det latente rommet i en modell fyller ikke opp på en ordenlig måte under trening, med avledede konsepter deponert på hyller eller i arkivskap; snarere er de trenede innkapslingene både innholdet og deres beholdere: ikke adskilt av noen skarpe grenser, men snarere blandet sammen på en måte som gjør fjerning problematisk – som å prøve å trekke ut et pund kjøtt uten noen blodtap.

I intelligente og evoluerende systemer er grunnleggende hendelser – som å brenne fingrene og deretter behandle ild med respekt – bundet sammen med de assosiasjoner de senere danner, og gjør det vanskelig å produsere en modell som kan ha blitt etterlatt med konsekvensene av et sentralt, potensielt ‘forbudt’ konsept, men mangler det konseptet i seg selv.

* Min konvertering av forfatternes inline-citater til hyperlenker.

Først publisert fredag, 22. august 2025