Het censureren van AI-modellen werkt niet goed, blijkt uit onderzoek

Pogingen om AI-afbeeldingsgeneratoren te censureren door verboden inhoud (zoals pornografie, geweld of auteursrechtelijk beschermde stijlen) uit de getrainde modellen te wissen, blijken niet effectief te zijn: een nieuw onderzoek heeft aangetoond dat huidige concept-wisingsmethoden het toelaten dat ‘verboden’ attributen overlopen in ongerelateerde afbeeldingen en dat ze er ook niet in slagen om nauw verwante versies van de vermeende ‘gewiste’ inhoud tegen te houden.

Als bedrijven die basis-AI-modellen produceren, deze modellen niet kunnen beschermen tegen misbruik voor het produceren van afkeurenswaardige of illegale materialen, lopen ze het risico aangeklaagd en/of gesloten te worden. Omgekeerd zijn leveranciers die hun modellen alleen via een API beschikbaar stellen, zoals Adobe’s Firefly generatieve engine, in een positie waarin ze zich geen zorgen hoeven te maken over wat hun modellen zouden kunnen creëren, aangezien zowel de prompt van de gebruiker als de resulterende output worden geïnspecteerd en gesaniteerd:

Adobe’s Firefly-systeem, gebruikt in tools zoals Photoshop, weigert soms een generatieve aanvraag direct door de prompt te blokkeren voordat er iets is gecreëerd. Soms genereert het het beeld, maar blokkeert het resultaat vervolgens na herziening. Dit soort mid-process-weigering kan ook voorkomen in ChatGPT, wanneer het model een reactie start, maar deze afkapt nadat het een beleidsovertreding heeft herkend – en soms kan men het geannuleerde beeld kort zien tijdens dit proces.

API-achtige filters van deze soort kunnen echter meestal worden geneutraliseerd door gebruikers op lokaal geïnstalleerde modellen, inclusief visuele-taalmodellen (VLM’s) die de gebruiker mogelijk wil aanpassen via lokale training op aangepaste gegevens.

Meestal is het uitschakelen van dergelijke bewerkingen triviaal, waarbij een functieaanroep in Python moet worden uitgecommentarieerd (hoewel hacks van deze soort meestal moeten worden herhaald of opnieuw uitgevonden na framework-updates).

Vanuit een bedrijfsperspectief is het moeilijk te begrijpen hoe dit een probleem kan zijn, aangezien een API-aanpak het maximale bedrijfscontrole over de workflow van de gebruiker biedt. Vanuit het perspectief van de gebruiker is het echter waarschijnlijk dat zowel de kosten van API-only-modellen als het risico van onjuiste of overmatige censuur hen ertoe zal brengen om lokale installaties van open-source-alternatieven te downloaden en aan te passen – tenminste, waar de FOSS-licentie gunstig is.

Het laatste significante model dat zonder enige poging tot ingebouwde censuur werd uitgebracht, was Stable Diffusion V1.5, bijna drie jaar geleden. Later leidde de onthulling dat de trainingscorpora CSAM-gegevens bevatten tot een groeiend beroep om de beschikbaarheid ervan te verbieden, en tot de verwijdering uit de Hugging Face-repository in 2024.

Knip het uit!

Cynici beweren dat een bedrijfsbelang in het censureren van lokaal te installeren generatieve AI-modellen uitsluitend gebaseerd is op zorgen over juridische blootstelling, mochten hun kaders worden gepubliceerd voor het faciliteren van illegale of afkeurenswaardige inhoud.

Sommige ‘lokale-vriendelijke’ open-source-modellen zijn niet zo moeilijk om te decensureren (zoals Stable Diffusion 1.5 en DeepSeek R1).

Integendeel, de recente release van Black Forest Lab’s Flux Kontext-modelserie werd gekenmerkt door het bedrijfs opvallende toewijding om de hele Kontext-reeks te bowdleriseren. Dit werd bereikt door zorgvuldige gegevenscuratie en gerichte fine-tuning na training, om eventuele resterende neiging tot NSFW- of verboden inhoud te verwijderen.

Dit is waar de locus van actie is geweest in de onderzoekssector de afgelopen 2-3 jaar: met een focus op het achteraf repareren van modellen met onder-curated gegevens. Aanbod van deze soort omvat Unified Concept Editing in Diffusion Models (UCE); Reliable and Efficient Concept Erasure of Text-to-Image Diffusion Models (RECE); Mass Concept Erasure in Diffusion Models (MACE); en concept-Semi-Permeable structure is injected as a Membrane (SPM):

Het paper van 2024 ‘Unified Concept Editing in Diffusion Models’ bood gesloten vorm-edits aan voor aandachtsgewichten, waardoor efficiënte bewerking van meerdere concepten in tekst-naar-afbeelding-modellen mogelijk werd. Maar houdt de methode stand tegen kritiek? Source: https://arxiv.org/pdf/2308.14761

Hoewel dit een efficiënte aanpak is (hyperschaalcollecties zoals LAION zijn veel te groot om handmatig te cureren), is het niet noodzakelijkerwijs effectief: volgens een nieuw Amerikaans onderzoek werken geen van de bovengenoemde bewerkingsprocedures – die de standaard vertegenwoordigen in post-training AI-modelaanpassing – echt goed.

De auteurs vonden dat deze Concept-Wisings-Technieken (CET’s) meestal gemakkelijk kunnen worden omzeild, en dat zelfs waar ze effectief zijn, ze aanzienlijke neveneffecten hebben:

Effecten van concept-wissing op tekst-naar-afbeelding-modellen. Elke kolom toont een prompt en het concept dat voor wissing is gemarkeerd, samen met gegenereerde uitvoer voor en na bewerking. Hiërarchieën geven ouder-kind-relaties tussen concepten aan. De voorbeelden benadrukken veelvoorkomende neveneffecten, waaronder het falen om kindconcepten te wissen, onderdrukking van naburige concepten, ontwijking door herformulering en overdracht van gewiste attributen naar ongerelateerde objecten. Source: https://arxiv.org/pdf/2508.15124

De auteurs vonden dat de toonaangevende huidige concept-wisingsmethoden falen om compositional prompts (bijvoorbeeld rode auto of kleine houten stoel) te blokkeren; vaak laten ze subklassen doorslippen, zelfs nadat een oudercategorie is gewist (zoals auto of bus die blijven verschijnen nadat voertuig is verwijderd); en introduceren nieuwe problemen zoals attribuut-lekkage (waarbij, bijvoorbeeld, het verwijderen van blauwe bank de modellen ertoe kan brengen om ongerelateerde objecten zoals blauwe stoel te genereren).

In meer dan 80% van de testgevallen stopte het wissen van een brede categorie zoals voertuig de modellen er niet van om specifiekere voertuig-instanties zoals auto’s of bussen te genereren.

Bewerken, merkt het paper op, zorgt er ook voor dat aandachtskaarten (de delen van het model die bepalen waarop te focussen in het beeld) verspreid raken, waardoor de kwaliteit van de uitvoer verslechtert.

Interessant is dat het paper aantoont dat het wissen van verwante getrainde concepten een voor een beter werkt dan het proberen om ze allemaal tegelijk te verwijderen – hoewel het niet alle tekortkomingen van de bestudeerde bewerkingsmethoden wegneemt:

Vergelijking van progressieve en alles-tegelijk-wissen-strategieën. Wanneer alle varianten van ‘teddybeer’ tegelijk worden gewist, blijft het model bear-achtige objecten genereren. Het wissen van de varianten stap voor stap is effectiever, waardoor het model het doelconcept meer betrouwbaar onderdrukt.

Hoewel de onderzoekers momenteel geen oplossing kunnen bieden voor de problemen die het paper schetst, hebben ze een nieuwe dataset en benchmark ontwikkeld die later onderzoeksprojecten kunnen helpen begrijpen of hun eigen ‘gecensureerde’ modellen zoals verwacht functioneren.

Het paper stelt:

‘Eerdere evaluaties zijn uitsluitend gebaseerd op een kleine set doel- en behoudklassen; bijvoorbeeld, wanneer ‘voertuig’ wordt gewist, wordt alleen de mogelijkheid van het model om auto’s te genereren getest. We demonstreren dat deze aanpak fundamenteel onvoldoende is en dat concept-wissingsevaluatie moet worden uitgebreid om alle verwante subconcepten te omvatten, zoals ‘rode auto’.

‘Door een diverse dataset met compositionele variaties te introduceren en systematisch de effecten te analyseren, zoals invloed op naburige concepten, concept-ontwijking en attribuut-lekkage, onthullen we significante beperkingen en neveneffecten van bestaande CET’s.

‘Onze benchmark is model-agnostisch en gemakkelijk te integreren en is ideaal geschikt om de ontwikkeling van nieuwe Concept-Wisings-Technieken (CET’s) te ondersteunen.’

Hoewel CET’s het doelconcept ‘vogel’ wissen, falen ze voor de compositionele variant ‘rode vogel’ (boven). Na het wissen van ‘blauwe bank’ verliezen alle methoden ook de mogelijkheid om een blauwe stoel te genereren (onder). Succesvolle resultaten worden gemarkeerd met een groene vink-symbool, en mislukkingen met een rode ‘X’-symbool.

Het onderzoek biedt een interessante inzicht in de mate waarin concepten getraind in een model’s latent ruimte verweven zijn, en de mate waarin verstrengeling het niet toelaat om een definitieve en echt discrete concept-wissing toe te passen.

Het nieuwe paper heeft als titel Neveneffecten van het wissen van concepten uit Diffusie-Modellen en komt van vier onderzoekers van de Universiteit van Maryland.

Methode en Gegevens

De auteurs menen dat eerdere werken die beweren concepten uit diffusie-modellen te wissen, deze bewering niet adequaat aantonen, en stellen*:

‘Beweringen van wissing vereisen een robuustere en meer omvattende evaluatie. Bijvoorbeeld, als het concept dat gewist moet worden ‘voertuig’ is, moeten subconcepten zoals ‘auto’ en compositionele concepten zoals ‘rode auto’ of ‘kleine auto’ ook worden gewist.

‘Toch wordt dit aspect van concept-hiërarchie en compositionele eigenschappen niet overwogen in bestaande evaluatieprotocollen, omdat ze alleen focussen op de nauwkeurigheid van het enkele gewiste concept. [De auteurs van EraseBench] beoordelen hoe CET’s de visueel vergelijkbare en herschreven concepten beïnvloeden (zoals ‘kat’ en ‘kitten’)[;] echter doen ze niet uitputtend onderzoek naar de hiërarchie en compositionele eigenschappen van concepten.’

Om benchmark-gegevens voor toekomstige projecten te bieden, creëerden de auteurs de Side Effect Evaluation (SEE) dataset – een grote verzameling van tekstprompts ontworpen om te testen hoe goed concept-wisingsmethoden werken.

De prompts volgen een eenvoudig sjabloon waarin een object wordt beschreven met attributen van grootte, kleur en materiaal – bijvoorbeeld, een afbeelding van een kleine rode houten auto.

Objecten werden gekozen uit de MS-COCO dataset, en georganiseerd in een hiërarchie van superklassen zoals voertuig, en subklassen zoals auto of bus, met hun attribuutcombinaties die de bladknopen (het meest specifieke niveau van de hiërarchie) vormen. Deze structuur maakt het mogelijk om wissing te testen op verschillende semantische niveaus, van brede categorieën tot specifieke varianten.

Om geautomatiseerde evaluatie te ondersteunen, werd elke prompt gekoppeld aan een ja/nee-vraag, zoals Is er een auto in de afbeelding?, en ook gebruikt als een classificatielabel voor afbeeldingsclassificatiemodellen:

Promptcombinaties in de SEE-dataset gegenereerd door variatie in grootte, kleur en materiaalattributen.

Om te meten hoe goed elke concept-wisingsmethode presteerde, ontwikkelden de auteurs twee scoresystemen: Doel-nauwkeurigheid, die bijhoudt hoe vaak gewiste concepten nog steeds in de gegenereerde afbeeldingen verschijnen; en Behoud-nauwkeurigheid, die bijhoudt of het model nog steeds materiaal kan genereren dat niet zou moeten worden gewist.

De balans tussen de twee scores is bedoeld om te onthullen of de methode erin slaagt de verboden concepten te verwijderen zonder de bredere uitvoer van het model te schaden.

De auteurs evalueerden concept-wissing over drie falenmodi: ten eerste, een meting van of het verwijderen van een concept zoals auto naburige of ongerelateerde concepten verstoort, gebaseerd op semantische en attribuut-gelijkenis; ten tweede, een test voor of wissing kan worden omzeild door subconcepten zoals rode auto aan te geven nadat voertuig is verwijderd.

Ten slotte werd een controle uitgevoerd op attribuut-lekkage, waarbij kenmerken die zijn gekoppeld aan gewiste concepten verschijnen in andere delen van de afbeelding (bijvoorbeeld, het verwijderen van bank zou een ander object, zoals een potplant, de kleur of het materiaal van de bank kunnen geven). De finale dataset bevat 5056 compositionele prompts

Tests

De eerder geteste kaders waren die die eerder werden genoemd – UCE, RECE, MACE en SPM. De onderzoekers namen de standaardinstellingen van de oorspronkelijke projecten over en fine-tune alle modellen op een NVIDIA RTX 6000 GPU met 48GB VRAM.

Stable Diffusion 1.4, een van de meest permanente modellen in de literatuur, werd gebruikt voor alle tests – misschien niet in de laatste plaats omdat de vroegste SD-modellen weinig of geen conceptuele beperkingen hadden, en als zodanig een blanco canvas bieden in deze specifieke onderzoekscontext.

Elk van de 5056 prompts uit de SEE-dataset werd door zowel de onbewerkte als de bewerkte versies van het model gerund, waardoor vier afbeeldingen per prompt werden gegenereerd met behulp van vaste willekeurige zaden, waardoor het mogelijk was om te testen of wis-effecten consistent bleven over meerdere uitvoeren. Elk bewerkt model produceerde in totaal 20.224 afbeeldingen.

De aanwezigheid van behouden concepten werd geëvalueerd volgens eerdere methoden voor tekst-naar-afbeelding-wisprocedures, met behulp van de VQA-modellen BLIP, QWEN 2.5 VL en Florence-2base.

Invloed op Naburige Concepten

De eerste test mat of het wissen van een concept onbedoeld naburige concepten beïnvloedde. Bijvoorbeeld, nadat auto was verwijderd, zou het model moeten stoppen met het genereren van rode auto of grote auto, maar nog steeds in staat moeten zijn om verwante concepten zoals bus of vrachtwagen te genereren, en ongerelateerde zoals vork.

De analyse gebruikte CLIP embedding-gelijkenis en attribuut-gebaseerde bewerkingsafstand om te schatten hoe dicht elk concept bij het gewiste doel lag, waardoor het onderzoek kon kwantificeren hoe ver de verstoring zich uitstrekte:

Gecombineerde resultaten voor doel-nauwkeurigheid (links) en behoud-nauwkeurigheid (rechts) geplot tegen semantische gelijkenis (boven) en compositionele afstand (onder). Een ideale concept-wisingsmethode zou lage doel-nauwkeurigheid en hoge behoud-nauwkeurigheid over alle afstanden moeten laten zien; maar de resultaten laten zien dat huidige technieken niet schoon generaliseren, met dichtere concepten die of onvoldoende worden gewist of onevenredig worden verstoord.

Van deze resultaten merken de auteurs op:

‘Alle CET’s blijven compositionele of semantisch verre varianten van het doel genereren, ondanks de wissing, wat idealiter niet zou moeten gebeuren. Het is duidelijk dat UCE consistent hogere nauwkeurigheid bereikt dan andere CET-methoden op de [behoud-set], wat wijst op minimale onbedoelde invloed op semantisch verwante concepten.

‘In contrast, SPM bereikt de laagste nauwkeurigheid, wat suggereert dat de bewerkingsstrategie meer vatbaar is voor concept-gelijkenis.’

Van de vier geteste methoden was RECE het meest effectief in het blokkeren van het doelconcept. Echter, zoals te zien is in de linkerkant van de afbeelding hierboven, faalden alle methoden om compositionele varianten te onderdrukken. Na het wissen van vogel produceerde het model nog steeds afbeeldingen van een rode vogel, wat aangaf dat het concept gedeeltelijk intact bleef.

Het verwijderen van blauwe bank verhinderde ook dat het model een blauwe stoel genereerde, wat aangaf dat naburige concepten werden geschaad.

RECE behandelde compositionele varianten beter dan de anderen, terwijl UCE een betere job deed in het behouden van verwante concepten.

Wissen-invasie

De wis-invasietest evalueerde of modellen nog steeds subklasse-concepten konden genereren nadat hun superklasse was gewist. Bijvoorbeeld, als voertuig werd verwijderd, werd getest of het model nog steeds uitvoer zoals fiets of rode auto kon produceren.

Prompts waren gericht op zowel directe subklassen als compositionele varianten om te bepalen of de concept-wisingsoperatie de volledige hiërarchie had verwijderd of kon worden omzeild door meer specifieke beschrijvingen:

Omvang van gewiste superklassen door hun subklassen en compositionele varianten, met hogere nauwkeurigheid die grotere omvang aangeeft.

De onbewerkte modellen behielden hoge nauwkeurigheid over alle superklassen, wat bevestigde dat ze geen enkel doelconcept hadden verwijderd. Van de CET’s toonde MACE de minste omvang, met de laagste subklasse-nauwkeurigheid in meer dan de helft van de geteste categorieën. RECE presteerde ook goed, met name in de accessoire, sport en elektronica groepen.

Integendeel, UCE en SPM toonden hogere subklasse-nauwkeurigheid, wat aangaf dat gewiste concepten gemakkelijker konden worden omzeild door verwante of geneste prompts.

De auteurs merken op:

‘[Alle] CET’s onderdrukken het doel-superconcept (‘voedsel’) met succes. Echter, wanneer ze worden geprompt met attribuut-gebaseerde kinderen van de voedselhiërarchie (bijv. ‘grote pizza’), genereren alle methoden voedselitems.

‘Soortgelijk in de voertuig categorie, genereren alle modellen fietsen, ondanks het feit dat ‘voertuig’ is verwijderd.’

Attribuut-lekkage

De derde test, attribuut-lekkage, controleerde of kenmerken die zijn gekoppeld aan een gewist concept verschijnen in andere delen van de afbeelding.

Als voorbeeld, na het wissen van bank, zou het model noch een bank noch de typische attributen (zoals kleur of materiaal) van de bank moeten toepassen op ongerelateerde objecten in dezelfde prompt. Dit werd gemeten door het model te prompten met gepaarde objecten en te onderzoeken of de gewiste attributen per ongeluk verschijnen in behouden concepten:

Aandachtskaarten voor attribuut-tokens na concept-wissing. Links: Wanneer ‘bank’ wordt gewist, verschuift het token ‘houten’ naar de vogel, waardoor houten vogels ontstaan. Rechts: Het wissen van ‘bank’ faalt om bank-generatie te onderdrukken, terwijl het token ‘groot’ ten onrechte wordt toegewezen aan de doughnut.

RECE was het meest effectief in het wissen van doel-attributen, maar introduceerde ook de meeste attribuut-lekkage in behouden prompts, waardoor het zelfs de onbewerkte modellen overtrof. UCE lekte minder dan andere methoden.

De resultaten, suggereren de auteurs, geven aan dat een inherente trade-off nodig is, waarbij een sterkere wissing het risico van misdirecte attribuut-overdracht verhoogt.

Conclusie

De latent ruimte van een model vult zich niet op in een geordende manier tijdens training, met afgeleide concepten die netjes op planken of in archiefkasten worden neergezet; eerder zijn de getrainde embeddings zowel de inhoud als de containers: niet gescheiden door scherpe grenzen, maar in plaats daarvan in elkaar overlopend op een manier die verwijdering problematisch maakt – zoals proberen een pond vlees te verwijderen zonder enig bloedverlies.

In intelligente en evoluerende systemen zijn fundamentele gebeurtenissen – zoals je vingers branden en vervolgens vuur met respect behandelen – verbonden met de gedragingen en associaties die ze later vormen, waardoor het moeilijk is om een model te produceren dat mogelijk is achtergelaten met de corollarissen van een centraal, potentieel ‘verboden’ concept, maar dat concept zelf ontbeert.

* Mijn conversie van de inline-citatie van de auteurs naar hyperlinks.

Eerst gepubliceerd op vrijdag 22 augustus 2025