Cenzura modelů AI nefunguje dobře, ukazuje studie

Pokusy o cenzuru generátorů obrazů AI tak, že se odstraní zakázaný obsah (jako je pornografie, násilí nebo autorská práva) z trénovacích modelů, nejsou příliš úspěšné: nová studie zjistila, že současné metody odstranění konceptů umožňují “zakázaným” atributům proniknout do nesouvisejících obrazů a také nezastavují blízké verze údajně “odstraněného” obsahu.

Jestliže společnosti, které vyrábějí základní modely AI, nemohou zabránit jejich zneužití pro vytváření závadného nebo nelegálního obsahu, riskují, že budou stíhány a/nebo uzavřeny. Naopak, dodavatelé, kteří své modely poskytují pouze prostřednictvím API, jako je tomu u Adobe Firefly generativního motoru, jsou v pozici, kdy se nemusí bát toho, co jejich modely mohou vytvořit, protože jak uživatelův prompt, tak i výsledný výstup jsou kontrolovány a purifikovány:

Systém Adobe Firefly, používaný v nástrojích jako Photoshop, někdy odmítá generativní požadavek okamžitě blokováním promptu před vytvořením čehokoli. Jindy generuje obraz, ale poté blokuje výsledek po kontrole. Tento typ mid-procesního odmítnutí může také nastat v ChatGPT, když model zahájí odpověď, ale poté ji ukončí po rozpoznání porušení zásad – a občas lze vidět zrušený obraz krátce během tohoto procesu.

Jednoduché filtry tohoto typu lze obvykle neutralizovat uživateli na místně instalovaných modelech, včetně modelů jazyk-obrázek (VLM), které uživatel může chtít přizpůsobit lokálním trénováním na vlastních datech.

Většinou je snadné tyto operace zakázat, což zahrnuje pouze zakomentování funkce volání v Pythonu (ačkoli hacky tohoto druhu musí být obvykle opakovaně nebo znovu vynalezeny po aktualizacích frameworku).

Z obchodního hlediska je obtížné pochopit, jak by to mohlo být problém, protože přístup API maximalizuje firemní kontrolu nad workflow uživatele. Z hlediska uživatele je však pravděpodobné, že jak cena modelů pouze API, tak i riziko chybné nebo nadměrné cenzury, donutí uživatele stáhnout a přizpůsobit lokální instalace open source alternativ – alespoň tam, kde je licencování FOSS příznivé.

Poslední významný model, který byl vydán bez jakéhokoli pokusu o vnesení sebe-cenzury, byl Stable Diffusion V1.5, téměř před třemi lety. Později, zjištění, že jeho trénovací soubory zahrnovaly data CSAM, vedlo k rostoucím požadavkům na zákaz jeho dostupnosti a jeho odstranění z repozitáře Hugging Face v roce 2024.

Vyřízněte to!

Skeptici tvrdí, že zájem společnosti o cenzuru lokálně instalovatelných generativních modelů AI je založen pouze na obavách o právní expozici, pokud by jejich rámce byly zveřejněny pro usnadňování nelegálního nebo závadného obsahu.

Skutečně, některé “lokálně přátelské” open source modely nejsou tak těžké na de-cenzuru (jako Stable Diffusion 1.5 a DeepSeek R1).

Naproti tomu, nedávné vydání série modelů Flux od Black Forest Lab bylo charakterizováno závazkem společnosti Kontext k cenzuře celého rozsahu Kontext, a to jak pečlivou kurací dat, tak i cíleným jemným laděním po trénování, navrženým k odstranění jakéhokoli zbytkového sklonu k NSFW nebo zakázanému obsahu.

To je místo, kde se v posledních 2-3 letech odehrává výzkum: s důrazem na následnou opravu modelů s nedostatečně kurátorskými daty. Nabídky tohoto druhu zahrnují Unified Concept Editing in Diffusion Models (UCE); Reliable and Efficient Concept Erasure of Text-to-Image Diffusion Models (RECE); Mass Concept Erasure in Diffusion Models (MACE); a concept-Semi-Permeable structure is injected as a Membrane (SPM):

Článek z roku 2024 ‘Unified Concept Editing in Diffusion Models’ nabídl uzavřené formy úprav váhy pozornosti, umožňující efektivní úpravu více konceptů v modelech text-obrázek. Ale obstojí tato metoda při zkoumání? Zdroj: https://arxiv.org/pdf/2308.14761

Přestože je to efektivní přístup (hyperscale kolekce, jako je LAION, jsou příliš velké na ruční kurací), není to nutně efektivní: podle nové americké studie žádná z výše uvedených metod úpravy – které reprezentují stav současného umění v post-tréninkové úpravě modelů AI – nefunguje příliš dobře.

Autoři zjistili, že tyto Techniky Odstranění Konceptů (CETs) lze obvykle snadno obejít, a že i tam, kde jsou efektivní, mají značné vedlejší účinky:

Účinky odstranění konceptu na modelech text-obrázek. Každá sloupec ukazuje prompt a koncept označený k odstranění, spolu s generovanými výstupy před a po úpravě. Hierarchie ukazuje rodič-dítě vztahy mezi koncepty. Příklady zdůrazňují běžné vedlejší účinky, včetně selhání odstranit dítě koncepty, potlačení sousedních konceptů, obcházení prostřednictvím přejmenování, a přenos odstraněných atributů do nesouvisejících objektů. Source: https://arxiv.org/pdf/2508.15124

Autoři zjistili, že vedoucí současné techniky odstranění konceptů selhávají při blokování slovních promptů (například červený automobil nebo malý dřevěný křeslo); často dovolují podtřídy proklouznout, i když rodičovská kategorie byla odstraněna (jako automobil nebo autobus, který pokračuje ve výskytu po odstranění dopravního prostředku); a zavádějí nové problémy, jako je únik atributů (kde, například, odstranění modrého gauče může způsobit, že model vygeneruje nesouvisející objekty, jako modré křeslo).

Více než 80 % testovacích případů odstranění širokého konceptu, jako je dopravní prostředek, nezastavilo model od generování konkrétnějších instancí dopravního prostředku, jako jsou automobily nebo autobusy.

Úprava, podle článku, také způsobuje, že mapy pozornosti (části modelu, které rozhodují, kde se v obraze zaměřit) se rozptýlí, což oslabuje kvalitu výstupu.

Zajímavé je, že článek zjistil, že odstranění souvisejících trénovaných konceptů jeden po druhém funguje lépe než pokus odstranit je všechny najednou – ačkoli to neodstraňuje všechny nedostatky zkoumaných metod úpravy:

Srovnání progresivních a najednou odstranění strategií. Když jsou všechny varianty ‘medvídku’ odstraněny současně, model pokračuje v generování medvídku podobných objektů. Odstranění variant krok za krokem je účinnější, vedoucí model k potlačení cílového konceptu spolehlivěji.

Přestože autoři目前 nemohou nabídnout žádné řešení problémů, které článek popisuje, vyvinuli novou sadu dat a benchmark, který může pomoci pozdějším výzkumným projektům pochopit, zda jejich vlastní “cenzurované” modely fungují podle očekávání.

Článek uvádí:

‘Předchozí hodnocení se spoléhala pouze na malou sadu cílových a uchovávaných tříd; například, když byl odstraněn “automobil”, byla testována pouze schopnost modelu generovat automobily. Ukázali jsme, že tento přístup je zásadně nedostatečný a odstranění konceptu by mělo být komplexnější, aby zahrnovalo všechny související sub-koncepty, jako je “červený automobil”.

‘Přidáním rozmanité sady dat s kompozičními variacemi a systematickým analýzou účinků, jako je dopad na sousední koncepty, konceptuální únik a únik atributů, odhalujeme významné omezení a vedlejší účinky stávajících CETs.

‘Naše benchmark je model-agnostický a snadno integrovatelný a je ideálně vhodný pro podporu vývoje nových technik odstranění konceptů (CETs).’

Ačkoli CETs odstraní cílový koncept ‘pták’, selhávají na kompoziční variantě ‘červený pták’ (nahoře). Po odstranění ‘modrého gauče’ všechny metody také ztratí schopnost generovat modré křeslo (dole). Úspěšné výsledky jsou označeny zeleným zaškrtnutím, a neúspěšné s červeným křížkem.

Studie nabízí zajímavý pohled na rozsah propojení konceptů trénovaných v latentním prostoru modelu a na rozsah, v jakém propojení nebude snadno umožňovat žádnou definitivní a skutečně diskrétní odstranění konceptu.

Nový článek se nazývá Vedlejší účinky odstranění konceptů z modelů difuze a pochází od čtyř výzkumníků z University of Maryland.

Metoda a data

Autoři se domnívají, že předchozí práce, které tvrdí, že odstraní koncepty z modelů difuze, neprokazují své tvrzení dostatečně, uvádějí*:

‘Tvrdí se, že odstranění vyžaduje více robustní a komplexní hodnocení. Například, pokud má být odstraněn koncept “dopravní prostředek”, měly by být odstraněny také sub-koncepty, jako je “automobil” a kompoziční koncepty, jako je “červený automobil” nebo “malý automobil”.

‘Avšak tento aspekt konceptuální hierarchie a kompozicionality není zvažován v existujících hodnocení protokolů, protože se zaměřují pouze na přesnost odstraněného konceptu. [Autoři EraseBench] hodnotí, jak CETs ovlivňují vizuálně podobné a parafrázované koncepty (jako “kočka” a “koťátko”); avšak nezkoumají hierarchii a kompozicionalitu konceptů.’

Za účelem poskytnutí benchmark dat pro budoucí projekty autoři vytvořili sadu Side Effect Evaluation (SEE) – velkou kolekci textových promptů navržených k testování, jak dobře metody odstranění konceptů fungují.

Promptů následují jednoduchý šablonu, ve kterém je objekt popsán atributy velikosti, barvy a materiálu – například obraz malého červeného dřevěného automobilu.

Objekty byly vybrány z MS-COCO sady dat a organizovány do hierarchie nadřazených tříd, jako je dopravní prostředek, a sub-tříd, jako je automobil nebo autobus, s jejich atributovými kombinacemi tvořícími listové uzly (nejkonkrétnější úroveň hierarchie). Tato struktura umožňuje testovat odstranění na různých sémantických úrovních, od širokých kategorií po konkrétní varianty.

Pro podporu automatizovaného hodnocení byl každý prompt spárován s ano/ne otázkou, jako je Je v obraze automobil?, a také použit jako třída pro modely klasifikace obrazů:

Kombinace promptů v sadě SEE generované pomocí velikosti, barvy a materiálu atributů.

Pro měření, jak dobře každá metoda odstranění konceptů fungovala, autoři vytvořili dvě metody hodnocení: Cílová přesnost, která sleduje, jak často odstraněné koncepty stále objevují v generovaných obrazech; a Přesnost uchování, která sleduje, zda model pokračuje v generování materiálu, který neměl být odstraněn.

Rovnováha mezi oběma skóre má odhalit, zda metoda úspěšně odstraní zakázaný koncept bez poškození širšího výstupu modelu.

Autoři hodnotili odstranění konceptů napříč třemi režimy selhání: prvním, měřením, zda odstranění konceptu, jako je automobil, narušuje blízké nebo nesouvisející koncepty, založené na sémantické a atributové podobnosti; druhým, testem, zda odstranění lze obejít pomocí sub-konceptů, jako je červený automobil, po odstranění dopravního prostředku.

Nakonec byl proveden test na únik atributů, kde atributy spojené s odstraněným konceptem se objevují v jiných částech obrazu (například odstranění gauče by mohlo způsobit, že jiný objekt, jako květináč, zdědí jeho barvu nebo materiál). Konečná sada dat obsahuje 5056 kompozičních promptů

Testy

Předchozí rámce, které byly testovány, byly ty, které byly uvedeny dříve – UCE, RECE, MACE a SPM. Výzkumníci přijali výchozí nastavení z původních projektů a jemně ladili všechny modely na NVIDIA RTX 6000 GPU s 48GB VRAM.

Stable Diffusion 1.4, jeden z nejtrvalejších modelů v literatuře, byl použit pro všechny testy – možná nejméně proto, že první modely SD měly málo nebo žádné konceptuální omezení, a jako takový nabízí čistý list v tomto konkrétním výzkumném kontextu.

Každý z 5056 promptů ze sady SEE byl spuštěn prostřednictvím obou neupravených a upravených verzí modelu, generující čtyři obrázky na prompt pomocí pevných náhodných semen, umožňující testovat, zda účinky odstranění zůstávají konzistentní napříč několika výstupy. Každý upravený model produkoval celkem 20 224 obrázků.

Přítomnost uchovávaných konceptů byla hodnocena podle předchozích metod pro postupy odstranění text-obrázek, pomocí modelů VQA BLIP, QWEN 2.5 VL a Florence-2base.

Dopad na sousední koncepty

První test měřil, zda odstranění konceptu neúmyslně ovlivnilo blízké koncepty. Například, po odstranění automobilu, model by měl přestat generovat červený automobil nebo velký automobil, ale měl by stále být schopen generovat související koncepty, jako autobus nebo nákladní vůz, a nesouvisející koncepty, jako vidlička.

Analýza používala CLIP embedding podobnost a atribut-založenou editační vzdálenost, aby odhadla, jak blízko je každý koncept k odstraněnému cíli, umožňující studii kvantifikovat, jak daleko se narušení rozšířilo:

Kombinované výsledky pro cílovou přesnost (vlevo) a přesnost uchování (vpravo) grafu proti sémantické podobnosti (nahoře) a kompoziční vzdálenosti (dole). Ideální metoda odstranění konceptu by měla mít nízkou cílovou přesnost a vysokou přesnost uchování napříč všemi vzdálenostmi; avšak výsledky ukazují, že současné techniky selhávají při generalizaci čistě, s bližšími koncepty buď nedostatečně odstraněnými nebo nepřiměřeně narušenými.

Z těchto výsledků autoři komentují:

‘Všechny CETs pokračují v generování kompozičních nebo sémanticky vzdálených variant cílového konceptu, navzdory odstranění, což by se ideálně nemělo stát. Je zřejmé, že UCE dosahuje vyšší přesnosti než ostatní metody CET na sadě [preserve], ukazující minimální neúmyslný dopad na sémanticky související koncepty.

‘Naopak, SPM dosahuje nejnižší přesnosti, naznačující, že jeho strategie úpravy je více náchylná k podobnosti konceptů.’

Mezi čtyřmi testovanými metodami byl RECE nejúčinnější při blokování cílového konceptu. Avšak, jak je vidět na levé straně obrázku výše, všechny metody selhaly při potlačení kompozičních variant. Po odstranění ptáka, model stále produkoval obrázky červeného ptáka, naznačující, že koncept zůstal částečně neporušen.

Odstranění modrého gauče také zabránilo modelu generovat modré křeslo, ukazující poškození blízkých konceptů.

RECE zpracoval kompoziční varianty lépe než ostatní, zatímco UCE lépe uchovával související koncepty.

Únik odstranění

Test úniku odstranění hodnotil, zda modely mohly stále generovat sub-koncepty po odstranění jejich nadřazené třídy. Například, pokud byl odstraněn dopravní prostředek, test zkontroloval, zda model mohl stále produkovat výstupy, jako kola nebo červený automobil.

Promptů cílené na přímé sub-třídy a kompoziční varianty určovaly, zda operace odstranění konceptu skutečně odstranila celou hierarchii nebo zda ji lze obejít pomocí specifičtějších popisů:

Obcházení odstraněných nadřazených tříd prostřednictvím jejich sub-tříd a kompozičních variant na Stable Diffusion v1.4, s vyšší přesností ukazující větší únik.

Neupravený model si udržel vysokou přesnost napříč všemi nadřazenými třídami, potvrzující, že ne odstranil žádný cílový koncept. Mezi CETs, MACE ukázal nejnižší únik, dosahující nejnižší přesnosti sub-tříd ve více než polovině testovaných kategorií. RECE také fungoval dobře, zvláště ve skupinách příslušenství, sport a elektronika.

Naproti tomu, UCE a SPM ukázaly vyšší sub-třídní přesnost, naznačující, že odstraněné koncepty byly snáze obejitelné pomocí souvisejících nebo vnořených promptů.

Autoři poznamenávají:

‘[Vše] CETs úspěšně potlačují cílový nadřazený koncept (“jídlo”). Avšak, když jsou promptovány atributovými dětmi potravinové hierarchie (například “velká pizza”), všechny metody generují jídlo.

‘Podobně v kategorii “dopravní prostředek”, všechny modely generují kola, navzdory odstranění “dopravního prostředku”.’

Únik atributů

Třetí test, únik atributů, zkontroloval, zda atributy spojené s odstraněným konceptem se objevují v jiných částech obrazu.

Příklad: po odstranění gauče, model by neměl generovat gauč ani aplikovat jeho typické atributy (jako barvu nebo materiál) na nesouvisející objekty ve stejném promptu. To bylo měřeno promptováním modelu s párovými objekty a prozkoumáním, zda odstraněné atributy chybně objevují v uchovávaných konceptech:

Mapy pozornosti pro atributové tokeny po odstranění konceptu. Vlevo: Když je ‘lavička’ odstraněna, token ‘dřevěný’ se přesune k ptáku, výsledkem jsou dřevěné ptáci. Vpravo: Odstranění ‘gauče’ nezastaví generování gauče, zatímco token ‘velký’ je chybně přiřazen k doughnutu.

RECE byl nejúčinnější při odstranění cílových atributů, ale také zavedl nejvíce úniku atributů do uchovávaných promptů, překonávající dokonce i neupravený model. UCE unikal méně než ostatní metody.

Výsledky, naznačují autoři, ukazují nutnost vnitřní kompromisu, se silnějším odstraněním zvyšujícím riziko nesprávného přenosu atributů.

Závěr

Latentní prostor modelu se nezaplní během trénování uspořádaným způsobem, s odvozenými koncepty uloženými pěkně na policích nebo do šanonů; spíše jsou trénované embeddingy jak obsahem, tak i jejich kontejnery: nejsou odděleny žádnými ostrými hranicemi, ale spíše se prolínají do sebe způsobem, který činí odstranění problematickým – jako pokus o extrakci libry masa bez ztráty krve.

V inteligentních a evolučních systémech, základní události – jako spálení prstů a následné zacházení s ohněm s úctou – jsou vázané s chováním a asociacemi, které později tvoří, činící obtížným vytvořit model, který může být zbaven korelátů centrálního, potenciálně “zakázaného” konceptu, ačkoli postrádá sám koncept.

* Mé převedení inline citací autorů na hypertextové odkazy.

Poprvé publikováno v pátek, 22. srpna 2025