Přidání “tajných identit” chráněným animovaným postavám

Nový výzkum z Číny nabízí nenáročný způsob ochrany chráněných animovaných postav tím, že “vkládá” obecné náhražky během inferenční doby. Ale může tato metoda porazit vynalézavost prompt-hackerů?

Vzhledem k rozsahu chráněného materiálu přítomného v hyperscale datasets (kvůli obrovským nákladům na odstranění těchto porušení), modely trénované na nich mají tendenci reprodukovat chráněné postavy.

Přímá editace trénovaného modelu nebo použití filtrů pro zachycení klíčových slov, když je model přístupný prostřednictvím API, může být často zmařena tím, že se chráněný prvek popisuje elipticky:

Chráněná postava vytvořená populárním AI chatbotem, zřejmě bez přímého vyvolání názvu postavy. Zdroj

V silné a trvalé linii výzkumu se model-modifikace techniky snažily upravit parametry v trénovaném modelu, s různými výsledky:

Z roku 2023, paper Ablating Concepts in Text-to-Image Diffusion Models, fotorealistické reprezentace herečky Brie Larson jako 'Captain Marvel' – zakódované v populárním difuzním modelu – jsou transformovány do volně souvisejících karikatur, když jsou požadovány uživatelem. Zdroj

Jedná se však o poškozující a nepřesnou metodu, a jedna, která může často ovlivnit další charakteristiky trénovaného modelu; k tomu existuje více způsobů, jak ji obejít.

Druhým oblíbeným přístupem je “negativní prompting”, kdy je spolu s uživatelským promptem odeslán “anti-prompt”, navržen tak, aby omezil výstup. Když jsou modely přístupné prostřednictvím API (jako všechny modely na hranici), “tajný” negativní prompt může být odeslán spolu s známým uživatelským promptem, skládající se z rubriky navržené tak, aby modelu zabránil v dodání zakázaného materiálu uživateli. Tento přístup, i když populární jako vektor ochrany autorských práv, ne vždy funguje.

Většina práce kolem post-facto inferenční cenzury se zaměřuje na širší problém zajištění toho, aby modely nevydávaly CSAM nebo jakýkoli typ NSFW materiálu, navzdory vysokým množstvím takového materiálu pravděpodobně přítomnému v trénovacích datech hlavního modelu. Tyto iniciativy mohou ovlivnit celé třídy obsahu, spíše než konkrétní instance, a obvykle postrádají potřebnou nuanci, aby řešily obavy držitelů autorských práv, kteří se snaží potlačit konkrétní identity.

Dvojníci

S tímto na vědomí, nový paper z Číny navrhuje nahradit chráněné animované postavy během generování obrazu naučenými obecnými náhražkami – “dvojníky”, které uchovávají dostatek tvaru a struktury postavy, aby zachovaly okolní scénu, zatímco odstraňují jakékoli rozlišitelné detaily spojené s chráněnou postavou:

'Anonymizované' reprezentace chráněného materiálu jinak přítomného a přístupného v trénovaném modelu, dosažené novou metodou vkládání. Zdroj

Klíčovým je, že tato intervence probíhá během generování bez modifikace nebo jemného ladění základního difuzního modelu, a může být upravena tak, aby určovala, do jaké míry je původní postava vymazána.

Přístup implicitně uznává, že modifikace modelu je špatná metoda pro tento účel, a místo toho vkládá vytvořené vložené do inferenčního procesu – vložené, které jsou navrženy tak, aby “přestavět” spíše než odstranit (vynulovat, odstranit) chráněný majetek. Proces přímo neovlivňuje nebo nemodifikuje základní model, a proto jej lze znovu použít nebo upravit pro různé modely.

Ačkoli byla metoda testována autory na starších Stable Diffusion modelech, byla také úspěšně vyzkoušena na mnohem novějším Z-Image architektuře, naznačující, že koncept autorů je aplikovatelný na řadu generativních architektur.

Paper uvádí:

‘[My] navrhujeme kontrolovatelnou metodu, která funguje na modelově kontinuální textové reprezentaci, aby vymazala cílové postavy během generování. Optimalizujeme kotvu pomocí strukturálních a detailních omezení, aby sloužila jako náhrada postavy, a pak nahrazujeme cílové související vložené pomocí strukturou vědomé adaptivní strategie.

‘Experimenty ukazují, že naše metoda dosahuje nejlepší účinnosti vymazání a uchování obrazové věrnosti, zatímco podporuje kontrolovatelné vymazání stupně, odstranění více cílů a přenositelnost modelu.

‘Kromě toho naše optimalizované kotvy jsou plug-and-play se současnými modelovými modifikačními metodami, aby zlepšily jejich výkon vymazání.’

Nová metoda překlenula různé architektury a nabízí jemnou kontrolu, podle autorů.

Nový paper se nazývá Vymaž, ale zachovej: Kontrolovatelné odstranění chráněných animovaných postav pomocí optimalizovaných sémantických kotev a pochází od sedmi autorů z Institute of Information Engineering na Chinese Academy of Sciences a University of Chinese Academy of Sciences v Pekingu.

Metoda

Centrální myšlenka za novou metodou, jak je znázorněno níže, spočívá v tom, že vytvoří náhradu za každou chráněnou postavu, která uchovává její široký tvar a strukturu, zatímco se zbavuje rozlišitelných vizuálních detailů, které činí postavu rozpoznatelnou – a pak tuto náhradu použít během generování obrazu, kdykoli je chráněná postava požadována.

Schéma pro nový přístup.

Náhrada, kterou autoři nazývají kotvou, je navržena tak, aby uchovávala dostatek původní postavy, aby se přirozeně vešla do stejné scény, zatímco se zbavovala detailů, které činí postavu rozpoznatelnou.

Pro dosažení tohoto cíle systém porovnává hrubé strukturální informace vygenerované pro původní postavu s těmi, které jsou vygenerovány pro rozvíjející se kotvu, tlačíce je k podobnému celkovému tvaru. Referenční obrázek chráněné postavy je pak použit pro opačný účel, tlačíce kotvu od rozpoznatelných jemnějších detailů:

Metoda pro konstrukci nezpochybnitelné náhrady za chráněnou postavu. Postavina široká struktura je uchována, zatímco její rozlišitelné vizuální detaily jsou potlačeny, produkující optimalizovanou 'kotvu' pro použití během generování.

Výsledná kotva tak záměrně obsazuje středně pozici mezi uchováním požadované kompozice a odstraněním chráněné identity.

Od kotvy pryč

Jakmile jsou tyto vlastnosti stanoveny, kotva potřebuje být přeložena do něčeho, co difuzní model může pochopit. Zástupný termín Kotva* [sic] je proto dán své naučené reprezentaci uvnitř CLIP textového encoderu, efektivní vytváření nového umělého slova/skupiny, jehož význam může být utvořen bez změny základního modelu generování obrazu.

Tato nová reprezentace je opakovaně upravována podle strukturálních a detailních cílů popsáno výše, učí Kotvu* znamenat něco široce tvarovaného jako chráněná postava, ale zbavené její rozpoznatelné podoby.

Zbytek textového encoderu zůstává zamrzlý během tohoto procesu, zatímco běžné start, end a padding tokeny obklopující Kotvu* poskytují kontext potřebný k převodu této nově naučené pseudo-slova na konečné vložené používané během generování.

Adaptivní náhrada

Během generování (inferenční doby) algoritmus hledá v zakódovaném promptu termíny spojené s chráněnou postavou a nahrazuje naučené kotvové vložené na jejich místo, zatímco také upravuje end a padding vložené, které nesou kontextuální informace.

Pro přípravu na to systém nejprve umožňuje denoising, aby stanovil širokou kompozici požadovaného obrazu, sleduje změny v jeho hrubé struktuře, aby určil, kdy se tato kompozice začala stabilizovat:

Reprezentace, kdy kotvová náhrada nastává během generování obrazu. Změny v hrubé struktuře obrazu jsou sledovány po celou dobu denoisingu, s náhradou spuštěnou kolem bodu, kde se celková kompozice stabilizuje a jemnější detaily začínají vyvíjet.

Na obrázku výše vidíme, že tato přechodová fáze nastává kolem timestepu 720, kde měřená strukturální změna dosáhne maxima a poté začíná klesat. V tomto okamžiku se celková kompozice obrazu již značně vytvořila, umožňující kotvě nahradit chráněnou postavu, zatímco snižuje riziko narušení zavedené kompozice.

Data a testy

Autoři porovnali svůj přístup se šesti prompt-báziemi: Safe Latent Diffusion (SLD); STG; SAFREE; TraSCE; a Negative Prompting (NP).

Optimalizované kotvové vložené byly také integrovány do čtyř stávajících model-modifikačních metod: MACE; UCE; ESD-u; a AC. To bylo provedeno za účelem testování, zda tyto metody mohou vylepšit navrhovaný model, pokud jde o odstranění postavy.

Pro hodnocení byla sestavena sada 80 animovaných postav, skládající se z 36 antropomorfních postav; 23 zvířecích forem; a 21 z různých kategorií – s výběrem všech postav, které mohly být spolehlivě reprodukovány difuzními modely.

Pak bylo vygenerováno 100 obrazů pro každou postavu, pomocí promptů vyprodukovaných GPT-4o.

Stable Diffusion v1.4 byl použit pro hlavní experimenty, s přenositelností dodatečně testovanou na dalších verzích Stable Diffusion v1.5; V2; v2.1; XL base 1.0; a také mnohem novější DiT-based Z-Image. Žádné jemné ladění modelu nebylo provedeno, ponechávající parametry každého předtrénovaného modelu nezměněné.

Pro metriky LLaVA-1.5 a BLIP-3 měřily, zda cílová postava zůstala rozpoznatelná, s nižší identifikační přesností indikující dokonalejší odstranění; Structural Similarity Index (SSIM) měřil strukturální uchování; Learned Perceptual Similarity Metrics (LPIPS) měřil percepční rozdíl; a Aesthetic Predictor V2 Score hodnotil vizuální kvalitu upraveného obrazu.

Fréchet Inception Distance (FID) a CLIP Score byly navíc vypočteny z nepříbuzných promptů v COCO-30K, aby se měřilo, zda normální generování obrazu bylo ovlivněno:

Testovací výsledky porovnávající metody odstranění postav napříč 80 animovanými postavami. První dvě sloupce měří, jak často mohla být údajně vymazaná postava stále rozpoznána, takže nižší skóre indikuje lepší odstranění. Zbývající sloupce měří, jak dobře byla původní obraz a nesouvisející generování uchována. Šipky ukazují, zda vyšší nebo nižší skóre jsou preferovány; tučné označuje nejlepší výsledek a podtržení druhé nejlepší.

Z těchto počátečních výsledků pro kvantitativní srovnání autoři uvádějí:

‘Ve srovnání se všemi základními metodami dosáhly obrazy vymazané naší metodou nejnižších přesností pro úspěšnou identifikaci cílové postavy jak LLaVA-1.5 (6,0%), tak BLIP-3 (4,0%), s poklesy o 3,5% a 1,7% ve srovnání s druhou nejnižší, resp.

‘To demonstruje účinnost našeho odstranění, protože efektivně oklame multimodální velké modely.’

Pro uchování obrazu autoři metody dosáhli nejvyššího skóre SSIM, na 0,467, a nejnižšího skóre LPIPS, na 0,505 – indikující nejsilnější uchování nesouvisejícího obsahu a strukturální uchování mezi testovanými metodami. Dosáhli také nejvyššího Aesthetic Predictor V2 Score mezi metodami odstranění postav, na 5,18, naznačující, že toto uchování nepřichází na úkor celkové vizuální kvality.

Následoval kvalitativní test:

Testovací výsledky porovnávající odstranění postav napříč pěti animovanými postavami. Každý řádek ukazuje výsledky z jiné metody, s původními generacemi Stable Diffusion v1.4 na vrcholu a navrhovanou metodou dole. Navrhovaná metoda konzistentněji nahrazuje cílové postavy, zatímco uchovává okolní scénu. Prosím, odkážete se na původní zdroj PDF nebo projektové stránky pro mírně lepší rozlišení.

Podle papíru ukazují příklady zvláště zřetelné rozdíly pro postavy s komplexnějšími tvary a atributy, s Donaldem Duckem a Super Mariem jako příklady:

‘[Naše] metoda dosahuje bezchybného odstranění animovaných postav pomocí optimalizovaných kotev, zatímco prompt-báziční metody často selhávají – zvláště pro postavy s komplexními tvary a atributy (například Donald Duck a Super Mario).

‘Kromě toho [naše] metoda dosahuje uchování pozadí bez rozmazání nebo zkreslení, podporující iterativní kreativní pracovní postupy.’

Jemná kontrola

Kontinuální vložený prostor také umožňuje upravit sílu odstranění postavy, spíše než ji považovat za všechno nebo nic. Interpolací mezi optimalizovanou kotvou a původním cílovým vložením může metoda postupně obnovit více postavy, zatímco uchovává strukturu okolního obrazu:

Testovací obrázky ukazující různé stupně odstranění postavy. První tři sloupce ukazují původní postavu, vymazanou verzi a vizuální funkce odstraněné; zbývající sloupce ukazují mezilehlé nastavení na α=0,25, 0,5 a 0,75. Vyšší hodnoty α uchovávají postupně více původní postavy. Prosím, odkážete se na původní zdroj PDF nebo projektové stránky pro mírně lepší rozlišení.

Jako je vidět výše, autoři také otestovali tuto kontrolu na postavách Winnie the Pooh; Olaf; Minnie Mouse; a Stitch. Strukturální podobnost zůstala relativně stabilní, jak se síla obnovení změnila, zatímco rozpoznání LLaVA-1.5 a BLIP-3 se zvýšilo, jak více postavy bylo obnoveno.

Winnie the Pooh a Stitch se staly rozpoznatelnými přes relativně úzké rozmezí; Olaf a Minnie Mouse se změnily postupně; a Minnie Mouse se stala rozpoznatelnou s relativně malým množstvím obnovení, demonstrující, že vhodná síla odstranění závisí na cílové postavě.

Byly provedeny další experimenty pro nahrazení více cílů najednou, a odkazujeme čtenáře na původní papír pro více detailů o tomto a dalších doplňkových výsledcích a materiálech.

Závěr

Jako vždy, tato poslední nuance autorskoprávních zábran je ekvivalentní zajištění stáje, až když kůň už utekl.

V těch vzácných případech, kdy výzkumníci a společnosti snažili potlačit modelovu schopnost produkovat nahotu a/nebo pornografii, odstraněním vnitřního přístupu k “NSFW” materiálu v datech (protože je stále příliš drahé je skutečně kurátorovat), ukázalo se, že model již nemůže správně pochopit lidskou anatomii.

Nový přístup navrhovaný zde je, zřejmě, ekvivalentní odstranění konkrétní pornohvězdy, v případě, kdy je budován filtr NSFW pro model trénovaný na nespecificky vybraných webových obsazích. Pro novou metodu, vytvoření “obecného dvojníka” pro chráněnou postavu musí nutně ponechat superhrdinskou doménu v modelově latentním prostoru; a čím důležitější je cílová chráněná postava, tím více definuje svou doménu v trénovaném prostoru.

Tudíž odstranění této postavy je jako pokus o odstranění cukru z kávy, jednou když je promíchán.

Proto, zatímco tento přístup může享at omezený úspěch, pokud je přidán do stále rostoucích API brán hranicích modelů, propojená povaha GenAI modelu naznačuje historicky, že chráněný materiál, který tato metoda cílí, může zůstat přístupný díky obvyklé vynalézavosti prompterů.

Poprvé publikováno v pátek, 14. srpna 2026