„Chráněné“ obrázky se s umělou inteligencí snáze, nikoli obtížněji ukradnou

Nový výzkum naznačuje, že nástroje pro tvorbu vodoznaků, které mají blokovat úpravy obrázků pomocí umělé inteligence, se mohou obrátit proti nim. Místo toho, aby modely, jako je Stable Diffusion, bránily v provádění změn, některé ochrany ve skutečnosti... pomoc Umělá inteligence přesněji sleduje pokyny k úpravám, což usnadňuje nežádoucí manipulace.

V literatuře o počítačovém vidění existuje pozoruhodná a robustní část věnovaná ochraně obrázků chráněných autorskými právy před trénováním do modelů umělé inteligence nebo jejich použitím v procesech přímého přenosu obrazu z obrazu umělé inteligence. Systémy tohoto druhu jsou obecně zaměřeny na... Modely latentní difúze (LDM) jako např Stabilní difúze si Proudění, které využívají založený na hluku postupy pro kódování a dekódování obrazů.

By vkládání adversarialního šumu do jinak normálně vypadajících obrazů, může být možné způsobit, že detektory obrazu nesprávně odhadnout obsah obrázkua bránit systémům generujícím obrazy ve zneužívání dat chráněných autorskými právy:

Z článku MIT „Zvyšování nákladů na škodlivou úpravu obrázků s využitím umělé inteligence“ jsou příklady zdrojového obrázku „imunizovaného“ proti manipulaci (dolní řádek). Zdroj: https://arxiv.org/pdf/2302.06588

Od roku negativní reakce umělců Proti liberálnímu používání webových scrabovaných obrázků (včetně obrázků chráněných autorskými právy) společností Stable Diffusion v roce 2023 se na výzkumné scéně objevilo několik variací na stejné téma – myšlenka, že obrázky lze neviditelně „otrávit“ tak, aby nebyly trénovány do systémů umělé inteligence nebo nasávány do generativních kanálů umělé inteligence, aniž by to negativně ovlivnilo kvalitu obrazu pro průměrného diváka.

Ve všech případech existuje přímá korelace mezi intenzitou vložené perturbace, mírou, do jaké je obraz následně chráněn, a mírou, do jaké obraz nevypadá tak dobře, jak by měl:

Ačkoli kvalita výzkumného PDF souboru problém zcela neilustruje, větší množství nepřátelských perturbací obětuje kvalitu ve prospěch bezpečnosti. Zde vidíme škálu narušení kvality v projektu „Fawkes“ z roku 2020, který vede Chicagská univerzita. Zdroj: https://arxiv.org/pdf/2002.08327

Pro umělce, kteří se snaží chránit své styly před neoprávněným přivlastněním, je obzvláště zajímavá schopnost takových systémů nejen zamlžit identitu a další informace, ale „přesvědčit“ trénovací proces umělé inteligence, že vidí něco jiného, ​​než co ve skutečnosti vidí, aby se nevytvářela spojení mezi sémantickou a vizuální doménou pro „chráněná“ trénovací data (tj. výzva jako Ve stylu Paula Kleeho).

Mlha a glazura jsou dvě populární metody vstřikování, které dokáží zabránit nebo alespoň výrazně ztížit pokusy o použití stylů chráněných autorskými právy v pracovních postupech a tréninkových rutinách umělé inteligence. Zdroj: https://arxiv.org/pdf/2506.04394

Vlastní cíl

Nový výzkum z USA nyní zjistil, že nejenže perturbace nemusí obraz ochránit, ale že přidání perturbace může ve skutečnosti... zlepšit zneužitelnost obrazu ve všech procesech umělé inteligence, proti kterým má perturbace imunizovat.

Článek uvádí:

„V našich experimentech s různými metodami ochrany obrazu založenými na perturbacích v různých oblastech (obrázky přírodních scén a umělecká díla) a editačních úlohách (generování obrázků a úprava stylů) jsme zjistili, že taková ochrana tohoto cíle zcela nedosahuje.“

Ve většině scénářů generuje difúzní editace chráněných obrázků požadovaný výstupní obraz, který přesně odpovídá zadaným pokynům.

Naše zjištění naznačují, že přidání šumu k obrázkům může paradoxně zvýšit jejich asociaci s danými textovými pokyny během procesu generování, což vede k nezamýšleným důsledkům, jako je například... lepší výsledné úpravy.

„Proto tvrdíme, že metody založené na perturbacích nemusí poskytovat dostatečné řešení pro robustní ochranu obrazu proti úpravám založeným na difúzi.“

V testech byly chráněné snímky vystaveny dvěma známým scénářům úprav s využitím umělé inteligence: přímému generování obrázků a přenos styluTyto procesy odrážejí běžné způsoby, jakými mohou modely umělé inteligence zneužívat chráněný obsah, a to buď přímou úpravou obrázku, nebo vypůjčením jeho stylistických rysů pro použití jinde.

Chráněné snímky, získané ze standardních zdrojů fotografií a uměleckých děl, byly propuštěny těmito kanály, aby se zjistilo, zda by přidané poruchy mohly blokovat nebo znehodnotit úpravy.

Místo toho se zdálo, že přítomnost ochrany často zostřuje soulad modelu s výzvami a produkuje čisté a přesné výstupy tam, kde se očekávalo nějaké selhání.

Autoři v podstatě upozorňují, že tato velmi populární metoda ochrany může poskytovat falešný pocit bezpečí a že jakékoli takové imunizační přístupy založené na poruchách by měly být důkladně otestovány s metodami, které sami použili.

Metoda

Autoři provedli experimenty s použitím tří ochranných metod, které aplikují pečlivě navržené kontradiktorní perturbace: PhotoGuard; MlhaA Glazura.

Glaze, jeden z frameworků testovaných autory, ilustrující příklady ochrany Glaze pro tři umělce. První dva sloupce ukazují původní umělecká díla; třetí sloupec ukazuje výsledky mimikry bez ochrany; čtvrtý ukazuje verze s přeneseným stylem použité pro optimalizaci maskování spolu s názvem cílového stylu. Pátý a šestý sloupec ukazují výsledky mimikry s aplikovaným maskováním na úrovních perturbace. p = 0.05 si p = 0.1. Všechny výsledky používají modely stabilní difúze. https://arxiv.org/pdf/2302.04222

PhotoGuard byl aplikován na snímky přírodních scenérií, zatímco Mist a Glaze byly použity na umělecká díla (tj. domény s „uměleckým stylem“).

Testy zahrnovaly jak přírodní, tak umělecké snímky, aby odrážely možné využití v reálném světě. Účinnost každé metody byla posouzena kontrolou, zda model umělé inteligence dokáže při práci s chráněnými snímky stále vytvářet realistické a relevantní úpravy; pokud výsledné snímky působily přesvědčivě a odpovídaly pokynům, byla ochrana posouzena jako selhaná.

Stabilní difúze v1.5 byl použit jako předtrénovaný generátor obrázků pro editační úkoly výzkumníků. Pět semena byly vybrány pro zajištění reprodukovatelnosti: 9222, 999, 123, 66 a 42. Všechna ostatní nastavení generování, jako je stupnice navádění, síla a celkový počet kroků, se řídila výchozími hodnotami použitými v experimentech PhotoGuard.

PhotoGuard byl testován na snímcích přírodních scenérií s využitím Flickr8k datová sada, která obsahuje přes 8,000 XNUMX obrázků spárovaných až s pěti popisky ke každému.

Protichůdné myšlenky

Z prvního popisku každého obrázku byly s pomocí vytvořeny dvě sady upravených popisků. Claude Sonnet 3.5Jedna sada obsahovala výzvy, které byly kontextově blízké k původním titulkům; druhá sada obsahovala nápovědy, které byly kontextově vzdálený.

Například z původního popisku Mladá dívka v růžových šatech vstupuje do dřevěné chatky, výzva k uzavření by byla Mladý chlapec v modré košili vchází do cihlového domu. Naproti tomu a vzdálený výzva by byla Dvě kočky lenoší na gauči.

Blízké výzvy byly vytvořeny nahrazením podstatných a přídavných jmen sémanticky podobnými termíny; vzdálené výzvy byly generovány na základě pokynu modelu k vytvoření popisků, které se kontextově velmi lišily.

Všechny vygenerované titulky byly ručně kontrolovány z hlediska kvality a sémantické relevance. Univerzální kodér vět byl použit k výpočtu skóre sémantické podobnosti mezi původními a upravenými titulky:

Z doplňkového materiálu, rozdělení sémantické podobnosti pro upravené popisky použité v testech Flickr8k. Graf vlevo ukazuje skóre podobnosti pro úzce upravené popisky s průměrem kolem 0.6. Graf vpravo ukazuje extenzivně upravené popisky s průměrem kolem 0.1, což odráží větší sémantickou vzdálenost od původních popisků. Hodnoty byly vypočítány pomocí nástroje Google Universal Sentence Encoder. Zdroj: https://sigport.org/sites/default/files/docs/IncompleteProtection_SM_0.pdf

Každý snímek spolu s jeho chráněnou verzí byl upraven s využitím pokynů pro blízký i vzdálený pohled. Hodnotitel prostorové kvality obrazu pro slepé/bezreferenční účely (BRISQUE) byl použit k posouzení kvality obrazu:

Výsledky generování obrázků z obrázků na přírodních fotografiích chráněných PhotoGuardem. Navzdory přítomnosti perturbací Stable Diffusion v1.5 úspěšně sledoval malé i velké sémantické změny v editačních pokynech a produkoval realistické výstupy, které odpovídaly novým instrukcím.

Vygenerované obrázky dosáhly v programu BRISQUE skóre 17.88, přičemž 17.82 pro blízké výzvy a 17.94 pro vzdálené výzvy, zatímco původní obrázky dosáhly skóre 22.27. To ukazuje, že upravené obrázky si zachovaly blízkou kvalitu originálů.

Metrics

Aby vědci posoudili, jak dobře ochrany zasahovaly do úprav pomocí umělé inteligence, měřili, jak přesně se výsledné obrázky shodovaly s zadanými pokyny, a to pomocí systémů hodnocení, které porovnávaly obsah obrázku s textovým pokynem, aby zjistily, jak dobře se zarovnávají.

Za tímto účelem CLIP-S metrika používá model, který dokáže rozpoznat obrázky i text, aby ověřila, jak moc si jsou podobné, zatímco PAC-S++, přidává další vzorky vytvořené umělou inteligencí, aby se jeho srovnání více přiblížilo lidskému odhadu.

Tato skóre zarovnání obrázku a textu (ITA) označují, jak přesně umělá inteligence dodržovala pokyny při úpravě chráněného obrázku: pokud chráněný obrázek stále vedl k vysoce zarovnanému výstupu, znamená to, že ochrana byla považována za neúspěšný zablokovat úpravu.

Vliv ochrany na datovou sadu Flickr8k u pěti semen s použitím blízkých i vzdálených prompts. Zarovnání obrázku a textu bylo měřeno pomocí skóre CLIP-S a PAC-S++.

Výzkumníci porovnávali, jak dobře umělá inteligence dodržovala pokyny při úpravě chráněných a nechráněných obrázků. Nejprve se zaměřili na rozdíl mezi těmito dvěma, tzv. Skutečná změnaPak byl rozdíl zvětšen, aby se vytvořil Procentní změna, což usnadňuje porovnávání výsledků napříč mnoha testy.

Tento proces odhalil, zda ochrany ztěžovaly nebo usnadňovaly umělé inteligenci porovnávání pokynů. Testy byly pětkrát opakovány s použitím různých náhodných seedů, přičemž zahrnovaly jak malé, tak velké změny původních titulků.

Umělecký útok

Pro testy na přírodních fotografiích byl použit datový soubor Flickr1024, který obsahuje přes tisíc vysoce kvalitních obrázků. Každý obrázek byl upraven pomocí pokynů podle následujícího vzoru: 'změnit styl na [V]', Kde [PROTI] reprezentoval jeden ze sedmi slavných uměleckých stylů: kubismus, postimpresionismus, impresionismus, surrealismus, baroko, fauvismus a renesanci.

Proces zahrnoval aplikaci PhotoGuardu na původní obrázky, generování chráněných verzí a následné spuštění chráněných i nechráněných obrázků stejnou sadou úprav pro přenos stylů:

Originální a chráněné verze obrazu přírodní scenérie, každá upravená s využitím stylů kubismu, surrealismu a fauvismu.

Pro otestování metod ochrany uměleckých děl byl proveden přenos stylů na obrázcích z WikiArt datová sada, která spravuje širokou škálu uměleckých stylů. Výzvy k úpravám měly stejný formát jako předtím a instruovaly umělou inteligenci, aby styl změnila na náhodně vybraný, nesouvisející styl převzatý z popisků WikiArt.

Před úpravami byly na snímky aplikovány metody ochrany Glaze i Mist, což umožnilo vědcům sledovat, jak dobře by každá ochrana mohla blokovat nebo zkreslovat výsledky přenosu stylu:

Příklady toho, jak metody ochrany ovlivňují přenos stylu na umělecká díla. Původní barokní obraz je zobrazen vedle verzí chráněných metodami Mist a Glaze. Po aplikaci přenosu stylu kubismu lze vidět rozdíly v tom, jak každá ochrana ovlivňuje konečný výstup.

Výzkumníci také kvantitativně testovali srovnání:

Změny skóre zarovnání obrázku a textu po úpravách přenosu stylů.

K těmto výsledkům autoři komentují:

Výsledky zdůrazňují významné omezení adverzárních perturbací pro ochranu. Místo toho, aby bránily sladění, adverzární perturbace často zvyšují citlivost generativního modelu na výzvy, což neúmyslně umožňuje zneužívajícím osobám vytvářet výstupy, které více odpovídají jejich cílům. Taková ochrana nenarušuje proces úpravy obrázků a nemusí být schopna zabránit škodlivým agentům v kopírování neoprávněného materiálu.

„Nezamýšlené důsledky používání kontradiktorních perturbací odhalují zranitelnosti stávajících metod a zdůrazňují naléhavou potřebu účinnějších ochranných technik.“

Autoři vysvětlují, že neočekávané výsledky lze vysledovat k tomu, jak fungují difúzní modely: LDM upravují obrazy tak, že je nejprve převedou do komprimované verze nazývané latentní; k tomuto latentnímu signálu se poté přidá šum přes mnoho kroků, dokud se data nestanou téměř náhodnými.

Model tento proces během generování obrací a postupně odstraňuje šum. V každé fázi tohoto obrácení textová výzva pomáhá s postupným odstraňováním šumu a postupným tvarováním obrazu tak, aby odpovídal výzvě:

Porovnání generací z nechráněného obrazu a obrazu chráněného technologií PhotoGuard, s mezilehlými latentními stavy převedenými zpět do obrazů pro vizualizaci.

Metody ochrany přidávají k původnímu obrazu malé množství šumu, než vstoupí do tohoto procesu. I když jsou tyto poruchy zpočátku nepatrné, hromadí se, jakmile model aplikuje vlastní vrstvy šumu.

Toto nahromadění zanechává více částí obrazu „nejistých“, když model začíná odstraňovat šum. S větší nejistotou se model více spoléhá na textovou výzvu k doplnění chybějících detailů, čímž výzvu ještě větší vliv, než by měl normálně.

Tato ochrana ve skutečnosti usnadňuje umělé inteligenci přetváření obrazu tak, aby odpovídal výzvě, spíše než aby to ztěžovala.

Autoři nakonec provedli test, který nahradil vytvořené perturbace z Zvyšování nákladů na škodlivou úpravu obrázků s využitím umělé inteligence paper pro čistý Gaussův šum.

Výsledky sledovaly stejný vzorec, jaký byl pozorován dříve: napříč všemi testy zůstaly hodnoty procentuální změny kladné. I tento náhodný, nestrukturovaný šum vedl k silnějšímu sladění mezi generovanými obrázky a výzvami.

Vliv simulované ochrany pomocí Gaussova šumu na datovou sadu Flickr8k.

To podpořilo základní vysvětlení, že jakýkoli přidaný šum, bez ohledu na jeho návrh, vytváří během generování větší nejistotu modelu, což umožňuje textovému výzvám vykonávat ještě větší kontrolu nad výsledným obrázkem.

Proč investovat do čističky vzduchu?

Výzkumná scéna prosazuje spory o autorská práva k LDM téměř tak dlouho, jak LDM existují; ale z mimořádného počtu článků publikovaných na toto téma se neobjevila žádná odolná řešení.

Buď vložené rušení nadměrně snižují kvalitu obrazu, nebo se vzory ukážou jako neodolné vůči manipulaci a transformačním procesům.

Je však těžké se tohoto snu vzdát, protože alternativou by se zdály frameworky pro monitorování a ověřování původu od třetích stran, jako například systém vedený společností Adobe. Schéma C2PA, který se snaží udržovat řetězec ochrany snímků od snímače kamery, ale nemá žádnou vrozenou souvislost se zobrazeným obsahem.

V každém případě, pokud adversární perturbace problém ve skutečnosti zhoršuje, jak naznačuje nová studie, což by v mnoha případech mohlo být pravda, je otázkou, zda hledání ochrany autorských práv těmito prostředky nespadá pod „alchymii“.

Poprvé publikováno v pondělí 9. června 2025