Kódování obrazů proti použití v systémech Deepfake a syntéze obrazů

Nejznámější směr výzkumu v rostoucím sektoru anti-deepfake zahrnuje systémy, které mohou rozpoznat artefakty nebo jiné předpokládané rozlišující charakteristiky deepfaked, syntetizovaných nebo jinak falšovaných nebo “upravených” obličejů ve videu a obrazovém obsahu.

Takové přístupy využívají různých taktik, včetně detekce hloubky, poruch videa, variace osvětlení monitoru (v potenciálně deepfaked živých videohovorech), biometrické rysy, vnější oblasti obličeje a dokonce i skryté síly lidského podvědomí.

Co tyto a podobné metody mají společného, je to, že do doby, než jsou nasazeny, centrální mechanismy, proti kterým bojují, již byly úspěšně vyškoleny na tisících nebo stovkách tisíc obrazů stažených z webu – obrazů, z nichž autoencoderové systémy mohou snadno odvodit klíčové rysy a vytvořit modely, které mohou přesně vložit falešnou identitu do videozáznamu nebo syntetizovaných obrazů – dokonce v reálném čase.

Stručně řečeno, do doby, než jsou takové systémy aktivní, už je kůň pryč.

Obrazy, které jsou nepřátelské vůči architekturám Deepfake/Syntéza

Cestou více preventivní postoje k hrozbě deepfakes a syntézy obrazů je méně známý směr výzkumu v tomto sektoru, který zahrnuje možnosti spojené s tím, že všechny tyto zdrojové fotografie nepřátelské vůči systémům syntézy obrazů AI, obvykle nepozorovatelnými nebo stěží pozorovatelnými způsoby.

Příklady zahrnují FakeTagger, návrh z roku 2021 od různých institucí v USA a Asii, který kóduje zprávy do obrazů; tyto kódování jsou odolná proti procesu generalizace a lze je poté obnovit i po tom, co byly obrazy staženy z webu a vyškoleny v Generative Adversarial Network (GAN) typu, který je nejznáměji reprezentován thispersondoesnotexist.com a jeho četnými deriváty.

FakeTagger kóduje informace, které mohou přežít proces generalizace při školení GAN, což umožňuje zjistit, zda určitý obraz přispěl ke generativním schopnostem systému. Zdroj: https://arxiv.org/pdf/2009.09869.pdf

Pro ICCV 2021 navrhl mezinárodní tým umělé otisky prstů pro generativní modely, (viz obrázek níže) které opět produkují obnovitelné “otisky prstů” z výstupu syntézy obrazu GAN, jako je StyleGAN2.

I když jsou provedeny extrémní manipulace, ořezávání a výměna obličeje, otisky prstů procházející ProGAN zůstávají obnovitelné. Zdroj: https://arxiv.org/pdf/2007.08457.pdf

Jiné iterace tohoto konceptu zahrnují projekt z roku 2018 od IBM a digitální vodotiskový systém ve stejném roce z Japonska.

Více inovativně, iniciativa z roku 2021 od Nanjing University of Aeronautics and Astronautics se snažila “zašifrovat” trénovací obrazy takovým způsobem, aby fungovaly pouze na autorizovaných systémech, ale selhaly by katastrofálně, pokud by byly použity jako zdrojová data v generickém trénovacím procesu syntézy obrazu.

Ve skutečnosti všechny tyto metody spadají do kategorie steganografie, ale ve všech případech je jedinečná identifikační informace v obrazech potřebná kódovat jako takovou základní “funkci” obrazu, aby nebyla žádná šance, že by autoencoder nebo GAN architektura odstranila tyto otisky prstů jako “šum” nebo outlier a nezákladní data, ale spíše je zakóduje spolu s ostatními rysy obličeje.

V téže době nelze procesu dovolit zkreslit nebo jinak ovlivnit obraz tak, aby byl vnímán náhodnými diváky jako vadný nebo nízké kvality.

TAFIM

Nyní, nový německý výzkumný projekt (z Technické univerzity v Mnichově a Sony Europe RDC Stuttgart) navrhl techniku kódování obrazu, při které modely deepfake nebo frameworky typu StyleGAN, které jsou vyškoleny na zpracovaných obrazech, produkují nepoužitelný modrý nebo bílý výstup, resp.

TAFIMova nízkoúrovňová perturbace obrazu řeší několik možných typů zkreslení/nahrazení obličeje, což nutí modely vyškolené na těchto obrazech produkovat zkreslený výstup, a je podle autorů použitelný i v reálném čase, jako je například DeepFaceLive’s reálný deepfake streaming. Zdroj: https://arxiv.org/pdf/2112.09151.pdf

Článek, nazvaný TAFIM: Targeted Adversarial Attacks against Facial Image Manipulations, používá neuronovou síť k zakódování stěží pozorovatelných perturbací do obrazů. Po školení a generalizaci obrazů do syntetické architektury bude výsledný model produkovat zbarvený výstup pro vstupní identitu, pokud se používá ve stylu mixování nebo přímém nahrazení obličeje.

Překódování webu..?

Nicméně, v tomto případě nejsme zde, abychom prozkoumali detaily a architekturu nejnovější verze tohoto populárního konceptu, ale spíše abychom uvážili praktičnost celého nápadu – zejména ve světle rostoucí kontroverze kolem použití veřejně dostupných obrazů k napájení rámců syntézy obrazu, jako je Stable Diffusion, a následných právních implikací odvození komerčního softwaru z obsahu, který může (alespoň v některých jurisdikcích) nakonec prokázat právní ochranu proti ingestování do architektur syntézy AI.

Proaktivní, kódovací přístupy tohoto druhu přicházejí za nemalou cenu. Nejméně by to vyžadovalo zavedení nových a prodloužených kompresních rutin do standardních webových zpracovacích knihoven, jako je ImageMagick, které pohání velký počet nahrávacích procesů, včetně mnoha sociálních médií, které převádějí původní uživatelské obrazy do optimalizovaných verzí, které jsou vhodné pro lehké sdílení a síťové distribuce, a také pro provádění transformací, jako jsou ořezávání a další augmentace.

Primární otázka, kterou to vyvolává, je: zda by takový systém byl implementován “vpřed”, nebo zda by byla zamýšlena širší a retroaktivní nasazení, která řeší historický mediální obsah, který mohl být dostupný, “neporušený”, po desetiletí?

Platformy, jako je Netflix, neodmítají náklady na re-kódování back-katalogu s novými kodeky, které mohou být efektivnější nebo poskytovat uživatelské nebo poskytovatelské výhody; podobně, YouTubeova konverze historického obsahu na kodek H.264, apparently pro Apple TV, logisticky monumentální úkol, nebyl považován za prohibitivně obtížný, navzdory rozsahu.

Ironicky, i kdyby velké části mediálního obsahu na internetu byly předmětem re-kódování do formátu, který odolává školení, omezená skupina vlivných počítačových vize dat by zůstala nedotčena. Nicméně, systémy, které je používají jako upstream data, by začaly snižovat kvalitu výstupu, protože watermarked obsah by interferoval s transformačními procesy architektur.

Politický konflikt

Z politického hlediska existuje zdánlivý napětí mezi rozhodnutím vlád nezůstávat pozadu ve vývoji AI a učinit ústupky veřejným obavám o ad hoc použití veřejně dostupného audio, video a obrazového obsahu na internetu jako bohatého zdroje pro transformační systémy AI.

Oficiálně, západní vlády jsou nakloněny shovívavosti ve vztahu k počítačové vizi výzkumného sektoru, aby mohly využít veřejně dostupných médií, nejméně proto, že některé více autoritativní asijské země mají mnohem větší volnost formovat své vývojové pracovní postupy způsobem, který prospívá jejich vlastním výzkumným úsilím – jen jeden z faktorů, které naznačují, že Čína se stává globálním lídrem v AI.

V dubnu 2022, odvolací soud USA potvrdil, že veřejně přístupná webová data jsou fair game pro výzkumné účely, navzdory probíhajícím protestům LinkedIn, který si přeje, aby jeho uživatelské profily byly chráněny před takovými procesy.

Jestliže tedy nejsou obrazová data odolná vůči AI standardem, nic nezabrání některým z hlavních zdrojů trénovacích dat, aby implementovaly takové systémy, aby jejich výstup byl neproduktivní v latentním prostoru.

Esenciální faktor v takových firemních nasazeních je, že obrazy by měly být intrinsicky odolné vůči školení. Blockchainové techniky prokazování původu a hnutí, jako je Iniciativa pro autenticitu obsahu, se více soustředí na prokázání, zda byly obrazy falšovány nebo “stylGANovány”, než na prevenci mechanismů, které umožňují takové transformace.

Náhodný pohled

Zatímco byly navrženy návrhy, aby se blockchainové metody používaly k autentizaci skutečného původu a vzhledu zdrojového obrazu, který mohl být později ingesován do trénovacích dat, to samo o sobě nezabrání školení obrazů, ani neposkytuje žádný způsob, jak prokázat, z výstupu takových systémů, zda byly obrazy zahrnuty do trénovacích dat.

Při watermarkedovém přístupu k vyloučení obrazů ze školení by bylo důležité nespoléhat se na to, zda jsou zdrojové obrazy vlivného datasetu veřejně dostupné pro inspekci. V reakci na umělcovy protesty proti Stable Diffusion’s liberální ingestování jejich práce, webová stránka haveibeentrained.com umožňuje uživatelům nahrát obrazy a zkontrolovat, zda jsou pravděpodobně součástí datasetu LAION5B, který pohání Stable Diffusion:

‘Lenna’, doslova poster girl pro počítačové vidění, až donedávna, je určitě přispěvatelem do Stable Diffusion. Zdroj: https://haveibeentrained.com/

Ještě, Stable Diffusion uživatelé začínají přidávat obsah – buď prostřednictvím fine-tuning (pokračování školení oficiálního modelu checkpointu s dalšími obrazovými/textovými páry) nebo Textual Inversion, který přidává jeden konkrétní prvek nebo osobu – který se neobjeví v žádném vyhledávání prostřednictvím LAIONových miliard obrazů.

Vkládání vodotisků na zdroj

Ještě extrémnější potenciální aplikace zdrojového obrazového vodotisku je zahrnout skryté a nejasné informace do surového výstupu kamery, videa nebo obrazů. Ačkoli byl tento koncept experimentován a dokonce implementován s určitou vervou na počátku 2000. let, jako reakce na vznikající “hrozbu” multimediálního pirátství, princip je technicky aplikovatelný také pro účely činění médií odolných nebo odpuzujících vůči systémům školení strojového učení.

Jedna implementace, navržená v patentovém návrhu z konce 90. let, navrhovala použití Discrete Cosine Transforms k vložení steganografických “sub-obrazů” do videa a statických obrazů, naznačující, že rutina by mohla být “začleněna jako vestavěná funkce pro digitální záznamová zařízení, jako jsou statické a video kamery”.

V patentovém návrhu z konce 90. let je Lenna vybavena okultními vodotisky, které lze obnovit podle potřeby. Zdroj: https://www.freepatentsonline.com/6983057.pdf

Méně sofistikovaný přístup je uvalit jasně viditelné vodotisky na obrazy na úrovni zařízení – funkce, která je neatraktivní pro většinu uživatelů, a zbytečná v případě umělců a profesionálních médií praktiků, kteří jsou schopni chránit zdrojová data a přidávat takové značky nebo zákazy, jak uznají za vhodné (nejenom akciové image společnosti).

Přestože alespoň jedna kamera目前 umožňuje volitelné logo-založené vodotiskové uvalení, které by mohlo signalizovat neoprávněné použití v odvozeném modelu AI, odstranění loga pomocí AI se stává docela triviální a dokonce komerčně využité.

Poprvé publikováno 25. září 2022.