Kódování obrázků proti použití v systémech Deepfake a Image Synthesis

Nejznámější linií zkoumání v rostoucím sektoru výzkumu zaměřeného na antideepfake jsou systémy, které dokážou rozpoznat artefakty nebo jiné domněle rozlišující charakteristiky deepfakovaných, syntetizovaných nebo jinak zfalšovaných nebo „upravených“ tváří ve videu a obrazovém obsahu.

Takové přístupy používají různé taktiky, včetně detekce hloubky, narušení pravidelnosti videa, odchylky v osvětlení monitoru (v potenciálně hluboce falešných živých videohovorech), biometrické vlastnosti, oblasti vnějšího obličeje, A dokonce i skryté síly lidského podvědomého systému.

Tyto a podobné metody mají společné to, že v době, kdy byly nasazeny, byly centrální mechanismy, se kterými bojují, již úspěšně trénovány na tisících nebo stovkách tisíc obrázků seškrábaných z webu – obrázků, ze kterých mohou systémy autokodéru snadno odvodit klíčové funkce a vytvořit modely, které dokážou přesně vložit falešnou identitu do videozáznamu nebo syntetizovaných obrázků – dokonce i v reálném čase.

Stručně řečeno, v době, kdy jsou takové systémy aktivní, kůň už je připoutaný.

Obrázky, které jsou nepřátelské vůči architektuře Deepfake/Synthesis

Prostřednictvím více preventivní postoj k hrozbě deepfakes a syntézy obrazu, méně známý směr výzkumu v tomto sektoru zahrnuje možnosti spojené s vytvářením všech těchto zdrojových fotografií nepřátelský směrem k systémům syntézy obrazu AI, obvykle nepostřehnutelným nebo sotva postřehnutelným způsobem.

Příklady zahrnují FakeTagger, návrh z roku 2021 od různých institucí v USA a Asii, který kóduje zprávy do obrázků; tato kódování jsou odolná vůči procesu zobecňování a lze je následně obnovit i poté, co byly obrázky staženy z webu a trénovány na generativní adversariální síť (GAN) typu, který nejslavněji ztělesňuje thispersondoesnotexist.com a jeho četné deriváty.

FakeTagger kóduje informace, které mohou přežít proces zobecnění při trénování GAN, což umožňuje zjistit, zda konkrétní obrázek přispěl ke generativním schopnostem systému. Zdroj: https://arxiv.org/pdf/2009.09869.pdf

Pro ICCV 2021 bylo rovněž zahájeno další mezinárodní úsilí umělé otisky prstů pro generativní modely, (viz obrázek níže), který opět vytváří obnovitelné „otisky prstů“ z výstupu GAN pro syntézu obrazu, jako je StyleGAN2.

I při různých extrémních manipulacích, ořezávání a záměně obličeje zůstávají otisky prstů prošlé přes ProGAN obnovitelné. Zdroj: https://arxiv.org/pdf/2007.08457.pdf

Mezi další iterace tohoto konceptu patří a Projekt 2018 od IBM a A schéma digitálního vodoznaku ve stejném roce z Japonska.

Inovativněji rok 2021 iniciativa z Nanjingské univerzity letectví a kosmonautiky se snažili „zašifrovat“ tréninkové snímky takovým způsobem, že by trénovaly efektivně pouze na autorizovaných systémech, ale pokud by byly použity jako zdrojová data v generickém tréninkovém potrubí syntézy snímků, katastroficky by selhaly.

Ve skutečnosti všechny tyto metody spadají do kategorie steganografie, ale ve všech případech musí být jedinečné identifikační informace v obrázcích zakódovány jako tak zásadní „vlastnost“ obrázku, že neexistuje žádná šance, že by autokodér nebo architektura GAN takové otisky prstů jako „šum“ nebo odlehlá a nepodstatná data, ale spíše je zakódují spolu s dalšími rysy obličeje.

Zároveň nelze připustit, aby proces zkresloval nebo jinak vizuálně ovlivňoval obraz natolik, aby byl náhodnými diváky vnímán jako vadný nebo nekvalitní.

TAFIM

Nyní nové německé výzkumné úsilí (z Technické univerzity v Mnichově a Sony Europe RDC Stuttgart) navrhlo techniku ​​kódování obrazu, pomocí níž deepfake modely nebo rámce typu StyleGAN, které jsou trénovány na zpracovaných obrázcích, produkují nepoužitelný modrý nebo bílý výstup, resp. .

Nízkoúrovňové poruchy obrazu TAFIM řeší několik možných typů zkreslení/náhrady obličeje, nutí modely vycvičené na obrázcích, aby produkovaly zkreslený výstup, a autoři uvádějí, že je použitelné i ve scénářích v reálném čase, jako je deepfake streaming DeepFaceLive v reálném čase. . Zdroj: https://arxiv.org/pdf/2112.09151.pdf

Projekt papírS názvem TAFIM: Cílené nepřátelské útoky proti manipulacím se snímky obličeje, používá neuronovou síť ke kódování sotva postřehnutelných poruch do obrázků. Poté, co jsou obrázky trénovány a zobecněny do architektury syntézy, bude výsledný model produkovat odbarvený výstup pro vstupní identitu, pokud se použije buď při míchání stylů, nebo při přímém záměně obličejů.

Překódování webu...?

V tomto případě tu však nejsme proto, abychom zkoumali detaily a architekturu nejnovější verze tohoto populárního konceptu, ale spíše abychom zvážili praktičnost celého nápadu – zejména ve světle rostoucí kontroverze o používání veřejně – škrábané obrázky pro napájení rámců pro syntézu obrázků, jako je např Stabilní difúzea následných následných právních důsledků odvození komerčního softwaru z obsahu, který se může (alespoň v některých jurisdikcích) nakonec ukázat jako legální ochrana proti vniknutí do architektur syntézy AI.

Proaktivní přístupy založené na kódování výše popsaného druhu mají nemalé náklady. Přinejmenším by zahrnovaly zavedení nových a rozšířených komprimačních rutin do standardních webových knihoven pro zpracování, jako je např. ImageMagick, které pohánějí velké množství procesů nahrávání, včetně mnoha rozhraní pro nahrávání sociálních médií, jejichž úkolem je převádět nadměrně velké originální uživatelské obrázky do optimalizovaných verzí, které jsou vhodnější pro nenáročné sdílení a síťovou distribuci a také pro provádění transformací, jako jsou plodiny a další augmentace.

Primární otázka, kterou to vyvolává, je: bylo by takové schéma implementováno „do budoucna“, nebo by bylo zamýšleno nějaké širší a retroaktivní nasazení, které by oslovovalo historická média, která mohla být dostupná „nezkažená“ po celá desetiletí?

Platformy jako Netflix jsou ne averzní na úkor překódování zpětného katalogu novými kodeky, které mohou být efektivnější nebo by mohly jinak poskytovat výhody pro uživatele nebo poskytovatele; stejně tak konverze svého historického obsahu YouTube na kodek H.264, zřejmě pro Apple TV, logisticky monumentální úkol, nebyl navzdory rozsahu považován za neúměrně obtížný.

Ironií je, že i kdyby se velká část mediálního obsahu na internetu stala předmětem překódování do formátu, který odolává tréninku, omezený kádr vlivných datových sad počítačového vidění by zůstalo nedotčeno. Pravděpodobně by se však u systémů, které je používají jako upstream data, začala snižovat kvalita výstupu, protože obsah vodoznaku by narušoval transformační procesy architektur.

Politický konflikt

Z politického hlediska existuje zjevné napětí mezi odhodláním vlád nezaostávat ve vývoji umělé inteligence a ústupky vůči obavám veřejnosti z ad hoc používání volně dostupného audio, video a obrazového obsahu na internetu jako bohatého zdroje. pro transformativní systémy umělé inteligence.

Oficiálně jsou západní vlády nakloněny shovívavosti, pokud jde o schopnost sektoru výzkumu počítačového vidění využívat veřejně dostupná média, v neposlední řadě proto, že některé z autokratičtějších asijských zemí mají mnohem větší prostor pro utváření svých vývojových pracovních postupů způsobem, který těží z jejich vlastního výzkumného úsilí – jen jedním z faktorů, které naznačuje, že Čína se stává globálním lídrem v oblasti umělé inteligence.

V dubnu 2022 americký odvolací soud potvrdil že veřejně přístupná webová data jsou férovou hrou pro výzkumné účely, a to i přes pokračující protesty LinkedIn, který přání jeho uživatelské profily, aby byly chráněny před takovými procesy.

Pokud se tedy snímky odolné proti AI nemají stát celosystémovým standardem, nic nebrání některým z hlavních zdrojů trénovacích dat implementovat takové systémy, takže jejich vlastní výstup se v latentním prostoru stane neproduktivním.

Základním faktorem v takových nasazeních specifických pro společnost je, že by obrazy měly být vrozeně odolný na trénink. Techniky původu založené na blockchainu a hnutí jako např Iniciativa pro autenticitu obsahu, se více zabývají dokazováním, že obraz byl zfalšován nebo 'styleGANned', spíše než zabráněním mechanismů, které takové transformace umožňují.

Příležitostná kontrola

I když byly předloženy návrhy na použití metod blockchainu k ověření skutečné provenience a vzhledu zdrojového obrázku, který mohl být později zpracován do trénovací datové sady, to samo o sobě nebrání trénování obrázků ani neposkytuje žádný způsob, jak prokázat, z výstupu takových systémů, že snímky byly zahrnuty do trénovací datové sady.

V přístupu vodoznaku k vyloučení obrázků ze školení by bylo důležité nespoléhat se na to, že zdrojové obrázky vlivného souboru dat budou veřejně dostupné k nahlédnutí. V reakci na výkřiky umělců o liberálním požívání jejich práce Stable Diffusion, web haveibeentrained.com umožňuje uživatelům nahrávat obrázky a kontrolovat, zda jsou pravděpodobně zahrnuty do LAION5B datová sada, která pohání stabilní difúzi:

'Lenna', doslova plakátová dívka pro výzkum počítačového vidění donedávna, je určitě přispěvatelkou do Stable Diffusion. Zdroj: https://haveibeentrained.com/

Například téměř všechny tradiční hluboce falešné datové soubory jsou náhodně staženy z extrahovaných videí a obrázků na internetu do neveřejných databází, kde by pouze nějaký druh neurálně odolných vodoznaků mohl odhalit použití konkrétních obrázků k vytvoření odvozených obrázků. a video.

Uživatelé Stable Diffusion dále začínají přidávat obsah – buď prostřednictvím jemného ladění (pokračování tréninku oficiálního kontrolního bodu modelu s dalšími dvojicemi obrázků/textu) nebo Textual Inversion, která přidává jeden konkrétní prvek nebo osobu – který se neobjeví v žádném prohledávejte miliardy obrázků LAION.

Vkládání vodoznaků u zdroje

Ještě extrémnější potenciální aplikací vodoznaku zdrojového obrazu je zahrnutí skrytých a nezřejmých informací do nezpracovaného výstupního záznamu, videa nebo obrázků komerčních kamer. Ačkoli byl tento koncept experimentován a dokonce implementován s určitou vervou na počátku 2000. století, jako reakce na vznikající „hrozbu“ multimediálního pirátství, je tento princip technicky použitelný také pro účely zajištění odolnosti nebo odpuzování mediálního obsahu vůči tréninku strojového učení. systémy.

Jedna implementace, naznačená v patentové přihlášce z konce 1990. let, navrhla použití Diskrétní kosinové transformace začlenit steganografické „dílčí obrázky“ do videa a statických obrázků, což naznačuje, že rutina by mohla být „začleněna jako vestavěná funkce pro digitální záznamová zařízení, jako jsou fotografie a videokamery“.

V patentové přihlášce z konce 1990. let je Lenna prodchnuta okultními vodoznaky, které lze podle potřeby obnovit. Zdroj: https://www.freepatentsonline.com/6983057.pdf

Méně sofistikovaným přístupem je vkládání jasně viditelných vodoznaků na obrázky na úrovni zařízení – funkce, která je pro většinu uživatelů nepřitažlivá a nadbytečná v případě umělců a profesionálních mediálních odborníků, kteří jsou schopni chránit zdrojová data a přidat takové značky nebo značky. zákazy, jak uznají za vhodné (v neposlední řadě společnosti s cennými papíry).

I když alespoň jedna kamera v současné době umožňuje volitelné vkládání vodoznaku na základě loga, které by mohlo signalizovat neoprávněné použití v odvozeném modelu AI se stává odstranění loga pomocí AI docela triviální, A to i náhodně komercializováno.

Poprvé publikováno 25. září 2022.