Obnova toho, co fotoaparát zachytil, než to změnila AI

Jak můžete ochránit nedotknutelnost surové fotografie před zásahem AI, když už byla přímo ve fotoaparátu automaticky zpracována pomocí AI? Nová studie se snaží obnovit „skutečná“ data ze snímače – opět pomocí AI!

Rostoucí realističnost obrázků vytvořených AI za poslední přibližně rok způsobilo, že mnoho skupin a jednotlivců se postavilo proti následující erozi důvěry ve fotografii.

Ve stejné době se koalice pro Provenance a Autenticitu Obsahu (C2PA) pokusila zavést polo-kryptografický standard, který připojuje informace založené na metadatech o původu k obrázku, od okamžiku, kdy je zachycen podporovanou kamerou nebo zařízením, s cílem odhalit následné použití generativní AI na těchto ‘originálních’ obrazech:

Schéma původu v systému C2PA, kde metadata zapsaná v okamžiku zachycení mohou být přidána jako deník, umožňující běžné úpravy, jako jsou jas a kontrast, ale zaznamenávající významné úpravy, aby se obraz výrazně upravený AI zobrazil jako takový v médiích, která podporují tento systém. Zdroj

Přijetí tohoto standardu nebylo tak široké, jak koalice doufala, a v současné době pouze 14 kamer podporuje zapsání autentizačních informací přímo do kamery.

Co je zajímavé na myšlence C2PA dát fotografii ‘pas’ hned, jakmile vznikne, je to, že v té době může být už příliš pozdě – protože výrobci kamer nyní rutinně zapojují AI zpracování do samotného vzniku obrazu:

Ze studie z roku 2024 ‘Advocating Pixel-Level Authentication of Camera-Captured Images’: ilustrace toho, jak moderní procesy zpracování ve fotoaparátech vnášejí halucinovaný obsah v okamžiku zachycení a jak jej odhalují autentizační metadata na úrovni pixelů. V (A), obraz ze smartphonu je zpracován ISP, kde AI moduly mohou vynalézat detaily během digitálního zoomu nebo korekce expozice, vytvářející realistické obrazy s chybami, jako jsou špatně přečtená čísla na SPZ. V (B), autentizační maska je vložena jako metadata a později překryta, aby odhalila neautentické oblasti, umožňující uživatelům rozlišit původní data od AI-upravených pixelů. Zdroj

Ve skutečnosti se tento zásah AI do zachycování surových dat ze snímače může nakonec stát i dominantním procesem.

Tento typ následného zpracování není stejný jako současný trend úpravy fotografií v kameře, kdy aplikace nebo kamerová aplikace umožňuje uživateli v klidu upravit fotografii, než je stažena z zařízení.

Zpracování naopak probíhá jako „černá skříňka“ v obrazovém signálovém procesoru (ISP) fotoaparátu, obvykle v proprietárním běhovém prostředí, které neodhaluje ani nezpřístupňuje surová data ze snímače (a vezměte v úvahu, že údajně ‘čistý’ formát kamerového RAW není tak ‘čistý’).

V době, kdy si fotografii můžete prohlédnout, již mohla projít vylepšeními pomocí AI, jako je vylepšení při nízkém světle, upscale nebo dokonce nahrazení měsíce.

V mnoha případech může to vést k nepřesným rekonstrukcím, například textu, které by mohly zneplatnit použití takové fotografie jako důkaz, protože ‘pravá’ surová fotografie by nebyla dostupná:

Z nové studie – surová obrazová data jsou zpracována GenAI-pomoceným ISP, aby produkovala finální sRGB výstup, který vypadá jasněji, ale může obsahovat halucinované detaily, jako je ukázka SPZ, kde jsou znaky nesprávně odhadnuty během digitálního zoomu. Skutečná scéna, která není dostupná v praxi, se liší od obou AI-vylepšeného výstupu a mezilehlého autentického obrazu před halucinací. Navržený přístup umožňuje obnovit tento pre-halucinační obraz, obnovující to, co kamerová optika původně zachytila, než AI-založená vylepšení modifikovala obsah. Zdroj

Uvedené příklady pocházejí z nové výzkumné studie, která nabízí řešení pro ‘nativní AI fotografie’, pomocí alternativních AI procesů k rekonstrukci odhadovaného surového a neupraveného obrazu z procesovaného obrazu.

Autoři uvádějí:

‘Když se AI modely trénované s generativními nebo percepčními ztrátami používají v ISP, jsou náchylné k halucinacím, potenciálně měnící obraz [význam]. Implikace je, že obrazy přímo vygenerované kamerou mohou nyní obsahovat “falešný” obsah, zejména ve smartphonech, kde AI-ISP moduly vidí rostoucí přijetí.

‘Použití GenAI v kamerovém hardwaru označuje změnu paradigmatu v tom, jak vidíme kamerové obrazy a vyzývá tradiční forenzní pohled na kamerové zachycení jako inherentně důvěryhodné.’

Nová práce používá velmi lehký encoder a MLP dekodér, který lze vložit do obrazu s navýšením velikosti souboru o pouhých 180kb. Cílem je vývoj kódovacích systémů, které jsou dostatečně rychlé, aby extrahovaly původní obraz v reálném čase.

Z nové studie: GenAI-založené super-resolution uvnitř kamerového ISP může jemně měnit obličejové rysy, měnící vzhled nebo vnímanou identitu prostřednictvím změn v pohledu a tvaru úst. Vylepšení při nízkém světle může podobně měnit obrazový obsah, ovlivňující interpretaci, přestože zlepšuje vizuální kvalitu. V příkladu QR kódu, vylepšení dělá obraz více atraktivním, ale činí kód nečitelným. Metoda umožňuje obnovit autentický obraz před těmito halucinacemi, obnovující původní obličejové detaily a čitelný QR kód.

Alternativně by výrobci kamer mohli uživatelům poskytnout přístup k skutečně neupraveným surovým datům; nicméně, toto se zdá být omezeno na špičkové vybavení. V mobilním a spotřebitelském prostoru, bohužel, přístup k neupraveným fotografiím může být považován za ‘niche’ nebo okrajový zájem.

Zatímco spotřebitelské kamery vždy aplikovaly určitou úroveň post-processing, před vznikem edge AI, algoritmy používané byly minimálně ‘interpretativní’ a pravděpodobně neměnily obsah fotografie stejným významným způsobem, jakým mohou současné AI metody.

Zajímavé je, že s ohledem na rozsah, v jakém byla Samsungova ‘nahrazení měsíce’ kritizována před několika lety, Centrum AI společnosti Samsung v Torontu je jedním z účastníků nové práce, která se nazývá Addressing Image Authenticity When Cameras Use Generative AI, a hlavními přispěvateli je pět výzkumníků z Torontské univerzity.

Metoda

Autoři používají jedinou další práci, která se zřejmě přímo zabývala narušením obrazu vyplývajícím z návrhu systému: studii z roku 2024 studii Advocating Pixel-Level Authentication of Camera-Captured Images, který navrhl ‘binární autentizační masku’ vymezující oblasti změněné v kameře AI procesy:

Vpravo, ‘autentizační maska’ ze studie z roku 2024 odhaluje oblasti oblohy ovlivněné AI ‘vyhlazováním’ v kameře.

Avšak, systém nenabídl žádnou metodu, jak by ‘pravý’ obraz mohl být obnoven, což nová práce řeší, zatímco uznává dluh vůči předchozímu.

Cílem nové práce je umožnit uživatelům obnovit obraz, který je co nejblíže tomu, co skutečně zasáhlo senzor, než zpracování proběhlo:

Přehled navržené metody. V (A), v okamžiku zachycení, výstupní obraz ISP obsahující halucinace je předán přes zmrazený předtrénovaný encoder, a jeho latentní příznaky se kombinují s prostorovými souřadnicemi a předávají do MLP, které operuje na pixelové úrovni, aby predikovalo nehalucinovaný obraz, s tréninkem vedeným ztrátou proti autentickému obrazu. Váhy encoderu a MLP se pak ukládají jako metadata vedle obrazu. V (B), v době inference, tyto váhy jsou načteny z metadat a použity s encodérem a MLP, aby rekonstruovaly nehalucinovaný obraz.

V okamžiku zachycení, v nové metodě, zpracovaný obraz je předán přes zmrazený encoder, který ho převádí do kompaktní latentní reprezentace. Poté jsou relevantní prostorové souřadnice kombinovány s těmito příznaky a předávány do lehkého MLP, které operuje na pixelové úrovni, aby predikovalo původní obrazový obsah – v podstatě se učí odstraňovat halucinované prvky prostřednictvím rekonstrukční ztráty, proti autentickým cílům.

Encoder a dekodér jsou předtrénováni na spárovaných autentických a halucinovaných obrazech, poté rychle jemně doladěni pro každou zachycenou fotografii, s jejich váhami uloženými jako metadata vedle fotografie, přidávající pouze malou velikostní režii.

V době prohlížení, tyto uložené váhy jsou načteny a znovu použity pro spuštění stejného encodéru a MLP, umožňující obnovit obraz, který se blíží tomu, co kamerový senzor původně zachytil, bez zavedení nových syntetických obsahů.

Data a testy

Autoři otestovali novou metodu pomocí dvou nejčastěji implementovaných úkolů post-processing ISP: super-resolution (SR, včetně pro zvětšené oblasti); a fotografie při nízkém světle.

Pro obecnou (‘přirozenou’) sekci SR testů, mnoho příkladů textu bylo zahrnuto do dat, protože ISP SR rutiny jsou známy tím, že mění text (například čísla na SPZ, ale viz předchozí příklady v článku). Protože textová deformace je samostatný problém, byl tento problém posuzován jako podmnožina SR testů, s vyhrazenými daty.

Uvedený encoder byl trénován pro každou z dvou modalit, které byly testovány, a každá byla vybrána na základě toho, který AI ISP modul byl pravděpodobně aktivován během zachycení (tj. ‘nízké světlo’ modul, ve tmavých podmínkách).

Autoři použili DIV2K dataset pro trénink super-resolution, poháněný populární RealESRGAN sítí. V souladu s výše zmíněnou prací z roku 2024 o ISP interference, výzkumníci vygenerovali spárovaná data s neovlivněným a halucinovaným obsahem.

Pro sekci SR textu, autoři použili 2023 MARCONet model SR textu:

Ze studie MARCONet z roku 2023, příklady reálných nízkorozlišených a ekvivalentních upscaled textů. Zdroj

Pro vytvoření spárovaných dat v tomto případě, výzkumníci spustili nehalucinované obrazy přes MARCONet. Dvě tisíce obrazů byly vygenerovány z původního kódu, s 200 snímky vyhrazenými pro validaci, spolu s dalšími 200 pro testování.

Pro testy při nízkém světle, LOw-Light dataset (LOL) dataset z čínského paperu z roku 2018 byl přijat:

Z čínského LOL datasetu z roku 2018, příklady stejných obrazů při různých expozicích a úrovních tmavosti a degradace. Zdroj

Konkurenční systémy

Pro vyhodnocení metody, byly provedeny srovnávací testy se třemi konkrétními referenčními metodami, trénovanými za shodných podmínek. První, SIREN a NeRF byly předtrénovány na spárovaných autentických a halucinovaných obrazech a poté jemně doladěny v době zachycení po stejnou dobu jako navržený přístup, nabízející přímé srovnání s NeRF.

Druhý, MLP s naučeným kódováním založeným na hashgrid metodě z Instant-NGP byl použit, s hash tabulkovými položkami a MLP společně optimalizovanými.

Velikost embeddingu a kapacita sítě byly přizpůsobeny cílovému encoderu a MLP. Experimenty zahrnovaly jak optimalizaci každého obrázku od nuly, tak předtrénování následované jemným doladěním.

Zatřetí byla implementována referenční metoda převodu obrazu na obraz bez metadat pomocí 64MB NAFNet modelu, trénovaného jako pixel-to-pixel regrese systém bez přístupu k metadatům.

V tréninku, Adam optimalizátor byl použit přes PyTorch, pro předtrénování a fine-tuning. Encoder a MLP byly trénovány po 50 000 epoch s velikostí dávky 32, s modality-specifickými encodéry trénovanými pro každou úlohu (tj. SR, text-SR, nízké světlo).

Jemné doladění proběhlo přibližně za tři sekundy na NVIDIA V100 GPU s 32GB VRAM. Autoři poznamenávají, že zatímco on-device optimalizace je cílovým prostředím a scénářem, nebylo realistické implementovat to pro všechny rámce, a proto všechny testy byly provedeny v desktopovém prostředí:

Srovnávací test proti referenčním metodám založeným na MLP a využívajícím metadata, včetně SIREN, NeRF a hash-grid metody, spolu s blind recovery pomocí NAFNet. Výsledky jsou hlášeny jako PSNR v decibelech přes tři úkoly: přírodní obraz super-resolution na DIV2K; text super-resolution na MARCONet; a nízké světlo vylepšení na LOL, s metodou autorů dosahující nejvyšších skórů v každém případě.

Pro MLP-založené přístupy, výkon závisel silně na vstupní reprezentaci, kde modely trénované pouze se prostorovými souřadnicemi bojovaly během předtrénování a nezlepšovaly se během omezené fáze fine-tuning. Přidání barevné informace vedlo k silnějším výsledkům.

Blind recovery pomocí NAFNet fungovala dobře na DIV2K, kde mapa z degradovaných na čisté obrazy byla relativně stabilní, ale selhala na MARCONet a LOL, kde existovaly různé možné rekonstrukce a model postrádal informace potřebné k vyřešení této nejednoznačnosti.

Tento efekt byl nejvíce patrný v nízkém světle vylepšení, kde původní jas scény nemohl být spolehlivě odhadnuta z procesovaného obrazu samotného.

Autoři uvádějí:

‘[V] syntetických MARCONet datech, obrazy s různými silami rozostření mapují na stejný halucinovaný obraz. Můžete vidět z výsledků, že naše navržená metoda překonává konkurenty napříč všemi datovými sadami.’

V srovnávacím testu výše, můžeme vidět, jak dobře různé metody fungují v závislosti na tom, kolik času mají k dispozici pro běh v okamžiku pořízení fotografie. Trénování modelu od začátku pro každou fotografii může produkovat silné výsledky, jako je vidět u SIREN, NeRF a hash-grid – ale to trvá příliš dlouho, aby bylo praktické uvnitř kamery.

Metoda autorů naopak dělá většinu práce dopředu, s rychlou úpravou v době zachycení, umožňující dosáhnout lepších výsledků v rámci úzkých časových limitů (3, 5 nebo deset sekund).

Srovnávací test proti referenčním metodám založeným na MLP a využívajícím metadata, včetně SIREN, NeRF a hash-grid metody, spolu s blind recovery pomocí NAFNet. Výsledky jsou uvedeny jako PSNR v decibelech pro tři úlohy: superrozlišení přirozených obrazů na DIV2K, superrozlišení textu na MARCONet a vylepšení při slabém osvětlení na LOL. Navržená metoda dosáhla nejvyššího skóre v každém případě. O něco lepší rozlišení najdete ve zdrojové studii.

Nahoře jsou ukázány kvalitativní výsledky na DIV2K, kde vylepšení metody zavedly viditelné halucinace. GAN-založený super-resolution model změnil barvu očí, a blind recovery bojovala s rekonstrukcí původního obrazu. NeRF a hash-grid produkovaly artefakty ve strukturovaných oblastech, jako jsou okna a text, zatímco navržená metoda se blížila autentickému obrazu.

Nakonec, v obrázku výše, vidíme výsledky na LOL datasetu, s jasem upraveným pro účely vizualizace.

Blind recovery nemohla vyřešit neznámou úroveň jasu scény, zatímco navržená metoda lépe rekonstruovala textury a obnovila změněné znaky, jako je korekce ‘1’ zpět na ‘i’, bez přidání artefaktů.

Závěr

Tvrzení „fotoaparát nikdy nelže“ pravděpodobně nelze obhájit a ani nikdy obhájit nešlo. Každé rozhodnutí o tom, co fotografovat a kdy fotografovat, spolu s tím, jak prezentovat a kontextualizovat to, je ve skutečnosti politické nebo sociální rozhodnutí.

I nejstarší metody následného zpracování, například dodging and burning (již dávno převedené do nástrojů Photoshopu) jsou vysoce subjektivními akty uměleckého rozhodování a preference.

To však není důvod vzdát se alespoň cíle ‚objektivních‘ snímků. Je rozumné, aby běžný uživatel mohl, byť s určitými obtížemi, získat neupravená surová data ze snímače svých fotografií; nebo aby alespoň mohl omezit následné zpracování ISP na algoritmy bez AI, pokud tomu dává přednost.

Poprvé publikováno v pátek 24. dubna 2026