Úniková definice termínu “Deepfake”

Přitažlivá nová studie z Německa kritizuje definici termínu “deepfake” v rámci EU AI Act jako příliš vágní, zejména v kontextu digitální manipulace obrazu. Autoři argumentují, že důraz zákona na obsah, který připomíná skutečné osoby nebo události, ale potenciálně vypadá falešně, postrádá jasnost.

Také poukazují na to, že výjimky zákona pro “standardní editaci” (tj. údajně malé AI-pomocené úpravy obrazů) nezohledňují široký vliv AI v spotřebitelských aplikacích a subjektivní povahu uměleckých konvencí, které předcházely vzniku AI.

Nepřesná legislativa v těchto otázkách vede k dvěma hlavním rizikům: “chilling effect”, kdy široký interpretační rozsah zákona brání inovacím a přijetí nových systémů; a “scofflaw effect”, kdy je zákon ignorován jako přehnaný nebo irelevantní.

V každém případě efektivní legislativa účinně přenáší odpovědnost za stanovení praktických právních definic na budoucí soudní rozhodnutí – opatrný a riziko-aversní přístup k legislativě.

Technologie AI-založené manipulace obrazu zůstávají pozoruhodně před legislativou, zdá se. Například jeden pozoruhodný příklad rostoucí elasticity konceptu AI-řízené “automatické” post-processing, pozoruje se v papíru, je funkce “Scene Optimizer” v nedávných kamerách Samsung, která může nahradit uživatelské snímky měsíce (komplikovaný předmět), s AI-řízeným, “vylepšeným” obrazem:

Nahoře vlevo, příklad z nového papíru skutečného uživatelského snímku měsíce, vlevo od verze vylepšené Samsungem pomocí Scene Optimizer; Vpravo, oficiální ilustrace Samsungu procesu za touto funkcí; dole vlevo, příklady od uživatele Redditu u/ibreakphotos, zobrazující (vlevo) záměrně rozostřený snímek měsíce a (vpravo), Samsungovo přepracování tohoto snímku – i když zdrojový snímek byl obrázek monitoru, a ne skutečný měsíc. Zdroje (po směru hodinových ručiček odshora): https://arxiv.org/pdf/2412.09961; https://www.samsung.com/uk/support/mobile-devices/how-galaxy-cameras-combine-super-resolution-technologies-with-ai-to-produce-high-quality-images-of-the-moon/; https://reddit.com/r/Android/comments/11nzrb0/samsung_space_zoom_moon_shots_are_fake_and_here/

V dolní části obrázku výše vidíme dva snímky měsíce. Ten vlevo je snímek pořízený uživatelem Redditu. Zde byl snímek záměrně rozostřen a zmenšen uživatelem.

Vpravo od něj vidíme snímek stejného poškozeného snímku pořízeného kamerou Samsung s AI-řízenou post-processing. Kamera automaticky “vylepšila” rozpoznaný “měsíc” objekt, i když to nebyl skutečný měsíc.

Paper kritizuje také funkci “Best Take” v nedávných smartphonech Google – kontroverzní AI-funkci, která edituje nejlepší části skupinového snímku, procházející několik sekund fotografické sekvence, aby úsměvy byly přesunuty dopředu nebo dozadu v čase, podle potřeby – a nikdo není ukázán uprostřed mrknutí.

The paper contends, že tento typ kompozitního procesu má potenciál zkreslit události:

‘[V] typickém skupinovém snímku by průměrný divák pravděpodobně stále považoval výsledný snímek za autentický. Úsměv, který je vložen, existoval v rámci několika sekund od zbytku snímku.

‘Na druhé straně je desetisekundový časový rámec funkce Best Take dostatečný pro změnu nálady. Osoba mohla přestat úsmívat, zatímco zbytek skupiny se směje nad vtipem na její účet.

‘Jako důsledek se domníváme, že takový skupinový snímek může velmi dobře tvořit deep fake.’

Nový paper se jmenuje Co tvoří Deep Fake? Rozmazaný hranice mezi legitimní processing a manipulací podle EU AI Act a pochází od dvou výzkumníků z Computational Law Lab na Univerzitě Tübingen a Univerzitě Saarland.

Staré triky

Manipulace s časem ve fotografii je mnohem starší než spotřebitelská úroveň AI. Autoři nového papíru poukazují na existenci mnohem starší techniky, která může být považována za “neautentickou”, jako je například spojování více sekvenčních snímků do High Dynamic Range (HDR) snímku nebo “šitého” panoramatického snímku.

Skutečně, některé z nejstarších a nejzábavnějších fotografických podvodů byly tradičně vytvářeny školními dětmi, které běhaly z jednoho konce školní skupiny na druhý, před trajektorií speciálních panoramatických kamer, které byly dříve používány pro sportovní a školní skupinové fotografie – umožňující žákovi objevit se dvakrát ve stejném snímku:

Pokušení oklamat panoramatické kamery během skupinových snímků bylo příliš velké, aby se mohlo odolat mnoha studentům, kteří byli ochotni riskovat špatnou relaci s ředitelem školy, aby si “klonovali” ve školních snímcích. Zdroj: https://petapixel.com/2012/12/13/double-exposure-a-clever-photo-prank-from-half-a-century-ago/

Pokud nepořizujete snímek v RAW režimu, který基本ně dumpuje kamerový čip do velmi velkého souboru bez jakéhokoli druhu interpretace, je pravděpodobné, že vaše digitální snímky nejsou zcela autentické. Kamerové systémy rutinně aplikují “vylepšovací” algoritmy, jako je ostření obrazu a bílá rovnováha, ve výchozím stavu – a to již od počátků spotřebitelské digitální fotografie.

Autoři nového papíru argumentují, že i tyto starší typy digitální fotoaugmentace nepředstavují “realitu”, protože tyto metody jsou navrženy tak, aby snímky byly více příjemné, ne více “reálné”.

Studie naznačuje, že EU AI Act, i s pozdějšími dodatky, jako je recitál 123–27, umístí všechny fotografické výstupy do důkazního rámce, který není vhodný pro kontext, ve kterém jsou snímky produkovány, na rozdíl od (nominálně objektivní) povahy bezpečnostních kamer nebo forenzní fotografie. Většina snímků adresovaných AI Actem pravděpodobně pochází z kontextů, kde výrobci a online platformy aktivně podporují kreativní fotografickou interpretaci, včetně použití AI.

Výzkumníci naznačují, že snímky “nikdy nebyly objektivním znázorněním reality”. Úvahy, jako je umístění kamery, zvolená hloubka ostření a výběr osvětlení, všechny přispívají k tomu, aby fotografie byla hluboce subjektivní.

Paper pozoruje, že rutinní “čištění” úkoly – jako je odstranění senzorového prachu nebo nežádoucích elektrických linek z jinak dobře složené scény – byly dříve pouze semi-automatizovány: uživatelé museli ručně vybrat oblast nebo spustit proces, aby dosáhli svého požadovaného výsledku.

Dnes jsou tyto operace často spouštěny uživatelskými textovými příkazy, nejvíce pozoruhodně v nástrojích, jako je Photoshop. Na spotřebitelské úrovni jsou tyto funkce stále více automatizovány bez uživatelského vstupu – výsledek, který je zřejmě považován výrobci a platformami za “zjevně žádoucí”.

Rozmazaná definice “Deepfake”

Centrální výzvou pro legislativu kolem AI-alterovaných a AI-generovaných obrazů je ambivalence termínu “deepfake”, který měl svůj význam pozoruhodně prodloužen za posledních dva roky.

Původně se termín vztahoval pouze na videovýstup z autoencoder-based systémů, jako je DeepFaceLab a FaceSwap, oba odvozené z anonymního kódu zveřejněného na Redditu na konci roku 2017.

Od roku 2022 příchod Latent Diffusion Modelů (LDM) jako Stable Diffusion a Flux, jakož i text-to-video systémů, jako je Sora, by také umožnil identity-swapping a customization, na vyšší rozlišení, variabilitě a věrnosti. Nyní bylo možné vytvořit difúzní modely, které by mohly zobrazovat celebrity a politiky. Od té doby, co termín “deepfake” byl již hlavním lákadlem pro média, byl prodloužen, aby zahrnoval tyto systémy.

Později, v médiích a výzkumné literatuře, termín zahrnoval také text-based impersonation. V tomto bodě byl původní význam “deepfake” téměř ztracen, zatímco jeho prodloužený význam byl stále více rozvíjen a zředěn.

Ale protože slovo bylo tak zápalné a galvanizující, a stalo se mocným politickým a mediálním bodem, bylo nemožné ho vzdát. Přitáhlo čtenáře na webové stránky, financování pro výzkumníky a pozornost pro politiky. Tato lexikální ambivalence je hlavním zaměřením nového výzkumu.

Jako autoři pozorují, článek 3(60) EU AI Actu definuje čtyři podmínky, které definují “deepfake”.

1: Skutečný měsíc

První podmínkou je, že obsah musí být generován nebo manipulován, tj. buď vytvořen od začátku pomocí AI (generace) nebo upraven z existujících dat (manipulace). Paper zdůrazňuje obtížnost rozlišení mezi “přijatelnými” výsledky editace obrazu a manipulativními deepfakes, s ohledem na to, že digitální snímky jsou v každém případě nikdy nejsou skutečným znázorněním reality.

Paper argumentuje, že Samsung-generovaný měsíc je zřejmě autentický, protože měsíc je nepravděpodobné, že se změní vzhled, a protože AI-generovaný obsah, trénovaný na skutečných lunárních snímcích, je pravděpodobně přesný.

Jednak autoři také uvádějí, že protože Samsungův systém byl prokázán jako generující “vylepšený” snímek měsíce v případě, kdy zdrojový snímek nebyl sám měsíc, toto by bylo považováno za “deepfake”.

Bylo by nerealistické vytvořit komplexní seznam různých použití tohoto druhu ad hoc funkcionality. Proto se zdá, že břemeno definice opět přechází na soudy.

2: TextFakes

Druhá podmínka je, že obsah musí být ve formě obrazu, audio nebo videa. Textový obsah, ačkoli je podroben jiným transparentním povinnostem, není považován za deepfake podle AI Actu. To není pokryto v žádném detailu v novém studiu, ale může mít významný dopad na účinnost vizuálních deepfakes (viz níže).

3: Skutečné problémy

Třetí podmínka je, že obsah musí připomínat existující osoby, objekty, místa, entity nebo události. Tato podmínka stanoví spojení s reálným světem, což znamená, že čistě vymyšlené obrazové materiály, i když fotorealistické, by nevykázaly jako deepfake. Recitál 134 EU AI Actu zdůrazňuje “připomínající” aspekt přidáním slova “appreciably” (zjevná odkázání na pozdější právní soudy).

Autoři, citující dřívější práci, zvažují, zda AI-generovaný obličej musí patřit skutečné osobě, nebo zda musí být pouze dostatečně podobný skutečné osobě, aby splnil tuto definici.

Například, jak lze určit, zda sekvence fotorealistických snímků zobrazujících politika Donalda Trumpa má v úmyslu napodobit, pokud snímky (nebo připojené texty) nezmiňují jej výslovně? Rozpoznání obličeje? Uživatelé průzkumy? Definice “zdravého rozumu” soudce?

Vracíme se k problému “TextFakes” (viz výše), slova často tvoří významnou část vizuálního deepfake. Například lze vzít (nepřizpůsobený) snímek nebo video “osoby a“, a říci v popisu nebo na sociálních médiích, že snímek je “osoby b” (předpokládající, že obě osoby se podobají).

V takovém případě není potřeba žádný AI, a výsledek může být překvapivě efektivní – ale tvoří takový low-tech přístup také “deepfake”?

4: Retuš, Přestavba

Poslední podmínka je, že obsah musí vykazovat se jako autentický nebo pravdivý pro osobu. Tato podmínka zdůrazňuje vnímání lidských diváků. Obsah, který je pouze rozpoznán jako reprezentující skutečnou osobu nebo objekt algoritmem, by nebyl považován za deepfake.

Z všech podmínek v 3(60) je tato podmínka nejvíce zjevně odkazuje na pozdější soudní rozhodnutí, protože neumožňuje žádnou interpretaci prostřednictvím technických nebo mechanizovaných prostředků.

Zjevně existují některé vnitřní obtíže při dosažení konsensu o tak subjektivním ustanovení. Autoři pozorují, že různé osoby, a různé typy osob (jako děti a dospělí), mohou být různě nakloněny věřit v konkrétní deepfake.

Autoři dále uvádějí, že pokročilé AI schopnosti nástrojů, jako je Photoshop, zpochybňují tradiční definice “deepfake”. Zatímco tyto systémy mohou zahrnovat základní bezpečnostní opatření proti kontroverznímu nebo zakázanému obsahu, dramaticky rozšiřují koncept “retušování”. Uživatelé mohou nyní přidávat nebo odebírat objekty ve vysoce přesvědčivém, fotorealistickém způsobem, dosahujícím profesionální úrovně autenticity, která předefinuje hranice manipulace s obrazem.

Autoři uvádějí:

‘Argumentujeme, že současná definice deep fakes v AI Actu a odpovídající povinnosti nejsou dostatečně specifikovány, aby řešily výzvy, které představují deep fakes. Analýzou životního cyklu digitálního snímku od kamerového čipu po digitální editační funkce, zjistíme, že:

‘(1.) Deep fakes jsou špatně definovány v EU AI Actu. Definice ponechává příliš mnoho prostoru pro to, co je deep fake.

‘(2.) Není jasné, jak editační funkce, jako je funkce “Best Take” od Google, mohou být považovány za výjimku z transparentních povinností.

‘(3.) Výjimka pro podstatně upravené obrázky vyvolává otázky o tom, co tvoří podstatné úpravy obsahu a zda musí být tato úprava zjevná pro přirozenou osobu.’

Vynechání

EU AI Act obsahuje výjimky, které, podle autorů, mohou být velmi permissive. Článek 50(2), uvádějí, nabízí výjimku v případech, kdy většina původního zdrojového snímku není změněna. Autoři uvádějí:

‘Co lze považovat za obsah ve smyslu článku 50(2) v případech digitálního audio, obrázků a videí? Například v případě obrázků, musíme zvažovat pixelový prostor nebo viditelný prostor vnímatelný lidmi? Substantivní manipulace v pixelovém prostoru nemusí měnit lidské vnímání, a na druhé straně, malé perturbace v pixelovém prostoru mohou měnit vnímání dramaticky.’

Výzkumníci poskytují příklad přidání pistole do snímku osoby, která ukazuje na někoho. Přidáním pistole se mění jen 5% snímku, ale semantický význam změněné části je pozoruhodný. Proto se zdá, že tato výjimka nezohledňuje žádný “zdravý rozum” pochopení efektu, který malá detail může mít na celkovém významu snímku.

Článek 50(2) také umožňuje výjimky pro “asistivní funkci pro standardní editaci”. Protože Act nedefinuje, co znamená “standardní editace”, i post-processing funkce, jako je Google’s Best Take, by se zdály být chráněny touto výjimkou, autoři pozorují.

Závěr

Uvedený záměr nového díla je povzbudit mezioborový výzkum kolem regulace deepfakes a sloužit jako výchozí bod pro nové dialogy mezi počítačovými vědci a právními experty.

Avšak paper sám o sobě podléhá tautologii na několika místech: často používá termín “deepfake” jako by jeho význam byl samozřejmý, zatímco kritizuje EU AI Act za to, že nedefinuje, co skutečně tvoří deepfake.

Poprvé zveřejněno v pondělí, 16. prosince 2024