Odhalení malých, ale významných úprav AI v reálném videu

V roce 2019 se stala předsedkyně Sněmovny reprezentantů USA Nancy Pelosi terčem cíleného a relativně nízkotechnologického útoku ve stylu deepfake, kdy bylo skutečné video s ní upraveno, aby vypadala, jako kdyby byla opilá – neexistující incident, který byl sdílen několik milionůkrát předtím, než vyšla najevo pravda (a potenciálně i po nějaké době, kdy mohla být způsobena jistá škoda na její politické reputaci).

Přestože tato manipulace vyžadovala pouze jednoduché audiovizuální úpravy, nikoli však žádnou umělou inteligenci, zůstává klíčovým příkladem toho, jak jemné změny v reálném audiovizuálním výstupu mohou mít devastující účinek.

V té době dominovaly scéně deepfake systémy založené na autoencoderech, které debutovaly na konci roku 2017 a od té doby se výrazně nezlepšily. Takové rané systémy by měly velké potíže s vytvářením tohoto typu malých, ale významných úprav nebo s realistickým pronásledováním moderních výzkumných směrů, jako je například úprava výrazů:

Nedávný rámec ‘Neural Emotion Director’ mění náladu slavné tváře. Zdroj: https://www.youtube.com/watch?v=Li6W8pRDMJQ

Věci jsou nyní zcela odlišné. Filmový a televizní průmysl je závažně zainteresován do postprodukční úpravy reálných výkonů pomocí metod strojového učení, a facilitace AI post facto perfekcionismu byla dokonce nedávnou kritikou.

Předvídající (či argumentovatelně vytvářející) tuto poptávku, scéna výzkumu syntézy obrazu a videa vrhla vpřed širokou škálu projektů, které nabízejí ‘lokální úpravy’ zachycení obličeje, spíše než přímé nahrazení: projekty tohoto druhu zahrnují Diffusion Video Autoencoders; Stitch it in Time; ChatFace; MagicFace; a DISCO, mezi jinými.

Úprava výrazu s projektem MagicFace z ledna 2025. Zdroj: https://arxiv.org/pdf/2501.02260

Nové tváře, nové vrásky

Nicméně, technologie umožňující tyto úpravy se vyvíjejí mnohem rychleji než metody jejich detekce. Téměř všechny metody detekce deepfake, které se objevují v literatuře, honí včerejší metody deepfake s včerejšími datovými sadami. Do této chvíle žádná z nich nezabývala se potenciálem systémů AI vytvářet malé a lokální úpravy ve videu.

Nyní, nová práce z Indie tuto situaci napravila, s systémem, který se snaží identifikovat tváře, které byly upraveny (spíše než nahrazeny) prostřednictvím technik založených na AI:

Detekce jemných lokálních úprav ve deepfakech: Reálné video je upraveno, aby produkovalo falešné verze s jemnými změnami, jako jsou zvednuté obočí, upravené pohlavní rysy a posuny výrazu směrem k odpornosti (zobrazeno zde s jedním snímkem). Zdroj: https://arxiv.org/pdf/2503.22121

Systém autorů je zaměřen na identifikaci deepfake, které zahrnují jemné, lokální manipulace s obličejem – dosud zanedbávanou třídu padělků. Místo toho, aby se zaměřoval na globální nesrovnalosti nebo nesrovnalosti identity, přístup cílí na jemné změny, jako jsou malé posuny výrazu nebo malé úpravy specifických rysů obličeje.

Metoda využívá delimiter Akčních jednotek (AUs) v Systému kódování obličejových výrazů (FACS), který definuje 64 možných individuálních mutable oblastí v obličeji, které společně tvoří výrazy.

Některé ze složených 64 částí výrazu v FACS. Zdroj: https://www.cs.cmu.edu/~face/facs.htm

Autoři vyhodnotili svůj přístup proti různým nedávným metodám úpravy a hlásí konzistentní zlepšení výkonu, a to jak u starších datových sad, tak u mnohem novějších útočných vektorů:

‘Používáním funkcí založených na AU k vedení videoreprezentací naučených prostřednictvím Masked Autoencoders (MAE), naše metoda účinně zachycuje lokální změny, které jsou zásadní pro detekci jemných úprav obličeje.

‘Tento přístup nám umožňuje konstruovat sjednocenou latentní reprezentaci, která kóduje jak lokální úpravy, tak i širší úpravy ve videích zaměřených na obličej, poskytující komplexní a přizpůsobitelné řešení pro detekci deepfake.’

Nová práce má název Detekce lokálních manipulací deepfake pomocí reprezentací videa řízených akčními jednotkami a pochází od tří autorů z Indického technologického institutu v Madrasu.

Metoda

V souladu s přístupem přijatým VideoMAE, nová metoda začíná aplikací detekce obličeje na video a vzorkováním rovnoměrně rozložených snímků centrových kolem detekovaných obličejů. Tyto snímky jsou poté rozděleny do malých 3D dělení (tj. časově umožněných patchů), každá zachycující lokální prostorové a časové detaily.

Schéma pro novou metodu. Vstupní video je zpracováno s detekcí obličeje pro extrakci rovnoměrně rozložených, obličejově centerovaných snímků, které jsou poté rozděleny na ‘trubkovité’ patche a předány encodéru, který slučuje latentní reprezentace z dvou předem trénovaných pretextových úkolů. Výsledný vektor je poté použit klasifikátorem pro určení, zda je video reálné nebo falešné.

Každý 3D patch obsahuje pevnou velikost okna pixelů (tj. 16×16) z malého počtu po sobě jdoucích snímků (tj. 2). To umožňuje modelu naučit se krátkodobé pohyby a změny výrazu – nejen to, jak vypadá obličej, ale jak se pohybuje.

Patche jsou vloženy a pozicionálně kódovány předtím, než jsou předány do encodéru navrženého pro extrakci funkcí, které mohou rozlišit reálné od falešného.

Autoři uznávají, že toto je zvláště obtížné při manipulaci s jemnými úpravami, a řeší tuto otázku konstrukcí encodéru, který kombinuje dva samostatné typy naučených reprezentací, pomocí cross-attention mechanismu pro jejich slučování. To má za cíl produkovat citlivější a obecnější prostor funkcí pro detekci lokálních úprav.

Předtextové úkoly

První z těchto reprezentací je encodér trénovaný s úkolem maskovaného autoencodingu. S videem rozděleným na 3D patche (většina z nich je skrytá), encodér se poté učí rekonstruovat chybějící části, čímž je donucen zachytit důležité prostorově-časové vzory, jako jsou pohyby obličeje nebo konzistence v čase.

Trénování pretextového úkolu zahrnuje maskování částí video vstupu a použití encoder-decoder nastavení pro rekonstrukci buď původních snímků nebo per-snímek map akčních jednotek, v závislosti na úkolu.

Nicméně, práce poznamenává, že toto samo o sobě neposkytuje dostatečnou citlivost pro detekci jemných úprav, a autoři proto zavádějí druhý encodér trénovaný k detekci akčních jednotek obličeje (AUs). Pro tento úkol se model učí rekonstruovat husté mapy AUs pro každý snímek, opět z částečně maskovaných vstupů. To ho nutí zaměřit se na lokální svalovou aktivitu, kde mnoho jemných úprav deepfake ocoruje.

Další příklady Akčních jednotek obličeje (FAUs, nebo AUs).

Jakmile jsou oba encodéry předtrénovány, jejich výstupy jsou kombinovány pomocí cross-attention. Místo toho, aby prostě sloučily dvě sady funkcí, model používá funkce založené na AU jako dotazy, které řídí pozornost nad prostorově-časovými funkcemi naučenými z maskovaného autoencodingu. V podstatě, encodér akčních jednotek říká modelu, kam se dívat.

Výsledek je sloučená latentní reprezentace, která má za cíl zachytit jak širší kontext pohybu, tak i lokální detail úrovně výrazu. Tento kombinovaný prostor funkcí se poté používá pro konečnou klasifikační úlohu: předpověď, zda je video reálné nebo manipulované.

Data a testy

Implementace

Autoři implementovali systém předzpracováním vstupních videí s PyTorch-based frameworkem FaceXZoo pro detekci obličeje, získáním 16 obličejově centerovaných snímků z každého klipu. Předtextové úkoly uvedené výše byly poté trénovány na CelebV-HQ datasetu, který zahrnuje 35 000 vysokokvalitních videí obličeje.

Zdrojové papíru, příklady z CelebV-HQ datasetu použitých v novém projektu. Zdroj: https://arxiv.org/pdf/2207.12393

Půlka datových příkladů byla maskována, což donutilo systém naučit se obecné principy místo přeučení se na zdrojová data.

Pro úkol rekonstrukce maskovaného snímku byl model trénován k predikci chybějících oblastí video snímků pomocí L1 ztráty, minimalizující rozdíl mezi původním a rekonstruovaným obsahem.

Pro druhý úkol byl model trénován k generování map pro 16 akčních jednotek obličeje, každá reprezentující jemné svalové pohyby v oblastech, včetně obočí, víček, nosu a rtů, opět řízený L1 ztrátou.

Po předtrénování byly dva encodéry sloučeny a jemně vytrénovány pro detekci deepfake pomocí FaceForensics++ datasetu, který obsahuje jak reálná, tak manipulovaná videa.

FaceForensics++ dataset byl centrálním bodem detekce deepfake od roku 2017, i když je nyní značně zastaralý, pokud jde o nejnovější techniky syntézy obličeje.

Pro vyrovnání nesouladu tříd, autoři použili Focal Loss (variantu cross-entropy ztráty), který zdůrazňuje náročnější příklady během trénování.

Všechny tréninky byly provedeny na jednom RTX 4090 GPU s 24Gb VRAM, s velikostí batche 8 pro 600 epoch (úplné prohlížení dat), pomocí předtrénovaných checkpointů z VideoMAE pro inicializaci váh pro každý z pretextových úkolů.

Testy

Kvantitativní a kvalitativní hodnocení byla provedena proti různým metodám detekce deepfake: FTCN; RealForensics; Lip Forensics; EfficientNet+ViT; Face X-Ray; Alt-Freezing; CADMM; LAANet; a BlendFace’s SBI. Ve všech případech byl k dispozici zdrojový kód pro tyto rámce.

Testy se soustředily na lokálně editované deepfakes, kde byla upravena pouze část zdrojového klipu. Architektury použité byly Diffusion Video Autoencoders (DVA); Stitch It In Time (STIT); Disentangled Face Editing (DFE); Tokenflow; VideoP2P; Text2Live; a FateZero. Tyto metody využívají různé přístupy (difuzi pro DVA a StyleGAN2 pro STIT a DFE, například)

Autoři uvádějí:

‘Pro zajištění komplexního pokrytí různých faciálních manipulací, jsme zahrnuli širokou škálu faciálních rysů a atributů úprav. Pro úpravu faciálních rysů, jsme změnili velikost očí, vzdálenost očí-obočí, poměr nosu, vzdálenost nos-ústa, poměr rtů a poměr lícní kosti. Pro úpravu faciálních atributů, jsme změnili výrazy, jako je úsměv, hněv, odpornost a smutek.

‘Tato rozmanitost je zásadní pro ověření robustnosti našeho modelu napříč širokou škálou lokálních úprav. Celkem, jsme vygenerovali 50 videí pro každou z výše uvedených metod úprav a ověřili silnou generalizaci našeho modelu pro detekci deepfake.’

Starší datasety deepfake byly také zahrnuty do kol, konkrétně Celeb-DFv2 (CDF2); DeepFake Detection (DFD); DeepFake Detection Challenge (DFDC); a WildDeepfake (DFW).

Hodnoticí metriky byly Plocha pod křivkou (AUC); Průměrná přesnost; a Průměrný F1 skóre.

Z papíru: srovnání na nedávných lokálních deepfakech ukazuje, že navrhovaná metoda překonala všechny ostatní, s 15 až 20 procentním ziskem v AUC a průměrné přesnosti oproti nejlepšímu přístupu.

Autoři navíc poskytují vizuální srovnání detekce pro lokálně manipulované pohledy (reprodukováno pouze částečně zde, kvůli omezenému prostoru):

Reálné video bylo upraveno pomocí tří různých lokálních manipulací pro výrobu falešných verzí, které zůstaly vizuálně podobné originálu. Zobrazeny jsou reprezentativní snímky spolu s průměrnými skóremi detekce falešných pro každou metodu. Zatímco existující detektory měly potíže s těmito jemnými úpravami, navrhovaný model konzistentně přiřazoval vysoké pravděpodobnosti falešnosti, ukazující větší citlivost na lokální změny.

Výzkumníci komentují:

‘[Existující] SOTA detekční metody, [LAANet], [SBI], [AltFreezing] a [CADMM], prožívají významný pokles výkonu na nejnovějších metodách generování deepfake. Současné SOTA metody vykazují AUCs až tak nízko, jako 48-71%, demonstrujíce jejich špatné obecné schopnosti generalizace na recentní deepfakes.

‘Na druhé straně, naše metoda demonstruje robustní generalizaci, dosahující AUC v rozmezí 87-93%. Podobný trend je patrný i v případě průměrné přesnosti. Jak je ukázáno [níže], naše metoda také konzistentně dosahuje vysoké výkony na standardních datech, překračující 90% AUC a jsou konkurenceschopné s nedávnými modely detekce deepfake.’

Výkon na tradičních datech deepfake ukazuje, že navrhovaná metoda zůstala konkurenceschopná s předními přístupy, ukazující silnou generalizaci napříč různými typy manipulací.

Autoři pozorují, že tyto poslední testy zahrnují modely, které lze rozumně považovat za zastaralé, a které byly zavedeny před rokem 2020.

Pro rozsáhlejší vizuální znázornění výkonu nového modelu, autoři poskytují rozsáhlou tabulku na konci, z níž jsme schopni reprodukovat pouze část:

V těchto příkladech, reálné video bylo upraveno pomocí tří lokálních úprav pro výrobu falešných verzí, které zůstaly vizuálně podobné originálu. Průměrné skóre spolehlivosti přes tyto manipulace ukazují, autoři uvádějí, že navrhovaný model detekoval padělky spolehlivěji než ostatní přední přístupy. Prosím, odkážete se na poslední stránku zdrojového PDF pro kompletní výsledky.

Autoři tvrdí, že jejich metoda dosahuje skóre spolehlivosti nad 90 procent pro detekci lokálních úprav, zatímco existující detekční metody zůstaly pod 50 procenty na stejné úloze. Vykládají tuto mezery jako důkaz citlivosti a generalizovatelnosti jejich přístupu a jako indikaci výzev, kterým čelí současné techniky při zpracování tohoto typu jemných manipulací s obličejem.

Pro hodnocení spolehlivosti modelu v reálném světě, a podle metody stanovené CADMM, autoři otestovali jeho výkon na videích upravených běžnými zkresleními, včetně úprav nasycení a kontrastu, Gaussova rozostření, pixelace a blokové kompresní artefakty, jakož i additivní šum.

Výsledky ukázaly, že přesnost detekce zůstala převážně stabilní napříč těmito zkresleními. Jediný pozorovatelný pokles nastal s přidáním Gaussova šumu, který způsobil mírný pokles výkonu. Ostatní úpravy měly minimální efekt.

Ilustrace toho, jak se mění přesnost detekce pod různými video zkresleními. Nová metoda zůstala odolná ve většině případů, s pouze malým poklesem AUC. Nejvýraznější pokles nastal, když byl zaveden Gaussov šum.

Tyto nálezy, autoři navrhují, naznačují, že schopnost metody detekovat lokální úpravy není snadno narušena typickými degradacemi kvality videa, podporující její potenciální robustnost v praktických podmínkách.

Závěr

Umělá inteligence existuje v veřejném povědomí především v tradičním pojetí deepfake, kde je identita osoby nahrazena na tělo jiné osoby, která může provádět akce, které jsou v rozporu se zásadami vlastníka identity. Toto pojetí se postupně aktualizuje, aby zahrnovalo více záludné schopnosti generativních videových systémů (v novém typu video deepfake), a schopnosti latentních difuzních modelů (LDM) obecně.

Je tedy rozumné předpokládat, že typ lokální úpravy, se kterým se nová práce zabývá, nemusí vystoupit do veřejného povědomí, dokud nebude mít podobný zásadní dopad, jako měl incident s Pelosi, protože lidé jsou odvráceni od této možnosti snadněji zaujatelnými tématy, jako je video deepfake podvody.

Nicméně, stejně jako herec Nic Cage vyjádřil stálé obavy o možnost, že postprodukční procesy ‘přepracují’ herecký výkon, měli bychom také povzbudit větší povědomí o tomto typu ‘jemné’ video úpravy – nejen proto, že jsme přirozeně nesmírně citliví na velmi malé variace obličejového výrazu, ale také proto, že kontext může významně změnit dopad malých pohybů obličeje (zvažte rušivý efekt i pouhého úšklebku na pohřbu, například).

Poprvé publikováno ve středu, 2. dubna 2025