Vídeová deepfake: Fidelity vs. Realismus

Ne všichni praktici deepfake sdílejí stejný cíl: impulz výzkumu syntézy obrazu – podporovaný vlivnými protagonisty, jako je Adobe, NVIDIA a Facebook – je rozvíjet stav umění, aby techniky strojového učení mohly nakonec rekreovat nebo syntetizovat lidskou činnost v vysokém rozlišení a za nejvíce náročných podmínek (fidelity).

Naproti tomu, cílem těch, kteří chtějí použít technologie deepfake k šíření dezinformací, je vytvořit uvěřitelné simulace skutečných lidí mnoha jinými metodami než pouhé pravdivosti deepfaked obličeje. V tomto scénáři, pomocné faktory, jako je kontext a uvěřitelnost, jsou téměř stejné jako potenciál videa simulovat obličeje (realismus).

Tento “sleight-of-hand” přístup se rozšiřuje na degradaci konečné kvality obrazu deepfake videa, aby celý video (a nejenom klamavá část reprezentovaná deepfaked obličejem) měl koherentní “vzhled”, který je přesný pro očekávanou kvalitu média.

‘Koherentní’ nemusí znamenat ‘dobrý’ – stačí, že kvalita je konzistentní napříč původním a vloženým, znehodnoceným obsahem, a dodržuje očekávání. V případě výstupu VOIP streamu na platformách, jako je Skype a Zoom, může být laťkaremarkable nízká, s koktáním, jerkovým videem a celou řadou potenciálních kompresních artifactů, jakož i ‘hladící’ algoritmy navržené ke snížení jejich účinků – které samy o sobě představují další řadu ‘neautentických’ efektů, které jsme přijali jako koreláty omezení a excentricit živého streamování.

DeepFaceLive v akci: tato streamingová verze přední deepfakes softwaru DeepFaceLab může poskytnout kontextuální realismus tím, že představuje falešné obličeje v kontextu omezené kvality videa, kompletní se zpětnými problémy a jinými rekurentními připojovacími artifacty. Zdroj: https://www.youtube.com/watch?v=IL517EgYH8U

Vestavěná degradace

Skutečně, dvě nejoblíbenější balíčky deepfake (obě odvozené z kontroverzního zdrojového kódu z roku 2017) obsahují komponenty určené k integraci deepfaked obličeje do kontextu “historického” nebo nižší kvality videa degradací vygenerovaného obličeje. V DeepFaceLab, parametr bicubic_degrade_power tento účel plní, a v FaceSwap, nastavení ‘grain’ v konfiguraci Ffmpeg rovněž pomáhá integraci falešného obličeje zachováním zrna během kódování*.

Nastavení ‘grain’ v FaceSwap usnadňuje autentickou integraci do ne-HQ videoobsahu a legacy obsahu, který může obsahovat filmová zrna, která jsou relativně vzácná v dnešní době.

Často, namísto úplného a integrovaného deepfake videa, deepfakers budou vyprodukovat izolovanou sérii PNG souborů s alfa kanály, každý obraz zobrazující pouze syntetické obličeje, aby obrazový proud mohl být převeden do videa na platformách s více sofistikovanými ‘degradujícími’ efektovými schopnostmi, jako je Adobe After Effects, předtím, než falešné a skutečné prvky budou spojeny pro konečné video.

Kromě těchto úmyslných degradací je obsah deepfake práce často rekompresován, buď algoritmicky (kde sociální média platformy snaží šetřit šířku pásma produkcí lehčích verzí uploadů uživatelů) na platformách, jako je YouTube a Facebook, nebo zpracováním původní práce do animovaných GIFů, detailních sekcí nebo jiných různě motivovaných workflow, které považují původní vydání za výchozí bod a následně zavádějí další kompresi.

Reálné kontexty detekce deepfake

S tímto na paměti, nová práce ze Švýcarska navrhla revizi metodologie za detekcí deepfake, tím, že učí detekční systémy rozpoznávat charakteristické rysy deepfake obsahu, když je prezentován v úmyslně degradovaných kontextech.

Stochastická data augmentace aplikovaná na jednu z datových sad použitých v novém článku, se zobrazující Gaussovským šumem, gama korekcí a Gaussovským rozostřením, jakož i artifacty z JPEG komprese. Zdroj: https://arxiv.org/pdf/2203.11807.pdf

V novém článku, autoři argumentují, že vanguard deepfake detekční balíčky spoléhají na nereálné benchmarkové podmínky pro kontext metrik, které aplikují, a že ‘degradované’ deepfake výstup může klesnout pod minimální kvalitní práh pro detekci, i když jejich realisticky ‘špinavý’ obsah je pravděpodobně oklamat diváky kvůli správné pozornosti kontextu.

Vědci zavedli novou ‘reálnou světovou’ datovou degradaci, která se podařilo vylepšit obecnou aplikovatelnost předních deepfake detektorů, s pouze marginální ztrátou přesnosti na původních detekčních rychlostech získaných ‘čistými’ daty. Také nabízejí novou evaluační framework, která může vyhodnotit odolnost deepfake detektorů v reálných podmínkách, podporovaná rozsáhlými ablačními studiemi.

Článek je nazvaný Nový přístup ke zlepšení založené na učení detekce deepfake v realistických podmínkách, a pochází od výzkumníků ze Švýcarska.

Užitečná konfuze

Předchozí úsilí o začlenění degradovaného výstupu do detekce deepfake zahrnují Mixup neuronovou síť, nabídku z roku 2018 od MIT a FAIR, a AugMix, spolupráci z roku 2020 mezi DeepMind a Google, obě data augmentační metody, které se snaží ‘zkalit’ trénovací materiál způsobem, který je nakloněn pomoci generalizaci.

Vědci nové práce také poznamenávají předchozí studie, které aplikovaly Gaussovský šum a kompresní artifacty na trénovací data, aby stanovily hranice vztahu mezi odvozenou funkcí a šumem, ve kterém je vložena.

Nová studie nabízí pipeline, který simuluje kompromitované podmínky akvizičního procesu pro zobrazování a kompresní a různé další algoritmy, které mohou dále degradovat obrazový výstup v distribučním procesu. Zahrnutím tohoto reálného workflow do evaluační framework, je možné produkovat trénovací data pro deepfake detektory, která jsou více odolná vůči artifactům.

Konceptuální logika a workflow pro nový přístup.

Degradace procesu byl aplikován na dvě populární a úspěšné datové sady používané pro detekci deepfake: FaceForensics++ a Celeb-DFv2. Kromě toho, přední deepfake detektorové frameworky Capsule-Forensics a XceptionNet byly trénovány na adulterovaných verzích dvou datových sad.

Detektory byly trénovány s Adam optimalizátorem po 25 a 10 epochech. Pro transformaci datové sady, 100 snímků bylo náhodně vybráno z každého trénovacího videa, se 32 snímky extrahovanými pro testování, předtím, než byly přidány degradující procesy.

Degradace považovaná pro workflow zahrnovala šum, kde zero-mean Gaussovský šum byl aplikován na šest různých úrovní; přestavování, aby simuloval sníženou rozlišení typického venkovního záběru, které může typicky ovlivnit detektory; kompresi, kde různé JPEG kompresní úrovně byly aplikovány napříč daty; hlazení, kde tři typické hladící filtry používané v ‘denoising’ jsou vyhodnoceny pro framework; zlepšení, kde kontrast a jasu byly upraveny; a kombinace, kde libovolná kombinace tří výše uvedených metod byly aplikovány současně na jeden obraz.

Testování a výsledky

Při testování dat, výzkumníci přijali tři metriky: Přesnost (ACC); Oblast pod křivkou příjemce (AUC); a F1-skóre.

Výzkumníci otestovali standardně trénované verze dvou deepfake detektorů proti adulterovaným datům a našli je nedostatečnými:

‘Obecně, většina realistických degradací a zpracování je neobyčejně škodlivá pro normálně trénované učící se deepfake detektory. Například, metoda Capsule-Forensics ukazuje velmi vysoké AUC skóre na obou nekomprimovaných FFpp a Celeb-DFv2 testovacích sadách po trénování na příslušných datech, ale poté trpí drastickým poklesem výkonu na modifikovaných datech z našeho evaluačního frameworku. Podobné trendy byly pozorovány s detektorem XceptionNet.’

Naopak, výkon dvou detektorů byl pozoruhodně vylepšen tím, že byli trénováni na transformovaných datech, s každým detektorem nyní více schopným detekovat neviditelná klamavá média.

‘Schéma datové augmentace významně zlepšuje odolnost dvou detektorů a zároveň si zachovávají vysoký výkon na původních nezměněných datech.’

Srovnání výkonu mezi surovými a augmentovanými datovými sadami použitémi napříč dvěma deepfake detektory vyhodnocenými ve studii.

Článek uzavírá:

‘Současné detekční metody jsou navrženy tak, aby dosáhly co nejvyššího výkonu na specifických benchmarcích. To často vede ke snížení schopnosti generalizace na více realistické scénáře. V tomto článku, pečlivě koncipované schéma datové augmentace založené na přirozeném procesu degradace obrazu je navrženo.

‘Rozsáhlé experimenty ukazují, že jednoduchá, ale efektivní technika významně zlepšuje odolnost modelu proti různým realistickým degradacím a zpracování v typických workflow zobrazování.’

* Shodné zrno ve vygenerovaném obličeji je funkcí stylu přenosu během konverzního procesu.

Poprvé zveřejněno 29. března 2022. Aktualizováno 8:33 pm EST, aby se vyjasnilo použití zrna ve Ffmpeg.