Andersonův úhel
Detekce deepfake videohovorů prostřednictvím osvětlení monitoru

Klíčové bodyAktivní osvětlení s izoluminantními změnami odstínu zabraňuje automatické expozici a…
Zobrazit více
- Aktivní osvětlení s izoluminantními změnami odstínu zabraňuje automatické expozici a vyvážení bílé barvy webkamery.
- Systém detekuje zpoždění deepfake měřením časového posunu o 1–4 snímky mezi odstínem monitoru a odstínem obličeje.
- Budoucí systémy by mohly rozšířit detekci mimo obličej na krk a pozadí pro bohatší analýzu 3D osvětlení.
Nová spolupráce mezi výzkumníkem z Národní bezpečnostní agentury (NSA) Spojených států a University of California v Berkeley nabízí novou metodu pro detekci deepfake obsahu v živém video kontextu – pozorováním efektu osvětlení monitoru na vzhled osoby na druhém konci videohovoru.

Populární uživatel DeepFaceLive Druuzil Tech & Games zkouší svůj vlastní model Christiana Balea DeepFaceLab v živé relaci se svými fanoušky, zatímco se mění zdroje světla. Zdroj: https://www.youtube.com/watch?v=XPQLDnogLKA
Systém funguje tak, že umístí grafický prvek na uživatelskou obrazovku, který mění úzký rozsah své barvy rychleji, než dokáže reagovat běžný systém deepfake – i když, jako je tomu u systémů pro živé deepfake streamování DeepFaceLive (zobrazeno výše), má určitou schopnost udržet přenos barev v reálném čase a kompenzaci okolního osvětlení.
Jednotná barevná obrazovka zobrazená na monitoru osoby na druhém konci (tj. potenciálního deepfake podvodníka) prochází omezenou variací barevných změn, které jsou navrženy tak, aby neaktivovaly automatickou vyvážení bílé webové kamery a další ad hoc kompenzační systémy osvětlení, které by ohrozily metodu.

Z dokumentu, ilustrace změny osvětlení z monitoru před uživatelem, který účinně funguje jako difuzní ‘area light’. Zdroj: https://farid.berkeley.edu/downloads/publications/cvpr22a.pdf
Teorie za touto metodou spočívá v tom, že živé deepfake systémy nemohou reagovat včas na změny zobrazené v grafickém prvku, což zvyšuje ‘zpoždění’ deepfake efektu v určitých částech barevného spektra, odhalující tak jeho přítomnost.
Aby bylo možné přesně měřit odražené světlo monitoru, systém musí zohlednit a poté odečíst efekt obecného okolního osvětlení, které není spojeno se světlem z monitoru. Poté je schopen rozlišit nedostatky v měření aktivního osvětlení a barevného tónu obličeje uživatelů, představujícího časový posun 1-4 snímků mezi nimi:

Omezující barevné variace v grafickém ‘detektoru’ a zajišťující, že webová kamera není podněcována k automatické úpravě nastavení snímání kvůli nadměrné změně osvětlení monitoru, výzkumníci byli schopni rozlišit charakteristické zpoždění v deepfake systému při úpravě osvětlení.
Dokument konstatuje:
‘Vzhledem k rozumné důvěře, kterou jsme umístili do živých videohovorů, a rostoucí všudypřítomnosti videohovorů v našich osobních a profesních životech, navrhujeme, že techniky pro autentizaci videa (a audia) budou pouze růst v důležitosti.’
Studie se jmenuje Detekce videí deepfake v reálném čase pomocí aktivního osvětlení a pochází od Candice R. Gerstner, výzkumnice aplikované matematiky na ministerstvu obrany USA, a profesora Hany Farida z Berkeley.
Eroze důvěry
Scéna anti-deepfake výzkumu se za posledních šest měsíců výrazně posunula, a to od obecné detekce deepfake (tj. zaměřené na předem nahraná videa a pornografický obsah) směrem k detekci ‘živosti’, jako reakci na rostoucí vlnu incidentů deepfake použití ve video konferenčních hovorech a na nedávné varování FBI týkající se rostoucího používání těchto technologií v žádostech o práci na dálku.
I tam, kde videohovor neproběhl jako deepfake, rostoucí příležitosti pro AI poháněné video impostory začínají generovat paranoiu.
Nová studie uvádí:
‘Vytvoření deepfake v reálném čase [představuje] specifické hrozby kvůli obecnému pocitu důvěry, který obklopuje živé video nebo telefonní hovor, a výzvu detekovat deepfaky v reálném čase, zatímco hovor probíhá.’
Výzkumná komunita si již dlouho stanovila cíl najít nezvratné znaky deepfake obsahu, které nelze snadno kompenzovat. Ačkoli média typicky charakterizují toto jako technologickou válku mezi bezpečnostními výzkumníky a vývojáři deepfake, většina negací raných přístupů (jako analýza mrknutí očí, rozlišení polohy hlavy a analýza chování) nastala prostě proto, že vývojáři a uživatelé se snažili vytvořit více realistické deepfaky obecně, spíše než specificky řešit poslední ‘znamení’ identifikované bezpečnostní komunitou.
Osvětlující živé deepfake video
Detekce deepfaku v živém video prostředí nese břemeno zohlednění špatných video spojení, které jsou velmi časté ve video konferenčních scénářích. I bez zásahu deepfake vrstvy může video obsah podléhat NASA-stylu zpoždění, renderovacím artefaktům a jiným typům degradace audio a videa. Tyto mohou sloužit k ukrytí hrubých hran deepfaking architektury, jak ve videu, tak v audio deepfakes.
Autoři nového systému vylepšují výsledky a metody, které se objevují v publikaci z roku 2020 z Centra pro síťové výpočetní techniky na Temple University v Philadelphii.

Z 2020 dokumentu, pozorujeme změnu ‘in-filled’ obličejového osvětlení, zatímco se mění obsah uživatelské obrazovky. Zdroj: https://cis.temple.edu/~jiewu/research/publications/Publication_files/FakeFace__ICDCS_2020.pdf
Rozdíl v nové práci spočívá v tom, že zohledňuje, jak webové kamery reagují na změny osvětlení. Autoři vysvětlují:
‘Vzhledem k tomu, že všechny moderní webové kamery provádějí automatickou expozici, typ vysokointenzivního aktivního osvětlení [použité v předchozí práci] pravděpodobně spustí automatickou expozici kamery, která se následně promítne do zaznamenané obličejové podoby. Abychom tomu předešli, používáme aktivní osvětlení, které se skládá z izoluminální změny barev.
‘Ačkoli tím předejdeme automatické expozici kamery, mohlo by se spustit vyvážení bílé, které by opět zkreslilo zaznamenaný vzhled obličeje. Abychom tomu předešli, operujeme v barevném rozsahu, který jsme empiricky určili, že nevyvolává vyvážení bílé.’
Pro tuto iniciativu autoři také zohlednili podobné předchozí úsilí, jako je LiveScreen, které vynucuje nenápadný vzor osvětlení na uživatelskou obrazovku v pokusu odhalit deepfake obsah.
Ačkoli tento systém dosáhl 94,8% přesnosti, výzkumníci uzavírají, že subtilnost světelných vzorů by učinila takový skrytý přístup obtížným pro implementaci v jasně osvětlených prostředích, a místo toho navrhují, že jejich vlastní systém, nebo jeden podobný, by mohl být začleněn veřejně a výchozím způsobem do oblíbeného video konferenčního softwaru:
‘Naše navrhovaná intervence by mohla být realizována účastníkem hovoru, který jednoduše sdílí svou obrazovku a zobrazuje časově se měnící vzor, nebo, ideálně, mohla by být přímo integrována do videohovorového klienta.’
Testy
Autoři použili kombinaci syntetických a reálných subjektů k otestování svého založeného na Dlib deepfake detektoru. Pro syntetickou scénu použili Mitsuba, renderovací systém pro přímé a inverzní vykreslování ze Švýcarského spolkového technologického institutu v Lausanne.

Vzorky ze simulačního prostředí testů, zobrazující různé odstíny pleti, velikost světelného zdroje, intenzitu okolního světla a vzdálenost od kamery.
Scéna zobrazená obsahuje parametrickou CGI hlavu zachycenou z virtuální kamery s 90° zorným úhlem. Hlavy mají Lambertovu odrazivost a neutrální odstíny pleti a jsou umístěny 2 stopy před virtuální kamerou.
Aby otestovali rámec napříč různými možnými odstíny pleti a nastaveními, výzkumníci provedli řadu testů, měnící různé aspekty po sobě. Aspekty, které se změnily, zahrnovaly odstín pleti, vzdálenost a velikost osvětlení.
Autoři komentují:
‘V simulaci, s našimi různými předpoklady splněnými, je naše navrhovaná technika vysoce robustní vůči širokému rozsahu konfigurací zobrazování.’
Pro reálnou scénu výzkumníci použili 15 dobrovolníků s různými odstíny pleti, v různých prostředích. Každý byl podroben dvěma cyklům omezené barevné variace, za podmínek, kdy 30Hz obnovovací frekvence displeje byla synchronizována s webovou kamerou, což znamenalo, že aktivní osvětlení trvalo pouze jednu sekundu najednou. Výsledky byly obecně srovnatelné se syntetickými testy, i když korelace vzrostly výrazně s vyššími hodnotami osvětlení.
Budoucí směry
Systém, výzkumníci uznávají, nebere v úvahu typické obličejové zakrytí, jako jsou ofiny, brýle nebo vousy. Nicméně, oni poznamenávají, že maskování tohoto druhu může být přidáno do pozdějších systémů (pomocí označení a následné sémantické segmentace), které by mohly být vyškoleny, aby přijímaly hodnoty výhradně z vnímaných oblastí kůže v cílovém subjektu.
Autoři také navrhují, že podobné paradigma by mohlo být použito k detekci deepfaked audio hovorů, a že detekční zvuk by mohl být přehráván na frekvenci mimo normální lidský sluchový rozsah.
Možná nejzajímavěji, výzkumníci také navrhují, že prodloužení vyhodnocovací oblasti za hranice obličeje v bohatším frameworku by mohlo výrazně zlepšit možnost detekce deepfaku*:
‘Sofistikovanější trojrozměrný odhad osvětlení by pravděpodobně poskytl bohatší vzhledový model, který by byl ještě obtížnější pro podvodníka obejít. Zatímco jsme se zaměřili pouze na obličej, počítačový displej také osvětlí krk, horní část těla a okolní pozadí, z nichž by mohly být provedeny podobná měření.
‘Tato další měření by donutily podvodníka zohlednit celou 3-D scénu, ne pouze obličej.’
* Moje konverze autorů inline citací na hypertextové odkazy.
Poprvé zveřejněno 6. července 2022.












