Detekce deepfake videohovorů prostřednictvím osvětlení monitoru

Nová spolupráce mezi výzkumníkem z Národní bezpečnostní agentury (NSA) Spojených států a University of California v Berkeley nabízí novou metodu pro detekci deepfake obsahu v živém video kontextu – pozorováním efektu osvětlení monitoru na vzhled osoby na druhém konci videohovoru.

Popularní uživatel DeepFaceLive Druuzil Tech & Games zkouší svůj vlastní model Christiana Balea DeepFaceLab v živé relaci se svými粉丝kami, zatímco se mění zdroje světla. Zdroj: https://www.youtube.com/watch?v=XPQLDnogLKA

Systém funguje tak, že umístí grafický prvek na uživatelskou obrazovku, který mění úzký rozsah své barvy rychleji, než je schopno hluboké falešné systému reagovat – i když, jako je tomu u systémů pro živé deepfake streamování DeepFaceLive (zobrazeno výše), má some schopnost udržet živou barevnou transfer a kompenzaci okolního osvětlení.

Jednotná barevná obrazovka zobrazená na monitoru osoby na druhém konci (tj. potenciálního deepfake podvodníka) prochází omezenou variací barevných změn, které jsou navrženy tak, aby neaktivovaly automatickou bílou rovnováhu webové kamery a další ad hoc kompenzační systémy osvětlení, které by ohrozily metodu.

Z dokumentu, ilustrace změny osvětlení z monitoru před uživatelem, který účinně funguje jako difuzní ‘area light’. Zdroj: https://farid.berkeley.edu/downloads/publications/cvpr22a.pdf

Teorie za touto metodou spočívá v tom, že živé deepfake systémy nemohou reagovat včas na změny zobrazené v grafickém prvku, což zvyšuje ‘zpoždění’ deepfake efektu v určitých částech barevného spektra, odhalující tak jeho přítomnost.

Aby bylo možné přesně měřit odražené světlo monitoru, systém musí zohlednit a poté odečíst efekt obecného okolního osvětlení, které není spojeno se světlem z monitoru. Poté je schopen rozlišit nedostatky v měření aktivního osvětlení a barevného tónu obličeje uživatelů, představujícího časový posun 1-4 snímků mezi nimi:

Omezující barevné variace v grafickém ‘detektoru’ a zajišťující, že webová kamera není.prompted k automatickému nastavení svých snímků kvůli nadměrné změně osvětlení monitoru, výzkumníci byli schopni rozlišit charakteristické zpoždění v deepfake systému při úpravě osvětlení.

Dokument konstatuje:

‘Vzhledem k rozumné důvěře, kterou jsme umístili do živých videohovorů, a rostoucí všudypřítomnosti videohovorů v našich osobních a profesních životech, navrhujeme, že techniky pro autentizaci videa (a audia) budou pouze růst v důležitosti.’

Studie studie se jmenuje Detecting Real-Time Deep-Fake Videos Using Active Illumination a pochází od Candice R. Gerstner, aplikovaného výzkumného matematika na ministerstvu obrany USA, a profesora Hany Farida z Berkeley.

Eroze důvěry

Scéna anti-deepfake výzkumu se za posledních šest měsíců výrazně posunula, a to od obecné detekce deepfake (tj. zaměřené na předem nahraná videa a pornografický obsah) směrem k detekci ‘živosti’, jako reakci na rostoucí vlnu incidentů deepfake použití ve video konferenčních hovorech a na nedávné varování FBI týkající se rostoucího používání těchto technologií v aplikacích pro vzdálenou práci.

Even kde videohovor neproběhl jako deepfake, rostoucí příležitosti pro AI poháněné video impostory začínají generovat paranoiu.

Nová studie uvádí:

‘Vytvoření deepfake v reálném čase [klade] jedinečné hrozby kvůli obecnému pocitu důvěry, který obklopuje živé video nebo telefonní hovor, a výzvu detekovat deepfaky v reálném čase, zatímco hovor probíhá.’

Výzkumná komunita si již dlouho stanovila cíl najít nezvratné znaky deepfake obsahu, které nelze snadno kompenzovat. Ačkoli média typicky charakterizují toto jako technologickou válku mezi bezpečnostními výzkumníky a vývojáři deepfake, většina negací raných přístupů (jako analýza mrknutí očí, rozlišení polohy hlavy a analýza chování) nastala prostě proto, že vývojáři a uživatelé se snažili vytvořit více realistické deepfaky obecně, spíše než specificky řešit poslední ‘znamení’ identifikované bezpečnostní komunitou.

Osvětlující živé deepfake video

Detekce deepfaku v živém video prostředí nese břemeno zohlednění špatných video spojení, které jsou velmi časté ve video konferenčních scénářích. I bez zásahu deepfake vrstvy může video obsah podléhat NASA-stylu zpoždění, renderovacím artefaktům a jiným typům degradace audio a videa. Tyto mohou sloužit k ukrytí hrubých hran deepfaking architektury, both v video a audio deepfakes.

Autoři nového systému vylepšují výsledky a metody, které se objevují v 2020 publikaci z Centra pro síťové výpočetní techniky na Temple University v Philadelphii.

Z 2020 dokumentu, pozorujeme změnu ‘in-filled’ obličejového osvětlení, zatímco se mění obsah uživatelské obrazovky. Zdroj: https://cis.temple.edu/~jiewu/research/publications/Publication_files/FakeFace__ICDCS_2020.pdf

Rozdíl v nové práci spočívá v tom, že zohledňuje, jak webové kamery reagují na změny osvětlení. Autoři vysvětlují:

‘Vzhledem k tomu, že všechny moderní webové kamery provádějí automatickou expozici, typ vysokointenzivního aktivního osvětlení [použité v předchozí práci] je pravděpodobně spouští kameru autoexpozici, která se následně promítne do zaznamenané obličejové podoby. Abychom tomu předešli, používáme aktivní osvětlení, které se skládá z izoluminální změny barev.

‘Ačkoli to vyhýbá se kamerové autoexpozici, mohlo by to spustit kameru bílé vyvážení, které by opět promítlo do zaznamenané obličejové podoby. Abychom tomu předešli, operujeme v barevném rozsahu, který jsme empiricky určili, že nevyvolává bílé vyvážení.’

Pro tuto iniciativu autoři také zohlednili podobné předchozí úsilí, jako je LiveScreen, které vynucuje nenápadný vzor osvětlení na uživatelskou obrazovku v pokusu odhalit deepfake obsah.

Ačkoli tento systém dosáhl 94,8% přesnosti, výzkumníci uzavírají, že subtilnost světelných vzorů by učinila takový skrytý přístup obtížným pro implementaci v jasně osvětlených prostředích, a místo toho navrhují, že jejich vlastní systém, nebo jeden podobný, by mohl být začleněn veřejně a výchozím způsobem do oblíbeného video konferenčního softwaru:

‘Naše navrhovaná intervence by mohla být realizována účastníkem hovoru, který jednoduše sdílí svou obrazovku a zobrazuje časově se měnící vzor, nebo, ideálně, mohla by být přímo integrována do videohovorového klienta.’

Testy

Autoři použili kombinaci syntetických a reálných subjektů k otestování svého Dlib-driven deepfake detektoru. Pro syntetickou scénu použili Mitsuba, forward a inverse renderer ze Švýcarského spolkového technologického institutu v Lausanne.

Vzorky ze simulačního prostředí testů, zobrazující různé odstíny pleti, velikost světelného zdroje, intenzitu okolního světla a vzdálenost od kamery.

Scéna zobrazená obsahuje parametrickou CGI hlavu zachycenou z virtuální kamery s 90° zorným úhlem. Hlavy mají Lambertian reflectance a neutrální odstíny pleti a jsou umístěny 2 stopy před virtuální kamerou.

Aby otestovali rámec napříč různými možnými odstíny pleti a nastaveními, výzkumníci provedli řadu testů, měnící různé aspekty po sobě. Aspekty, které se změnily, zahrnovaly odstín pleti, vzdálenost a velikost osvětlení.

Autoři komentují:

‘V simulaci, s našimi různými předpoklady splněnými, je naše navrhovaná technika vysoce robustní vůči širokému rozsahu konfigurací zobrazování.’

Pro reálnou scénu výzkumníci použili 15 dobrovolníků s různými odstíny pleti, v různých prostředích. Každý byl podroben dvěma cyklům omezené barevné variace, za podmínek, kdy 30Hz obnovovací frekvence displeje byla synchronizována s webovou kamerou, což znamenalo, že aktivní osvětlení trvalo pouze jednu sekundu najednou. Výsledky byly obecně srovnatelné se syntetickými testy, i když korelace vzrostly výrazně s vyššími hodnotami osvětlení.

Budoucí směry

Systém, výzkumníci uznávají, nebere v úvahu typické obličejové zakrytí, jako jsou čelenky, brýle nebo vousy. Nicméně, oni poznamenávají, že maskování tohoto druhu může být přidáno do pozdějších systémů (pomocí označení a následné sémantické segmentace), které by mohly být vyškoleny, aby přijímaly hodnoty výhradně z vnímaných oblastí kůže v cílovém subjektu.

Autoři také navrhují, že podobný paradigm mohl by být použit k detekci deepfaked audio hovorů, a že detekční zvuk by mohl být přehrává v frekvenci mimo normální lidský sluchový rozsah.

Možná nejzajímavěji, výzkumníci také navrhují, že prodloužení vyhodnocovací oblasti za hranice obličeje v bohatším frameworku by mohlo výrazně zlepšit možnost detekce deepfaku*:

‘Více sofistikovaná 3-D odhad osvětlení by pravděpodobně poskytl bohatší vzhledový model, který by byl ještě obtížnější pro podvodníka obejít. Zatímco jsme se zaměřili pouze na obličej, počítačový displej také osvětlí krk, horní část těla a okolní pozadí, z nichž by mohly být provedeny podobné měření.

‘Tyto další měření by donutily podvodníka zohlednit celý 3-D scénu, ne pouze obličej.’

* Moje konverze autorů inline citací na hypertextové odkazy.

Poprvé zveřejněno 6. července 2022.