GOTCHA– Systém CAPTCHA pro Live Deepfakes

Nový výzkum z New York University přidává k rostoucím indikacím, že brzy budeme muset absolvovat ekvivalent “testu na opilost”, abychom se autentizovali, než začneme citlivý videohovor – jako je videokonference související s prací nebo jakékoli jiné citlivé scénáře, které mohou přilákat podvodníky používající softwaru pro streamování deepfakes v reálném čase.

Některé z aktivních a pasivních výzev aplikovaných na scénáře videohovorů v GOTCHA. Uživatel musí splnit a projít těmito výzvami, zatímco další ‘pasivní’ metody (jako je pokus o přetížení potenciálního systému deepfakes) jsou použity, nad nimiž má účastník žádný vliv. Zdroj: http://export.arxiv.org/pdf/2210.06186

Návržený systém se nazývá GOTCHA – pocta systémům CAPTCHA, které se staly během posledních 10-15 let stále větším překážkám pro prohlížení webu, kdy automatizované systémy vyžadují, aby uživatel provedl úkoly, které jsou pro stroje obtížné, jako je identifikace zvířat nebo rozluštění zakódovaného textu (a ironicky, tyto výzvy často promění uživatele v bezplatného outsourcovaného annotátora).

V podstatě GOTCHA rozšiřuje srpnový dokument DF-Captcha z Ben-Gurionovy univerzity, který jako první navrhl, aby osoba na druhém konci hovoru musela projít několika vizuálně sémantickými překážkami, aby prokázala svou autenticitu.

Srpnový dokument z Ben-Gurionovy univerzity jako první navrhl řadu interaktivních testů pro uživatele, včetně zakrytí obličeje nebo dokonce stlačení kůže – úkoly, které by i dobře vyškolené systémy live deepfakes nemusely očekávat nebo být schopny zvládnout fotorealisticky. Zdroj: https://arxiv.org/pdf/2208.08524.pdf

Zejména GOTCHA přidává ‘pasivní’ metodologie do ‘kaskády’ navrhovaných testů, včetně automatického superponování nereálných prvků přes obličej uživatele a ‘přetížení’ rámců procházejících systémem. Nicméně pouze úkoly, na které reaguje uživatel, lze vyhodnotit bez speciálních oprávnění k přístupu k místnímu systému uživatele – které by pravděpodobně přišly v podobě místních modulů nebo doplňků pro populární systémy, jako je Skype a Zoom, nebo dokonce v podobě specializovaného proprietárního softwaru, jehož úkolem je odstranit podvodníky.

Z dokumentu, ilustrace interakce mezi volajícím a systémem v GOTCHA, s tečkovanými čarami jako rozhodnutími.

Vědci ověřili systém na novém datasetu obsahujícím více než 2,5 milionu video-rámů z 47 účastníků, každý z nich absolvoval 13 výzev z GOTCHA. Tvrdí, že rámec vyvolává ‘konzistentní a měřitelné’ snížení kvality obsahu deepfakes pro podvodné uživatele, zatěžuje místního systém, dokud nejsou zjevné artefakty patrné lidskému oku (ačkoli GOTCHA obsahuje i některé jemnější algoritmické analytické metody).

Nový dokument se nazývá Gotcha: Systém výzev a odpovědí pro detekci deepfakes v reálném čase (název systému je velkými písmeny v textu, ale ne v názvu publikace, ačkoli to není zkratka).

Škála výzev

Většinou v souladu se srpnovým dokumentem z Ben-Gurionovy univerzity, skutečné výzvy pro uživatele jsou rozděleny do několika typů úkolů.

Pro zakrytí, uživatel je požádán, aby zakryl obličej rukou nebo jinými objekty, nebo aby představil obličej v úhlu, který nebyl pravděpodobně zařazen do modelu deepfakes (obvykle kvůli nedostatku trénovacích dat pro ‘podivné’ pózy – viz řadu obrázků v první ilustraci výše).

Kromě akcí, které může uživatel sám provést podle pokynů, GOTCHA může superponovat náhodné obličejové výřezy, samolepky a filtry augmented reality, aby ‘znečistil’ tok obličeje, který by místně vyškolený model deepfakes mohl očekávat, a způsobit jeho selhání. Jak bylo uvedeno dříve, ačkoli to je ‘pasivní’ proces pro uživatele, je to invazivní proces pro software, který potřebuje mít možnost zasahovat přímo do toku korespondenta.

Dále může být uživatel požádán, aby naklonil obličej do neobvyklých obličejových výrazů, které jsou pravděpodobně buď chybějící nebo nedostatečně reprezentovány v jakémkoli trénovacím datasetu, což způsobí snížení kvality výstupu deepfakes (obrázek ‘b’, druhá sloupec zleva, v první ilustraci výše).

Jako součást této série testů může být uživatel požádán, aby přečetl text nebo vedl konverzaci, která je navržena tak, aby vyzvala místně vyškolený systém live deepfakes, který nemusí mít dostatečně širokou škálu fonémů nebo jiných typů ústních dat, aby mohl rekonstruovat přesné pohyby rtů pod takovým zkoumáním.

Nakonec (a tato výzva by se zdála vyžadovat herecké schopnosti korespondenta), v této kategorii může být uživatel požádán, aby provedl ‘mikro-výraz’ – krátký a nechtěný obličejový výraz, který prozrazuje emoci. O tom dokument říká ‘[to] obvykle trvá 0,5-4,0 sekundy a je obtížné napodobit’.

Ačkoli dokument nepopisuje, jak extrahovat mikro-výraz, logika naznačuje, že jediný způsob, jak to udělat, je vytvořit vhodnou emoci u konečného uživatele, perhaps s nějakým druhem překvapivého obsahu, který je mu předložen jako součást testovací rutiny.

Facimální deformace, osvětlení a neočekávaní hosté

Dále, v souladu se srpnovým dokumentem, nová práce navrhuje požádat konečného uživatele, aby provedl neobvyklé facionální deformace a manipulace, jako je stlačení prstu do tváře, interakce s obličejem a/nebo vlasy a provedení dalších pohybů, které žádný současný systém live deepfakes nemůže zvládnout dobře, protože jsou to okrajové akce – i kdyby byly přítomny v trénovacím datasetu, jejich reprodukce by byla pravděpodobně nízké kvality, v souladu s jinými ‘outlier’ daty.

Úsměv, ale tato ‘deprimovaná tvář’ není dobře přeložena místním systémem live deepfakes.

Další výzva spočívá v změně osvětlovacích podmínek, ve kterých se nachází konečný uživatel, protože je možné, že trénink modelu deepfakes byl optimalizován pro standardní osvětlovací situace videokonferencí, nebo dokonce pro přesně stejné osvětlovací podmínky, ve kterých se hovor koná.

Takže může být uživatel požádán, aby svítil baterkou na mobilním telefonu na obličej, nebo nějakým jiným způsobem změnit osvětlení (a stojí za to poznamenat, že tento přístup je centrální myšlenkou jiného dokumentu o detekci live deepfakes, který vyšel letos v létě).

Systémy live deepfakes jsou vyzývány neočekávaným osvětlením – a dokonce i několika lidmi v toku, kde očekávali pouze jednoho jedince.

V případě, že navrhovaný systém má schopnost zasahovat do místního uživatelského toku (který je podezřelý z přítomnosti deepfakes), přidání neočekávaných vzorů (viz střední sloupec v obrázku výše) může ohrozit schopnost algoritmu deepfakes udržet simulaci.

Dále, ačkoli je nerozumné očekávat, že korespondent bude mít další lidi k dispozici, aby ho pomohli autentizovat, systém může vložit další obličeje (pravý obrázek výše) a zkontrolovat, zda místní systém deepfakes udělá chybu a pokusí se deepfake všech z nich (autoencoder systémy deepfakes nemají žádné ‘identifikační’ schopnosti, které by mohly udržet pozornost na jednom jednotlivci v tomto scénáři).

Steganografie a přetížení

GOTCHA také zahrnuje přístup poprvé navržen Kalifornskou univerzitou v San Diegu v dubnu tohoto roku, který používá steganografii k zašifrování zprávy do místního video toku uživatele. Rutiny deepfakes zcela zničí tuto zprávu, což povede k selhání autentizace.

Z dubnového dokumentu z Kalifornské univerzity v San Diegu a San Diego State University, metoda pro určení autentické identity tím, že se zkontroluje, zda steganografický signál odeslaný do uživatelského video toku přežije místním cyklem neporušený – pokud to neudělá, může být přítomno podvodné jednání s deepfakes. Zdroj: https://arxiv.org/pdf/2204.01960.pdf

Dále je GOTCHA schopný přetížit místního systému (při přístupu a povolení), duplikováním toku a předložením ‘nadměrných’ dat místnímu systému, navrženého tak, aby způsobil replikační selhání v místním systému deepfakes.

Systém obsahuje další testy (viz dokument pro podrobnosti), včetně výzvy, v případě korespondenta se smartphonem, otočit telefon vzhůru nohama, což by zkreslilo místnímu systému deepfakes:

Znovu, tento typ věci by fungoval pouze s přesvědčivým použitím, kde uživatel je nucen udělit místní přístup k toku, a nemůže být implementován jednoduchou pasivní evaluací uživatelského videa, na rozdíl od interaktivních testů (jako je stlačení prstu do obličeje).

Praktičnost

Dokument se krátce dotýká rozsahu, v jakém tyto testy mohou obtěžovat konečného uživatele, nebo jej jinak znevěhodnit – například tím, že uživatel musí mít po ruce několik objektů, které mohou být potřebné pro testy, jako jsou sluneční brýle.

Také uznává, že může být obtížné získat spolupráci silných korespondentů s testovacími rutinami. V případě videohovoru s generálním ředitelem autoři uvádějí:

‘Uživatelská přívětivost může být zde klíčová, takže neformální nebo frivolní výzvy (jako jsou facionální deformace nebo výrazy) nemusí být vhodné. Výzvy používající externí fyzické předměty nemusí být žádoucí. Kontext je zde vhodně upraven a GOTCHA přizpůsobuje svou sadu výzev odpovídajícím způsobem.’

Data a testy

GOTCHA byl testován proti čtyřem verzím místních systémů live deepfakes, včetně dvou variant velmi populárního tvůrce autoencoder deepfakes DeepFaceLab (‘DFL’, ačkoli překvapivě dokument nezmiňuje DeepFaceLive, který je od srpna 2021 ‘živou’ implementací DeepFaceLab a zdá se nejpravděpodobnějším zdrojem pro potenciálního podvodníka).

Čtyři systémy byly DFL trénované ‘lehce’ na neznámé osobě účastnící se testů a spárované s celebritou; DFL trénované více, na 2m+ iterací nebo kroků, kde by se dalo očekávat mnohem lepší model; Latent Image Animator (LIA); a Face Swapping Generative Adversarial Network (FSGAN).

Pro data, výzkumníci zachytili a kurátorovali výše uvedené video klipy, které zahrnují 47 uživatelů, kteří absolvovali 13 aktivních výzev, s každým uživatelem, který produkoval kolem 5-6 minut video ve 1080p při 60 fps. Autoři uvádějí, že tato data budou nakonec veřejně uvolněna.

Detekce anomálií může být provedena buď lidským pozorovatelem nebo algoritmicky. Pro druhou možnost byl systém trénován na 600 obličejích z FaceForensics datasetu. Regresní ztrátová funkce byla silná Learned Perceptual Image Patch Similarity (LPIPS), zatímco binární křížová entropie byla použita pro trénování klasifikátoru. EigenCam byl použit pro visualizaci vah detektoru.

Primární výsledky testů pro GOTCHA.

Vědci zjistili, že pro plnou kaskádu testů napříč čtyřmi systémy, nejnižší počet a závažnost anomálií (tj. artefaktů, které by odhalily přítomnost systému deepfakes) byly získány vyšším trénovaným distribucem DFL. Méně trénovaná verze se zejména potýkala s rekonstrukcí složitých pohybů rtů (které zabírají velmi málo rámečku, ale které dostávají vysokou lidskou pozornost), zatímco FSGAN obsadil střední pozici mezi dvěma verzemi DFL, a LIA se ukázal zcela nevhodný pro úkol, s výzkumníky, kteří se domnívají, že LIA by selhal v reálném nasazení.

Poprvé publikováno 17. října 2022.