GOTCHA – Ett CAPTCHA-system för Live Deepfakes

Ny forskning från New York University bidrar till de växande tecknen på att vi snart kan behöva genomgå en “berusningskontroll” för att autentisera oss själva innan vi påbörjar ett känsligt videomöte – till exempel ett arbetsrelaterat videomöte eller något annat känsligt scenario som kan locka bedragare som använder real-tids deepfake -strömningssystem.

Några av de aktiva och passiva utmaningarna som tillämpas på videomöten i GOTCHA. Användaren måste följa och klara utmaningarna, medan ytterligare “passiva” metoder (såsom att försöka överbelasta ett potentiellt deepfake-system) används, över vilka deltagaren har ingen kontroll. Källa: http://export.arxiv.org/pdf/2210.06186

Det föreslagna systemet heter GOTCHA – en hyllning till CAPTCHA-systemen som har blivit allt mer besvärliga för webbläsning under de senaste 10-15 åren, där automatiserade system kräver att användaren utför uppgifter som maskiner är dåliga på, såsom att identifiera djur eller tyda förvrängd text (och, ironiskt nog, dessa utmaningar ofta förvandlar användaren till en gratis AMT-liknande annotator).

I själva verket utvidgar GOTCHA den augusti 2022 DF-Captcha -artikeln från Ben-Gurion University, som var den första att föreslå att personen i andra änden av samtalet skulle hoppa genom några visuellt semantiska hinder för att bevisa sin äkthet.

Augusti 2022-artikeln från Ben Gurion University föreslog en rad interaktiva tester för en användare, inklusive att täcka ansiktet med handen eller till och med pressa ner huden – uppgifter som även vältränade live deepfake-system kanske inte har förutsett eller kan hantera fotorealistiskt. Källa: https://arxiv.org/pdf/2208.08524.pdf

Noterbart är att GOTCHA lägger till “passiva” metoder till en “kaskad” av föreslagna tester, inklusive den automatiska överlagringen av overkliga element över användarens ansikte, och “överbelastning” av ramar som går genom källsystemet. Men endast de användarresponsiva uppgifterna kan utvärderas utan specialtillstånd för att komma åt användarens lokala system – vilket, förmodligen, skulle komma i form av lokala moduler eller tillägg till populära system som Skype och Zoom, eller till och med i form av dedikerad proprietär programvara som specifikt är avsedd för att rensa ut bedragare.

Från artikeln, en illustration av interaktionen mellan samtalaren och systemet i GOTCHA, med streckade linjer som beslutsflöden.

Forskarna validerade systemet på en ny dataset som innehåller över 2,5 miljoner videoramar från 47 deltagare, var och en som utförde 13 utmaningar från GOTCHA. De hävdar att ramverket inducerar “konsekvent och mätbar” minskning av deepfake-innehållskvalitet för bedragare, som belastar det lokala systemet tills uppenbara artefakter gör bedrägeriet tydligt för det mänskliga ögat (även om GOTCHA också innehåller några mer subtila algoritmiska analysmetoder).

Den nya artikeln heter Gotcha: A Challenge-Response System for Real-Time Deepfake Detection (systemets namn är versalt i texten men inte i publikationens titel, även om det inte är en akronym).

En rad utmaningar

Huvudsakligen i enlighet med Ben Gurion-artikeln, är de faktiska användarutmaningarna indelade i flera typer av uppgifter.

För ocklusion krävs att användaren antingen täcker ansiktet med handen eller med andra föremål, eller presenterar ansiktet i en vinkel som inte troligen har tränats in i en deepfake-modell (vanligtvis på grund av brist på träningsdata för “konstiga” poser – se bildserien ovan).

Förutom handlingar som användaren kan utföra själv i enlighet med instruktioner, kan GOTCHA överlägga slumpmässiga ansiktsutklipp, klistermärken och augmented reality-filtar, för att “fördärva” ansiktsströmmen som en lokal tränad deepfake-modell kan förvänta sig, vilket får den att misslyckas. Som nämnts tidigare, även om detta är en “passiv” process för användaren, är det en intrusiv process för programvaran, som behöver kunna ingripa direkt i mottagarens ström.

Sedan kan användaren krävas att posera ansiktet i ovanliga ansiktsuttryck som troligen antingen är frånvarande eller underrepresenterade i någon träningsdataset, vilket orsakar en sänkning av kvaliteten på deepfake-utdata (bild “b”, andra kolumnen från vänster, i den första bilden ovan).

Som en del av denna utmaningssträng kan användaren krävas att läsa text eller ha samtal som är avsett att utmana ett lokalt live deepfake-system, som kanske inte har tränat en tillräcklig mängd fonem eller annan typ av mundata till en nivå där det kan rekonstruera exakt läpprörelse under sådan granskning.

Sist (och detta verkar utmana skådespelartalangerna hos mottagaren), i denna kategori, kan användaren bli ombedd att utföra en “mikroexpression” – en kort och ofrivillig ansiktsuttryck som avslöjar en känsla. Om detta säger artikeln ‘[det] vanligtvis varar 0,5-4,0 sekunder och är svårt att förfalska’.

Även om artikeln inte beskriver hur man extraherar en mikroexpression, tyder logiken på att den enda möjliga vägen att göra det är att skapa en passande känsla hos slutanvändaren, kanske med någon form av överraskande innehåll som presenteras för dem som en del av testrutinen.

Ansiktsfördistortion, belysning och oväntade gäster

Ytterligare, i enlighet med förslagen från augusti-artikeln, föreslår det nya arbetet att be slutanvändaren att utföra ovanliga ansiktsfördistortioner och manipuleringar, såsom att trycka fingret mot kinden, interagera med ansiktet och/eller håret och utföra andra rörelser som inget nuvarande live deepfake-system troligen kan hantera väl, eftersom dessa är marginala handlingar – även om de fanns i träningsdatasetet, skulle deras reproduktion troligen vara av låg kvalitet, i linje med andra “outlier”-data.

Ett leende, men detta “nedtryckt ansikte” översätts inte väl av ett lokalt live deepfake-system.

En ytterligare utmaning ligger i att ändra belysningsförhållandena i vilka slutanvändaren befinner sig, eftersom det är möjligt att träningsprocessen för en deepfake-modell har optimerats för standard videokonferensbelysningssituationer, eller till och med de exakta belysningsförhållanden som samtalet äger rum i.

Således kan användaren bli ombedd att lysa med mobiltelefonens lampa på ansiktet, eller på något annat sätt ändra belysningen (och det är värt att notera att detta tillvägagångssätt är den centrala propositionen i en annan live deepfake-detektionsartikel som publicerades i somras).

Live deepfake-system utmanas av oväntad belysning – och till och med av flera personer i strömmen, där det förväntade sig endast en enskild individ.

I fallet med det föreslagna systemet som har möjlighet att ingripa i den lokala användarströmmen (som misstänks innehålla en deepfake-mellanhand), kan tillägg av oväntade mönster (se mittkolumnen i bilden ovan) kompromettera deepfake-algoritmens förmåga att upprätthålla en simulering.

Ytterligare, även om det är orimligt att förvänta sig att en korrespondent ska ha ytterligare personer till hands för att hjälpa till att autentisera dem, kan systemet införa ytterligare ansikten (högersta bilden ovan), och se om något lokalt deepfake-system gör misstaget att byta fokus – eller till och med försöker deepfaka alla (autoencoder deepfake-system har ingen “identitetsigenkänning” som kan hålla fokus på en enskild individ i detta scenario).

Steganografi och överbelastning

GOTCHA inkorporerar också en metod som först föreslogs av UC San Diego i april i år, och som använder steganografi för att kryptera ett meddelande i användarens lokala videostream. Deepfake-rutiner kommer att helt förstöra detta meddelande, vilket leder till en autentiseringsfel.

Från en april 2022-artikel från University of California San Diego och San Diego State University, en metod för att bestämma äkta identitet genom att se om ett steganografiskt signal som skickas in i användarens videostream överlever den lokala slingan intakt – om den inte gör det, kan deepfake-bedrägeri vara på gång. Källa: https://arxiv.org/pdf/2204.01960.pdf

Ytterligare är GOTCHA kapabel att överbelasta det lokala systemet (givet tillgång och tillstånd), genom att duplicera en ström och presentera “överdriven” data för något lokalt system, avsett att orsaka replikationsfel i ett lokalt deepfake-system.

Systemet innehåller ytterligare tester (se artikeln för detaljer), inklusive en utmaning, i fallet med en smartphone-baserad korrespondent, att vända på telefonen, vilket kommer att förvränga ett lokalt deepfake-system:

Igen, detta slags sak skulle bara fungera med en övertygande användningsfall, där användaren tvingas ge lokalt tillträde till strömmen, och inte kan implementeras genom enkel passiv utvärdering av användarvideo, till skillnad från de interaktiva testerna (såsom att trycka fingret mot ansiktet).

Praktik

Artikeln berör kortfattat i vilken utsträckning tester av denna typ kan irritera slutanvändaren, eller på något sätt besvära dem – till exempel, genom att tvinga användaren att ha en mängd föremål till hands som kan behövas för testerna, såsom solglasögon.

Det erkänner också att det kan vara svårt att få kraftfulla korrespondenter att följa testrutinerna. I fråga om fallet med ett videomöte med en VD, säger författarna:

‘Användbarhet kan vara nyckeln här, så informella eller frivola utmaningar (såsom ansiktsfördistortioner eller uttryck) kan inte vara lämpliga. Utmaningar som använder yttre fysiska artiklar kan inte vara önskvärda. Sammanhanget här är lämpligt modifierat och GOTCHA anpassar sin uppsättning utmaningar enligt.

Data och tester

GOTCHA testades mot fyra varianter av lokala live deepfake-system, inklusive två variationer av den mycket populära autoencoder deepfakes-skaparen DeepFaceLab (‘DFL’, även om artikeln, förvånansvärt nog, inte nämner DeepFaceLive, som har varit, sedan augusti 2021, DeepFaceLabs “live”-implementering, och verkar den mest sannolika initiala resursen för en potentiell bedragare).

De fyra systemen var DFL tränade “lätt” på en icke-känd person som deltog i tester och en matchad kändis; DFL tränade mer fullständigt, till 2 miljoner+ iterationer eller steg, där man kan förvänta sig ett mycket mer presterande modell; Latent Image Animator (LIA); och Face Swapping Generative Adversarial Network (FSGAN).

För datainsamlingen fångade och kuraterade forskarna den ovannämnda videoklippssamlingen, som innehåller 47 användare som utförde 13 aktiva utmaningar, med varje användare som producerade cirka 5-6 minuter av 1080p-video i 60fps. Författarna hävdar också att denna data kommer att släppas offentligt.

Anomalidetektering kan utföras antingen av en mänsklig observatör eller algoritmiskt. För den senare alternativet tränades systemet på 600 ansikten från FaceForensics-datasetet. Regressionen av förlustfunktionen var den kraftfulla Learned Perceptual Image Patch Similarity (LPIPS), medan binär korsentropi användes för att träna klassificeraren. EigenCam användes för att visualisera detektorns vikter.

Primära resultat från testerna för GOTCHA.

Forskarna fann att för hela kaskaden av tester över de fyra systemen, var det lägsta antalet och allvarlighetsgraden av anomalier (dvs. artefakter som skulle avslöja närvaron av ett deepfake-system) erhölls av den högre tränade DFL-distributionen. Den mindre tränade versionen kämpade särskilt för att återskapa komplexa läpprörelser (som upptar mycket lite av ramen, men som får hög mänsklig uppmärksamhet), medan FSGAN ockuperade mittenmarken mellan de två DFL-versionerna, och LIA visade sig vara helt otillräcklig för uppgiften, med forskarna som menar att LIA skulle misslyckas i en riktig distribution.

Publicerad första gången den 17 oktober 2022.