Upptäcka videokonferens-deepfakes med en smartphones “vibreringsfunktion”

Ny forskning från Singapore har föreslagit en ny metod för att upptäcka om någon på andra sidan en smartphone-videokonferensverktyg använder metoder som DeepFaceLive för att imitera någon annan.

Den nya metoden, som kallas SFake, överger de passiva metoderna som används av de flesta system och orsakar att användarens telefon vibrerar (med hjälp av samma “vibreringsmekanismer” som är vanliga i smartphones), och suddar ut ansiktet subtilt.

Även om live-deepfaking-system kan replikera rörelseoskärpa, så länge oskarpa bilder ingår i träningdata eller åtminstone i förträningdata, kan de inte svara tillräckligt snabbt på oväntad oskärpa av detta slag och fortsätter att producera icke-oskarpa delar av ansikten, vilket avslöjar existensen av en deepfake-konferenssamtal.

DeepFaceLive kan inte svara tillräckligt snabbt för att simulera oskärpan orsakad av kameravibrationer. Källa: https://arxiv.org/pdf/2409.10889v1

Testresultat på forskarnas egen kuraterade dataset (då inga dataset med aktiva kamerarörelser finns) visade att SFake överträffade konkurrerande video-baserade deepfake-detektionsmetoder, även när de mötte utmanande omständigheter, såsom den naturliga handrörelse som sker när den andra personen i en videokonferens håller kameran med sin hand, istället för att använda en statisk telefonfäste.

Behovet av video-baserad deepfake-detektion ökar

Forskning kring video-baserad deepfake-detektion har ökat nyligen. I kölvattnet av flera års framgångsrika röst-baserade deepfake-rån, lurades en finansarbetare tidigare i år att överföra 25 miljoner dollar till en bedragare som imiterade en CFO i en deepfake-videokonferenssamtal.

Även om ett system av denna natur kräver en hög nivå av hårdvarutillgång, är många smartphone-användare redan vana vid finansiella och andra typer av verifikationstjänster som ber oss att spela in våra ansiktsdrag för ansiktsbaserad autentisering (detta är till och med en del av LinkedIns verifikationsprocess).

Det verkar därför sannolikt att sådana metoder kommer att öka i videokonferenssystem, allteftersom denna typ av brott fortsätter att skapa rubriker.

De flesta lösningar som hanterar realtidsvideokonferens-deepfaking antar en mycket statisk scenario, där kommunikanten använder en stationär webbkamera och inga rörelser eller överdrivna miljö- eller ljusförändringar förväntas. Ett smartphonesamtal erbjuder ingen sådan “fast” situation.

Istället använder SFake en mängd detektionsmetoder för att kompensera för det stora antalet visuella varianter i en handhållen smartphone-baserad videokonferens och verkar vara det första forskningsprojektet som hanterar problemet med hjälp av standardvibreringsutrustning inbyggd i smartphones.

Den artikeln heter Shaking the Fake: Detecting Deepfake Videos in Real Time via Active Probes och kommer från två forskare från Nanyang Technological University i Singapore.

Metod

SFake är utformat som en molnbaserad tjänst, där en lokal app skickar data till en fjärr-API-tjänst för att bearbetas och resultaten skickas tillbaka.

Men dess lilla 450mb fotavtryck och optimerad metodik gör att det kan bearbeta deepfake-detektion helt på enheten själv, i fall där nätverksanslutning kan orsaka att skickade bilder blir alltför komprimerade och påverkar diagnostikprocessen.

Att köra “all lokal” på detta sätt innebär att systemet har direkt tillgång till användarens kameradata, utan kodnings störningar som ofta är förknippade med videokonferenser.

Genomsnittlig analys tid kräver en fyra sekunders videoklipp, under vilken användaren ombeds att stanna stilla och under vilken SFake skickar “prober” för att orsaka kameravibrationer som sker vid selektivt slumpmässiga intervall som system som DeepFaceLive inte kan svara på i tid.

(Det bör åter betonas att varje attackerare som inte har inkluderat oskarpa innehåll i träningdata är osannolikt att kunna producera en modell som kan generera oskärpa, även under mycket mer gynnsamma omständigheter, och att DeepFaceLive inte kan “lägga till” denna funktion till en modell som tränats på en underkuraterad dataset)

Systemet väljer utvalda områden av ansiktet som potentiella deepfake-innehåll, med undantag för ögonen och ögonbrynen (eftersom blinkning och annan ansiktsrörelse i det området ligger utanför oskärpa-detection och inte är en idealisk indikator).

Konceptuell schema för SFake.

Som vi kan se i det konceptuella schemat ovan, efter att ha valt lämpliga och oförutsägbara vibrationsmönster, fastställt den bästa brännvidden och utfört ansiktsigenkänning (inklusive landmark-detection via en Dlib komponent som uppskattar en standard 68 ansiktslandmärken), SFake härleder gradienter från indataansiktet och fokuserar på utvalda områden av dessa gradienter.

Varianssekvensen erhålls genom att sekventiellt analysera varje ram i den korta klippen som studeras, tills den genomsnittliga eller “ideala” sekvensen nås och resten förkastas.

Detta ger extraherade funktioner som kan användas som en kvantifierare för sannolikheten för deepfake-innehåll, baserat på den tränade databasen (av vilken, mer om tillfälle).

Systemet kräver en bildupplösning på 1920×1080 pixlar, samt en minst 2x zoomkrav för objektivet. Artikeln noterar att sådana upplösningar (och ännu högre upplösningar) stöds i Microsoft Teams, Skype, Zoom och Tencent Meeting.

De flesta smartphones har en främre och självfokuserande kamera och ofta bara en av dessa har zoomförmågan som krävs av SFake; appen skulle därför kräva att kommunikanten använder vilken av de två kamerorna som uppfyller dessa krav.

Målet här är att få en korrekt proportion av användarens ansikte in i videostreamen som systemet kommer att analysera. Artikeln observerar att den genomsnittliga avståndet som kvinnor använder mobila enheter är 34,7 cm och för män 38,2 cm (som rapporterats i Journal of Optometry), och att SFake fungerar mycket bra på dessa avstånd.

Eftersom stabilisering är ett problem med handhållen video och eftersom oskärpan som uppstår från handrörelse är ett hinder för SFake, försökte forskarna flera metoder för att kompensera. Den mest framgångsrika av dessa var att beräkna den centrala punkten för de uppskattade landmärkena och använda denna som en “ankare” – effektivt en algoritmisk stabiliseringsteknik. Genom denna metod uppnåddes en noggrannhet på 92%.

Data och tester

Eftersom inga lämpliga dataset fanns för ändamålet, utvecklade forskarna sitt eget:

‘[Vi] använder 8 olika märken av smartphones för att spela in 15 deltagare av varierande kön och ålder för att bygga vår egen dataset. Vi placerar smartphonesen på en telefonhållare 20 cm bort från deltagaren och zoomar in två gånger, med fokus på deltagarens ansikte för att omfatta alla ansiktsdrag medan vi vibrerar smartphonesen i olika mönster.

‘För telefoner vars främre kameror inte kan zooma, använder vi bakre kameror som ersättning. Vi spelar in 150 långa videor, var och en 20 sekunder lång. Som standard antar vi att detektionsperioden varar 4 sekunder. Vi klipper 10 klipp av 4 sekunder långa från en lång video genom att slumpmässigt välja starttiden. Därför får vi totalt 1500 riktiga klipp, var och en 4 sekunder lång.’

Även om DeepFaceLive (GitHub-länk) var det centrala målet för studien, eftersom det för närvarande är det mest använda öppna källkods-systemet för live-deepfaking, inkluderade forskarna fyra andra metoder för att träna deras bas-detektionsmodell: Hififace; FS-GANV2; RemakerAI; och MobileFaceSwap – den sista av dessa en särskilt lämplig val, med tanke på målmiljön.

1500 fejkade videor användes för träning, tillsammans med samma antal riktiga och oförändrade videor.

SFake testades mot flera olika klassificerare, inklusive SBI; FaceAF; CnnDetect; LRNet; DefakeHop varianter; och den kostnadsfria online-deepfake-detektionstjänsten Deepaware. För var och en av dessa deepfake-metoder tränades 1500 fejkade och 1500 riktiga videor.

För den grundläggande testklassificeringen användes ett enkelt tvålagers neuronnätverk med en ReLU-aktiveringsfunktion. 1000 riktiga och 1000 fejkade videor valdes slumpmässigt (även om de fejkade videorna uteslutande var DeepFaceLive-exempel).

Area Under Receiver Operating Characteristic Curve (AUC/AUROC) och Accuracy (ACC) användes som mått.

För träning och inferens användes en NVIDIA RTX 3060 och testerna kördes under Ubuntu. Testvideorna spelades in med en Xiaomi Redmi 10x, en Xiaomi Redmi K50, en OPPO Find x6, en Huawei Nova9, en Xiaomi 14 Ultra, en Honor 20, en Google Pixel 6a och en Huawei P60.

För att överensstämma med befintliga detektionsmetoder implementerades testerna i PyTorch. Primära testresultat visas i tabellen nedan:

Resultat för SFake mot konkurrerande metoder.

Här kommenterar författarna:

‘I alla fall översteg SFakes detektionsnoggrannhet 95%. Bland de fem deepfake-algoritmerna, förutom Hififace, presterar SFake bättre mot andra deepfake-algoritmer än de andra sex detektionsmetoderna. Eftersom vår klassificerare tränades med fejkade bilder genererade av DeepFaceLive, nådde den den högsta noggrannhetsgraden på 98,8% när den upptäckte DeepFaceLive.

‘När det gäller fejkade ansikten som genereras av RemakerAI presterar andra detektionsmetoder dåligt. Vi spekulerar att detta kan bero på den automatiska komprimeringen av videor när de laddas ner från internet, vilket resulterar i förlust av bildinformation och därmed minskar detektionsnoggrannheten. Detta påverkar dock inte SFakes detektion, som uppnår en noggrannhet på 96,8% vid detektion mot RemakerAI.’

Författarna noterar ytterligare att SFake är det mest presterande systemet i scenariot med en 2x zoom som appliceras på inspelningen, eftersom detta förstärker rörelse och är en extremt utmanande uppgift. Även i denna situation kunde SFake uppnå en igenkänningsnoggrannhet på 84% och 83%, respektive för 2,5 och 3 förstoringfaktorer.

Slutsats

Ett projekt som använder svagheterna i ett live-deepfake-system mot sig själv är ett fräscht erbjudande i ett år då deepfake-detektion har dominerats av artiklar som har väckt väletablerade metoder runt frekvensanalys (vilket är långt ifrån immunt mot innovationer i deepfake-området).

I slutet av 2022 använde ett annat system skärmens ljusstyrka som en detektorhook; och under samma år visade min egen demonstration av DeepFaceLives oförmåga att hantera hårda 90-graders profilvyer viss communityintresse.

DeepFaceLive är det riktiga målet för ett sådant projekt, eftersom det med all sannolikhet är fokus för kriminellt intresse i fråga om videokonferensbedrägeri.

Men jag har nyligen sett vissa anekdotiska bevis för att LivePortrait-systemet, som för närvarande är mycket populärt i VFX-samhället, hanterar profilvyer mycket bättre än DeepFaceLive; det hade varit intressant om det kunde ha ingått i denna studie.

Publicerad första gången tisdag, 24 september 2024