Upptäcka videokonferenser Deepfakes med en smartphones "vibrera"-funktion

Ny forskning från Singapore har föreslagit en ny metod för att upptäcka om någon i andra änden av ett smarttelefonvideokonferensverktyg använder metoder som t.ex. DeepFaceLive att utge sig för någon annan.

Betitlad SFake, det nya tillvägagångssättet överger de passiva metoder som används av de flesta system, och orsakar användarens telefon att vibrera (med samma "vibrerings"-mekanismer gemensam över smartphones) och gör ansiktet suddigt.

Även om live-deepfaking-system på olika sätt är kapabla att replikera rörelseoskärpa, så länge som suddiga bilder inkluderades i träningsdata, eller åtminstone i data före träning, kan de inte reagera tillräckligt snabbt på oväntad oskärpa av detta slag och fortsätter att mata ut icke suddiga delar av ansikten som avslöjar förekomsten av ett djupt falskt konferenssamtal.

DeepFaceLive kan inte svara tillräckligt snabbt för att simulera oskärpan som orsakas av kameravibrationerna. Källa: https://arxiv.org/pdf/2409.10889v1

Testresultat på forskarnas självkurerade datamängd (eftersom det inte finns några datauppsättningar med aktiv kameraskakning) fann att SFake överträffade konkurrerande videobaserade metoder för deepfake-detektering, även när de stod inför utmanande omständigheter, såsom den naturliga handrörelsen som uppstår när den andra person i en videokonferens håller kameran med handen istället för att använda ett statiskt telefonfäste.

Det växande behovet av videobaserad Deepfake-detektion

Forskningen om videobaserad deepfake-detektion har ökat på senare tid. I kölvattnet av flera års framgångsrika röstbaserade deepfake rån, tidigare i år var en finansarbetare luras till att överföra 25 miljoner dollar till en bedragare som utgav sig för att vara en finanschef i ett djupt falskt videokonferenssamtal.

Även om ett system av detta slag kräver en hög nivå av hårdvaruåtkomst, är många smartphoneanvändare redan vana vid finansiella och andra typer av verifieringstjänster som ber oss att registrera våra ansiktsegenskaper för ansiktsbaserad autentisering (det är faktiskt till och med en del av LinkedIns verifiering behandla).

Det verkar därför troligt att sådana metoder i allt högre grad kommer att tillämpas för videokonferenssystem, eftersom denna typ av brott fortsätter att skapa rubriker.

De flesta lösningar som tar itu med djupförfalskning av videokonferenser i realtid utgår från ett mycket statiskt scenario, där kommunikatanten använder en stationär webbkamera och inga rörelser eller överdrivna miljö- eller ljusförändringar förväntas. Ett smartphonesamtal erbjuder ingen sådan "fast" situation.

Istället använder SFake ett antal detekteringsmetoder för att kompensera för det stora antalet visuella varianter i en handhållen smartphone-baserad videokonferens, och verkar vara det första forskningsprojektet som tar itu med problemet genom att använda standard vibrationsutrustning inbyggd i smartphones.

Ocuco-landskapet papper har titeln Shaking the Fake: Upptäck Deepfake-videor i realtid via Active Probes, och kommer från två forskare från Nanyang Technological University i Singapore.

Metod

SFake är designad som en molnbaserad tjänst, där en lokal app skulle skicka data till en fjärransluten API-tjänst för att bearbetas och resultaten skickas tillbaka.

Dess blotta 450 MB fotavtryck och optimerade metod gör att den kan bearbeta deepfake-detektering helt och hållet på själva enheten, i fall där nätverksanslutning kan göra att skickade bilder blir alltför komprimerade, vilket påverkar diagnostikprocessen.

Att köra "all local" på detta sätt innebär att systemet skulle ha direkt tillgång till användarens kameraflöde, utan codec störningar som ofta förknippas med videokonferenser.

Genomsnittlig analystid kräver ett videoprov på fyra sekunder, under vilket användaren uppmanas att förbli stilla, och under vilken SFake skickar "sonder" för att orsaka kameravibrationer, med selektivt slumpmässiga intervall som system som DeepFaceLive inte kan svara på i tid .

(Det bör återigen betonas att alla angripare som inte har inkluderat suddiga innehåll i träningsdataset är osannolikt att kunna producera en modell som kan generera oskärpa även under mycket gynnsammare omständigheter, och att DeepFaceLive inte bara kan "lägga till" denna funktionalitet till en modell tränad på en underkurerad datauppsättning)

Systemet väljer utvalda områden i ansiktet som områden med potentiellt djupt falskt innehåll, exklusive ögon och ögonbryn (eftersom blinkande och annan ansiktsrörlighet i det området ligger utanför omfattningen av oskärpa, och inte en idealisk indikator).

Konceptuellt schema för SFake.

Som vi kan se i det konceptuella schemat ovan, efter att ha valt lämpliga och oförutsägbara vibrationsmönster, bestämt sig för den bästa brännvidden och utfört ansiktsigenkänning (inklusive landmärkesdetektion via en Dlib komponent som uppskattar en standard 68 ansikts landmärken), härleder SFake gradienter från ingångsytan och koncentrerar sig på utvalda områden av dessa gradienter.

Varianssekvensen erhålls genom att sekventiellt analysera varje bildruta i det korta klippet som studeras, tills den genomsnittliga eller "ideala" sekvensen har kommit fram, och resten ignoreras.

Detta ger extraheras pass som kan användas som en kvantifierare för sannolikheten för djupförfalskade innehåll, baserat på den tränade databasen (varav mer momentant).

Systemet kräver en bildupplösning på 1920×1080 pixlar, samt minst 2x zoomkrav för objektivet. Tidningen noterar att sådana resolutioner (och ännu högre upplösningar) stöds i Microsoft Teams, Skype, Zoom och Tencent Meeting.

De flesta smartphones har en front- och självvänd kamera, och ofta har bara en av dessa de zoommöjligheter som krävs av SFake; appen skulle därför kräva att kommunikatören använder vilken av de två kamerorna som uppfyller dessa krav.

Målet här är att få en rätt proportion av användarens ansikte i videoströmmen som systemet kommer att analysera. Tidningen konstaterar att det genomsnittliga avståndet som kvinnor använder mobila enheter är 34.7 cm och för män 38.2 cm (som rapporterade in Journal of Optometri), och att SFake fungerar mycket bra på dessa avstånd.

Eftersom stabilisering är ett problem med handhållen video, och eftersom oskärpan som uppstår från handrörelser är ett hinder för SFakes funktion, försökte forskarna flera metoder för att kompensera. Det mest framgångsrika av dessa var att beräkna centralpunkten för de uppskattade landmärkena och använda detta som ett "ankare" – i praktiken en algoritmisk stabiliseringsteknik. Genom denna metod erhölls en noggrannhet på 92 %.

Data och tester

Eftersom det inte fanns några lämpliga datauppsättningar för ändamålet utvecklade forskarna sina egna:

"[Vi] använder 8 olika märken av smartphones för att spela in 15 deltagare av olika kön och åldrar för att bygga vår egen datauppsättning. Vi placerar smarttelefonen på telefonhållaren 20 cm från deltagaren och zoomar in två gånger, och siktar mot deltagarens ansikte för att omsluta alla hans ansiktsdrag samtidigt som vi vibrerar smartphonen i olika mönster.

"För telefoner vars främre kameror inte kan zooma, använder vi de bakre kamerorna som ett substitut. Vi spelar in 150 långa videor, vardera 20 sekunder långa. Som standard antar vi att upptäcktsperioden varar i 4 sekunder. Vi trimmar 10 klipp på 4 sekunder från en lång video genom att slumpvisa starttiden. Därför får vi totalt 1500 riktiga klipp, vart och ett 4 sekunder långt.'

Även DeepFaceLive (GitHub-länk) var det centrala målet för studien, eftersom det för närvarande är det mest använda open source live deepfaking-systemet, inkluderade forskarna fyra andra metoder för att träna sin basdetekteringsmodell: Hififace; FS-GANV2; RemakerAI; Och MobileFaceSwap – den sista av dessa ett särskilt lämpligt val med tanke på målmiljön.

1500 falska videor användes för utbildning, tillsammans med motsvarande antal riktiga och oförändrade videor.

SFake testades mot flera olika klassificerare, inklusive SBI; FaceAF; CnnDetect; LRNet; DefakeHop varianter; och den kostnadsfria onlinetjänsten för deepfake-detektion Deepaware. För var och en av dessa deepfake-metoder tränades 1500 falska och 1500 riktiga videor.

För bastestklassificeraren, ett enkelt tvåskikt neurala nätverk med en ReLU aktiveringsfunktion användes. 1000 riktiga och 1000 falska videor valdes slumpmässigt ut (även om de falska videorna uteslutande var DeepFaceLive-exempel).

Område under mottagarens funktionskurva (AUC/AUROC) och noggrannhet (ACC) användes som mått.

För träning och slutledning användes en NVIDIA RTX 3060, och testerna körs under Ubuntu. Testvideorna spelades in med en Xiaomi Redmi 10x, en Xiaomi Redmi K50, en OPPO Find x6, en Huawei Nova9, en Xiaomi 14 Ultra, en Honor 20, en Google Pixel 6a och en Huawei P60.

För att överensstämma med befintliga detektionsmetoder implementerades testerna i PyTorch. Primära testresultat illustreras i tabellen nedan:

Resultat för SFake mot konkurrerande metoder.

Här kommenterar författarna:

"I alla fall översteg SFakes detektionsnoggrannhet 95 %. Bland de fem deepfake-algoritmerna, förutom Hififace, presterar SFake bättre mot andra deepfake-algoritmer än de andra sex detektionsmetoderna. Eftersom vår klassificerare tränas med att använda falska bilder genererade av DeepFaceLive, når den den högsta noggrannhetsgraden på 98.8 % när den detekterar DeepFaceLive.

"När man möter falska ansikten som genererats av RemakerAI, fungerar andra detekteringsmetoder dåligt. Vi spekulerar att detta kan bero på den automatiska komprimeringen av videor vid nedladdning från internet, vilket resulterar i förlust av bilddetaljer och därigenom minskad upptäcktsnoggrannhet. Detta påverkar dock inte detekteringen av SFake som uppnår en noggrannhet på 96.8 % vid detektion mot RemakerAI.'

Författarna noterar vidare att SFake är det mest presterande systemet i scenariot med en 2x zoom som appliceras på fångstobjektivet, eftersom detta överdriver rörelsen och är en otroligt utmanande möjlighet. Även i denna situation kunde SFake uppnå en igenkänningsnoggrannhet på 84 % respektive 83 % för 2.5 respektive 3 förstoringsfaktorer.

Slutsats

Ett projekt som använder svagheterna i ett levande deepfake-system mot sig självt är ett uppfriskande erbjudande under ett år där deepfake-detektering har dominerats av tidningar som bara har rört upp sig ärevördig tillvägagångssätt kring frekvensanalys (som är långt ifrån immun mot innovationer i deepfake-utrymmet).

I slutet av 2022 användes ett annat system bildskärmens ljusstyrkevariation som en detektorkrok; och samma år, min egen demonstration av DeepFaceLives oförmåga att hantera hårda 90-graders profilvyer fick en del samhällsintresse.

DeepFaceLive är det korrekta målet för ett sådant projekt, eftersom det nästan säkert är i fokus för brottsligt intresse när det gäller videokonferensbedrägerier.

Men jag har nyligen sett några anekdotiska bevis för att LivePorträtt System, som för närvarande är mycket populärt i VFX-communityt, hanterar profilvyer mycket bättre än DeepFaceLive; det hade varit intressant om det hade kunnat inkluderas i denna studie.

Första gången publicerad tisdagen den 24 september 2024