Deepfakes kan effektivt lura många stora ansiktsbaserade “liveness”-API:er

En ny forskningssamarbete mellan USA och Kina har undersökt sårbarheten för deepfakes hos några av världens största ansiktsbaserade autentiseringssystem, och funnit att de flesta av dem är sårbara för utvecklade och nya former av deepfake-attacker.

Forskningen genomförde deepfake-baserade intrång med ett anpassat ramverk som distribuerades mot Facial Liveness Verification (FLV)-system som vanligtvis tillhandahålls av stora leverantörer, och som säljs som en tjänst till nedströmskunder som flygbolag och försäkringsbolag.

Från artikeln, en översikt av funktionen för Facial Liveness Verification (FLV)-API:er hos stora leverantörer. Källa: https://arxiv.org/pdf/2202.10673.pdf

Facial Liveness är avsett att avvisa användningen av tekniker som adversarial image-attacker, användningen av masker och förinspelad video, så kallade ‘master-ansikten’, och andra former av visuell ID-kloning.

Studien slutsats är att det begränsade antalet deepfake-detektionsmoduler som distribueras i dessa system, många av vilka tjänar miljontals kunder, är långt ifrån ofelbara, och kan ha konfigurerats för deepfake-tekniker som nu är föråldrade, eller kan vara alltför arkitekturspecifika.

Författarna noterar:

‘[Olika] deepfake-metoder visar variationer över olika leverantörer…Utan tillgång till de tekniska detaljerna för mål-FLV-leverantörerna, spekulerar vi att sådana variationer tillskrivs försvarsåtgärder som distribueras av olika leverantörer. Till exempel kan vissa leverantörer distribuera försvar mot specifika deepfake-attacker.’

Och fortsätter:

‘[De flesta] FLV-API:er använder inte anti-deepfake-detektion; även för de som har sådana försvar, är deras effektivitet bekymmersam (t.ex. kan de upptäcka högkvalitativa syntetiska videor men misslyckas med att upptäcka lågkvalitativa).’

Forskarna observerar, i detta avseende, att ‘autenticitet’ är relativ:

‘[Även] om en syntetisk video är overklig för människor, kan den fortfarande kringgå den nuvarande anti-deepfake-detektionsmekanismen med en mycket hög framgångsfrekvens.’

Ovan, exempel på deepfake-bilder som kunde autentiseras i författarnas experiment. Nedan, tydligt mer realistiska fejkade bilder som misslyckades med autentisering.

En annan upptäckt var att den nuvarande konfigurationen av generiska ansiktsverifieringssystem är biased mot vita män. Därefter befanns kvinnliga och icke-vita identiteter vara mer effektiva i att kringgå verifieringssystem, vilket utsätter kunder i dessa kategorier för större risk att bli utsatta för deepfake-baserade attacker.

Rapporten visar att vita manliga identiteter är de mest rigoröst och korrekt utvärderade av de populära ansiktsbaserade liveness-verifierings-API:erna. I tabellen ovan ser vi att kvinnliga och icke-vita identiteter kan användas för att kringgå systemen.

Rapporten observerar att ‘det finns bias i [Facial Liveness Verification], som kan medföra betydande säkerhetsrisker för en viss grupp människor.’

Författarna genomförde också etiska ansiktsautentiseringsattacker mot en kinesisk regering, ett stort kinesiskt flygbolag, ett av de största livförsäkringsbolagen i Kina och R360, ett av de största enhörningsinvesteringssammanslutningarna i världen, och rapporterar framgång i att kringgå dessa organisationers nedströmsanvändning av de studerade API:erna.

I fallet med en lyckad autentiseringsomgång för det kinesiska flygbolaget, krävde den nedströms API att användaren skulle “skaka på huvudet” som bevis mot potentiell deepfake-material, men detta visade sig inte fungera mot det ramverk som författarna utvecklat, som inkorporerar sex deepfake-arkitekturer.

Trots flygbolagets utvärdering av en användares huvudskakning, kunde deepfake-innehåll passera testet.

Rapporten noterar att författarna kontaktade leverantörerna, som har rapporterat att de har tagit emot arbetet.

Författarna erbjuder en lista med rekommendationer för förbättringar av den nuvarande tillståndet i FLV, inklusive att överge enkelbildsautentisering (“Image-based FLV”), där autentisering baseras på en enda bild från en kunds kamerafeed; en mer flexibel och omfattande uppdatering av deepfake-detektionssystem över bild- och röstdomäner; att kräva att röstbaserad autentisering i användarvideo är synkroniserad med läpprörelser (vilket de inte är nu, i allmänhet); och att kräva att användare utför gester och rörelser som för närvarande är svåra för deepfake-system att reproducera (t.ex. profilvyer och partiell döljning av ansiktet).

Rapporten heter Seeing is Living? Rethinking the Security of Facial Liveness Verification in the Deepfake Era, och kommer från gemensamma huvudförfattare Changjiang Li och Li Wang, och fem andra författare från Pennsylvania State University, Zhejiang University och Shandong University.

Kärnmålen

Forskarna riktade sig mot de “sex mest representativa” Facial Liveness Verification (FLV)-leverantörerna, som har anonymiserats med kryptonymer i forskningen.

Leverantörerna representeras sålunda: ‘BD’ och ‘TC’ representerar en koncernleverantör med det största antalet ansiktsrelaterade API-anrop, och den största andelen av Kinas AI-molntjänster; ‘HW’ är “en av leverantörerna med den största [kinesiska] offentliga molnmarknaden”; ‘CW’ har den snabbaste tillväxttakten inom datorseende, och uppnår en ledande marknadsposition; ‘ST’ är bland de största datorseendeleverantörerna; och ‘iFT’ är bland de största AI-programvaruleverantörerna i Kina.

Data och Arkitektur

Den underliggande datan som driver projektet inkluderar en dataset på 625 537 bilder från den kinesiska initiativet CelebA-Spoof, tillsammans med live-videor från Michigan State Universitys 2019 SiW-M-dataset.

Alla experimenten genomfördes på en server med två 2,40 GHz Intel Xeon E5-2640 v4-processorer som körde på 256 GB RAM med en 4 TB HDD, och fyra orkestrerade 1080Ti NVIDIA-GPU:er, för totalt 44 GB operativt VRAM.

Six in One

Ramverket som utvecklats av rapportens författare kallas LiveBugger, och inkorporerar sex state-of-the-art deepfake-ramverk riktade mot de fyra huvudsakliga försvar i FLV-system.

LiveBugger innehåller diverse deepfake-ansatser, och fokuserar på de fyra huvudsakliga attackvektorerna i FLV-system.

De sex deepfake-ramverken som användes är: Oxford Universitys 2018 X2Face; den amerikanska akademiska samarbetet ICface; två variationer av den israeliska projektet FSGAN från 2019; den italienska First Order Method Model (FOMM), från början av 2020; och Peking Universitys Microsoft Research-samarbete FaceShifter (även om FaceShifter inte är öppen källkod, var författarna tvungna att rekonstruera den baserat på publicerade arkitekturinformation).

Metoder som användes bland dessa ramverk inkluderade användning av förrenderad video där ämnena i spoof-videon utför rutinåtgärder som har extraherats från API-autentiseringskraven i en tidigare utvärderingsmodul av LiveBugger, och även användning av effektiv “deepfake-puppetry”, som översätter en individs levande rörelser till en deepfaked ström som har infogats i en ko-opterad webbkameraström.

Ett exempel på det senare är DeepFaceLive, som debuterade förra sommaren som ett tilläggsprogram till det populära DeepFaceLab, för att möjliggöra realtids-deepfake-strömning, men som inte ingår i författarnas forskning.

Attacking the Four Vectors

De fyra attackvektorerna inom ett typiskt FLV-system är: image-based FLV, som använder en enda användarlevererad bild som en autentiseringstoken mot ett ansikts-ID som finns i systemet; silence-based FLV, som kräver att användaren laddar upp en videoklipp; action-based FLV, som kräver att användaren utför åtgärder som dikteras av plattformen; och voice-based FLV, som matchar en användares uttalade tal mot systemets databaspost för den användarens talmönster.

Den första utmaningen för systemet är att fastställa i vilken utsträckning en API kommer att avslöja sina krav, eftersom de sedan kan förutses och anpassas till i deepfake-processen. Detta hanteras av Intelligence Engine i LiveBugger, som samlar information om krav från offentligt tillgängliga API-dokumentation och andra källor.

Eftersom de publicerade kraven kan vara frånvarande (av olika skäl) från API:ns faktiska rutiner, inkorporerar Intelligence Engine en sond som samlar implicit information baserat på resultaten från utforskande API-anrop. I forskningsprojektet underlättades detta av officiella offline “test”-API:er som tillhandahållits för utvecklares skull, och även av frivilliga som erbjöd sig att använda sina egna live-konton för testning.

Intelligence Engine söker efter bevis för om en API för närvarande använder en viss metod som kan vara användbar i attacker. Funktioner av detta slag kan inkludera coherence detection, som kontrollerar om ramarna i en video är tidsmässigt kontinuerliga – ett krav som kan fastställas genom att skicka omordnade videoramar och observera om detta bidrar till autentiseringsfel.

Modulen söker också efter Lip Language Detection, där API:et kan kontrollera om ljudet i videon är synkroniserat med användarens läpprörelser (sällan fallet – se “Resultat” nedan).

Resultat

Författarna fann att alla sex utvärderade API:er inte använde sig av coherence detection vid tidpunkten för experimenten, vilket tillät deepfaker-motorn i LiveBugger att enkelt sy ihop syntetiserad ljud med deepfaked video, baserat på bidrag från frivilliga.

Men vissa nedströmsapplikationer (dvs. kunder till API-ramverken) befanns ha lagt till coherence detection i processen, vilket krävde förinspelad video som kunde kringgå detta.

Dessutom använde endast några av API-leverantörerna lip language detection; för de flesta av dem analyserades video och ljud som separata kvantiteter, och det fanns ingen funktionalitet som försökte matcha läpprörelserna till det tillhandahållna ljudet.

Varierande resultat som omfattar intervallet av fejktekniker som finns i LiveBugger mot den varierande uppsättningen av attackvektorer i FLV-API:er. Högre tal indikerar en högre framgångsfrekvens i att tränga in i FLV med deepfake-tekniker. Inte alla API:er innehåller alla möjliga försvar för FLV; till exempel saknar några något försvar mot deepfakes, medan andra inte kontrollerar att läpprörelser och ljud matchar i användarvideo under autentisering.

Slutsats

Rapportens resultat och indikationer för framtiden för FLV-API:er är labyrintiska, och författarna har sammanfogat dem till en fungerande “arkitektur av sårbarheter” som kan hjälpa FLV-utvecklare att bättre förstå några av de problem som upptäckts”

Rapportens nätverk av rekommendationer om den befintliga och potentiella sårbarheten för ansiktsbaserade videoidentifikationsrutiner för deepfake-attacker.

Rekommendationerna noterar:

‘Säkerhetsriskerna för FLV finns överallt i många verkliga applikationer, och hotar därmed säkerheten för miljontals slutanvändare’

Författarna observerar också att användningen av action-based FLV är “marginell”, och att ökningen av antalet åtgärder som användare måste utföra “kan inte medföra någon säkerhetsvinst”.

Författarna noterar vidare att kombinationen av röstigenkänning och tidsmässig ansiktsigenkänning (i video) är en meningslös försvar om API-leverantörerna inte börjar kräva att läpprörelser är synkroniserade med ljud.

Rapporten kommer i ljuset av en nylig varning från FBI till företag om farorna med deepfake-bedrägeri, nästan ett år efter deras varning om teknologins användning i utländska påverkansoperationer, och allmänna farhågor att live-deepfake-teknologi kommer att underlätta en ny brottsvåg mot en allmänhet som fortfarande litar på videoidentiseringssäkerhetsarkitekturer.

Detta är fortfarande de tidiga dagarna för deepfake som en autentiseringsattackyta; 2020 extraherades 35 miljoner dollar från en bank i Förenade Arabemiraten med hjälp av deepfake-ljudteknologi, och en brittisk chef blev likaså lurad att betala ut 243 000 dollar 2019.

Publicerad första gången den 23 februari 2022.