Deepfakes kunnen veel grote gezichts-‘levens’-API’s effectief misleiden

Een nieuwe onderzoeks samenwerking tussen de VS en China heeft de vatbaarheid van enkele van de grootste gezichtsgebaseerde authenticatiesystemen ter wereld voor deepfakes onderzocht en ontdekt dat de meeste hiervan kwetsbaar zijn voor ontwikkelende en opkomende vormen van deepfake-aanvallen.

Het onderzoek voerde deepfake-gebaseerde inbraken uit met een aangepast kader dat werd ingezet tegen Facial Liveness Verification (FLV)-systemen die algemeen worden geleverd door grote leveranciers en verkocht worden als een dienst aan downstreamklanten zoals luchtvaartmaatschappijen en verzekeringsmaatschappijen.

Uit het artikel, een overzicht van de werking van Facial Liveness Verification (FLV) API’s bij grote leveranciers. Bron: https://arxiv.org/pdf/2202.10673.pdf

Facial Liveness is bedoeld om het gebruik van technieken zoals adversarial image attacks, het gebruik van maskers en vooraf opgenomen video, zogenaamde ‘master faces’, en andere vormen van visuele ID-kloon.

Het onderzoek concludeert dat het beperkte aantal deepfake-detectiemodules dat in deze systemen wordt gebruikt, waarvan veel miljoenen klanten bedienen, verre van onfeilbaar zijn en mogelijk zijn geconfigureerd op deepfake-technieken die nu verouderd zijn, of te specifiek zijn voor de architectuur.

De auteurs merken op:

‘[Verschillende] deepfake-methoden vertonen variaties bij verschillende leveranciers…Zonder toegang tot de technische details van de doel-FLV-leveranciers, speculeren we dat dergelijke variaties worden toegeschreven aan de verdedigingsmaatregelen die door verschillende leveranciers worden geïmplementeerd. Bijvoorbeeld kunnen bepaalde leveranciers verdedigingen tegen specifieke deepfake-aanvallen implementeren.’

En vervolgen:

‘[De meeste] FLV-API’s gebruiken geen anti-deepfake-detectie; zelfs voor die met dergelijke verdedigingen, is hun effectiviteit zorgwekkend (bijv. kan het hoge kwaliteit gesynthesiseerde video’s detecteren, maar faalt bij het detecteren van lage kwaliteit video’s).’

De onderzoekers observeren in dit verband dat ‘authenticiteit’ relatief is:

‘[Zelfs] als een gesynthesiseerde video onwerkelijk is voor mensen, kan het nog steeds de huidige anti-deepfake-detectiemechanismen omzeilen met een zeer hoge succesratio.’

Boven, voorbeelden van deepfake-afbeeldingen die konden authenticeren in de experimenten van de auteurs. Onder, ogenschijnlijk veel realistischere nep-afbeeldingen die authenticatie mislukten.

Een ander onderzoeksresultaat was dat de huidige configuratie van generieke gezichtsverificatiesystemen zijn gebiaseerd naar witte mannen. Vervolgens werden vrouwelijke en niet-blanke identiteiten gevonden die effectiever waren in het omzeilen van verificatiesystemen, waardoor klanten in die categorieën een groter risico lopen op inbraak via deepfake-gebaseerde technieken.

Het rapport vindt dat witte mannelijke identiteiten het meest grondig en nauwkeurig worden beoordeeld door de populaire gezichtslevensverificatie-API’s. In de bovenstaande tabel zien we dat vrouwelijke en niet-blanke identiteiten gemakkelijker kunnen worden gebruikt om de systemen te omzeilen.

Het artikel stelt dat ‘er biases in [Facial Liveness Verification] zijn, die significante beveiligingsrisico’s kunnen veroorzaken voor een bepaalde groep mensen.’

De auteurs voerden ook ethische gezichtsauthenticatie-aanvallen uit tegen een Chinese regering, een grote Chinese luchtvaartmaatschappij, een van de grootste levensverzekeringsmaatschappijen in China en R360, een van de grootste eenhoorn-investeringsgroepen ter wereld, en melden succes bij het omzeilen van de downstream-gebruik van de onderzochte API’s.

In het geval van een succesvolle authenticatie-omzeiling voor de Chinese luchtvaartmaatschappij, vereiste de downstream-API dat de gebruiker zijn hoofd ‘schudde’ als bewijs tegen potentieel deepfake-materiaal, maar dit bleek niet te werken tegen het door de onderzoekers ontwikkelde kader, dat zes deepfake-architecturen incorporeert.

Ondanks de evaluatie van de luchtvaartmaatschappij van een gebruikershoofdshake, kon deepfake-inhoud de test doorstaan.

Het artikel merkt op dat de auteurs contact hebben opgenomen met de betrokken leveranciers, die naar verluidt hun werk hebben erkend.

De auteurs bieden een reeks aanbevelingen voor verbeteringen in de huidige stand van zaken in FLV, waaronder het opgeven van enkelvoudige beeldauthenticatie (‘Image-based FLV’), waarbij authenticatie is gebaseerd op een enkel kader uit een klantencamerafeed; een meer flexibele en uitgebreide update van deepfake-detectiesystemen over beeld- en spraakdomeinen; het opleggen van de noodzaak dat spraakgebaseerde authenticatie in gebruikersvideo synchroon loopt met lipbewegingen (wat ze nu over het algemeen niet doen); en het vereisen van gebruikers om gebaren en bewegingen uit te voeren die momenteel moeilijk zijn voor deepfake-systemen om te reproduceren (bijvoorbeeld profielweergaven en gedeeltelijke verhulling van het gezicht).

Het artikel heet Seeing is Living? Rethinking the Security of Facial Liveness Verification in the Deepfake Era, en komt van de gezamenlijke hoofdauteurs Changjiang Li en Li Wang, en vijf andere auteurs van de Pennsylvania State University, Zhejiang University en Shandong University.

De Kern Doelen

De onderzoekers richtten zich op de ‘zes meest representatieve’ Facial Liveness Verification (FLV)-leveranciers, die zijn geanonimiseerd met cryptoniemen in het onderzoek.

De leveranciers worden als volgt weergegeven: ‘BD’ en ‘TC’ vertegenwoordigen een conglomeraatleverancier met het grootste aantal gezichtsgerelateerde API-aanroepen en het grootste aandeel in China’s AI-cloudservices; ‘HW’ is ‘een van de leveranciers met de grootste [Chinese] openbare cloudmarkt’; ‘CW’ heeft de snelste groeisnelheid in computerzicht en bereikt een leidende marktpositie; ‘ST’ is een van de grootste computerzichtleveranciers; en ‘iFT’ behoort tot de grootste AI-softwareleveranciers in China.

Gegevens en Architectuur

De onderliggende gegevens die het project aansturen, omvatten een dataset van 625.537 afbeeldingen van de Chinese initiatief CelebA-Spoof, samen met live-video’s van de Michigan State University’s 2019 SiW-M-dataset.

Alle experimenten werden uitgevoerd op een server met twee 2,40 GHz Intel Xeon E5-2640 v4-processors die draaien op 256 GB RAM met een 4 TB harde schijf en vier georkestreerde 1080Ti NVIDIA-GPU’s, voor een totaal van 44 GB operationeel VRAM.

Zes in Een

Het kader dat door de auteurs van het artikel is ontwikkeld, heet LiveBugger en incorporeert zes state-of-the-art deepfake-kaders die zijn gericht tegen de vier belangrijkste verdedigingen in FLV-systemen.

LiveBugger bevat diverse deepfake-benaderingen en richt zich op de vier belangrijkste aanvalsvector in FLV-systemen.

De zes deepfake-kaders die worden gebruikt, zijn: Oxford University’s 2018 X2Face; de Amerikaanse academische samenwerking ICface; twee varianten van het Israëlische project FSGAN uit 2019; het Italiaanse First Order Method Model (FOMM), uit begin 2020; en Peking University’s Microsoft Research-samenwerking FaceShifter (hoewel FaceShifter niet open source is, moesten de auteurs het op basis van de gepubliceerde architectuurdetails reconstrueren).

Methoden die onder deze kaders worden gebruikt, omvatten het gebruik van vooraf gerenderde video waarin de onderwerpen van de nepvideo rote acties uitvoeren die zijn geëxtraheerd uit de API-authenticatievereisten in een eerder evaluatiemodule van LiveBugger, en ook het gebruik van effectieve ‘deepfake-poppenspel’, dat de live-bewegingen van een individu vertaalt in een deepfake-stroom die is ingevoegd in een gecoöpteerde webcamstroom.

Een voorbeeld hiervan is DeepFaceLive, dat debuteren afgelopen zomer als een aanvulling op het populaire DeepFaceLab, om real-time deepfake-streaming mogelijk te maken, maar dat niet is opgenomen in het onderzoek van de auteurs.

Aanvallen op de Vier Vectoren

De vier aanvalsvector in een typisch FLV-systeem zijn: beeldgebaseerde FLV, die een enkele gebruikersfoto gebruikt als authenticatietoken tegen een gezichts-ID die is opgenomen in het systeem; stiltegebaseerde FLV, die vereist dat de gebruiker een video-opname uploadt; actiegebaseerde FLV, die vereist dat de gebruiker acties uitvoert die zijn voorgeschreven door het platform; en spraakgebaseerde FLV, die de gesproken stem van een gebruiker vergelijkt met de systeemdatabase voor die gebruiker.

Het eerste uitdaging voor het systeem is het vaststellen van de mate waarin een API zijn vereisten zal onthullen, aangezien deze dan kunnen worden voorzien en aangepast in het deepfake-proces. Dit wordt afgehandeld door de Intelligence Engine in LiveBugger, die informatie verzamelt over vereisten uit openbaar beschikbare API-documentatie en andere bronnen.

Aangezien de gepubliceerde vereisten ontbreken kunnen (om verschillende redenen) in de API’s daadwerkelijke routines, incorporeert de Intelligence Engine een sonde die impliciete informatie verzamelt op basis van de resultaten van exploratoire API-aanroepen. In het onderzoeksproject werd dit gefaciliteerd door officiële offline ‘test’-API’s die beschikbaar zijn gesteld voor ontwikkelaars, en ook door vrijwilligers die hebben aangeboden om hun eigen live-accounts te gebruiken voor testen.

De Intelligence Engine zoekt naar bewijs met betrekking tot of een API momenteel een bepaalde aanpak gebruikt die nuttig kan zijn in aanvallen. Functies van deze soort kunnen coherentie-detectie omvatten, die controleert of de frames in een video tijdelijk continu zijn – een vereiste dat kan worden vastgesteld door verscramblede video-frames te verzenden en te observeren of dit bijdraagt aan authenticatie-mislukking.

De module zoekt ook naar Lip Language Detection, waar de API kan controleren of de geluid in de video synchroon is met de lipbewegingen van de gebruiker (zelden het geval – zie ‘Resultaten’ hieronder).

Resultaten

De auteurs vonden dat alle zes beoordeelde API’s geen coherentie-detectie gebruikten op het moment van de experimenten, waardoor de deepfaker-engine in LiveBugger eenvoudig gesynthesiseerde audio met deepfaked video kon combineren, op basis van materiaal van vrijwilligers.

Echter, enkele downstream-toepassingen (d.w.z. klanten van de API-kaders) werden gevonden om coherentie-detectie aan het proces toe te voegen, waardoor vooraf opgenomen video nodig was om dit te omzeilen.

Bovendien gebruikten slechts enkele van de API-leveranciers lip language-detectie; voor de meeste van hen werden de video en audio als afzonderlijke hoeveelheden geanalyseerd en was er geen functionaliteit die probeerde de lipbeweging te koppelen aan de verstrekte audio.

Uiteenlopende resultaten die de reikwijdte van valse technieken in LiveBugger tegen de uiteenlopende reeks aanvalsvector in FLV-API’s bestrijken. Hogere cijfers geven aan dat de aanvaller succesvol het authenticatieproces heeft doorbroken met deepfake-technieken. Niet alle API’s omvatten alle mogelijke verdedigingen voor FLV; bijvoorbeeld, enkele bieden geen verdediging tegen deepfakes, terwijl anderen geen controle uitvoeren of lipbeweging en audio overeenkomen in gebruikersvideo tijdens authenticatie.

Conclusie

Het onderzoeksresultaat en de indicaties voor de toekomst van FLV-API’s zijn complex, en de auteurs hebben deze samengevoegd in een functionele ‘architectuur van kwetsbaarheden’ die FLV-ontwikkelaars kan helpen om enkele van de problemen die zijn ontdekt, beter te begrijpen”

Het netwerk van aanbevelingen van het artikel met betrekking tot de bestaande en potentiële kwetsbaarheid van gezichtsgebaseerde video-identificatieroutines voor deepfake-aanvallen.

De aanbevelingen merken op:

‘De beveiligingsrisico’s van FLV komen breed voor in veel echte toepassingen en bedreigen daardoor de beveiliging van miljoenen eindgebruikers’

De auteurs observeren ook dat het gebruik van actiegebaseerde FLV ‘marginaal’ is en dat het verhogen van het aantal acties dat gebruikers moeten uitvoeren ‘geen enkele beveiligingswinst kan opleveren’.

Verder merken de auteurs op dat het combineren van spraakherkenning en tijdelijke gezichtsherkenning (in video) een vruchteloze verdediging is, tenzij de API-leveranciers beginnen te eisen dat lipbewegingen synchroon lopen met audio.

Het artikel komt in het licht van een recente FBI-waarschuwing aan bedrijven over de gevaren van deepfake-fraude, bijna een jaar na hun voorspelling van het gebruik van deze technologie in buitenlandse invloedsoperaties en van algemene angsten dat live deepfake-technologie een nieuwe crimewave kan faciliteren bij een publiek dat nog steeds vertrouwt op video-authenticatiebeveiligingsarchitecturen.

Dit zijn nog steeds de vroege dagen van deepfake als een authenticatie-aanvalsoppervlak; in 2020 werd $35 miljoen dollar frauduleus onttrokken aan een bank in de VAE met behulp van deepfake-audiotechnologie en werd een Britse directeur eveneens bedrogen tot het uitbetalen van $243.000 in 2019.

Publicatie 23 februari 2022.