GOTCHA – Een CAPTCHA-systeem voor Live Deepfakes

Nieuw onderzoek van de New York University voegt zich bij de groeiende aanwijzingen dat we binnenkort mogelijk een soort ‘drunk test’ moeten afleggen om onszelf te authenticeren voordat we een gevoelige videoconferentie starten – zoals een werkgerelateerde videoconferentie, of elke andere gevoelige situatie die fraudeurs met real-time deepfake streamingsoftware kunnen aantrekken.

Enkele van de actieve en passieve uitdagingen die worden toegepast op videoconferentiescenario’s in GOTCHA. De gebruiker moet deze uitdagingen gehoorzamen en doorstaan, terwijl additionele ‘passieve’ methoden (zoals het proberen te overbelasten van een potentieel deepfakesysteem) worden gebruikt waarover de deelnemer geen invloed heeft. Bron: http://export.arxiv.org/pdf/2210.06186

Het voorgestelde systeem heet GOTCHA – een eerbetoon aan de CAPTCHA-systemen die de afgelopen 10-15 jaar een steeds grotere hindernis voor webbrowsen zijn geworden, waarbij geautomatiseerde systemen de gebruiker taken laten uitvoeren die machines slecht kunnen, zoals het identificeren van dieren of het ontcijferen van onleesbare tekst (en, ironisch genoeg, deze uitdagingen veranderen de gebruiker vaak in een gratis AMT-style uitbestede annotator).

In wezen breidt GOTCHA het onderzoek van augustus 2022 DF-Captcha van de Ben-Gurion Universiteit uit, dat als eerste voorstelde om de persoon aan de andere kant van de oproep een aantal visueel semantische hordes te laten springen om hun authenticiteit te bewijzen.

Het onderzoek van augustus 2022 van de Ben-Gurion Universiteit stelde voor het eerst een reeks interactieve tests voor de gebruiker voor, waaronder het bedekken van hun gezicht of zelfs het indrukken van hun huid – taken die zelfs goed getrainde live deepfakesystemen mogelijk niet hebben voorzien of photorealistisch kunnen verwerken. Bron: https://arxiv.org/pdf/2208.08524.pdf

Opvallend voegt GOTCHA ‘passieve’ methoden toe aan een ‘cascade’ van voorgestelde tests, waaronder de automatische superpositie van onwerkelijke elementen over het gezicht van de gebruiker, en de ‘overbelasting’ van frames die door het systeem gaan. Echter, alleen de taken waarop de gebruiker reageert, kunnen worden geëvalueerd zonder speciale toestemming om toegang te krijgen tot het lokale systeem van de gebruiker – wat, naar verluidt, zou komen in de vorm van lokale modules of add-ons voor populaire systemen zoals Skype en Zoom, of zelfs in de vorm van speciale propriëtaire software die specifiek is ontworpen om neppe gebruikers te weren.

Uit het onderzoek, een illustratie van de interactie tussen de beller en het systeem in GOTCHA, met stippellijnen als beslissingsstromen.

De onderzoekers hebben het systeem gevalideerd op een nieuwe dataset met meer dan 2,5 miljoen videoframes van 47 deelnemers, elk met 13 uitdagingen van GOTCHA. Zij claimen dat het kader een ‘consistent en meetbaar’ vermindering van deepfake-inhoudskwaliteit voor frauduleuze gebruikers veroorzaakt, waarbij het lokale systeem wordt belast totdat duidelijke artefacten zichtbaar worden voor het blote oog (hoewel GOTCHA ook enkele meer subtiele algoritme-analysemethode bevat).

Het nieuwe onderzoek heet Gotcha: A Challenge-Response System for Real-Time Deepfake Detection (de naam van het systeem is in het lichaam van de publicatie niet in hoofdletters, hoewel het geen acroniem is).

Een reeks uitdagingen

Meestal in overeenstemming met het onderzoek van Ben-Gurion, zijn de daadwerkelijke gebruikersgerichte uitdagingen onderverdeeld in verschillende soorten taken.

Voor occlusie, moet de gebruiker zijn gezicht bedekken met zijn hand, of met andere voorwerpen, of zijn gezicht presenteren onder een hoek die niet waarschijnlijk is getraind in een deepfakemodel (meestal vanwege een gebrek aan trainingsgegevens voor ‘vreemde’ poses – zie reeks afbeeldingen in de eerste illustratie hierboven).

Naast acties die de gebruiker zelf kan uitvoeren in overeenstemming met instructies, kan GOTCHA willekeurige gezichtsuitsneden, stickers en augmented reality-filters superponeren, om de gezichtsstream te ‘corrumperen’ die een lokaal getraind deepfakemodel kan verwachten, waardoor het faalt. Zoals eerder vermeld, is dit een ‘passief’ proces voor de gebruiker, maar het is een intrusief proces voor de software, die rechtstreeks moet kunnen ingrijpen in de stream van de eindgebruiker.

Verder kan de gebruiker worden gevraagd om zijn gezicht in ongebruikelijke gezichtsuitdrukkingen te plaatsen die waarschijnlijk afwezig zijn of ondervertegenwoordigd zijn in elke trainingsdataset, waardoor de kwaliteit van de deepfake-uitvoer wordt verlaagd (afbeelding ‘b’, tweede kolom van links, in de eerste illustratie hierboven).

Als onderdeel van deze reeks tests kan de gebruiker worden gevraagd om tekst te lezen of een gesprek te voeren dat is ontworpen om een lokaal live deepfakesysteem uit te dagen, dat mogelijk niet voldoende fonemen of andere soorten mondgegevens heeft getraind om accurate lipbewegingen te reconstrueren onder dergelijke scruten.

Tenslotte (en dit zou de acteertalenten van de eindgebruiker kunnen uitdagen), kan de gebruiker in deze categorie worden gevraagd om een micro-expressie uit te voeren – een korte en onvrijwillige gezichtsuitdrukking die een emotie verraadt. Het onderzoek zegt hierover ‘[het] duurt meestal 0,5-4,0 seconden en is moeilijk te veinzen’.

Hoewel het onderzoek niet beschrijft hoe een micro-expressie kan worden geëxtraheerd, suggereert de logica dat de enige manier om dit te doen is om een passende emotie te creëren bij de eindgebruiker, misschien met een soort verbluffend inhoud die als onderdeel van de testroutine aan hen wordt gepresenteerd.

Gezichtsvervorming, verlichting en onverwachte gasten

Bovendien stelt het nieuwe onderzoek, in overeenstemming met de suggesties van het augustusonderzoek, voor om de eindgebruiker te vragen om ongebruikelijke gezichtsvervormingen en manipulaties uit te voeren, zoals het indrukken van zijn vinger in zijn wang, interactie met zijn gezicht en/of haar, en het uitvoeren van andere bewegingen die geen enkel huidig live deepfakesysteem goed kan verwerken, aangezien dit marginale acties zijn – zelfs als ze aanwezig waren in de trainingsdataset, zou hun reproductie waarschijnlijk van lage kwaliteit zijn, in overeenstemming met andere ‘outlier’-gegevens.

Een glimlach, maar dit ‘verdrietige gezicht’ wordt niet goed vertaald door een lokaal live deepfakesysteem.

Een aanvullende uitdaging ligt in het veranderen van de verlichtingsomstandigheden waarin de eindgebruiker zich bevindt, aangezien het mogelijk is dat de training van een deepfakemodel is geoptimaliseerd voor standaard videoconferentie-verlichtingssituaties, of zelfs de exacte verlichtingsomstandigheden waarin de oproep plaatsvindt.

Dus kan de gebruiker worden gevraagd om de zaklamp op zijn mobiele telefoon op zijn gezicht te schijnen, of op een andere manier de verlichting te veranderen (en het is de moeite waard om op te merken dat deze aanpak het centrale voorstel is van een ander live deepfake-detectieonderzoek dat deze zomer is uitgekomen).

Live deepfakesystemen worden uitgedaagd door onverwachte verlichting – en zelfs door meerdere mensen in de stream, waar het alleen een enkel individu verwachtte.

In het geval dat het voorgestelde systeem de mogelijkheid heeft om in te grijpen in de lokale gebruikersstream (die wordt verdacht van het herbergen van een deepfakemiddelman), kan het toevoegen van onverwachte patronen (zie middelste kolom in de afbeelding hierboven) de mogelijkheid van het deepfake-algoritme om een simulatie te behouden, compromitteren.

Bovendien, hoewel het onredelijk is om van een correspondent te verwachten dat hij extra mensen tot zijn beschikking heeft om hem te helpen authenticeren, kan het systeem extra gezichten toevoegen (rechtsste afbeelding hierboven), en zien of een lokaal deepfakesysteem de fout maakt om de aandacht te schakelen – of zelfs om allemaal te proberen te deepfaken (auto-encoder deepfakesystemen hebben geen ‘identificatie’-mogelijkheden die de aandacht op één individu kunnen richten in dit scenario).

Steganografie en overbelasting

GOTCHA omvat ook een benadering die voor het eerst door de Universiteit van Californië, San Diego, in april van dit jaar is voorgesteld, en die steganografie gebruikt om een bericht in de lokale video-stream van de gebruiker te encrypteren. Deepfakeroutines zullen dit bericht volledig vernietigen, wat leidt tot een authenticatiefout.

Uit een onderzoek van april 2022 van de Universiteit van Californië, San Diego, en de San Diego State University, een methode om de echte identiteit te bepalen door te zien of een steganografisch signaal dat in de video-stream van de gebruiker is verzonden, de lokale lus intact overleeft – als het dat niet doet, kan deepfake-gekunstel mogelijk aan de hand zijn. Bron: https://arxiv.org/pdf/2204.01960.pdf

Bovendien is GOTCHA in staat om het lokale systeem te overbelasten (gegeven toegang en toestemming), door een stream te dupliceren en ‘excessieve’ gegevens aan te bieden aan een lokaal systeem, ontworpen om replicatiefouten te veroorzaken in een lokaal deepfakesysteem.

Het systeem bevat verdere tests (zie het onderzoek voor details), waaronder een uitdaging, in het geval van een smartphone-gebaseerde correspondent, om zijn telefoon om te draaien, wat een lokaal deepfakesysteem zou kunnen verstoren:

Weer, zou dit soort dingen alleen werken met een overtuigend gebruiksscenario, waarbij de gebruiker wordt gedwongen om lokale toegang tot de stream te verlenen, en niet kan worden geïmplementeerd door eenvoudige passieve evaluatie van gebruikersvideo, in tegenstelling tot de interactieve tests (zoals het indrukken van een vinger in iemands gezicht).

Praktische toepasbaarheid

Het onderzoek raakt kort aan de mate waarin tests van deze aard de eindgebruiker kunnen irriteren, of hem op een andere manier kunnen hinderen – bijvoorbeeld door de gebruiker te verplichten om een aantal voorwerpen bij de hand te hebben die nodig kunnen zijn voor de tests, zoals zonnebrillen.

Het erkent ook dat het moeilijk kan zijn om invloedrijke correspondenten te laten meewerken aan de testroutines. Met betrekking tot het geval van een videoconferentie met een CEO, stellen de auteurs:

‘Gebruiksvriendelijkheid kan hier een sleutelrol spelen, dus informele of frivole uitdagingen (zoals gezichtsvervormingen of uitdrukkingen) kunnen niet geschikt zijn. Uitdagingen met externe fysieke artikelen kunnen niet wenselijk zijn. De context hier is dienovereenkomstig aangepast en GOTCHA past zijn reeks uitdagingen dienovereenkomstig aan.’

Gegevens en tests

GOTCHA werd getest tegen vier stammen van lokale live deepfakesystemen, waaronder twee variaties op de zeer populaire auto-encoder deepfakes-creator DeepFaceLab (‘DFL’, hoewel het onderzoek verrassend genoeg DeepFaceLive niet noemt, dat sinds augustus 2021 de ‘live’-implementatie van DeepFaceLab is en lijkt het meest waarschijnlijke eerste middel voor een potentiële faker).

De vier systemen waren DFL getraind ‘licht’ op een niet-bekende persoon die deelnam aan tests, en een bekende celebrity; DFL getraind tot 2 miljoen+ iteraties of stappen, waarbij men een veel performanter model zou verwachten; Latent Image Animator (LIA); en Face Swapping Generative Adversarial Network (FSGAN).

Voor de gegevens hebben de onderzoekers video-opnames vastgelegd en gecureerd, met meer dan 2,5 miljoen videoframes van 47 gebruikers, elk met 13 actieve uitdagingen, met elke gebruiker die ongeveer 5-6 minuten video van 1080p bij 60 fps produceerde. De auteurs verklaren ook dat deze gegevens uiteindelijk openbaar zullen worden gemaakt.

Anomaliedetectie kan worden uitgevoerd door een menselijke waarnemer of algoritme. Voor de laatste optie was het systeem getraind op 600 gezichten uit de FaceForensics-dataset. De regressieverliesfunctie was de krachtige Learned Perceptual Image Patch Similarity (LPIPS), terwijl binaire cross-entropie werd gebruikt om de classificator te trainen. EigenCam werd gebruikt om de gewichten van de detector te visualiseren.

Primaire resultaten van de tests voor GOTCHA.

De onderzoekers vonden dat voor de volledige cascade van tests over de vier systemen, het laagste aantal en ernst van anomalieën (d.w.z. artefacten die de aanwezigheid van een deepfakesysteem zouden onthullen) werden verkregen door de beter getrainde DFL-distributie. De minder getrainde versie had vooral moeite om complexe lipbewegingen (die maar een klein deel van het kader innemen, maar die veel aandacht van de mens krijgen) te reconstrueren, terwijl FSGAN het midden vond tussen de twee DFL-versies, en LIA zich volledig ontoereikend bleek voor de taak, met de onderzoekers die menen dat LIA zou falen in een echte inzet. Eerst gepubliceerd op 17 oktober 2022.