GOTCHA – Et CAPTCHA-System Til Live Deepfakes

Nyt forskning fra New York University tilføjer til de voksende tegn på, at vi måske snart skal tage deepfake-ækvivalenten af en “berusede test” for at autentificere os selv, før vi starter en følsom videoopkald – såsom en arbejdsrelateret videokonference eller enhver anden følsom situation, der kan tiltrække svindlere, der bruger real-time deepfake streaming-software.

Nogle af de aktive og passive udfordringer, der er anvendt på videoopkaldsscenarier i GOTCHA. Brugeren skal adlyde og bestå udfordringerne, mens der anvendes yderligere ‘passive’ metoder (såsom at overbelaste et potentiel deepfake-system), som brugeren ikke har nogen indflydelse på. Kilde: http://export.arxiv.org/pdf/2210.06186

Det foreslåede system kaldes GOTCHA – en hyldest til CAPTCHA-systemerne, der er blevet en øgende hindring for webbrowsing i de sidste 10-15 år, hvor automatiserede systemer kræver, at brugeren udfører opgaver, som maskiner er dårlige til, såsom at identificere dyr eller tyde uklar tekst (og ironisk nok gør disse udfordringer ofte brugeren til en gratis AMT-lignende outsourced annotator).

I essensen udvider GOTCHA den august 2022 DF-Captcha artikel fra Ben-Gurion University, der var den første til at foreslå, at man skulle lave personen på den anden side af opkaldet til at hoppe gennem nogle visuelt semantiske ringe for at bevise deres ægthed.

august 2022 artiklen fra Ben Gurion University foreslog en række interaktive tests for en bruger, herunder at dække ansigtet til eller trykke på huden – opgaver, som selv godt trænede live deepfake-systemer måske ikke havde forudset eller kan klare fotorealistisk. Kilde: https://arxiv.org/pdf/2208.08524.pdf

Bemærkelsesværdigt tilføjer GOTCHA ‘passive’ metoder til en ‘kaskade’ af foreslåede tests, herunder den automatiske overlejring af ureelle elementer over brugerens ansigt og ‘overbelastning’ af rammer, der går gennem kilde-systemet. Men kun de bruger-reaktive opgaver kan vurderes uden speciel tilladelse til at få adgang til brugerens lokale system – hvilket formodentlig ville komme i form af lokale moduler eller tilføjelser til populære systemer såsom Skype og Zoom, eller endda i form af dedikeret proprietær software, der specifikt er designet til at afsløre svindlere.

Fra artiklen, en illustration af interaktionen mellem opkaldsbrugeren og systemet i GOTCHA, med stiplede linjer som beslutningsflader.

Forskerne validerede systemet på en ny dataset, der indeholder over 2,5 millioner video-rammer fra 47 deltagere, hver udførende 13 udfordringer fra GOTCHA. De hævder, at rammeværket inducerer ‘konsekvent og målbart’ reduktion i deepfake-indholdskvalitet for svindler-brugere, der belaster det lokale system, indtil åbenlyse artefakter gør svindelen tydelig for det blotte øje (selvom GOTCHA også indeholder nogle mere subtile algoritmiske analysemetoder).

Den nye artikel har titlen Gotcha: A Challenge-Response System for Real-Time Deepfake Detection (systemets navn er kapiteleret i artiklens indhold, men ikke i artiklens titel, selvom det ikke er et akronym).

En Række Udfordringer

Primært i overensstemmelse med Ben Gurion-artiklen er de faktiske bruger-tilgængelige udfordringer inddelt i flere typer opgaver.

For occlusion skal brugeren enten dække ansigtet til med hånden eller med andre genstande eller præsentere ansigtet i en vinkel, der ikke sandsynligvis er blevet trænet ind i et deepfake-model (som regel på grund af mangel på træningsdata for ‘underlige’ stillinger – se række af billeder i den første illustration ovenfor).

Ud over handlinger, som brugeren selv kan udføre i overensstemmelse med instruktioner, kan GOTCHA overlejre tilfældige ansigtsskæringer, stickers og augmented reality-filtre for at ‘korrumper’ ansigtstrømmen, som et lokalt trænet deepfake-model måske forventer, og få det til at fejle. Som nævnt tidligere er dette en ‘passiv’ proces for brugeren, men det er en intrusiv proces for softwaren, der skal kunne intervenere direkte i modpartens strøm.

Herefter kan brugeren blive bedt om at stille ansigtet i usædvanlige ansigtsudtryk, der sandsynligvis enten er fraværende eller underrepræsenterede i enhver træningsdataset, og føre til en lavere kvalitet af deepfakede output (billede ‘b’, anden kolonne fra venstre, i den første illustration ovenfor).

Som en del af denne række af tests kan brugeren blive bedt om at læse tekst eller føre samtale, der er designet til at udfordre et lokalt live deepfake-system, der måske ikke har trænet en tilstrækkelig række af fonemer eller andre typer af munddata til et niveau, hvor det kan genskabe præcis lipbevægelse under sådan en undersøgelse.

Til sidst (og dette ville sandsynligvis udfordre den modtagende korrespondents skuespillerfærdigheder), i denne kategori, kan brugeren blive bedt om at udføre en mikro-udtryk – et kort og ufrivilligt ansigtsudtryk, der afslører en emotion. Om dette siger artiklen ‘[det] varer som regel 0,5-4,0 sekunder og er svært at fabrikere’.

Artiklen beskriver ikke, hvordan man kan udtrække et mikro-udtryk, men logikken siger, at den eneste måde at gøre det på er at skabe en passende emotion hos den modtagende bruger, måske med en slags overraskende indhold, der præsenteres for dem som en del af testens rutine.

Ansigtforvrængning, Belysning Og Uventede Gæster

Derudover foreslår det nye arbejde, i overensstemmelse med forslagene fra august-artiklen, at man beder den modtagende bruger om at udføre usædvanlige ansigtforvrængninger og manipulationer, såsom at trykke på kinden eller interagere med ansigtet og/eller håret, og udføre andre bevægelser, som ingen nuværende live deepfake-system sandsynligvis kan klare godt, da disse er marginale handlinger – selv hvis de var til stede i træningsdatasettet, ville deres reproduktion sandsynligvis være af lav kvalitet, i overensstemmelse med andre ‘outlier’-data.

Et smil, men dette ‘deprimeret ansigt’ oversættes ikke godt af et lokalt live deepfake-system.

En yderligere udfordring ligger i at ændre belysningsforholdene, som den modtagende bruger er placeret i, da det er muligt, at træningen af et deepfake-model er blevet optimeret til standard videokonferences belysningssituationer eller endda de eksakte belysningsforhold, som opkaldet finder sted under.

Således kan brugeren blive bedt om at lyse med mobiltelefonens lys på ansigtet eller på anden måde ændre belysningen (og det er værd at bemærke, at denne tilgang er den centrale proposition i en anden live deepfake-detektionsartikel, der udkom i sommer).

Live deepfake-systemer udfordres af uventet belysning – og endda af flere personer i strømmen, hvor det var forventet, at der kun var en enkelt person.

I tilfælde af, at det foreslåede system har mulighed for at intervenere i den lokale brugerstrøm (som mistænkes for at huse en deepfake-mellemmand), kan tilføjelse af uventede mønstre (se midterste kolonne i billedet ovenfor) kompromittere deepfake-algoritmens evne til at opretholde en simulation.

Derudover, selvom det er urimeligt at forvente, at en korrespondent har yderligere personer til rådighed for at hjælpe med at autentificere dem, kan systemet indsætte yderligere ansigter (højre kolonne i billedet ovenfor), og se, om nogen lokal deepfake-system gør fejl af at skifte fokus – eller endda forsøger at deepfake alle sammen (autoencoder deepfake-systemer har ingen ‘identitetsgenkendelses’-evner, der kan fastholde fokus på en enkelt person i denne situation).

Steganografi Og Overbelastning

GOTCHA inkorporerer også en tilgang først foreslået af UC San Diego i april i år, og som anvender steganografi til at kryptere en besked ind i brugerens lokale videostrøm. Deepfake-rutiner vil helt ødelægge denne besked, hvilket fører til en autentificeringsfejl.

Fra en artikel fra april 2022 fra University of California San Diego og San Diego State University, en metode til at bestemme ægte identitet ved at se, om en steganografisk signal, der sendes ind i en brugers videostrøm, overlever den lokale loop intakt – hvis den ikke gør, kan deepfake-svindel være på færde. Kilde: https://arxiv.org/pdf/2204.01960.pdf

Derudover er GOTCHA i stand til at overbelaste det lokale system (givet adgang og tilladelse), ved at duplikere en strøm og præsentere ‘ekstrem’ data for enhver lokal system, designet til at forårsage replikationsfejl i et lokalt deepfake-system.

Systemet indeholder yderligere tests (se artiklen for detaljer), herunder en udfordring, i tilfælde af en smartphone-baseret korrespondent, af at vende telefonen på hovedet, hvilket vil forvrænge et lokalt deepfake-system:

Igen ville dette kun fungere med en overbevisende brugstilfælde, hvor brugeren er tvunget til at give lokal adgang til strømmen, og ikke kan implementeres ved enkel passiv vurdering af brugerens video, i modsætning til de interaktive tests (såsom at trykke på fingrene i ansigtet).

Praktikalitet

Artiklen berører kort, i hvilken udstrækning disse tests kan irritere den modtagende bruger eller på anden måde generere dem – for eksempel ved at tvinge brugeren til at have en række genstande til rådighed, der kan være nødvendige for testene, såsom solbriller.

Det erkender også, at det kan være svært at få magtfulde korrespondenter til at samarbejde om testrutinerne. I forhold til tilfældet med en videoopkald med en CEO, siger forfatterne:

‘Brugervenlighed kan være afgørende her, så uformelle eller frivole udfordringer (såsom ansigtforvrængninger eller udtryk) kan ikke være passende. Udfordringer, der anvender eksterne fysiske artikler, kan ikke være ønskelige. Konteksten her er passende modificeret, og GOTCHA tilpasser sin række af udfordringer derefter.’

Data Og Tests

GOTCHA blev testet mod fire variationer af lokale live deepfake-systemer, herunder to variationer af den meget populære autoencoder deepfakes-creator DeepFaceLab (‘DFL’, selvom artiklen overraskende nok ikke nævner DeepFaceLive, som har været, siden august 2021, DeepFaceLabs ‘live’-implementering, og synes at være den mest sandsynlige første ressource for en potentiel svindler).

De fire systemer var DFL trænet ‘let’ på en ikke-berømt person, der deltog i tests, og en tilhørende celebrity; DFL trænet mere fuldt ud, til 2 millioner+ iterationer eller trin, hvor man ville forvente et langt mere performant model; Latent Image Animator (LIA); og Face Swapping Generative Adversarial Network (FSGAN).

For dataene fik forskerne fanget og kurateret de ovennævnte video-klip, der indeholder 47 brugere, der udfører 13 aktive udfordringer, med hver bruger, der producerer ca. 5-6 minutter af 1080p-video i 60 fps. Forfatterne siger også, at disse data vil til sidst blive offentliggjort.

Anomalidetektion kan udføres enten af en menneskelig iagttager eller algoritmer. For den sidstnævnte mulighed blev systemet trænet på 600 ansigter fra FaceForensics-datasettet. Regressionstab-funktionen var den kraftfulde Learned Perceptual Image Patch Similarity (LPIPS), mens binær krydssammenfald blev brugt til at træne klassificatoren. EigenCam blev brugt til at visualisere detektorens vægte.

Primære resultater fra testene for GOTCHA.

Forskerne fandt, at for den fulde kaskade af tests over de fire systemer var det laveste antal og sværhedsgrad af anomalier (dvs. artefakter, der ville afsløre tilstedeværelsen af et deepfake-system) blev opnået af den højere trænede DFL-distribution. Den mindre trænede version havde svært ved at genskabe komplekse lipbevægelser (som optager meget lidt af rammen, men som modtager høj menneskelig opmærksomhed), mens FSGAN besatte midtergrundet mellem de to DFL-versioner, og LIA viste sig at være helt utilstrækkelig til opgaven, med forskerne, der mente, at LIA ville fejle i en reel udrulning.

Offentliggjort første gang den 17. oktober 2022.