GOTCHA – Et CAPTCHA-System for Live Deepfakes

Ny forskning fra New York University bidrar til de økende indikasjonene på at vi snart kan måtte gjennomføre en “berused”-test for å autentisere oss selv før vi starter en sensitiv video-samtale – slik som en arbeidsrelatert video-konferanse eller andre sensitive scenarioer som kan tiltrekke seg bedragere som bruker sanntids deepfake-strømming-programvare.

Noen av de aktive og passive utfordringene som brukes i video-samtale-scenarier i GOTCHA. Brukeren må adlyde og bestå utfordringene, mens det også brukes ‘passive’ metoder (slik som å overbelaste et potensielt deepfake-system) som brukeren ikke har noen innflytelse over. Kilde: http://export.arxiv.org/pdf/2210.06186

Det foreslåtte systemet heter GOTCHA – en hyllest til CAPTCHA-systemene som har blitt en økende hindring for nettlesing de siste 10-15 årene, hvor automatiserte systemer krever at brukeren utfører oppgaver som maskiner er dårlige til, slik som å identifisere dyr eller tyde ukjente tekst (og, ironisk nok, disse utfordringene ofte gjør brukeren til en gratis AMT-liknende annotator).

I essensen utvider GOTCHA DF-Captcha-artikkelen fra august 2022 fra Ben-Gurion University, som var den første til å foreslå å gjøre personen på den andre siden av samtalen til å hoppe gjennom noen visuelt semantiske hinder for å bevise sin autentisitet.

august 2022-artikkelen fra Ben Gurion University foreslo en rekke interaktive tester for en bruker, inkludert å skjule ansiktet eller trykke på huden – oppgaver som selv godt trente live deepfake-systemer kanskje ikke har forutsett eller kan håndtere fotorealistisk. Kilde: https://arxiv.org/pdf/2208.08524.pdf

Merkelig nok legger GOTCHA til ‘passive’ metoder til en ‘kaskade’ av foreslåtte tester, inkludert automatisk overlagring av urealistiske elementer over brukerens ansikt, og ‘overbelastning’ av rammene som går gjennom kilde-systemet. Imidlertid kan bare bruker-reaktive oppgaver vurderes uten spesielle tillatelser til å få tilgang til brukerens lokale system – som, antageligvis, ville komme i form av lokale moduler eller tillegg til populære systemer som Skype og Zoom, eller selv i form av dedikert programvare spesifikt utformet for å avdekke bedragere.

Fra artikkelen, en illustrasjon av interaksjonen mellom samtale-partneren og systemet i GOTCHA, med stiplet linjer som beslutningsflyt.

Forskerne validerer systemet på en ny datasett som inneholder over 2,5 millioner video-rammer fra 47 deltakere, hver med 13 utfordringer fra GOTCHA. De hevder at rammeverket inducerer ‘konsistent og målbart’ reduksjon i deepfake-innholdskvalitet for bedrageriske brukere, som belaster det lokale systemet til det åpenbare artefakter blir synlige for det blotte øyet (selv om GOTCHA også inneholder noen mer subtile algoritmbaserte analysemetoder).

Den nye artikkelen heter Gotcha: Et utfordrings-svar-system for sanntids deepfake-avdekking (systemets navn er kapitalisert i teksten, men ikke i artikkeltittelen, selv om det ikke er et akronym).

En rekke utfordringer

Hovedsakelig i samsvar med Ben Gurion-artikkelen, er de faktiske bruker-orienterte utfordringene inndelt i flere typer oppgaver.

For okklusjon, må brukeren enten skjule ansiktet med hånden eller med andre objekter, eller presentere ansiktet i en vinkel som ikke sannsynligvis har blitt trent inn i en deepfake-modell (vanligvis på grunn av mangel på treningdata for ‘rar’ posisjoner – se rekke av bilder i den første illustrasjonen ovenfor).

Foruten handlinger som brukeren kan utføre selv i samsvar med instruksjoner, kan GOTCHA overlagre tilfeldige ansikts-utklipp, stikkontakter og augmented reality-filtre, for å ‘korrumpere’ ansikt-strømmen som et lokalt trent deepfake-modell kan forvente, og forårsake feil. Som tidligere nevnt, selv om dette er en ‘passiv’ prosess for brukeren, er det en invasiv prosess for programvaren, som må kunne gripe inn i sluttpunktets strøm.

Neste, kan brukeren bli bedt om å plassere ansiktet i uvanlige ansiktsuttrykk som sannsynligvis enten er fraværende eller under-representert i noen treningdatasett, og forårsake en nedgang i kvaliteten på deepfake-utdata (bilde ‘b’, andre kolonne fra venstre, i den første illustrasjonen ovenfor).

Som en del av denne rekken av tester, kan brukeren bli bedt om å lese tekst eller føre samtale som er designet for å utfordre et lokalt sanntids deepfake-system, som kanskje ikke har trent en tilstrekkelig rekke fonemer eller andre typer munn-data til et nivå hvor det kan rekonstruere nøyaktig lepebevegelse under slik skarpskyting.

Til slutt (og dette kan utfordre skuespillertalentene til sluttpunktet), i denne kategorien, kan brukeren bli bedt om å utføre en mikro-uttrykk – et kort og ufrivillig ansiktsuttrykk som avslører en emosjon. Av dette sier artikkelen ‘[det] varer vanligvis 0,5-4,0 sekunder, og er vanskelig å forfalske’.

Artikkelen beskriver ikke hvordan man kan trekke ut et mikro-uttrykk, men logikken tyder på at den eneste måten å gjøre det på er å skape en passende emosjon hos sluttpunktet, kanskje med noen slags overraskende innhold som presenteres for dem som en del av testens rutine.

Ansiktsforvrengning, lys og uventede gjester

I tillegg, i samsvar med forslagene fra august-artikkelen, foreslår det nye arbeidet å be sluttpunktet om å utføre uvanlige ansiktsforvrengninger og manipulasjoner, som å trykke fingeren inn i kinnet, interagere med ansiktet og/eller håret, og utføre andre bevegelser som ingen nåværende sanntids deepfake-system sannsynligvis kan håndtere godt, siden disse er marginale handlinger – selv om de var til stede i treningdatasettet, ville deres rekonstruksjon sannsynligvis være av lav kvalitet, i samsvar med andre ‘outlier’-data.

Et smil, men dette ‘deprimerte ansiktet’ blir ikke godt oversatt av et lokalt sanntids deepfake-system.

En ekstra utfordring ligger i å endre belysningsforholdene som sluttpunktet er plassert i, siden det er mulig at treningen av et deepfake-modell har blitt optimalisert for standard video-konferanse-lyssituasjoner, eller selv de eksakte lysforholdene som samtalen foregår i.

Så kan brukeren bli bedt om å skine mobiltelefonens lommelykt på ansiktet, eller på noen annen måte endre lysforholdene (og det er verdt å merke seg at denne tilnærmingen er det sentrale forslaget i en annen sanntids deepfake-avdekking-artikkel som kom ut i sommer).

Sanntids deepfake-systemer blir utfordret av uventet lys – og selv av flere personer i strømmen, hvor det ventet bare en enkelt person.

I tilfelle det foreslåtte systemet har evnen til å gripe inn i den lokale bruker-strømmen (som mistenkes for å huse en deepfake-megler), kan tilføying av uventede mønster (se midtre kolonne i bildet ovenfor) kompromittere deepfake-algoritmens evne til å opprettholde en simulering.

I tillegg, selv om det er urimelig å forvente at en samtale-partner har flere personer tilgjengelige for å hjelpe med å autentisere dem, kan systemet injisere ekstra ansikter (høyre-mest bilde ovenfor), og se om noen lokalt deepfake-system gjør feilen av å bytte fokus – eller selv forsøker å deepfake alle sammen (autoencoder deepfake-systemer har ingen ‘identitetsgjenkjenning’-evner som kunne holde fokus på en enkelt person i dette scenarioet).

Steganografi og overbelastning

GOTCHA inkorporerer også en tilnærming først foreslått av UC San Diego i april i år, og som bruker steganografi til å kryptere en melding inn i brukerens lokale video-strøm. Deepfake-rutiner vil fullstendig ødelegge denne meldingen, og føre til en autentiseringsfeil.

Fra en artikkel fra april 2022 fra University of California San Diego, og San Diego State University, en metode for å bestemme ekte identitet ved å se om en steganografisk signal sendt inn i en brukers video-strøm overlever den lokale løkken intakt – hvis den ikke gjør det, kan deepfake-juks være i spill. Kilde: https://arxiv.org/pdf/2204.01960.pdf

I tillegg er GOTCHA i stand til å overbelaste det lokale systemet (gitt tilgang og tillatelse), ved å duplisere en strøm og presentere ‘ekstrem’ data til noen lokalt system, designet for å forårsake replikasjonsfeil i et lokalt deepfake-system.

Systemet inneholder ytterligere tester (se artikkelen for detaljer), inkludert en utfordring, i tilfelle en smartphone-basert samtale-partner, å vende telefonen på hodet, som vil forvrengte et lokalt deepfake-system:

Igjen, slik noe ville bare fungere med en overbevisende brukstilfelle, hvor brukeren er tvunget til å gi lokal tilgang til strømmen, og ikke kan implementeres ved enkel passiv vurdering av bruker-video, i motsetning til de interaktive testene (slik som å trykke en finger inn i ansiktet).

Praktiskhet

Artikkelen berører kort hvordan slike tester kan irritere sluttpunktet, eller på andre måter ulempe dem – for eksempel, ved å tvinge brukeren til å ha en rekke objekter tilgjengelige som kan være nødvendige for testene, som solbriller.

Det erkjenner også at det kan være vanskelig å få mektige samtale-partnere til å samarbeide med test-rutinene. I forbindelse med en video-samtale med en CEO, sier forfatterne:

‘Brukervennlighet kan være nøkkel her, så uformelle eller latterlige utfordringer (slik som ansiktsforvrengninger eller uttrykk) kan ikke være passende. Utfordringer som bruker eksterne fysiske artikler kan ikke være ønskelige. Konteksten her er passende modifisert og GOTCHA tilpasser sin rekke av utfordringer deretter.’

Data og tester

GOTCHA ble testet mot fire varianter av lokale sanntids deepfake-systemer, inkludert to varianter av den svært populære autoencoder deepfakes-creator DeepFaceLab (‘DFL’, selv om artikkelen overraskende ikke nevner DeepFaceLive, som har vært, siden august 2021, DeepFaceLabs ‘live’-implementering, og ser ut til å være den mest sannsynlige initial-resursen for en potensiell bedrager).

De fire systemene var DFL trent ‘lett’ på en ikke-berømt person som deltok i tester, og en tilhørende celebrity; DFL trent mer fullstendig, til 2 millioner+ iterasjoner eller steg, hvor man kunne forvente et mye mer performant modell; Latent Image Animator (LIA); og Face Swapping Generative Adversarial Network (FSGAN).

For dataene, fanget og kuraterte forskerne den ovennevnte video-klippene, som inneholder over 2,5 millioner video-rammer fra 47 deltakere, hver med 13 aktive utfordringer, med hver bruker som produserte rundt 5-6 minutter med 1080p-video i 60fps. Forfatterne sier også at disse dataene vil til slutt bli offentliggjort.

Anomalieteknikk kan utføres enten av en menneskelig observatør eller algoritmisk. For den siste valgmuligheten, ble systemet trent på 600 ansikter fra FaceForensics-datasettet. Regresjons-tap-funksjonen var den kraftfulle Learned Perceptual Image Patch Similarity (LPIPS), mens binær kryss-entropi ble brukt til å trene klassifisatoren. EigenCam ble brukt til å visualisere detektorens vekter.

Primære resultater fra testene for GOTCHA.

Forskerne fant at for den fullstendige kaskaden av tester over de fire systemene, var det lavest antall og alvorlighetsgrad av anomalier (dvs. artefakter som ville avsløre tilstedeværelsen av et deepfake-system) som ble oppnådd av den høyere trente DFL-distribusjonen. Den mindre trente versjonen kjempet spesielt med å rekonstruere komplekse lepebevegelser (som okkuperer svært lite av rammene, men som mottar høy menneskelig oppmerksomhet), mens FSGAN okkuperte midterområdet mellom de to DFL-versjonene, og LIA viste seg å være fullstendig utilstrekkelig til oppgaven, med forskerne som mente at LIA ville feile i en virkelig utrulling.

Først publisert 17. oktober 2022.