Dybefalsk-detektorer søger nye grunde: Latent Diffusionsmodeller og GANs

Mening

For nylig har deepfake-detektionsforskningsfællesskabet, der siden slutningen af 2017 næsten udelukkende har beskæftiget sig med autoencoder-baserede rammer, der havde premiere på den tid til offentlig beundring (og forbløffelse), begyndt at tage en retsmedicinsk interesse i mindre stagnerende arkitekturer, herunder latent diffusionsmodeller som DALL-E 2 og Stable Diffusion, samt output fra Generative Adversarial Networks (GANs). For eksempel offentliggjorde UC Berkeley resultaterne af deres forskning i udviklingen af en detektor for output fra den daværende dominerende DALL-E 2 i juni.

Det, der synes at drive denne voksende interesse, er det pludselige evolutionsspring i kapaciteten og tilgængeligheden af latent diffusionsmodeller i 2022, med den lukkede og begrænsede udgivelse af DALL-E 2 i foråret, efterfulgt af den sensationelle åbne kildekode af Stable Diffusion af stability.ai i slutningen af sommeren.

GANs er også blevet længe studeret i denne sammenhæng, omend mindre intensivt, da det er meget svært at bruge dem til overbevisende og udførlige video-baserede rekonstruktioner af mennesker; i hvert fald, sammenlignet med de nu værdsatte autoencoder-pakker som FaceSwap og DeepFaceLab – og sidstnævntes live-streaming-fætter, DeepFaceLive.

Bevægelige billeder

I begge tilfælde synes den galvaniserende faktor at være udsigten til en efterfølgende udviklingssprint for video-syntese. Starten af oktober – og 2022’s store konference-sæson – var kendetegnet ved en lavine af pludselige og uventede løsninger på forskellige længevarende video-syntese-problemer: lige så snart Facebook frigav eksempler af sin egen tekst-til-video-platform, overgik Google Research hurtigt den oprindelige anerkendelse ved at annoncere sin nye Imagen-to-Video T2V-arkitektur, der kan producere høj opløsning (om end kun via en 7-lags netværk af upscalers).

Hvis du tror, at denne slags ting kommer i tre, overvej også stability.ai’s mystiske løfte om, at “video er på vej” til Stable Diffusion, tilsyneladende senere i år, mens Stable Diffusion-samudvikler Runway har givet et lignende løfte, om end det er uklart, om de henviser til det samme system. Discord-besked fra Stability’s CEO Emad Mostaque lovede også ‘lyd, video [og] 3D’.

Hvad med en ud af det blå tilbud af flere nye lyd-genererings-rammer (nogle baseret på latent diffusionsmodeller), og en ny diffusionsmodell, der kan generere ægte karakterbevægelse, begynder tanken om, at “statiske” rammer som GANs og diffusorer endelig vil tage deres plads som støttende adjunkter til eksterne animations-rammer at få reel trækkraft.

For at gøre det kort, synes det sandsynligt, at den handicappede verden af autoencoder-baserede video-deepfakes, der kun kan erstatte den centrale del af et ansigt, kan være overgået af en ny generation af diffusions-baserede deepfake-kapable teknologier – populære, åbne tilgange med potentialet til at fotorealistisk fabrikere ikke kun hele kroppe, men hele scener.

For denne grund, måske, begynder anti-deepfake-forskningsfællesskabet at tage billedsyntese alvorligt og at indse, at det kan tjene mere end blot at generere falske LinkedIn-profilbilleder; og at hvis alle deres uudforskede latente rum kan opnå i forhold til temporal bevægelse er at fungere som en rigtig god teksturerer, det måske faktisk er mere end nok.

Blade Runner

De to seneste artikler, der henholdsvis omhandler latent diffusions-baseret og GAN-baseret deepfake-detektion, er DE-FAKE: Detektion og tilskrivning af falske billeder genereret af tekst-til-billede-diffusionsmodeller, et samarbejde mellem CISPA Helmholtz Center for Information Security og Salesforce; og BLADERUNNER: Hurtig modforanstaltning for syntetiske (AI-genererede) StyleGAN-ansigter, fra Adam Dorian Wong på MIT’s Lincoln Laboratory.

Før han forklarer sin nye metode, tager artiklen lidt tid til at undersøge tidligere tilgange til at bestemme, om et billede er genereret af en GAN (artiklen omhandler specifikt NVIDIA’s StyleGAN-familie).

‘Brady Bunch’-metoden – måske en meningsløs reference for nogen, der ikke så tv i 1970’erne eller gik glip af 1990’ernes filmtilpasninger – identificerer GAN-fabrikeret indhold baseret på de faste positioner, som bestemte dele af et GAN-ansigt er sikre på at besætte, på grund af den rutinemæssige og templet-baserede “produktionsproces”.

Den ‘Brady Bunch’-metode, der er fremført af en webcast fra SANS-instituttet i 2022: en GAN-baseret ansigtsgenerator vil udføre usandsynlig uniform placering af visse ansigtsfunktioner, hvilket afslører billedets oprindelse i visse tilfælde. Kilde: https://arxiv.org/ftp/arxiv/papers/2210/2210.06587.pdf

En anden nyttig kendt indikation er StyleGAN’s hyppige manglende evne til at rendre multiple ansigter (første billede nedenfor), hvis nødvendigt, samt dens manglende talent i tilbehørs-koordination (midterste billede nedenfor), og en tendens til at bruge en hårlinje som starten på en improviseret hat (tredje billede nedenfor).

Tredje metode, som forskeren påpeger, er billede-overlæg (et eksempel kan ses i vores artikel fra august om AI-baseret diagnosticering af psykiske lidelser), som bruger kompositorisk “billede-blending”-software som CombineZ-serien til at konkatenerere flere billeder til ét enkelt billede, ofte afslørende underliggende fælles træk i struktur – en potentiel indikation af syntese.

Den arkitektur, der er foreslået i den nye artikel, er titlen (muligvis imod alle SEO-råd) Blade Runner, der refererer til Voight-Kampff-testen, der bestemmer, om antagonister i sci-fi-franchisen er “falske” eller ej.

Røret består af to faser, den første af hvilke er PapersPlease-analyseren, der kan evaluere data skrabet fra kendte GAN-ansigts-websteder som thispersondoesnotexist.com eller genereret.photos.

En reduceret version af Blade Runner er blevet frigivet som åben kilde på GitHub. En mere funktionel proprietær version findes, der kan behandle multiple billeder, i stedet for den enkeltbillede-per-operation i den åbne kilde-repository. Forfatteren har til hensigt, siger han, at opgradere GitHub-versionen til samme standard, når tiden tillader det. Han indrømmer også, at StyleGAN sandsynligvis vil udvikle sig ud over sine kendte eller nuværende svagheder, og softwaren vil også skulle udvikle sig i takt.

Den anden modul er AmongUs-detektoren. Systemet er designet til at søge efter koordineret øje-placering i billeder, en vedvarende funktion af StyleGAN’s ansigt-udgang, typificeret i “Brady Bunch”-scenariet ovenfor. AmongUs er drevet af en standard 68-landmærke-detektor.

Ansigtspunkts-annotationer via Intelligent Behaviour Understanding Group (IBUG), hvis ansigt-landmærke-kodning bruges i Blade Runner-pakken.

AmongUs afhænger af forudtrænede landmærker baseret på de kendte “Brady-bunch”-koordinater fra PapersPlease og er tænkt til brug mod live, web-orienterede eksempler på StyleGAN-baserede ansigtsbilleder.

Blade Runner, siger forfatteren, er en plug-and-play-løsning, der er tænkt til virksomheder eller organisationer, der mangler ressourcer til at udvikle interne løsninger til den type deepfake-detektion, der her er tale om, og en “midlertidig løsning for at købe tid til mere permanente modforanstaltninger”.

I virkeligheden findes der ikke mange specialiserede eller off-the-shelf cloud-vendor-løsninger, som en under-resourced virksomhed kan vende sig til med tillid.

Blade Runner udfører dårligt mod brillede StyleGAN-fabrikerede mennesker, hvilket er et relativt almindeligt problem på tværs af lignende systemer, der forventer at kunne evaluere øje-afgrænsninger som centrale referencepunkter, skjult i sådanne tilfælde.

DE-FAKE

DE-FAKE-arkitekturen har til formål ikke kun at opnå “universel detektion” for billeder produceret af tekst-til-billede-diffusionsmodeller, men også at give en metode til at bestemme hvilken latent diffusionsmodell (LD) producerede billedet.

Den universelle detektions-ramme i DE-FAKE omhandler lokale billeder, en hybrid-ramme (grøn) og åbne verden-billeder (blå). Kilde: http://export.arxiv.org/pdf/2210.06998

For at være ærlig, er dette på nuværende tidspunkt en ret let opgave, da alle de populære LD-modeller – lukkede eller åbne kilde – har bemærkelsesværdige forskellige karakteristika.

Dertil deler de fleste fælles svagheder, såsom en tilbøjelighed til at afkorte hoveder, på grund af den arbitrære måde, hvorpå ikke-kvadratiske web-skrapede billeder indtages i de massive datasæt, der driver systemer som DALL-E 2, Stable Diffusion og MidJourney:

Latent diffusionsmodeller, ligesom alle computer-vision-modeller, kræver kvadratisk input; men den samlede web-skrapning, der driver LAION5B-datasættet, tilbyder ingen “luksus-tilbehør” som evnen til at genkende og fokusere på ansigter (eller noget andet), og afkorter billeder ret brutalt i stedet for at udfylde dem (hvad der ville bevare det hele kilde-billede, men i lavere opløsning). Når de er trænet, bliver disse “afkortninger” normaliseret og forekommer meget ofte i output fra latent diffusions-systemer som Stable Diffusion.

DE-FAKE er tænkt til at være algoritme-agnostisk, et længe ønsket mål for autoencoder-anti-deepfake-forskere, og i øjeblikket ret let at opnå i forhold til LD-systemer.

Arkitekturen bruger OpenAI’s Contrastive Language-Image Pretraining (CLIP) multimodal-bibliotek – en essentiel del i Stable Diffusion og hurtigt bliver hjertet af den nye bølge af billed-/video-syntese-systemer – som en måde at trække udtræk fra “falske” LD-billeder og træne en klassifikator på de observerede mønstre og klasser.

I en mere “sort boks”-scenario, hvor PNG-chunkene, der indeholder information om genereringsprocessen, langt er blevet fjernet af upload-processer og af andre grunde, bruger forskerne Salesforce BLIP-ramme (også en komponent i mindst én distribution af Stable Diffusion) til at “blindt” afhøre billederne for den sandsynlige semantiske struktur af prompterne, der skabte dem.

Forskerne brugte Stable Diffusion, Latent Diffusion (selv en diskret produkt), GLIDE og DALL-E 2 til at befolke et trænings- og test-datasæt, der udnytter MSCOCO og Flickr30k.

Normalt ville vi tage en ret omfattende kig på resultaterne af forskernes eksperimenter for en ny ramme; men i virkeligheden synes DE-FAKE’s fund at være mere nyttige som en fremtidig benchmark for senere iterationer og lignende projekter, snarere end som en meningsfuld målestok for projektets succes, når man tager den volatile omgang i betragtning, og at systemet, det konkurrerer mod i artiklens prøver, er næsten tre år gammelt – fra dengang billedsyntese-scenen var virkelig i sin vorden.

Venstre-dekse billeder: den “udfordrede” tidligere ramme, der stammer fra 2019, opnår mindre godt mod DE-FAKE (højre-dekse billeder) på tværs af de fire LD-systemer, der er testet.

Holdets resultater er overvældende positive af to grunde: der er kun lidt tidligere arbejde at sammenligne med (og intet, der tilbyder en fair sammenligning, dvs. dækker de blot 12 uger, siden Stable Diffusion blev frigivet som åben kilde).

For det andet, som nævnt ovenfor, selv om LD-billedsyntese-feltet udvikler sig i eksponentiel hastighed, vandmærker output-indholdet fra nuværende tilbud effektivt sig selv på grund af sin egen strukturelle (og meget forudsigelige) svagheder og ejendommeligheder – mange af disse er sandsynligvis blevet afhjulpet, i tilfældet Stable Diffusion, med udgivelsen af den bedre-performerende 1,5-checkpoint (dvs. 4GB-trænet model, der driver systemet).

Samtidig har Stability allerede indikeret, at de har en klar vejviser for V2 og V3 af systemet. Givet de overskrifts-givende begivenheder i de sidste tre måneder, er det sandsynligt, at enhver korporativ dvale på OpenAI’s og andre konkurrerende spilleres side i billedsyntese-rummet er blevet fordampet, hvilket betyder, at vi kan forvente en lignende hurtig udvikling også i det lukkede kilde-billedsyntese-rum.

Offentliggjort første gang 14. oktober 2022.