Andersons vinkel
Deepfake-detektorer utforsker nye områder: latente diffusjonsmodeller og GAN

Viktige punkterDeepfake deteksjon forskning flytter fokus til latente diffusjonsmodeller som Stable…
Vis mer
- Deepfake deteksjon forskning flytter fokus til latente diffusjonsmodeller som Stable Diffusion og DALL-E 2.
- Blade Runner tilbyr en plug-and-play GAN-detektor som bruker ansiktslandmarkmønstre for underressurserte organisasjoner.
- DE-FAKE har som mål å universelt oppdage og tilskrive bilder fra tekst-til-bilde diffusjonsmodeller ved hjelp av CLIP-innbygging.
Mening
For tiden har deepfake-detektforskningsmiljøet, som siden slutten av 2017 har vært opptatt nesten eksklusivt med autoencoder-basert rammeverk som hadde sin premiere på den tiden til stor offentlig beundring (og bestyrtelse), begynt å vise forensisk interesse for mindre stagnerte arkitekturer, inkludert latente diffusjonsmodeller som DALL-E 2 og Stable Diffusion, samt utgangen av Generative Adversarial Networks (GANs). For eksempel, i juni, publiserte UC Berkeley resultatene av sin forskning på utviklingen av en detektor for utgangen av den da-dominerende DALL-E 2.
Hva som synes å drive denne økende interessen, er det plutselige evolusjonsspranget i kapasiteten og tilgjengeligheten av latente diffusjonsmodeller i 2022, med utgivelsen av DALL-E 2 med lukket kildekode og begrenset tilgang om våren, etterfulgt av den sensasjonelle åpningen av kildekoden til Stable Diffusion fra stability.ai på sensommeren.
GANs har også vært lenge studert i denne sammenhengen, om enn mindre intensivt, siden det er svært vanskelig å bruke dem til overbevisende og omfattende video-baserte rekreasjoner av mennesker; i hvert fall, sammenlignet med de nå venerable autoencoder-pakker som FaceSwap og DeepFaceLab – og sistnevntes live-streaming fetter, DeepFaceLive.
Bevegelige bilder
I begge tilfeller synes det å være en drivkraft for et påfølgende utviklingssprint for video-syntese. Starten av oktober – og 2022s store konferanseseson – var preget av en lavine av plutselige og uventede løsninger på ulike langvarige video-syntese-problemer: ingen tidligere hadde Facebook utgitt eksempler på sin egen tekst-til-video-plattform, enn Google Research raskt overskygget den innledende anerkjennelsen ved å annonsere sin nye Imagen-to-Video T2V-arkitektur, i stand til å produsere høyoppløselig film (om enn bare via en 7-lag nettverk av oppskalere).
Hvis du tror at denne typen ting kommer i tre, vurdér også stability.ais mystiske løfte om at ‘video er på vei’ til Stable Diffusion, tilsynelatende senere i år, mens Stable Diffusion-samutvikler Runway har gjort et lignende løfte, om enn det er uklart om de henviser til samme system. Discord-meldingen fra Stabilitys CEO Emad Mostaque lovet også ‘lyd, video [og] 3D’.
Hva med en uventet tilbud av flere nye lydgenereringsrammer (noen basert på latent diffusjon), og en ny diffusjonsmodell som kan generere autentisk karakterbevegelse, begynner ideen om at ‘statiske’ rammer som GANs og diffusjoner endelig skal ta sin plass som støttemoduler for eksterne animasjonsrammer å få virkelig grep.
Kort sagt, synes det sannsynlig at den hindrede verden av autoencoder-basert video-deepfakes, som bare kan effektivt erstatte den sentrale delen av et ansikt, kan bli overskygget innen denne tiden neste år av en ny generasjon av diffusjons-basert deepfake-kapable teknologier – populære, åpne tilnærminger med potensialet til å fotorealistisk forfalske ikke bare hele kroppen, men hele scener.
For denne grunn, kanskje, begynner anti-deepfake-forskningsmiljøet å ta bilde-syntese alvorlig, og å innse at det kan tjene flere formål enn bare å generere falske LinkedIn-profilbilder; og at hvis alle deres vanskelig håndterbare latente rom kan oppnå når det gjelder bevegelse over tid er å fungere som en meget god teksturerer, at det kanskje faktisk er mer enn nok.
Blade Runner
De to siste artiklene som omhandler henholdsvis latent diffusjon og GAN-basert deepfake-detektering, er, henholdsvis, DE-FAKE: Deteksjon og tilskrivning av falske bilder generert av tekst-til-bilde-diffusjonsmodeller, et samarbeid mellom CISPA Helmholtz Center for Information Security og Salesforce (CRM ); og BLADERUNNER: Rapid Countermeasure for Synthetic (AI-Generated) StyleGAN Faces, fra Adam Dorian Wong ved MITs Lincoln Laboratory.
Før han forklarer den nye metoden, tar den siste artikkelen noen tid til å undersøke tidligere tilnærminger til å bestemme om et bilde er generert av en GAN (artikkelen handler spesifikt med NVIDIA StyleGAN-familien).
‘Brady Bunch’-metoden – kanskje en meningsløs referanse for noen som ikke så på TV på 1970-tallet, eller som gikk glipp av 1990-årenes filmatiseringer – identifiserer GAN-forfalskede innhold basert på de faste posisjonene som bestemte deler av et GAN-ansikt er sikre på å okkupere, på grunn av den gjentakende og malbaserte ‘produksjonsprosessen’.

Brady Bunch-metoden presentert i en nettsending fra SANS Institute i 2022: en GAN-basert ansiktsgenerator plasserer enkelte ansiktstrekk usannsynlig ensartet, noe som i noen tilfeller røper bildets syntetiske opphav. Kilde: https://arxiv.org/ftp/arxiv/papers/2210/2210.06587.pdf
En annen nyttig kjent indikasjon er StyleGANs hyppige manglende evne til å gjengi flere ansikter (første bilde under), hvis nødvendig, samt dens manglende talent for å koordinere tilbehør (midterste bilde under), og en tendens til å bruke en hårlinje som starten på en improvisert hatt (tredje bilde under).

Tredje metoden som forskeren trekker oppmerksomheten til, er foto-overlaging (et eksempel på dette kan ses i vår artikkel fra august om AI-støttet diagnostisering av psykiske lidelser), som bruker komposisjon ‘bilde-blending’ programvare som CombineZ-serien til å kombinere flere bilder i ett enkelt bilde, ofte avslørende underliggende felles trekk – en potensiell indikasjon på syntese.

Arkitekturen foreslått i den nye artikkelen er tittelen (kanskje mot alle SEO-råd) Blade Runner, som refererer til Voight-Kampff-testen som bestemmer om antagonister i sci-fi-franchisen er ‘falske’ eller ikke.
Behandlingskjeden består av to faser, den første av disse er PapersPlease-analyseren, som kan evaluere data skrapet fra kjente GAN-ansikts-nettsteder som thispersondoesnotexist.com eller generated.photos.

Selv om en begrenset kodeversjon finnes på GitHub (se nedenfor), gis få detaljer om denne modulen, bortsett fra at OpenCV og DLIB brukes til å avgrense og oppdage ansikter i materialet.
Den andre modulen er AmongUs-detektoren. Den søker etter samordnet plassering av øynene i bilder, et vedvarende kjennetegn ved StyleGAN-ansikter som vises i Brady Bunch-eksemplet ovenfor. AmongUs bruker en standarddetektor med 68 ansiktslandemerker.

Ansiktspunkter annotert av Intelligent Behaviour Understanding Group (IBUG), som har laget koden for ansiktslandemerker som brukes i Blade Runner.
AmongUs bruker forhåndstrente landemerker basert på de kjente Brady Bunch-koordinatene fra PapersPlease, og er beregnet på levende, nettilgjengelige eksempler på StyleGAN-baserte ansiktsbilder.
Forfatteren mener at Blade Runner er en plug-and-play-løsning ment for selskaper eller organisasjoner som mangler ressurser til å utvikle interne løsninger for denne type deepfake-detektering, og en ‘midlertidig løsning for å kjøpe tid for mer permanente mottiltak’.
I virkeligheten, i et sikkerhetssektor som denne, så volatil og raskt voksende, er det ikke mange skreddersydde eller off-the-rack skytjenesteløsninger som et under-resurssert selskap kan vende seg til med tillit.
Blade Runner utfører dårlig mot brille-bærende StyleGAN-forfalskede mennesker, men dette er et relativt vanlig problem over hele lignende systemer, som forventer å kunne evaluere øyedetaljer som sentrale referansepunkter, skjult i slike tilfeller.
En redusert versjon av Blade Runner har blitt utgitt til åpen kilde på GitHub. En mer funksjonsrik proprietær versjon eksisterer, som kan prosessere flere bilder, i motsetning til den ene bildet per operasjon i åpen kilde-repositoriet. Forfatteren har til hensikt å oppgradere GitHub-versjonen til samme standard til slutt, når tid tillater. Han innrømmer også at StyleGAN sannsynligvis vil utvikle seg forbi sine kjente eller nåværende svakheter, og programvaren vil også måtte utvikle seg i takt.
DE-FAKE
DE-FAKE-arkitekturen har til hensikt å oppnå ‘universell deteksjon’ for bilder produsert av tekst-til-bilde-diffusjonsmodeller, samt å gi en metode for å bestemme hvilken latent diffusjonsmodell (LD) produserte bildet.

Det universelle deteksjonsrammeverket i DE-FAKE omfatter lokale bilder, et hybridrammeverk (grønt) og bilder fra en åpen verden (blått). Kilde: http://export.arxiv.org/pdf/2210.06998
For å være ærlig, på dette tidspunktet er dette en ganske enkel oppgave, siden alle de populære LD-modellene – lukkede eller åpne kilde – har merkbare kjennetegn.
I tillegg deler de fleste noen felles svakheter, som en predisposisjon til å kutte av hodet, på grunn av den arbitrære måten ikke-kvadratiske bilder hentet fra nettet inntas i de massive datasettene som driver systemer som DALL-E 2, Stable Diffusion og MidJourney:

Latente diffusjonsmodeller krever, som andre datasynsmodeller, kvadratiske inndata. Masseinnsamlingen fra nettet til LAION5B har ingen ekstra evne til å gjenkjenne og fokusere på ansikter eller andre objekter, men beskjærer bildene brutalt i stedet for å legge til marger. Marger ville beholdt hele kildebildet i lavere oppløsning. Når disse beskjæringene læres under trening, blir de normalen og forekommer ofte i utdata fra systemer som Stable Diffusion. Kilder: https://blog.novelai.net/novelai-improvements-on-stable-diffusion-e10d38db82ac and Stable Diffusion.
DE-FAKE er ment å være algoritme-agnostisk, et lenge ettertraktet mål for autoencoder anti-deepfake-forskere, og, nå, ganske oppnåelig i forhold til LD-systemer.
Arkitekturen bruker OpenAIs Contrastive Language-Image Pretraining (CLIP) multimodal bibliotek – et essensielt element i Stable Diffusion, og raskt blir hjertet av den nye bølgen av bilde/video-syntese-systemer – som en måte å trekke ut vektorrepresentasjoner fra ‘forfalskede’ LD-bilder og trene en klassifikator på de observerte mønstre og klasser.
I en mer ‘black box’-scenario, hvor PNG-biter som holder informasjon om genereringsprosessen har lenge blitt fjernet av opplastingsprosesser og av andre grunner, bruker forskerne Salesforce BLIP-ramverket (også en komponent i minst en distribusjon av Stable Diffusion) til å ‘blindt’ avhøre bildene for den sannsynlige semantiske strukturen av promptene som skapte dem.

Forskerne brukte Stable Diffusion, Latent Diffusion (et eget produkt), GLIDE og DALL-E 2 til å fylle et trenings- og testdatasett ved hjelp av MSCOCO og Flickr30k.
Vanligvis ville vi ta en ganske omfattende titt på resultater fra forskernes eksperimenter for et nytt ramverk; men i virkeligheten synes DE-FAKEs funn å være mer nyttige som en fremtidig benchmark for senere iterasjoner og lignende prosjekter, snarere enn som en meningsfull målestokk for prosjektets suksess, med tanke på det volatile miljøet det opererer i, og at systemet det konkurrerer mot i artikkelen er nesten tre år gammelt – fra da bildesyntese-scenen var virkelig i sin barndom.

De to bildene lengst til venstre: det tidligere sammenligningsrammeverket fra 2019 gjør det som forventet dårligere enn DE-FAKE (de to bildene lengst til høyre) på de fire testede LD-systemene.
Lagets resultater er overveldende positive for to grunner: det finnes lite tidligere arbeid å sammenligne med (og ingen som tilbyr en rettferdig sammenligning, dvs. som dekker de bare tolv ukene siden Stable Diffusion ble utgitt til åpen kilde).
For det andre, som nevnt ovenfor, selv om LD-bilde-syntese-feltet utvikler seg i eksponentiell fart, vil utgangsinholdet av nåværende tilbud effektivt vannmerke seg selv på grunn av sine egne strukturelle (og svært forutsigbare) svakheter og eksentrisiteter – mange av disse er sannsynligvis å bli rettet i tilfelle Stable Diffusion, i hvert fall, ved utgivelsen av den bedre-performende checkpoint 1.5 (dvs. 4GB-trent modell som driver systemet).
På samme tid har Stability allerede indikert at de har en klar veikart for V2 og V3 av systemet. Gitt de overskrift-gripende hendelsene de siste tre månedene, er det sannsynlig at noen eventuell bedrifts-torpor på OpenAIs og andre konkurrerende aktørers side i bildesyntese-rommet har blitt fordampet, og at vi kan forvente en lignende raskt fremdrift også i det lukkede kilde-bildesyntese-rommet.
Publisert første gang 14. oktober 2022.












