Dybdefektdetektorer søker nye områder: Latent diffusjonsmodeller og GANs

Mening

For tiden har deepfake-detektforskningsmiljøet, som siden slutten av 2017 har vært opptatt nesten eksklusivt med autoencoder-basert rammeverk som hadde sin premiere på den tiden til stor offentlig beundring (og forsmak), begynt å vise interesse for mindre stagnerte arkitekturer, inkludert latent diffusjonsmodeller som DALL-E 2 og Stable Diffusion, samt utgangen av Generative Adversarial Networks (GANs). For eksempel, i juni, publiserte UC Berkeley resultatene av sin forskning på utviklingen av en detektor for utgangen av den da-dominerende DALL-E 2.

Hva som synes å drive denne økende interessen, er det plutselige evolusjonsspranget i kapasiteten og tilgjengeligheten av latent diffusjonsmodeller i 2022, med den lukkede og begrensede utgivelsen av DALL-E 2 på våren, etterfulgt av den sensasjonelle åpne kilden av Stable Diffusion av stability.ai.

GANs har også vært lenge studert i denne sammenhengen, om enn mindre intensivt, siden det er svært vanskelig å bruke dem til overbevisende og omfattende video-baserte rekreasjoner av mennesker; i hvert fall, sammenlignet med de nå venerable autoencoder-pakker som FaceSwap og DeepFaceLab – og sistnevntes live-streaming fetter, DeepFaceLive.

Bevegelige bilder

I begge tilfeller synes det å være en drivkraft for et påfølgende utviklingssprint for video-syntese. Starten av oktober – og 2022s store konferanseseson – var preget av en lavine av plutselige og uventede løsninger på ulike langvarige video-syntese-problemer: ingen tidligere hadde Facebook utgitt eksempler på sin egen tekst-til-video-plattform, enn Google Research raskt overskygget den innledende anerkjennelsen ved å annonsere sin nye Imagen-to-Video T2V-arkitektur, i stand til å produsere høyoppløselig film (om enn bare via en 7-lag nettverk av oppskalere).

Hvis du tror at denne typen ting kommer i tre, vurdér også stability.aiss mystiske løfte om at ‘video er på vei’ til Stable Diffusion, tilsynelatende senere i år, mens Stable Diffusion-samutvikler Runway har gjort et lignende løfte, om enn det er uklart om de henviser til samme system. Discord-meldingen fra Stabilitys CEO Emad Mostaque lovet også ‘lyd, video [og] 3D’.

Hva med en uventet tilbud av flere nye lydgenereringsrammer (noen basert på latent diffusjon), og en ny diffusjonsmodell som kan generere autentisk karakterbevegelse, begynner ideen om at ‘statiske’ rammer som GANs og diffusjoner endelig skal ta sin plass som støttemoduler for eksterne animasjonsrammer å få virkelig grep.

Kort sagt, synes det sannsynlig at den hindrede verden av autoencoder-basert video-deepfakes, som bare kan effektivt erstatte den sentrale delen av et ansikt, kan bli overskygget av en ny generasjon av diffusjons-basert deepfake-kapable teknologier – populære, åpne tilnærminger med potensialet til å fotorealistisk forfalske ikke bare hele kroppen, men hele scener.

For denne grunn, kanskje, begynner anti-deepfake-forskningsmiljøet å ta bilde-syntese alvorlig, og å innse at det kan tjene flere formål enn bare å generere falske LinkedIn-profilbilder; og at hvis alle deres uforanderlige latente rom kan oppnå i terms of temporal bevegelse er å fungere som en meget god teksturerer, at det kanskje faktisk er mer enn nok.

Blade Runner

De to siste artiklene som omhandler henholdsvis latent diffusjon og GAN-basert deepfake-detektering, er, henholdsvis, DE-FAKE: Deteksjon og tilskrivning av falske bilder generert av tekst-til-bilde-diffusjonsmodeller, et samarbeid mellom CISPA Helmholtz Center for Information Security og Salesforce; og BLADERUNNER: Rapid Countermeasure for Synthetic (AI-Generated) StyleGAN Faces, fra Adam Dorian Wong ved MITs Lincoln Laboratory.

Før han forklarer den nye metoden, tar den siste artikkelen noen tid til å undersøke tidligere tilnærminger til å bestemme om et bilde er generert av en GAN (artikkelen handler spesifikt med NVIDIA StyleGAN-familien).

‘Brady Bunch’-metoden – kanskje en meningsløs referanse for noen som ikke så på TV på 1970-tallet, eller som gikk glipp av 1990-årenes filmatiseringer – identifiserer GAN-forfalskede innhold basert på de faste posisjonene som bestemte deler av et GAN-ansikt er sikre på å okkupere, på grunn av den rå og malte ‘produksjonsprosessen’.

The ‘Brady Bunch’-metoden propounded by a webcast from the SANS institute in 2022: a GAN-based face generator will perform improbably uniform placement of certain facial features, belying the origin of the photo, in certain cases. Source: https://arxiv.org/ftp/arxiv/papers/2210/2210.06587.pdf

En annen nyttig kjent indikasjon er StyleGANs hyppige evne til å rendre multiple ansikter (første bilde under), hvis nødvendig, samt dens manglende talent for å koordinere tilbehør (midterste bilde under), og en tendens til å bruke en hårlinje som starten på en improvisert hatt (tredje bilde under).

Tredje metoden som forskeren trekker oppmerksomheten til, er foto-overlaging (et eksempel på dette kan ses i vår artikkel om AI-aided diagnose av mentale helseforstyrrelser), som bruker komposisjon ‘bilde-blending’ programvare som CombineZ-serien til å kombinere flere bilder i ett enkelt bilde, ofte avslørende underliggende felles trekk – en potensiell indikasjon på syntese.

Arkitekturen foreslått i den nye artikkelen er tittelen (kanskje mot alle SEO-råd) Blade Runner, som refererer til Voight-Kampff-testen som bestemmer om antagonister i sci-fi-franchisen er ‘falske’ eller ikke.

Røret består av to faser, den første av disse er PapersPlease-analyseren, som kan evaluere data skrapet fra kjente GAN-ansikts-nettsteder som thispersondoesnotexist.com eller generated.photos.

En redusert versjon av Blade Runner har blitt utgitt til åpen kilde på GitHub. En mer funksjonsrik proprietær versjon eksisterer, som kan prosessere flere bilder, i motsetning til den ene bildet per operasjon i åpen kilde-repositoriet. Forfatteren har til hensikt å oppgradere GitHub-versjonen til samme standard til slutt, når tid tillater. Han innrømmer også at StyleGAN sannsynligvis vil utvikle seg forbi sine kjente eller nåværende svakheter, og programvaren vil også måtte utvikle seg i takt.

Forfatteren mener at Blade Runner er en plug-and-play-løsning ment for selskaper eller organisasjoner som mangler ressurser til å utvikle interne løsninger for denne type deepfake-detektering, og en ‘midlertidig løsning for å kjøpe tid for mer permanente mottiltak’.

I virkeligheten, i et sikkerhetssektor som denne, så volatil og raskt voksende, er det ikke mange skreddersydde eller off-the-rack skytjenesteløsninger som et under-resurssert selskap kan vende seg til med tillit.

Blade Runner utfører dårlig mot brille-bærende StyleGAN-forfalskede mennesker, men dette er et relativt vanlig problem over hele lignende systemer, som forventer å kunne evaluere øyedetaljer som core punkter av referanse, skjult i slike tilfeller.

DE-FAKE

DE-FAKE-arkitekturen har til hensikt å oppnå ‘universell deteksjon’ for bilder produsert av tekst-til-bilde-diffusjonsmodeller, samt å gi en metode for å bestemme hvilken latent diffusjonsmodell (LD) produserte bildet.

The universal detection framework in DE-FAKE addresses local images, a hybrid framework (green), and open world images (blue). Source: http://export.arxiv.org/pdf/2210.06998

For å være ærlig, på dette tidspunktet er dette en ganske enkel oppgave, siden alle de populære LD-modellene – lukkede eller åpne kilde – har merkbare kjennetegn.

I tillegg deler de fleste noen felles svakheter, som en predisposisjon til å kutte av hodet, på grunn av den arbitrære måten non-square web-skrapede bilder inntas i de massive datasettene som driver systemer som DALL-E 2, Stable Diffusion og MidJourney:

<img class="wp-image-184269 size-full" src="https://www.unite.ai/wp-content/uploads/2022/10/de-fake-system.jpg" alt="Latent diffusjonsmodeller, i likhet med alle computer-vision-modeller, krever kvadratisk format innputt; men den aggregerte web-skrapingen som driver LAION5B-datasettet tilbyr ingen 'luksus-ekstrautstyr' som å kunne gjenkjenne og fokusere på ansikter (eller noe annet), og trunkerer bildene ganske brutalt i stedet for å padde dem ut (hvordan ville holde hele kildebildet, men i lavere oppløsning). Når de er trent inn, blir disse 'avkortingene' normalisert, og opptrer svært ofte i utgangen av latent diffusjonssystemer som Stable Diffusion. Kilder: https://blog.novelai.net/novelai-improvements-on-stable-diffusion-e10d38db82ac og Stable Diffusion.

DE-FAKE er ment å være algoritme-agnostisk, et lenge ettertraktet mål for autoencoder anti-deepfake-forskere, og, nå, ganske oppnåelig i forhold til LD-systemer.

Arkitekturen bruker OpenAIs Contrastive Language-Image Pretraining (CLIP) multimodal bibliotek – et essensielt element i Stable Diffusion, og raskt blir hjertet av den nye bølgen av bilde/video-syntese-systemer – som en måte å trekke ut innlegg fra ‘forfalskede’ LD-bilder og trene en klassifikator på de observerte mønstre og klasser.

I en mer ‘black box’-scenario, hvor PNG-biter som holder informasjon om genereringsprosessen har lenge blitt fjernet av opplastingsprosesser og av andre grunner, bruker forskerne Salesforce BLIP-ramverket (også en komponent i minst en distribusjon av Stable Diffusion) til å ‘blindt’ avhøre bildene for den sannsynlige semantiske strukturen av promptene som skapte dem.

Forskere brukte Stable Diffusion, Latent Diffusion (selv en diskret produkt), GLIDE og DALL-E 2 for å fylle en trening- og testdatasett ved hjelp av MSCOCO og Flickr30k.

Vanligvis ville vi ta en ganske omfattende titt på resultater fra forskernes eksperimenter for et nytt ramverk; men i virkeligheten synes DE-FAKEs funn å være mer nyttige som en fremtidig benchmark for senere iterasjoner og lignende prosjekter, snarere enn som en meningsfull målestokk for prosjektets suksess, med tanke på det volatile miljøet det opererer i, og at systemet det konkurrerer mot i artikkelen er nesten tre år gammelt – fra da bildesyntese-scenen var virkelig i sin barndom.

Venstre-mest to bilder: den ‘utfordrede’ tidligere ramverket, opprinnelig fra 2019, farer mindre godt mot DE-FAKE (høyre-mest to bilder) over de fire LD-systemene testet.

Lagets resultater er overveldende positive for to grunner: det er ingen tidligere arbeid å sammenligne det med (og ingen som tilbyr en rettferdig sammenligning, dvs. som dekker de bare tolv ukene siden Stable Diffusion ble utgitt til åpen kilde).

For det andre, som nevnt ovenfor, selv om LD-bilde-syntese-feltet utvikler seg i eksponentiell fart, vil utgangsinholdet av nåværende tilbud effektivt vannmerke seg selv på grunn av sine egne strukturelle (og svært forutsigbare) svakheter og eksentrisiteter – mange av disse er sannsynligvis å bli rettet i tilfelle Stable Diffusion, i hvert fall, ved utgivelsen av den bedre-performende 1,5- checkpointen (dvs. 4GB-trent modell som driver systemet).

På samme tid har Stability allerede indikert at de har en klar veikart for V2 og V3 av systemet. Gitt de overskrift-gripende hendelsene de siste tre månedene, er det sannsynlig at noen eventuell bedrifts-torpor på OpenAIs og andre konkurrerende aktørers side i bildesyntese-rommet har blitt fordampet, og at vi kan forvente en lignende raskt fremdrift også i det lukkede kilde-bildesyntese-rommet.

Publisert første gang 14. oktober 2022.