Andersons vinkel
Deepfake-detektorer går vidare: latenta diffusionsmodeller och GAN-nätverk

Viktiga punkterForskning inom deepfake-detektering flyttar fokus till latenta diffusionsmodeller som…
Visa mer
- Forskning inom deepfake-detektering flyttar fokus till latenta diffusionsmodeller som Stable Diffusion och DALL-E 2.
- Blade Runner erbjuder en plug-and-play GAN-detektor som använder ansiktslandmärkesmönster för organisationer med begränsade resurser.
- DE-FAKE syftar till att universellt detektera och attribuera bilder från text-till-bild-diffusionsmodeller med hjälp av CLIP-inbäddningar.
Åsikt På senare tid har forskarvärlden inom deepfake-detektion, som sedan slutet av 2017 har varit upptagen nästan uteslutande med autoencoder-baserad ram som debuterade vid den tiden till så stor allmän förvåning (och besvikelse), börjat ta en forensiskt intresse i mindre stagnerande arkitekturer, inklusive latenta diffusionsmodeller som DALL-E 2 och Stable Diffusion, samt utdata från Generativa Adversarial Networks (GANs). Till exempel, i juni, publicerade UC Berkeley resultat av sin forskning om utvecklingen av en detektor för utdata från den då dominerande DALL-E 2.
Vad som verkar driva detta växande intresse är det plötsliga utvecklingssprånget i kapacitet och tillgänglighet av latenta diffusionsmodeller 2022, med den slutna källkoden och begränsade tillgången utgåvan av DALL-E 2 på våren, följt av den sensationella öppen källkodsutgåvan av Stable Diffusion av stability.ai.
GANs har också länge studerats i detta sammanhang, om än mindre intensivt, eftersom det är mycket svårt att använda dem för övertygande och avancerade videobaserade återskapanden av människor; åtminstone, jämfört med de nu vedertagna autoencoder-paketen som FaceSwap och DeepFaceLab – och den sistnämndas live-streaming kusin, DeepFaceLive.
Rörliga Bilder
I båda fallen verkar den galvaniserande faktorn vara utsikten till en efterföljande utvecklingssprint för video-syntes. Början av oktober – och 2022 års stora konferenssäsong – kännetecknades av en lavin av plötsliga och oväntade lösningar på olika långvariga video-syntesproblem: knappt hade Facebook släppt exempel på sin egen text-till-video-plattform, än Google Research snabbt dränkte ut den initiala berömmelsen genom att tillkännage sin nya Imagen-to-Video T2V-arkitektur, kapabel att producera högupplöst film (om än endast via ett nätverk med sju lager av uppskalare).
Om du tror att den här sortens sak kommer i tre, överväg också stability.ai:s gåtfulla löfte att ‘video är på väg’ till Stable Diffusion, tydligen senare i år, medan Stable Diffusion-samutvecklare Runway har gjort ett liknande löfte, även om det är oklart om de hänvisar till samma system. Det Discord-meddelandet från Stabilitys VD Emad Mostaque lovade också ‘ljud, video [och] 3D’.
Med det oväntade tillskottet av flera nya ljudgenereringsramverk (några baserade på latent diffusionsmodell), och en ny diffusionsmodell som kan generera naturtrogna karaktärsrörelser, börjar idén att ‘statiska’ ramverk som GANs och diffusorer slutligen kommer att ta sin plats som stödjande komplement till externa animationsramverk få verklig fart.
I korthet verkar det troligt att den hämmade världen av autoencoder-baserade video-djupfalsk, som endast kan effektivt ersätta den centrala delen av ett ansikte, vid den här tiden nästa år skulle kunna överskuggas av en ny generation av diffusionsbaserade djupfalsk-kapabla teknologier – populära, metoder med öppen källkod med potentialen att fotorealistiskt förfalska inte bara hela kroppar, utan hela scener.
Kanske är det därför forskarvärlden som bekämpar deepfakes börjar ta bildsyntes på allvar och inser att tekniken kan användas till mer än att skapa falska LinkedIn-profilbilder. Om det enda deras svårhanterliga latenta rum kan åstadkomma när det gäller rörelse över tid är att fungera som riktigt bra texturrenderare, kan det faktiskt vara mer än tillräckligt.
Blade Runner
De senaste två artiklarna som behandlar, respektive, latent diffusionsmodell och GAN-baserad djupfalsk-detection, är, respektive, DE-FAKE: Detection och attributering av falska bilder genererade av text-till-bild-diffusionsmodeller, ett samarbete mellan CISPA Helmholtz Center for Information Security och Salesforce (CRM ); och BLADERUNNER: Snabb motåtgärd för syntetisk (AI-genererad) StyleGAN-ansikte, från Adam Dorian Wong vid MIT:s Lincoln Laboratory.
Innan han förklarar den nya metoden, tar den senare artikeln lite tid att undersöka tidigare tillvägagångssätt för att bestämma om en bild genererades av en GAN (artikeln behandlar specifikt NVIDIA:s StyleGAN-familj).
‘Brady Bunch’-metoden – kanske en meningslös referens för någon som inte såg på TV på 1970-talet, eller som missade 1990-talets filmatiseringar – identifierar GAN-förfalskat innehåll baserat på de fasta positioner som vissa delar av ett GAN-genererat ansikte regelmässigt intar, på grund av den repetitiva och mallbaserade ‘produktionsprocessen’.

Brady Bunch-metoden, presenterad i en webbsändning från SANS-institutet 2022: en GAN-baserad ansiktsgenerator placerar vissa ansiktsdrag osannolikt enhetligt, vilket i vissa fall avslöjar bildens ursprung. Källa: https://arxiv.org/ftp/arxiv/papers/2210/2210.06587.pdf
En annan användbar känd indikation är StyleGAN:s frekventa oförmåga att rendera flera ansikten (första bilden nedan), om nödvändigt, samt dess brist på talang i samordning av accessoarer (bilden i mitten nedan), och en tendens att använda en hårlinje som starten på en impromptu hatt (tredje bilden nedan).

Den tredje metoden som forskaren drar uppmärksamhet till är fotoöverlägg (ett exempel på vilket kan ses i vår artikel om AI-aided diagnos av mental hälsa), som använder kompositionella ‘bildblandnings’-programvara som CombineZ-serien för att sammanfoga flera bilder till en enda bild, ofta avslöjar underliggande gemensamheter i struktur – en potentiell indikation på syntes.

Den föreslagna arkitekturen i den nya artikeln heter (möjligen mot alla SEO-råd) Blade Runner, som hänvisar till Voight-Kampff-testet som bestämmer om antagonister i sci-fi-franchisen är ‘falska’ eller inte.
Pipelinen består av två faser, där den första är PapersPlease-analysatorn, som kan utvärdera data skrapade från kända GAN-ansiktswebbplatser som thispersondoesnotexist.com, eller generated.photos.

Även om en nedskalad version av koden kan inspekteras på GitHub (se nedan) ges få detaljer om den här modulen, förutom att OpenCV och DLIB används för att omringa och upptäcka ansikten i det insamlade materialet.
Den andra modulen är AmongUs-detektorn. Systemet är utformat för att söka efter samordnad ögonplacering i foton, en bestående funktion av StyleGAN:s ansiktsutdata, typifierad i ‘Brady Bunch’-scenariot som beskrivs ovan. AmongUs drivs av en standard 68-landmärkesdetektor.

Ansiktspunkter markerade av Intelligent Behaviour Understanding Group (IBUG), vars kod för att placera ansiktslandmärken används i Blade Runner-paketet.
AmongUs beror på förtränade landmärken baserade på de kända ‘Brady-bunch’-koordinaterna från PapersPlease, och är avsett för användning mot live, webbaserade prover av StyleGAN-baserade ansiktsbilder.
Blade Runner, föreslår författaren, är en plug-and-play-lösning avsedd för företag eller organisationer som saknar resurser för att utveckla egna lösningar för den typ av djupfalsk-detection som behandlas här, och en ’tillfällig åtgärd för att köpa tid för mer permanenta motåtgärder’.
I själva verket, i en säkerhetssektor som denna, som är så volatil och snabbt växande, finns det inte många anpassade eller färdiga molntjänstlösningar som ett underresurcerat företag kan vända sig till med tillförsikt.
Även om Blade Runner presterar dåligt mot glasögonbärande StyleGAN-förfalskade människor, är detta ett relativt vanligt problem över liknande system, som förväntar sig att kunna använda ögonens konturer som centrala referenspunkter, som är skymda i sådana fall.
En reducerad version av Blade Runner har släppts till öppen källkod på GitHub. En mer funktionrik proprietär version finns, som kan bearbeta flera foton, snarare än den enda bilden per operation av den öppna källkodsarkivet. Författaren avser, säger han, att uppgradera GitHub-versionen till samma standard så småningom, när tiden tillåter. Han medger också att StyleGAN sannolikt kommer att utvecklas bortom sina kända eller nuvarande svagheter, och programvaran kommer också att behöva utvecklas i takt.
DE-FAKE
DE-FAKE-arkitekturen syftar inte bara till att uppnå ‘universell detektion’ för bilder producerade av text-till-bild-diffusionsmodeller, utan också till att tillhandahålla en metod för att avgöra vilken latent diffusionsmodell (LD) som producerade bilden.

Det universella detektionsramverket i DE-FAKE hanterar lokala bilder, ett hybridramverk (grönt) och bilder från den öppna världen (blått). Källa: http://export.arxiv.org/pdf/2210.06998
För att vara ärlig, är detta för närvarande en ganska enkel uppgift, eftersom alla populära LD-modeller – slutna eller öppna källkodsmodeller – har påtagliga särdrag.
Utöver detta delar de flesta några gemensamma svagheter, såsom en benägenhet att skära av huvuden, på grund av den godtyckliga sätt som icke-kvadratiska webbskrapade bilder matas in i de massiva datamängder som driver system som DALL-E 2, Stable Diffusion och MidJourney:

Latenta diffusionsmodeller behöver, liksom alla modeller för datorseende, kvadratiska indata. Webbskrapningen som försörjer LAION5B saknar dock extrafunktioner som att känna igen och fokusera på ansikten eller andra objekt. Bilderna beskärs därför kraftigt i stället för att fyllas ut med kanter, vilket skulle bevara hela originalbilden med lägre upplösning. När dessa beskärningar väl lärts in blir de normala och förekommer ofta i utdata från latenta diffusionssystem som Stable Diffusion. Källor: https://blog.novelai.net/novelai-improvements-on-stable-diffusion-e10d38db82ac and Stable Diffusion.
DE-FAKE är avsett att vara oberoende av vilken algoritm som används, ett länge eftersträvat mål för autoencoder-anti-djupfalsk-forskare, och, just nu, ganska uppnåeligt i förhållande till LD-system.
Arkitekturen använder OpenAI:s Contrastive Language-Image Pretraining (CLIP) multimodala bibliotek – ett väsentligt element i Stable Diffusion, och som snabbt blir hjärtat i den nya vågen av bild/video-syntes-system – som ett sätt att extrahera inbäddningar från ‘förfalskade’ LD-bilder och träna en klassificerare på de observerade mönster och klasser.
I ett mer renodlat svart låda-scenario, där PNG-fragment som innehåller information om genereringsprocessen har länge tagits bort av uppladdningsprocesser och av andra skäl, använder forskarna Salesforce BLIP-ramverk (även en komponent i minst en distribution av Stable Diffusion) för att utan förhandsinformation härleda den troliga semantiska strukturen hos de textinstruktioner som skapade bilderna.

Forskarna använde Stable Diffusion, Latent Diffusion (en separat produkt), GLIDE och DALL-E 2 för att skapa en tränings- och testdatamängd med hjälp av MSCOCO och Flickr30k.
Vanligtvis skulle vi ta en ganska omfattande titt på resultaten av forskarnas experiment för ett nytt ramverk; men i själva verket verkar DE-FAKE:s resultat troliga att vara mer användbara som en framtida benchmark för senare iterationer och liknande projekt, snarare än som ett meningsfullt mått på projektets framgång, med tanke på den volatila miljön som det opererar i, och att systemet som det tävlar mot i artikeln är nästan tre år gammalt – från den tid då bildsyntes-scenen verkligen var i sin linda.

De två bilderna längst till vänster: det tidigare ramverket från 2019 presterar som väntat sämre än DE-FAKE (de två bilderna längst till höger) för de fyra testade LD-systemen.
Laget bakom DE-FAKE presenterar sina resultat som överväldigande positiva av två skäl: det finns knappast någon tidigare forskning att jämföra med (och ingen alls som erbjuder en rättvis jämförelse, d.v.s. som täcker de senaste tolv veckorna sedan Stable Diffusion släpptes som öppen källkod).
Det andra skälet är att, som nämnts ovan, även om fältet för latent diffusionsbaserad bildsyntes utvecklas i en exponentiell takt, så vattenmärker utdata från nuvarande erbjudanden i sig själva genom sina egna strukturella (och mycket förutsägbara) brister och egenheter – många av vilka sannolikt kommer att åtgärdas, i fallet med Stable Diffusion, av utgåvan av den bättre presterande 1.5-checkpointen (d.v.s. den 4GB-tränade modellen som driver systemet).
Samtidigt har Stability redan indikerat att de har en tydlig roadmap för V2 och V3 av systemet. Med tanke på de rubrikskapande händelserna under de senaste tre månaderna, är det troligt att eventuell företagslättja från OpenAI och andra konkurrenter i bildsyntesutrymmet har försvunnit, vilket innebär att vi kan förvänta oss en lika snabb takt av framsteg även i det slutna källkods-bildsyntesutrymmet.
Publicerad första gången 14:e oktober 2022.












