Et Detektionssystem for Ren Billeddannelsesrammer som DALL-E 2

Nyt forskning fra University of California at Berkeley tilbyder en metode til at bestemme, om output fra den nye generation af billeddannelsesrammer – såsom Open AI’s DALL-E 2 og Google’s Imagen og Parti – kan detekteres som ‘ikke-reelt’, ved at studere geometri, skygger og refleksioner, der vises i de syntetiserede billeder.

Ved at studere billeder genereret af tekstprompt i DALL-E 2, har forskerne fundet, at på trods af den imponerende realisme, som arkitekturen er i stand til, opstår der nogle bestående inkonsistenser i forhold til rendering af global perspektiv, oprettelse og disposition af skygger og især i forhold til rendering af reflekterede objekter.

Artiklen siger*:

‘[Geometriske] strukturer, kastede skygger og refleksioner i spejlede overflader er ikke fuldt ud i overensstemmelse med den forventede perspektivgeometri af naturlige scener. Geometriske strukturer og skygger er generelt lokalt konsistente, men globalt inkonsistente.

‘Refleksioner, på den anden side, er ofte gengivet på en uforsvarlig måde, sandsynligvis fordi de er mindre almindelige i træningsbilledsættet.’

En mangel på konsistente skæringspunkter mellem det gengivne objekt og gengivelsen af dets refleksion er i øjeblikket en pålidelig måde at detektere et DALL-E 2-billede, ifølge den nye studie. Kilde: https://arxiv.org/pdf/2206.14617.pdf

Artiklen repræsenterer en tidlig indsats i, hvad der måske vil blive en væsentlig retning i computer vision-forskningsfællesskabet – billeddetektion.

Siden opfindelsen af deepfakes i 2017, er deepfake-detektion (primært af autoencoder-output fra pakker som DeepFaceLab og FaceSwap) blevet en aktiv og konkurrencedygtig akademisk retning, med forskellige artikler og metoder, der målretter de udviklende ‘tells’ af syntetiserede ansigter i virkeligt videooptag.

Men indtil den meget nylige opdukken af hyperskala-trænet billeddannelsessystemer, udgjorde outputtet fra tekstprompt-systemer som CLIP ingen trussel mod status quo for ‘fotorealistisk’. Artiklens forfattere mener, at dette er på vej til at ændre sig, og at selv de inkonsistenser, de har opdaget i DALL-E 2-output, måske ikke gør så stor en forskel for billedernes potentielle evne til at bedrage seerne.

Forfatterne siger*:

‘[Sådanne] fejl kan måske ikke betyde så meget for det menneskelige synssystem, som er blevet fundet at være overraskende uduelige til visse geometriske bedømmelser, herunder inkonsistenser i belysning, skygger, refleksioner, visningsposition og perspektivforvrængning.’

Forsvindende troværdighed

Forfatterne af artiklen har først og fremmest undersøgt DALL-E 2’s output i forhold til perspektivprojektion – måden, hvorpå positioneringen af rette kanter i nærliggende objekter og teksturer skal løse sig enhedligt til et ‘forsvindingspunkt’.

Venstre, parallelle linjer på samme plan løser sig til et fælles forsvindingspunkt; højre, multiple forsvindingspunkter på samme og parallelle planer definerer en forsvindingslinje (afbildet i rød).

For at teste DALL-E 2’s konsistens i denne henseende, brugte forfatterne DALL-E 2 til at generere 25 syntetiserede billeder af køkkener – et velkendt rum, som selv i veludstyrede boliger ofte er begrænset nok til at give multiple mulige forsvindingspunkter for en række objekter og teksturer.

Ved at undersøge output fra prompten ‘et billede af et køkken med fliselagt gulv’, fandt forskerne, at på trods af en generelt overbevisende repræsentation i hvert tilfælde (bortset fra nogle underlige, mindre artefakter, der ikke har noget at gøre med perspektiv), synes objekterne aldrig at konvergere korrekt.

Forfatterne bemærker, at selvom hver sæt af parallelle linjer fra flisemønsteret er konsistente og mødes ved et enkelt forsvindingspunkt (blå i billedet nedenfor), er forsvindingspunktet for køkkenbordet (cyan) uenigt med både forsvindingslinjerne (rød) og forsvindingspunktet, der er afledt fra fliserne.

Forfatterne observerer, at selv hvis køkkenbordet ikke er parallelt med fliserne, burde cyan-forvsindingspunktet løse sig til (rød) forsvindingslinjen, der er defineret af forsvindingspunkterne for gulvfliserne.

Artiklen siger:

‘Perspektivet i disse billeder er – imponerende – lokalt konsistent, men ikke globalt konsistent. Dette samme mønster blev fundet i hver af 25 syntetiserede køkkenbilleder.’

Skyggeforensik

Som enhver, der har arbejdet med ray-tracing, ved, har skygger også potentielle forsvindingspunkter, der indikerer enkelt- eller flerkildsbelysning. For ydre skygger i hård sol, ville man forvente, at skyggerne over hele billedet skulle løse sig konsistent til den enkelte lyskilde (solen).

Som i den foregående eksperiment, oprettede forskerne 25 DALL-E 2-billeder med prompten ‘tre kuber på en fortov fotografisk på en solrig dag’, samt yderligere 25 med prompten ‘‘tre kuber på en fortov fotografisk på en skygget dag’.

Øverst, billeder skabt fra forskernes prompt ‘tre kuber på en fortov fotografisk på en skygget dag’; nederst, billeder skabt fra prompten ‘tre kuber på en fortov fotografisk på en solrig dag’.

Forskerne bemærker, at når de repræsenterer skyggede forhold, er DALL-E 2 i stand til at gengive de mere diffuse skygger på en overbevisende og plausibel måde, måske ikke mindst fordi denne type skygge sandsynligvis er mere almindelig i datasetbillederne, som rammen er trænet på.

Men nogle af ‘sollys’-fotografierne fandt forfatterne, var inkonsistente med en scene, der er belyst fra en enkelt lyskilde.

For billedet ovenfor er generationerne blevet konverteret til gråtone for klarheden, og viser hvert objekt med sin egen dedikerede ‘sol’.

Selvom den gennemsnitlige seer måske ikke vil spotte sådanne anomalier, havde nogle af de genererede billeder mere manifeste eksempler på ‘skyggefejl’:

Refleksioner i DALL-E 2

De mest kritiske resultater i forhold til forensisk analyse opstod, da forfatterne testede DALL-E 2’s evne til at skabe højreflekterende overflader, som er en besværlig beregning i CGI-ray-tracing og andre traditionelle renderalgoritmer.

Til dette eksperiment producerede forfatterne 25 DALL-E 2-billeder med prompten ‘et billede af en legetøjsdinosaur og dens refleksion i et spejl’.

I alle tilfælde rapporterer forfatterne, at spejlbilledet af den gengivne legetøjsdinosaur var på en eller anden måde frakoblet fra ‘det virkelige’ legetøjsdinosaur’s aspekt og disposition. Forfatterne siger, at problemet var modstandsdygtigt over for variationer i tekstprompten, og det synes at være en grundlæggende svaghed i systemet.

Der synes at være en logik i nogle af fejlene – det første og tredje eksempel i øverste række synes at vise en dinosaur, der er dobbelt meget godt, men ikke spejlet.

Forfatterne kommenterer:

‘I modsætning til kastede skygger og geometriske strukturer i de foregående afsnit, kæmper DALL·E-2 for at syntetisere plausibele refleksioner, sandsynligvis fordi sådanne refleksioner er mindre almindelige i dets træningsbilledsæt.’

Fejl som disse kan måske blive udstødt i fremtidige tekst-til-billede-modeller, der kan gennemgå deres output mere effektivt og pålægge abstrakte fysiske regler på scener, der til en vis udstrækning er samlet fra ord-relevante funktioner i systemets latent rum.

I lyset af en voksende tendens mod stadig større syntese-arkitekturer, konkluderer forfatterne:

‘[Det] kan måske blot være et spørgsmål om tid, før paint-by-text-syntese-motorer lærer at gengive billeder med fuldt udbygget perspektivkonsistens. Indtil da kan dog geometriske forensiske analyser måske være nyttige i at analysere disse billeder.’

* Min konvertering af forfatternes inline-citationer til hyperlinks.

Først udgivet 30. juni 2022.