Et deteksjonssystem for rene bilde-syntese-rammeverk som DALL-E 2

Ny forskning fra University of California at Berkeley tilbyr en metode for å bestemme om utdata fra den nye generasjonen av bilde-syntese-rammeverk – som Open AI’s DALL-E 2, og Google’s Imagen og Parti – kan detekteres som ‘ikke-reelle’, ved å studere geometri, skygger og refleksjoner som vises i de syntetiserte bildene.

Ved å studere bilder generert av tekstprompts i DALL-E 2, har forskerne funnet at selv om arkitekturen er i stand til å produsere imponerende realistiske bilder, oppstår det noen bestandige inkonsistenser relatert til rendrening av global perspektiv, skapning og plassering av skygger, og spesielt når det gjelder rendrening av reflekterte objekter.

Artikkelen sier:

‘[Geometriske] strukturer, kastede skygger og refleksjoner i speilerte overflater er ikke fullstendig konsistente med den forventede perspektivgeometrien til naturlige scener. Geometriske strukturer og skygger er, generelt, lokalt konsistente, men globalt inkonsistente.

‘Refleksjoner, på den andre siden, er ofte rendrete på en uvirkelig måte, antagelig fordi de er mindre vanlige i treningsbildedatasettet.’

En mangel på konsistente skjæringer mellom det rendrete objektet og rendreningen av dets refleksjon er for tiden en pålitelig måte å detektere et DALL-E 2-bilde, ifølge den nye studien. Kilde: https://arxiv.org/pdf/2206.14617.pdf

Artikkelen representerer en tidlig utforskning av hva som kan bli en merkelig tråd i computer-vision-forskningsfellesskapet – bilde-syntese-deteksjon.

Siden oppfinnelsen av deepfakes i 2017, har deepfake-deteksjon (primært av autoencoder-utdata fra pakker som DeepFaceLab og FaceSwap) blitt en aktiv og konkurransepreget akademisk tråd, med forskjellige artikler og metoder som målretter de evoluerende ‘tells’ av syntetiserte ansikter i virkelige videoopptak.

Men, før den meget nylige oppblomstringen av hyperskala-trente bilde-genererings-systemer, utgjorde utdata fra tekst-prompt-systemer som CLIP ingen trussel mot status quo-en til ‘fotorealistisk’. Artikkelforfatterne mener at dette er i ferd med å endre seg, og at selv de inkonsistensene de har funnet i DALL-E 2-utdata, kanskje ikke gjør så mye forskjell for bildenes potensiale til å bedra seerne.

Artikkelforfatterne sier:

‘[Slike] feil kan kanskje ikke bety så mye for det menneskelige synssystemet, som er funnet å være overraskende inkompetent når det gjelder visse geometriske avgjørelser, inkludert inkonsistenser i belysning, skygge, refleksjoner, visningsposisjon, og perspektivforvrengning.’

Forsvinnende troverdighet

Artikkelforfatternes første forensiske undersøkelse av DALL-E 2-utdata relaterte til perspektiv-projeksjon – måten hvorpå plasseringen av rette kanter i nærliggende objekter og teksturer skal løse seg enhetlig til et ‘forflytningpunkt’.

Venstre, parallelle linjer på samme planet løser seg til et felles forflytningpunkt; høyre, flere forflytningpunkter på samme og parallelle planer definerer en forflytning linje (avbildet i rødt).

For å teste DALL-E 2s konsistens i denne sammenhengen, brukte artikkelforfatterne DALL-E 2 til å generere 25 syntetiske bilder av kjøkken – et vanlig rom som, selv i velutstyrte boliger, vanligvis er begrenset nok til å gi flere mulige forflytningpunkter for en rekke objekter og teksturer.

Ved å undersøke utdata fra prompten ‘et bilde av et kjøkken med fliselagt gulv’, fant forskerne at selv om hver avbildning var generelt overbevisende (bortsett fra noen merkedaglige mindre artifacter som ikke var relatert til perspektiv), syntes det aldri å konvergere riktig.

Artikkelforfatterne bemerker at selv om hver sett med parallelle linjer fra flisemønsteret er konsistente og møtes i ett enkelt forflytningpunkt (blått i bildet nedenfor), er forflytningpunktet for benken (cyan) uenig med både forflytningstrekkene (rødt) og forflytningpunktet avledet fra flisene.

Artikkelforfatterne observerer at selv om benken ikke var parallell med flisene, burde cyan-forflytningpunktet løse seg til (rødt) forflytningstrekk definert av forflytningpunktene til gulvflisene.

Artikkelen sier:

‘Perspektivet i disse bildene er – imponerende – lokalt konsistent, men ikke globalt konsistent. Dette samme mønsteret ble funnet i hver av 25 syntetiske kjøkkenbilder.’

Skygge-forensikk

Som alle som noensinne har håndtert ray-tracing, vet, har skygger også potensielle forflytningpunkter, som indikerer enkelt eller fler-kilde-belysning. For eksterne skygger i hardt sollys, ville en forvente at skygger over hele bildet skulle løse seg konsistent til den enkelte lyskilden (solen).

Som i den forrige eksperimenten, skapte forskerne 25 DALL-E 2-bilder med prompten ‘tre kuber på en fortaus fotografert på en solrik dag’, samt 25 med prompten ‘‘tre kuber på en fortaus fotografert på en skyet dag’.’

Øverst, bilder skapt fra forskernes prompt ‘tre kuber på en fortaus fotografert på en skyet dag’; nederst, bilder skapt fra prompten ‘tre kuber på en fortaus fotografert på en solrik dag’.

Forskerne bemerker at når de representerer skyet forhold, er DALL-E 2 i stand til å rendre de mer diffuse skyggene på en overbevisende og plausibel måte, kanskje ikke minst fordi denne type skygge er mer vanlig i datasett-bildene som rammeverket ble trent på.

Men, noen av ‘sollys’-fotene, fant artikkelforfatterne, var inkonsistente med en scene belyst fra en enkelt lyskilde.

For ovenstående bilde, har genereringene blitt konvertert til gråskala for å gjøre det mer tydelig, og viser hvert objekt med sin egen dedikerte ‘sol’.

Selv om den gjennomsnittlige seeren kanskje ikke merker slike anomalier, hadde noen av de genererte bildene mer manifeste eksempler på ‘skyggefeil’:

Mens noen av skyggene bare er plassert feil, korresponderer mange av dem, interessant nok, med den type visuelle diskrepans som produseres i CGI-modellering når prøvehastigheten for en virtuell lyskilde er for lav.

Refleksjoner i DALL-E 2

De mest nedslående resultatene i forbindelse med forensisk analyse kom når artikkelforfatterne testet DALL-E 2s evne til å skape høyt reflekterende overflater, som er en tung beregning i CGI-ray-tracing og andre tradisjonelle rendre-algoritmer.

For dette eksperimentet, produserte artikkelforfatterne 25 DALL-E 2-bilder med prompten ‘et bilde av en leke-dinosaur og dens refleksjon i en speilvæg’.

I alle tilfeller, rapporterer artikkelforfatterne, var speilbildet av det rendrede leke-dyret på en eller annen måte frakoblet fra det ‘ekte’ leke-dyrets aspekt og disposisjon. Artikkelforfatterne sier at problemet var motstandsdyktig mot variasjoner i tekstprompten, og det ser ut til å være en grunnleggende svakhet i systemet.

Det ser ut til å være en logikk i noen av feilene – det første og tredje eksempelet i øverste raden viser en dinosaur som er duplicert svært godt, men ikke speilet.

Artikkelforfatterne kommenterer:

‘I motsetning til kastede skygge og geometriske strukturer i de foregående avsnittene, sliter DALL·E-2 med å syntetisere plausiblene refleksjoner, antagelig fordi slike refleksjoner er mindre vanlige i treningsbildedatasettet.’

Feil som disse kan kanskje rettes opp i fremtidige tekst-til-bilde-modeller som er i stand til å gjennomgå den overordnede semantiske logikken til utdataene sine, og som vil være i stand til å pålegge abstrakte fysiske regler på scener som, til en viss grad, er sammensatt av ord-relevante trekk i systemets latente rom.

I lys av en voksende trend mot stadig større syntese-arkitekturer, konkluderer artikkelforfatterne:

‘[Det] kan kanskje bare være et spørsmål om tid før paint-by-text-syntese-motorer lærer å rendre bilder med fullstendig perspektiv-konsistens. Inntil den tiden, kan likevel geometriske forensiske analyser vise seg å være nyttige i å analysere disse bildene.’

* Min konvertering av artikkelforfatternes inline-citater til lenker.

Først publisert 30. juni 2022.