Er DALL-E 2 bare “liming ting sammen” uten å forstå deres relasjoner?

En ny forskningsrapport fra Harvard University antyder at OpenAI’s tekst-til-bilde-rammeverk DALL-E 2 har betydelige vanskeligheter med å gjenskape selv infant-nivå-relasjoner mellom elementene det komponerer inn i syntetiske bilder, til tross for den imponerende sofistikerte utgangen.

Forskerne gjennomførte en brukerstudie med 169 crowdsourced deltakere, som ble presentert med DALL-E 2-bilder basert på de mest grunnleggende menneskelige prinsippene for relasjonssemantikk, sammen med tekst-promptene som hadde skapt dem. Når de ble bedt om å si om promptene og bildene var relatert, var mindre enn 22% av bildene oppfattet som pertinente til deres tilhørende prompter, i termer av de meget enkle relasjoner som DALL-E 2 ble bedt om å visualisere.

En skjermbilde fra prøvene som ble utført for den nye rapporten. Deltakerne ble bedt om å velge alle bildene som matchet prompten. Kilde: https://arxiv.org/pdf/2208.00005.pdf

Resultatene antyder også at DALL-E’s åpenbare evne til å kombinere ulike elementer kan avta når disse elementene blir mindre sannsynlige å ha skjedd i den virkelige verden trening data som driver systemet.

For eksempel, bilder for prompten “barn berører en skål” fikk en 87% enighetsrate (dvs. deltakerne klikket på de fleste bildene som relevante for prompten), mens like fotorealistiske gjengivelser av “en ape berører en leguan” oppnådde bare 11% enighet:

DALL-E har vanskeligheter med å avbilde den usannsynlige hendelsen av en ‘ape som berører en leguan’.

I det andre eksemplet, får DALL-E 2 ofte skalaen og selv arten feil, antagelig på grunn av en mangel på virkelige bilder som avbilder denne hendelsen. I motsetning til dette, er det rimelig å forvente et høyt antall treningbilder relatert til barn og mat, og at denne subdomenen/klassen er godt utviklet.

DALL-E’s vanskeligheter med å kombinere sterkt kontrasterende bildeelementer antyder at allmennheten for tiden er så imponert over systemets fotorealistiske og bredt tolkende evner at de ikke har utviklet en kritisk øye for tilfeller hvor systemet har effektivt bare “limt” ett element sterkt på et annet, som i disse eksemplene fra den offisielle DALL-E 2-nettsiden:

Klisjé-syntese, fra de offisielle eksemplene for DALL-E 2. Kilde: https://openai.com/dall-e-2/

Den nye rapporten sier*:

‘Relasjonsforståelse er en grunnleggende komponent av menneskelig intelligens, som manifesterer seg tidlig i utviklingen, og beregnes raskt og automatisk i persepsjonen.

‘DALL-E 2’s vanskeligheter med selv grunnleggende romlige relasjoner (slik som i, på, under) antyder at det ikke har lært de typene av representasjoner som tillater mennesker å så fleksibelt og robust strukturere verden.

‘En direkte tolkning av denne vanskeligheten er at systemer som DALL-E 2 ikke ennå har relasjonskomposisjonalitet.’

Forfatterne foreslår at tekst-guidede bilde-genererings-systemer som DALL-E-serien kunne dra nytte av å utnytte algoritmer som er vanlige i robotikk, som modellerer identiteter og relasjoner samtidig, på grunn av behovet for agenten å faktisk interagere med miljøet i stedet for bare å fabrikkere en blanding av ulike elementer.

En slik tilnærming, kalt CLIPort, bruker samme CLIP-mekanisme som tjener som en kvalitetsvurderingskomponent i DALL-E 2:

CLIPort, et samarbeid mellom University of Washington og NVIDIA i 2021, bruker CLIP i en kontekst så praktisk at systemene som er trent på det nødvendigvis må utvikle en forståelse av fysiske relasjoner. Kilde: https://arxiv.org/pdf/2109.12098.pdf

Forfatterne foreslår videre ‘en annen plausibel oppgradering’ kunne være å inkorporere multiplikative effekter i en enkelt beregningslag, som tillater beregning av relasjoner på en måte inspirert av informasjonsbehandlingskapasiteter i biologiske systemer.

Den nye rapporten heter Testing Relational Understanding in Text-Guided Image Generation, og kommer fra Colin Conwell og Tomer D. Ullman ved Harvard’s Department of Psychology.

Beyond Early Criticism

Kommentar til den ‘sleight of hand’ bak realisme og integritet i DALL-E 2’s utgang, noterer forfatterne tidligere arbeider som har funnet mangler i DALL-E-stil generative bilde-systemer.

I juni i år, noterte UoC Berkeley vanskelighetene DALL-E har med å håndtere refleksjoner og skygge; samme måned, en studie fra Korea undersøkte ‘uniktet’ og originalitet av DALL-E 2-stil utgang med en kritisk øye; en preliminær analyse av DALL-E 2-bilder, kort tid etter lansering, fra NYU og University of Texas, fant variasjoner med komposisjonalitet og andre essensielle faktorer i DALL-E 2-bilder; og forrige måned, et felles arbeid mellom University of Illinois og MIT tilbød forslag for arkitektoniske forbedringer til slike systemer i termer av komposisjonalitet.

Forskerne noterer videre at DALL-E-luminærer som Aditya Ramesh har innrømmet rammeverkets problemer med binding, relativ størrelse, tekst og andre utfordringer.

Utviklerne bak Google’s rival bilde-syntese-system Imagen har også foreslått DrawBench, et nytt sammenligningssystem som måler bilde-nøyaktighet over rammeverk med ulike metrikker.

I stedet foreslår forfatterne av den nye rapporten at en bedre resultat kunne oppnås ved å sette menneskelig estimat – i stedet for intern, algoritmisk metrikk – mot de resulterende bildene, for å etablere hvor svakhetene ligger, og hva som kunne gjøres for å mildne dem.

The Study

Til dette formålet, baserer den nye studien sin tilnærming på psykologiske prinsipper, og søker å trekke seg tilbake fra den nåværende bølgen av interesse i prompt-engineering (som i virkeligheten er en innrømmelse av manglene i DALL-E 2, eller noe lignende system), for å undersøke og potensielt adressere begrensningene som gjør slike ‘workarounds’ nødvendige.

Rapporten sier*:

‘Den nåværende studien fokuserer på en sett med 15 grunnleggende relasjoner tidligere beskrevet, undersøkt eller foreslått i kognitiv, utviklings- eller lingvistisk litteratur. Settet inneholder både grunnede romlige relasjoner (slik som X på Y), og mer abstrakte agens-relasjoner (slik som X hjelper Y).

‘Promptene er bevisst enkle, uten attributt-kompleksitet eller utdypning. Det vil si, i stedet for en prompt som ‘en esel og en blæksprut spiller et spill. Eselet holder i en rope på den ene enden, blækspruten holder fast på den andre. Eselet holder ropen i munn. En katt hopper over ropen’, bruker vi ‘en boks på en kniv’.

‘Enkelheten fanger likevel en bred rekke av relasjoner fra ulike subdomener av menneskelig psykologi, og gjør potensielle modellfeil mer slående og spesifikke.’

For deres studie, rekrutterte forfatterne 169 deltakere fra Prolific, alle lokalisert i USA, med en gjennomsnittsalder på 33, og 59% kvinnelige.

Deltakerne ble presentert 18 bilder organisert i en 3×6-rutenett med prompten øverst, og en advarsel nederst som sa at alle, noen eller ingen av bildene kunne ha blitt generert fra den viste prompten, og ble deretter bedt om å velge bildene som de trodde var relatert på denne måten.

Bildene som ble presentert for individene var basert på lingvistisk, utviklings- og kognitiv litteratur, og bestod av en sett med åtte fysiske og syv ‘agens-relasjoner’ (dette vil bli klart om litt).

Fysiske relasjoner
i, på, under, dekkende, nær, skjult av, hengende over, og bundet til.

Agens-relasjoner
skyver, trekker, berører, slår, spark, hjelper, oghindrer.

Alle disse relasjonene ble hentet fra tidligere nevnte ikke-CS-fag.

Tolv enheter ble således avledet for bruk i promptene, med seks objekter og seks agenter:

Objekter
boks, sylinder, dekke, skål, te-kopp, ogkniv.

Agenter
menneske, kvinne, barn, robot, ape, ogleguan.

(Forskerne innrømmer at å inkludere leguanen, ikke en hovedsak i tørt sosiologisk eller psykologisk forskning, var ‘en behandling’)

For hver relasjon, ble fem forskjellige prompter skapt ved å tilfeldig sampel to enheter fem ganger, resulterende i 75 totale prompter, hver av dem ble sendt til DALL-E 2, og for hver av dem ble de opprinnelige 18 bildene brukt, uten variasjoner eller andre sjanser.

Results

Rapporten sier*:

‘Deltakerne rapporterte i gjennomsnitt en lav enighet mellom DALL-E 2’s bilder og promptene som ble brukt til å generere dem, med en gjennomsnitt på 22,2% [18,3, 26,6] over de 75 forskjellige promptene.

‘Agens-prompter, med en gjennomsnitt på 28,4% [22,8, 34,2] over 35 prompter, genererte høyere enighet enn fysiske prompter, med en gjennomsnitt på 16,9% [11,9, 23,0] over 40 prompter.’

Resultater fra studien. Punkter i svart markerer alle prompter.

For å sammenligne forskjellen mellom menneskelig og algoritmisk persepsjon av bildene, kjørte forskerne bildene gjennom OpenAI’s åpne kilde ViT-L/14 CLIP-basert rammeverk. Ved å gjennomsnittle scorene, fant de en ‘moderat relasjon’ mellom de to settene med resultater, som kanskje er overraskende, når en tar i betraktning hvor mye CLIP selv hjelper til å generere bildene.

Resultater fra CLIP (ViT-L/14) sammenligning mot menneskelig respons.

Forskerne antyder at andre mekanismer i arkitekturen, kanskje kombinert med en tilfeldig overvældende (eller mangel på) data i treningssettet, kan forklare hvordan CLIP kan gjenkjenne DALL-E’s begrensninger uten å kunne gjøre mye med problemet.

Forfatterne konkluderer med at DALL-E 2 bare har en forestillingsevne, hvis noen, til å gjenskape bilder som inkorporerer relasjonsforståelse, en grunnleggende fasett av menneskelig intelligens som utvikler seg tidlig.

‘Forestillingen om at systemer som DALL-E 2 ikke har komposisjonalitet kan komme som en overraskelse for noen som har sett DALL-E 2’s imponerende og rimelige responser på prompter som ‘en tegning av en baby daikon radish i en tutu som går en poodle’. Slike prompter genererer ofte en rimelig approksimasjon av en komposisjonal konsept, med alle deler av prompten til stede, og til stede i riktig plassering.

‘Komposisjonalitet krever imidlertid ikke bare evnen til å lime ting sammen – selv ting du aldri har observert sammen før. Komposisjonalitet krever en forståelse av reglene som binder ting sammen. Relasjoner er slike regler.’

Man Bites T-Rex

Mening Da OpenAI åpner opp for flere brukere etter sin nylige beta-monetisering av DALL-E 2, og siden man nå må betale for de fleste genereringene, kan begrensningene i DALL-E 2’s relasjonsforståelse bli mer åpenbare når hver ‘feil’ forsøk har en finansiell vekt, og refusjon ikke er tilgjengelig.

De av oss som mottok en invitasjon litt tidligere har hatt tid (og, inntil nylig, større fritid til å leke med systemet) til å observere noen av ‘relasjonsfeilene’ som DALL-E 2 kan utløse.

For eksempel, for en Jurassic Park-fan, er det svært vanskelig å få en dinosaur til å jage en person i DALL-E 2, selv om konseptet ‘jage’ ikke ser ut til å være i DALL-E 2’s sensur-system, og selv om den lange historien om dinosaur-filmer bør gi rikelig med treningseksempler (i alle fall i form av trailere og promoteringsskudd) for denne ellers umulige møte mellom arter.

En typisk DALL-E 2-respons på prompten ‘En fargefoto av en T-Rex som jager en mann ned en vei’. Kilde: DALL-E 2

Jeg har funnet at bildene ovenfor er typiske for variasjoner av ‘[dinosaur] jager [en person]’ prompt-design, og at ingen mengde utdypning i prompten kan få T-Rex til å faktisk etterkomme. I det første og andre bildet, jager mannen T-Rex; i det tredje, nærmer han seg den med en nonchalant ligegyldighet til sikkerheten; og i det siste bildet, ser det ut til å jogge parallelt med det store dyret. Over omtrent 10-15 forsøk på dette temaet, har jeg funnet at dinosaur er like ‘distraherende’.

Det kan være at den eneste treningdata som DALL-E 2 kunne aksessere var i rekken av ‘mann kjemper mot dinosaur’, fra promoteringsskudd for eldre filmer som One Million Years B.C. (1966), og at Jeff Goldblum’s berømte flukt fra kongen av rovdyr er bare en outlier i den lille mengden data.

* Min konvertering av forfatternes inline-citater til lenker.

Først publisert 4. august 2022.