Er DALL-E 2 bare å "lime ting sammen" uten å forstå relasjonene deres?

En ny forskningsartikkel fra Harvard University antyder at OpenAIs overskriftsfengende tekst-til-bilde-rammeverk DALL-E 2 har bemerkelsesverdige problemer med å reprodusere selv spedbarns-nivå-relasjoner mellom elementene den komponerer til syntetiserte bilder, til tross for den blendende sofistikasjonen til mye av dens utgang.

Forskerne gjennomførte en brukerstudie som involverte 169 crowdsourcede deltakere, som ble presentert for DALL-E 2-bilder basert på de mest grunnleggende menneskelige prinsippene for relasjonssemantikk, sammen med tekstmeldingene som hadde skapt dem. På spørsmål om spørsmålene og bildene var relatert, ble mindre enn 22 % av bildene oppfattet som relevante for de tilknyttede spørsmålene, når det gjelder de veldig enkle relasjonene som DALL-E 2 ble bedt om å visualisere.

Et skjermbilde fra forsøkene utført for den nye avisen. Deltakerne fikk i oppgave å velge ut alle bildene som stemte med spørsmålet. Til tross for ansvarsfraskrivelsen nederst i grensesnittet, ble bildene i alle tilfeller, uten at deltakerne visste det, faktisk generert fra den viste tilknyttede ledeteksten. Kilde: https://arxiv.org/pdf/2208.00005.pdf

Resultatene tyder også på at DALL-Es tilsynelatende evne til å kombinere forskjellige elementer kan avta ettersom disse elementene blir mindre sannsynlige for å ha forekommet i de virkelige treningsdataene som driver systemet.

For eksempel oppnådde bilder for ledeteksten "barn som berører en bolle" en 87 % avtalefrekvens (dvs. deltakerne klikket på de fleste bildene som relevante for ledeteksten), mens tilsvarende fotorealistiske gjengivelser av "en ape som berører en leguan" oppnådde kun 11 % enighet:

DALL-E sliter med å skildre den usannsynlige hendelsen med en "ape som berører en leguan", uten tvil fordi den er uvanlig, mer sannsynlig ikke-eksisterende, i treningssettet.

I det andre eksemplet tar DALL-E 2 ofte feil skala og til og med arten, antagelig på grunn av mangel på bilder fra den virkelige verden som skildrer denne hendelsen. Derimot er det rimelig å forvente et høyt antall treningsbilder relatert til barn og mat, og at dette underdomenet/klassen er godt utviklet.

DALL-Es vanskeligheter med å sammenstille vilt kontrastive bildeelementer antyder at publikum for øyeblikket er så blendet av systemets fotorealistiske og bredt tolkende evner at de ikke har utviklet et kritisk blikk for tilfeller der systemet effektivt bare har "limt" ett element sterkt på et annet , som i disse eksemplene fra det offisielle DALL-E 2-nettstedet:

Klipp-og-lim syntese, fra de offisielle eksemplene for DALL-E 2. Kilde: https://openai.com/dall-e-2/

Det nye papiret sier*:

'Relasjonell forståelse er en grunnleggende komponent i menneskelig intelligens, som manifesterer seg tidlig i utviklingen, og beregnes raskt og automatisk i oppfatning.

'DALL-E 2s problemer med selv grunnleggende romlige relasjoner (som f.eks in, on, etter) antyder at uansett hva den har lært, har den ennå ikke lært hvilke typer representasjoner som lar mennesker strukturere verden så fleksibelt og robust.

"En direkte tolkning av denne vanskeligheten er at systemer som DALL-E 2 ennå ikke har relasjonell komposisjon."

Forfatterne foreslår at tekststyrte bildegenereringssystemer som DALL-E-serien kan dra nytte av å utnytte algoritmer som er felles for robotikk, som modellerer identiteter og relasjoner samtidig, på grunn av behovet for at agenten faktisk samhandler med miljøet i stedet for bare å fremstille en blanding av ulike elementer.

En slik tilnærming, med tittelen CLIPort, bruker det samme CLIP-mekanisme som fungerer som et kvalitetsvurderingselement i DALL-E 2:

CLIPort, et 2021-samarbeid mellom University of Washington og NVIDIA, bruker CLIP i en kontekst så praktisk at systemene som er trent på det, nødvendigvis må utvikle en forståelse av fysiske relasjoner, en motivator som er fraværende i DALL-E 2 og lignende "fantastisk" rammeverk for bildesyntese. Kilde: https://arxiv.org/pdf/2109.12098.pdf

Forfatterne foreslår videre at "en annen plausibel oppgradering" kan være at arkitekturen til bildesyntesesystemer som DALL-E skal inkludere multiplikative effekter i et eneste lag med beregning, som tillater beregning av relasjoner på en måte inspirert av informasjonsbehandlingskapasiteten til biologisk systemer.

Ocuco nytt papir har tittelen Testing av relasjonsforståelse i tekststyrt bildegenerering, og kommer fra Colin Conwell og Tomer D. Ullman ved Harvards Institutt for psykologi.

Utover tidlig kritikk

Forfatterne kommenterer "snacks" bak realismen og integriteten til DALL-E 2s produksjon, og noterer tidligere arbeider som har funnet mangler i generative bildesystemer i DALL-E-stil.

I juni i år, UoC Berkeley bemerket vanskeligheten DALL-E har med å håndtere refleksjoner og skygger; samme måned undersøkte en studie fra Korea "uniktheten" og originaliteten til DALL-E 2-utgang med et kritisk blikk; en foreløpig analyse av DALL-E 2-bilder, kort tid etter lansering, fra NYU og University of Texas, fant forskjellige problemer med komposisjon og andre viktige faktorer i DALL-E 2-bilder; og forrige måned, et felles arbeid mellom University of Illinois og MIT ga forslag til arkitektoniske forbedringer av slike systemer når det gjelder komposisjonalitet.

Forskerne bemerker videre at DALL-E-armaturer som Aditya Ramesh har innrømmet rammeverkets problemstillinger med binding, relativ størrelse, tekst og andre utfordringer.

Utviklerne bak Googles rivaliserende bildesyntesesystem Imagen har også foreslått DrawBench, et nytt sammenligningssystem som måler bildenøyaktighet på tvers av rammeverk med forskjellige beregninger.

I stedet foreslår forfatterne av det nye papiret at et bedre resultat kan oppnås ved å sette menneskelig estimering – i stedet for interne, algoritmiske beregninger – mot de resulterende bildene, for å fastslå hvor svakhetene ligger, og hva som kan gjøres for å dempe dem.

Studien

For dette formål baserer det nye prosjektet sin tilnærming på psykologiske prinsipper, og søker å trekke seg tilbake fra dagens bølge av interesse in rask prosjektering (som faktisk er en innrømmelse til manglene i DALL-E 2, eller et hvilket som helst sammenlignbart system), for å undersøke og potensielt adressere begrensningene som gjør slike 'løsninger' nødvendige.

Papiret sier:

'Det nåværende arbeidet fokuserer på et sett med 15 grunnleggende relasjoner som tidligere er beskrevet, undersøkt eller foreslått i kognitiv, utviklingsmessig eller språklig litteratur. Settet inneholder både jordede romlige relasjoner (f.eks. 'X på Y'), og mer abstrakte agentrelasjoner (f.eks. 'X som hjelper Y').

«Forespørslene er med vilje enkle, uten attributtkompleksitet eller utdyping. Det vil si, i stedet for en oppfordring som 'et esel og en blekksprut spiller et spill. Eselet holder et tau i den ene enden, blekkspruten holder i den andre. Eselet holder tauet i munnen. En katt hopper over tauet', vi bruker 'en boks på en kniv'.

"Enkelheten fanger fortsatt et bredt spekter av relasjoner fra ulike underdomener av menneskelig psykologi, og gjør potensielle modellfeil mer slående og spesifikke."

For studien deres rekrutterte forfatterne 169 deltakere fra Prolific, alle lokalisert i USA, med en gjennomsnittsalder på 33 og 59 % kvinner.

Deltakerne ble vist 18 bilder organisert i et 3×6 rutenett med ledeteksten øverst, og en ansvarsfraskrivelse nederst om at alle, noen eller ingen av bildene kan ha blitt generert fra den viste ledeteksten, og ble deretter bedt om å velge bildene som de trodde var relatert på denne måten.

Bildene som ble presentert for individene var basert på språklig, utviklingsmessig og kognitiv litteratur, bestående av et sett med åtte fysiske og syv 'agentiske' relasjoner (dette vil bli klart om et øyeblikk).

Fysiske relasjoner
i, på, under, dekker, nær, lukket av, henger over, og bundet til.

Agentrelasjoner
skyve, dra, berøre, slå, sparke, hjelpe, og hindrende.

Alle disse relasjonene ble hentet fra de tidligere nevnte ikke-CS studieretningene.

Tolv enheter ble dermed avledet for bruk i ledetekstene, med seks objekter og seks agenter:

Objekter
boks, sylinder, teppe, bolle, tekopp, og kniv.

Agenter
mann, kvinne, barn, robot, ape, og iguan.

(Forskerne innrømmer at det å inkludere iguanen, ikke en bærebjelke i tørr sosiologisk eller psykologisk forskning, var "en godbit")

For hver relasjon ble fem forskjellige ledetekster opprettet ved tilfeldig prøvetaking av to enheter fem ganger, noe som resulterte i totalt 75 ledetekster, som hver ble sendt til DALL-E 2, og for hver av disse ble de innledende 18 leverte bildene brukt, uten variasjoner eller andre sjanser tillatt.

Resultater

Avisen sier*:

«Deltakere rapporterte i gjennomsnitt en liten grad av samsvar mellom bildene til DALL-E 2 og ledetekstene som ble brukt til å generere dem, med et gjennomsnitt på 22.2 % [18.3, 26.6] på tvers av de 75 distinkte ledetekstene.

'Agentiske meldinger, med et gjennomsnitt på 28.4 % [22.8, 34.2] over 35 meldinger, genererte høyere samsvar enn fysiske meldinger, med et gjennomsnitt på 16.9 % [11.9, 23.0] over 40 meldinger.'

Resultater fra studien. Punkter i svart angir alle spørsmål, med hvert punkt en individuell ledetekst, og fargen brytes ned i henhold til om ledeteksten var agent eller fysisk (dvs. et objekt).

For å sammenligne forskjellen mellom menneskelig og algoritmisk oppfatning av bildene, kjørte forskerne sine gjengivelser gjennom OpenAIs åpen kildekode ViT-L/14 CLIP-basert rammeverk. Ved å snitte poengsummen fant de et "moderat forhold" mellom de to settene med resultater, noe som kanskje er overraskende, tatt i betraktning i hvilken grad CLIP selv bidrar til å generere bildene.

Resultater av CLIP (ViT-L/14) sammenligning med menneskelige responser.

Forskerne foreslår at andre mekanismer innenfor arkitekturen, kanskje kombinert med en tilfeldighetsovervekt (eller mangel) på data i treningssettet kan forklare måten CLIP kan gjenkjenne DALL-Es begrensninger uten å i alle tilfeller kunne gjøre noe mye om problemet.

Forfatterne konkluderer med at DALL-E 2 bare har en ideell mulighet, om noen, til å reprodusere bilder som inkluderer relasjonsforståelse, en grunnleggende fasett av menneskelig intelligens som utvikler seg i oss veldig tidlig.

"Forestillingen om at systemer som DALL-E 2 ikke har komposisjonalitet kan komme som en overraskelse for alle som har sett DALL-E 2s slående fornuftige svar på spørsmål som "en tegneserie av en baby daikon reddik i en tutu som går med en puddel". Forespørsler som disse genererer ofte en fornuftig tilnærming til et komposisjonskonsept, med alle deler av oppfordringene tilstede og til stede på de riktige stedene.

«Komposisjonalitet er imidlertid ikke bare evnen til å lime ting sammen – også ting du kanskje aldri har sett sammen før. Komposisjonalitet krever en forståelse av regler som binder ting sammen. Forhold er slike regler.'

Mann biter T-Rex

Mening Som OpenAI omfavner en større antall brukere etter den nylige beta-inntektsgenereringen av DALL-E 2, og siden man nå må betale for de fleste generasjonene, kan manglene i DALL-E 2s relasjonelle forståelse bli tydeligere ettersom hvert "mislykket" forsøk har en økonomisk vekt, og refusjon er ikke tilgjengelig.

De av oss som mottok en invitasjon litt tidligere har hatt tid (og inntil nylig, større fritid til å leke med systemet) til å observere noen av "relasjonsfeilene" som DALL-E 2 kan avgi.

For eksempel for en Jurassic Park fan, er det veldig vanskelig å få en dinosaur til å jage en person i DALL-E 2, selv om konseptet "chase" ikke ser ut til å være i DALL-E 2 sensursystem, og selv om lang historie av dinosaurfilmer burde gi rikelig med treningseksempler (i det minste i form av trailere og publisitetsbilder) for dette ellers umulige møtet mellom arter.

Et typisk DALL-E 2-svar på spørsmålet 'Et fargebilde av en T-Rex som jager en mann nedover en vei'. Kilde: DALL-E 2

Jeg har funnet ut at bildene ovenfor er typiske for varianter av "[dinosaur] jager [en person]" prompt design, og at ingen grad av utdypning i ledeteksten kan få T-Rex til å faktisk overholde. På det første og andre bildet jager mannen (mer eller mindre) T-Rexen; i den tredje, nærmer seg det med en tilfeldig ignorering av sikkerhet; og i det endelige bildet, tilsynelatende jogging parallelt med det store udyret. På tvers av 10-15 forsøk på dette temaet, har jeg funnet ut at dinosauren er på samme måte "distrahert".

Det kan være at de eneste treningsdataene som DALL-E 2 kunne få tilgang til var i rekken av «mann kjemper mot dinosaur», fra reklamebilder for eldre filmer som f.eks En million år f.Kr (1966), og den Jeff Goldblums kjent fly fra kongen av rovdyr er rett og slett en uteligger i den lille delen av data.

* Min konvertering av forfatternes innebygde sitater til hyperkoblinger.

Først publisert 4. august 2022.