Är DALL-E 2 bara “limmade saker ihop” utan att förstå deras relationer?

En ny forskningsrapport från Harvard University tyder på att OpenAI:s rubrikframgångsrika text-till-bild-ramverk DALL-E 2 har betydande svårigheter att reproducera även infantnivårelationer mellan de element som det komponerar in i syntetiserade foton, trots den imponerande sofistikeringen av mycket av dess utdata.

Forskarna genomförde en användarstudie med 169 crowdsourced deltagare, som presenterades med DALL-E 2-bilder baserade på de mest grundläggande mänskliga principerna för relationsssemantik, tillsammans med textprompten som skapade dem. När de tillfrågades om prompten och bilderna var relaterade, var mindre än 22% av bilderna uppfattade som relevanta för deras associerade prompter, i termer av de mycket enkla relationerna som DALL-E 2 tillfrågades att visualisera.

En skärmdump från försöken som genomfördes för den nya rapporten. Deltagarna fick i uppgift att välja alla bilder som matchade prompten. Källa: https://arxiv.org/pdf/2208.00005.pdf

Resultaten tyder också på att DALL-E:s uppenbara förmåga att förena disparata element kan minska när dessa element blir mindre sannolika att ha förekommit i den realvärldsträningsdata som driver systemet.

Till exempel fick bilder för prompten “barn rör en skål” en 87% överensstämmelsegrad (dvs. deltagarna klickade på de flesta bilderna som relevanta för prompten), medan liknande fotorealistiska återgivningar av “en apa rör en leguan” uppnådde endast 11% överensstämmelse:

DALL-E har svårt att avbilda den osannolika händelsen av en ‘apa rör en leguan’.

I det andra exemplet får DALL-E 2 ofta fel skala och till och med art, antagligen på grund av brist på realvärldsbilder som avbildar denna händelse. I kontrast är det rimligt att förvänta sig ett stort antal träningsfotografier relaterade till barn och mat, och att denna subdomän/klass är välutvecklad.

DALL-E:s svårighet att jämföra vilt kontrasterande bild-element tyder på att allmänheten för närvarande är så bedövad av systemets fotorealistiska och breda tolkningsförmåga att de inte har utvecklat en kritisk öga för de fall där systemet har effektivt bara “limmat” ett element starkt på ett annat, som i dessa exempel från den officiella DALL-E 2-sajten:

Klipp-och-klistra-syntes, från de officiella exemplen för DALL-E 2. Källa: https://openai.com/dall-e-2/

Den nya rapporten hävdar*:

‘Relational förståelse är en grundläggande komponent av mänsklig intelligens, som manifesterar sig tidigt i utvecklingen, och beräknas snabbt och automatiskt i perception.

‘DALL-E 2:s svårighet med till och med grundläggande rumsliga relationer (såsom in, på, under) tyder på att vad systemet än har lärt sig, har det inte lärt sig de typer av representationer som tillåter människor att så flexibelt och robust strukturera världen.

‘En direkt tolkning av denna svårighet är att system som DALL-E 2 inte har relationell sammansättning.’

Författarna föreslår att textstyrda bildgenereringssystem som DALL-E-serien kunde dra nytta av att utnyttja algoritmer som är vanliga inom robotik, som modellerar identiteter och relationer samtidigt, på grund av behovet av att agenten faktiskt interagerar med miljön snarare än att bara fabricera en blandning av olika element.

En sådan metod, med titeln CLIPort, använder samma CLIP-mekanism som tjänar som en kvalitetsbedömningsenhet i DALL-E 2:

CLIPort, ett samarbete 2021 mellan University of Washington och NVIDIA, använder CLIP i en kontext så praktisk att systemen som tränas på det nödvändigtvis måste utveckla en förståelse för fysiska relationer. Källa: https://arxiv.org/pdf/2109.12098.pdf

Författarna föreslår dessutom ‘en annan trolig uppgradering’ kan vara att arkitekturen för bildsyntesystem som DALL-E inkorporerar multiplicerande effekter i en enda beräkningslager, vilket tillåter beräkning av relationer på ett sätt som inspireras av informationsbearbetningsförmågorna i biologiska system.

Den nya rapporten har titeln Testing Relational Understanding in Text-Guided Image Generation, och kommer från Colin Conwell och Tomer D. Ullman vid Harvard’s Department of Psychology.

Bortom tidig kritik

I en kommentar om “trolleritrick” bakom realismen och integriteten i DALL-E 2:s utdata, noterar författarna tidigare arbeten som har funnit brister i DALL-E-liknande generativa bildsystem.

I juni i år noterade UoC Berkeley svårigheten DALL-E har med att hantera reflektioner och skuggor; samma månad undersökte en studie från Korea ‘uniqueness’ och originalitet hos DALL-E 2-liknande utdata med en kritisk öga; en preliminär analys av DALL-E 2-bilder, strax efter lanseringen, från NYU och University of Texas, fann olika problem med sammansättning och andra viktiga faktorer i DALL-E 2-bilder; och förra månaden ett samarbete mellan University of Illinois och MIT erbjöd förslag för arkitektoniska förbättringar av sådana system i termer av sammansättning.

Forskarna noterar dessutom att DALL-E-luminarier som Aditya Ramesh har medgivit ramverkets problem med bindning, relativ storlek, text och andra utmaningar.

Utvecklarna bakom Google’s rivaliserande bildsyntesystem Imagen har också föreslagit DrawBench, ett nytt jämförelsesystem som mäter bildaccuracitet över ramverk med olika metriker.

I stället föreslår författarna till den nya rapporten att ett bättre resultat kan uppnås genom att ställa mänsklig uppskattning – snarare än interna, algoritmiska metriker – mot de resulterande bilderna, för att fastställa var svagheterna ligger, och vad som kan göras för att mildra dem.

Studien

För detta ändamål baserar den nya projektet sin approach på psykologiska principer, och försöker att dra sig tillbaka från den nuvarande vågen av intresse i prompt engineering (vilket i själva verket är en eftergift till DALL-E 2:s brister, eller något liknande system), för att undersöka och potentiellt åtgärda begränsningarna som gör sådana “workarounds” nödvändiga.

Rapporten hävdar:

‘Det aktuella arbetet fokuserar på en uppsättning 15 grundläggande relationer som tidigare beskrivits, undersökts eller föreslagits i den kognitiva, utvecklings- eller lingvistiska litteraturen. Uppsamlingen innehåller både grundade rumsliga relationer (t.ex. ’X på Y’), och mer abstrakta agensrelationer (t.ex. ’X hjälper Y’).

‘Prompten är avsiktligt enkla, utan attributkomplexitet eller utarbetning. Det vill säga, istället för en prompt som ’en åsna och en bläckfisk leker. Åsnan håller i en repända, bläckfisken håller i den andra. Åsnan håller i repet med munnen. En katt hoppar över repet’, använder vi ’en låda på en kniv’.

‘Enkelheten fångar fortfarande en bred uppsättning relationer från hela underområden av mänsklig psykologi, och gör eventuella modellmisslyckanden mer slående och specifika.’

För sin studie rekryterade författarna 169 deltagare från Prolific, alla belägna i USA, med en genomsnittsålder på 33, och 59% kvinnor.

Deltagarna visades 18 bilder organiserade i en 3×6-grid med prompten överst, och en varning längst ner på gränssnittet som angav att alla, några eller inga av bilderna kunde ha genererats från den visade prompten, och de fick sedan i uppgift att välja de bilder som de trodde var relaterade på detta sätt.

Bilderna som presenterades för individerna baserades på lingvistisk, utvecklings- och kognitiv litteratur, och bestod av en uppsättning åtta fysiska och sju “agensrelationer” (detta kommer att bli tydligt om en stund).

Fysiska relationer
i, på, under, täcker, nära, skymd av, hängande över, och bunden till.

Agensrelationer
knuffar, drar, rör, slår, sparkar, hjälper, och hinder.

Alla dessa relationer hämtades från tidigare nämnda icke-CS-områden.

Tolv entiteter härleddes för användning i prompten, med sex objekt och sex agenter:

Objekt
låda, cylinder, filt, skål, tekopp, och kniv.

Agenter
man, kvinna, barn, robot, apa, och leguan.

(Forskarna medger att att inkludera leguan, inte en huvudaktör i torr sociologisk eller psykologisk forskning, var ‘en behandling’)

För varje relation skapades fem olika prompter genom att slumpmässigt sampla två entiteter fem gånger, vilket resulterade i 75 totala prompter, var och en av vilka skickades till DALL-E 2, och för var och en av vilka de ursprungliga 18 bilderna användes, utan variationer eller andra chanser tillåtna.

Resultat

Rapporten hävdar*:

‘Deltagarna rapporterade i genomsnitt en låg mängd överensstämmelse mellan DALL-E 2:s bilder och prompterna som användes för att generera dem, med en medel på 22,2% [18,3, 26,6] över de 75 olika prompterna.

‘Agensprompter, med en medel på 28,4% [22,8, 34,2] över 35 prompter, genererade högre överensstämmelse än fysiska prompter, med en medel på 16,9% [11,9, 23,0] över 40 prompter.’

Resultat från studien. Punkter i svart markerar alla prompter.

För att jämföra skillnaden mellan mänsklig och algoritmisk perception av bilderna, körde forskarna sina återgivningar genom OpenAI:s öppen källkods ViT-L/14 CLIP-baserade ramverk. Genomsnittlig av poängen fann de en “måttlig relation” mellan de två resultatsatserna, vilket kanske är förvånande, med tanke på den utsträckning till vilken CLIP själv hjälper till att generera bilderna.

Resultat från CLIP (ViT-L/14) jämförelse mot mänskliga svar.

Forskarna föreslår att andra mekanismer inom arkitekturen, kanske i kombination med en slumpmässig övervikt (eller brist) på data i träningsuppsättningen, kan förklara varför CLIP kan känna igen DALL-E:s begränsningar utan att alltid kunna göra något åt problemet.

Författarna drar slutsatsen att DALL-E 2 endast har en nominell förmåga, om någon, att reproducera bilder som inkorporerar relationell förståelse, en grundläggande aspekt av mänsklig intelligens som utvecklas tidigt.

‘Föreställningen att system som DALL-E 2 inte har sammansättning kan komma som en överraskning för någon som har sett DALL-E 2:s slående rimliga svar på prompter som “en tecknad film av en baby daikon-rättika i en tutu som går en poodle”. Prompter som dessa genererar ofta en rimlig approximation av en sammansatt koncept, med alla delar av prompten närvarande, och närvarande på rätt platser.

‘Sammansättning kräver dock inte bara förmågan att limma saker ihop – även saker som du aldrig har sett ihop tidigare. Sammansättning kräver en förståelse av reglerna som binder saker ihop. Relationer är sådana regler.’

Man Bites T-Rex

Åsikt När OpenAI öppnar upp för ett större antal användare efter sin nyligen beta-monetisering av DALL-E 2, och eftersom man nu måste betala för de flesta genereringarna, kan DALL-E 2:s brister i relationell förståelse bli mer uppenbara när varje “misslyckad” försök har en ekonomisk tyngd, och återbetalningar inte är tillgängliga.

De som fick en inbjudan tidigare har haft tid (och, tills nyligen, större möjlighet att leka med systemet) att observera några av “relationsglitcharna” som DALL-E 2 kan producera.

Till exempel, för en Jurassic Park-fan, är det mycket svårt att få en dinosaurie att jaga en person i DALL-E 2, även om konceptet “jaga” inte verkar vara i DALL-E 2:s censursystem, och även om den långa historien av dinosauriefilmer borde ge tillräckligt med träningsexempel (i alla fall i form av trailers och publicitybilder) för denna annars omöjliga möte mellan arter.

En typisk DALL-E 2-svar på prompten ‘En färgfoto av en T-Rex som jagar en man nerför en väg’. Källa: DALL-E 2

Jag har funnit att bilderna ovan är typiska för variationer på ‘[dinosaurie] jagar [en person]’-promptdesign, och att ingen mängd utarbetning i prompten kan få T-Rexen att faktiskt lyda. I den första och andra bilden jagar mannen (mer eller mindre) T-Rexen; i den tredje, närmar han sig den med en nonchalant försummelse av säkerheten; och i den sista bilden, verkar han jogga parallellt med det stora djuret. Över cirka 10-15 försök på detta tema, har jag funnit att dinosaurien är lika “distracted”.

Det kan vara så att den enda träningsdata som DALL-E 2 kunde komma åt var i linje med ‘man kämpar mot dinosaurie’, från publicitybilder för äldre filmer som En miljon år före vår tid (1966), och att Jeff Goldblums berömda flykt från rovdjurets kung är bara en outlier i den lilla tranche av data.

* Min konvertering av författarnas inline-citat till hyperlänkar.

Publicerad första gången den 4 augusti 2022.