Is DALL-E 2 slechts ‘dingen aan elkaar plakken’ zonder de relaties tussen hen te begrijpen?

Een nieuw onderzoeksrapport van de Harvard University suggereert dat OpenAI’s tekst-naar-afbeelding-framework DALL-E 2 moeite heeft om zelfs maar basale relaties tussen de elementen die het samenstelt in gesynthesiseerde foto’s te reproduceren, ondanks de verbluffende sofisticatie van veel van zijn output.

De onderzoekers voerden een gebruikersstudie uit met 169 deelnemers, die werden gepresenteerd met DALL-E 2-afbeeldingen op basis van de meest basale menselijke principes van relationele semantiek, samen met de tekstprompts die hen hadden gegenereerd. Toen hen werd gevraagd of de prompts en de afbeeldingen gerelateerd waren, waren minder dan 22% van de afbeeldingen relevant voor hun geassocieerde prompts, in termen van de zeer eenvoudige relaties die DALL-E 2 werd gevraagd te visualiseren.

Een screenshot van de proeven die zijn uitgevoerd voor het nieuwe artikel. De deelnemers werden gevraagd om alle afbeeldingen te selecteren die overeenkwamen met de prompt. Bron: https://arxiv.org/pdf/2208.00005.pdf

De resultaten suggereren ook dat DALL-E’s vermogen om disparante elementen te combineren kan afnemen naarmate deze elementen minder waarschijnlijk zijn om in de trainingsdata te voorkomen die de systemen aandrijven.

Als voorbeeld, afbeeldingen voor de prompt ‘kind dat een kom aanraakt’ kregen een overeenstemmingspercentage van 87% (d.w.z. de deelnemers klikten op de meeste afbeeldingen als relevant voor de prompt), terwijl vergelijkbare fotorealistische weergaven van ‘een aap die een leguaan aanraakt’ slechts 11% overeenstemming behaalden:

DALL-E heeft moeite om de onwaarschijnlijke gebeurtenis van een ‘aap die een leguaan aanraakt’ weer te geven.

In het tweede voorbeeld krijgt DALL-E 2 vaak de schaal en zelfs de soort verkeerd, waarschijnlijk vanwege een gebrek aan echte afbeeldingen die deze gebeurtenis weergeven. In tegenstelling tot de verwachting dat er veel trainingsfoto’s zullen zijn die kinderen en voedsel betreffen, en dat dit subdomein/klassen goed ontwikkeld is.

DALL-E’s moeite om sterk contrastieve beeld-elementen te combineren, suggereert dat het publiek momenteel zo geïmponeerd is door het systeem’s fotorealistische en breed interpretatieve capaciteiten, dat het nog geen kritisch oog heeft ontwikkeld voor gevallen waarin het systeem in feite slechts één element op een andere heeft ‘geplakt’, zoals in deze voorbeelden van de officiële DALL-E 2-site:

Knip-en-plak-synthese, van de officiële voorbeelden voor DALL-E 2. Bron: https://openai.com/dall-e-2/

De auteurs suggereren verder dat een andere mogelijke upgrade zou kunnen zijn om de architectuur van beeldsynthesesystemen zoals DALL-E te laten incorporeren multiplicatieve effecten in een enkele laag van berekening, waardoor de berekening van relaties mogelijk wordt op een manier die geïnspireerd is door de informatieverwerkingscapaciteiten van biologische systemen.

Het nieuwe artikel heet Testing Relational Understanding in Text-Guided Image Generation en komt van Colin Conwell en Tomer D. Ullman van de afdeling Psychologie van Harvard.

Verder dan vroege kritiek

In een reactie op de ‘sleight of hand’ achter de realiteit en integriteit van DALL-E 2’s output, merken de auteurs op dat eerder onderzoek heeft aangetoond dat DALL-E-stijl generatieve beeldsystemen tekortkomingen hebben.

In juni van dit jaar, merkte UoC Berkeley op dat DALL-E moeite heeft met het verwerken van reflecties en schaduwen; dezelfde maand, onderzocht een studie uit Korea de ‘uniekheid’ en originaliteit van DALL-E 2-stijl output met een kritische blik; een voorlopige analyse van DALL-E 2-afbeeldingen, kort na de lancering, van NYU en de University of Texas, vond verschillende problemen met compositionality en andere essentiële factoren in DALL-E 2-afbeeldingen; en vorige maand, een gezamenlijk werk tussen de University of Illinois en MIT bood suggesties voor architecturale verbeteringen aan dergelijke systemen in termen van compositionality.

De onderzoekers merken verder op dat DALL-E-luminaries zoals Aditya Ramesh hebben toegegeven dat het framework problemen heeft met binding, relatieve grootte, tekst en andere uitdagingen.

De ontwikkelaars achter Google’s rivale beeldsynthesesysteem Imagen hebben ook DrawBench voorgesteld, een nieuw vergelijkingssysteem dat de beeldnauwkeurigheid meet over frameworks met diverse metrics.

In plaats daarvan suggereren de auteurs van het nieuwe artikel dat een beter resultaat mogelijk zou zijn door menselijke schatting – in plaats van intern, algoritmische metrics – tegen de resulterende afbeeldingen te gebruiken, om te bepalen waar de zwakheden liggen en wat er kan worden gedaan om ze te mitigeren.

De studie

Om dit doel te bereiken, baseert het nieuwe project zijn aanpak op psychologische principes en zoekt het afstand te nemen van de huidige golf van interesse in prompt engineering (wat in feite een erkenning is van de tekortkomingen van DALL-E 2, of een vergelijkbaar systeem), om de beperkingen te onderzoeken en mogelijk aan te pakken die dergelijke ‘workarounds’ noodzakelijk maken.

Het artikel zegt*:

‘Het huidige werk richt zich op een set van 15 basisrelaties die eerder zijn beschreven, onderzocht of voorgesteld in de cognitieve, ontwikkelings- of linguïstische literatuur. De set bevat zowel geaarde ruimtelijke relaties (bijv. ’X op Y’), als meer abstracte agente relaties (bijv. ’X helpt Y’).

‘De prompts zijn opzettelijk eenvoudig, zonder attribuutcomplexiteit of elaboratie. Dat wil zeggen, in plaats van een prompt zoals ‘een ezel en een octopus spelen een spel. De ezel houdt een touw vast aan één einde, de octopus houdt het andere einde vast. De ezel houdt het touw in zijn mond. Een kat springt over het touw’, gebruiken we ‘een doos op een mes’.

‘De eenvoudigheid vangt nog steeds een breed scala aan relaties uit verschillende subdomeinen van de menselijke psychologie, en maakt potentiële modelmislukkingen meer opvallend en specifiek.’

Voor hun studie wierfen de auteurs 169 deelnemers uit Prolific, allemaal gevestigd in de VS, met een gemiddelde leeftijd van 33 en 59% vrouw.

De deelnemers werden getoond 18 afbeeldingen die waren georganiseerd in een 3×6-grid met de prompt bovenaan en een disclaimer onderaan die aangaf dat alle, sommige of geen van de afbeeldingen gegenereerd konden zijn op basis van de weergegeven prompt, en werden vervolgens gevraagd om de afbeeldingen te selecteren die zij dachten dat gerelateerd waren op deze manier.

De afbeeldingen die aan de individuen werden getoond, waren gebaseerd op linguïstische, ontwikkelings- en cognitieve literatuur, en bestonden uit een set van acht fysieke en zeven ‘agente’ relaties (dit zal duidelijk worden in een moment).

Fysieke relaties
in, op, onder, bedekken, dichtbij, bedekt door, hangend over, en gebonden aan.

Agente relaties
duwen, trekken, aanraken, slaan, trappen, helpen, en hinderen.

Al deze relaties werden ontleend aan eerder genoemde niet-CS-velden van studie.

Twaalf entiteiten werden zo afgeleid voor gebruik in de prompts, met zes objecten en zes agenten:

Objecten
doos, cilinder, deken, kom, theekop, en mes.

Agenten
man, vrouw, kind, robot, aap, en leguaan.

(De onderzoekers geven toe dat het opnemen van de leguaan, geen hoofdonderwerp van droge sociologisch of psychologisch onderzoek, ‘een traktatie’ was)

Voor elke relatie werden vijf verschillende prompts gegenereerd door twee entiteiten vijf keer willekeurig te bemonsteren, waardoor 75 totale prompts ontstonden, waarvan elk werd ingediend bij DALL-E 2, en waarvoor de initiële 18 afbeeldingen die werden geleverd, werden gebruikt, zonder variaties of tweede kansen.

Resultaten

Het artikel zegt*:

‘De deelnemers meldden gemiddeld een laag niveau van overeenstemming tussen DALL-E 2’s afbeeldingen en de prompts die werden gebruikt om ze te genereren, met een gemiddelde van 22,2% [18,3, 26,6] over de 75 verschillende prompts.

‘Agente prompts, met een gemiddelde van 28,4% [22,8, 34,2] over 35 prompts, genereerden een hogere overeenstemming dan fysieke prompts, met een gemiddelde van 16,9% [11,9, 23,0] over 40 prompts.’

Resultaten van de studie. Punten in zwart geven alle prompts aan, met elk punt een individuele prompt, en kleur breekt af naar of de promptonderwerp agente of fysiek was.

Om het verschil tussen menselijke en algoritmische perceptie van de afbeeldingen te vergelijken, voerden de onderzoekers hun renders door OpenAI’s open source ViT-L/14 CLIP-gebaseerde framework. Gemiddeld vonden ze een ‘matige relatie’ tussen de twee sets resultaten, wat misschien verrassend is, gezien de mate waarin CLIP zelf helpt bij het genereren van de afbeeldingen.

Resultaten van de CLIP (ViT-L/14) vergelijking tegen menselijke reacties.

De onderzoekers suggereren dat andere mechanismen binnen de architectuur, mogelijk in combinatie met een toevallige overvloed (of gebrek) aan data in de trainingsset, verantwoordelijk kunnen zijn voor de manier waarop CLIP DALL-E’s beperkingen kan herkennen zonder in alle gevallen in staat te zijn om veel te doen aan het probleem.

De auteurs concluderen dat DALL-E 2 slechts een notionele faciliteit heeft, zo niet, om afbeeldingen te reproduceren die relationele begrip incorporeren, een fundamenteel aspect van menselijke intelligentie dat zich vroeg in ons ontwikkelt.

‘Het idee dat systemen zoals DALL-E 2 geen compositionality hebben, kan een verrassing zijn voor iedereen die DALL-E 2’s opvallend redelijke reacties op prompts zoals ‘een cartoon van een baby daikon radijs in een tutu die een poedel uitlaat’ heeft gezien. Prompts zoals deze genereren vaak een redelijke benadering van een compositioneel concept, met alle onderdelen van de prompts aanwezig en op de juiste plaatsen.

‘Compositionality is echter niet alleen het vermogen om dingen samen te plakken – zelfs dingen die je nooit eerder samen hebt gezien. Compositionality vereist een begrip van de regels die dingen samenbinden. Relaties zijn zulke regels.’

Man bijt T-Rex

Mening Nu OpenAI een groter aantal gebruikers omarmt na de recente bèta-monetisering van DALL-E 2, en aangezien men nu moet betalen voor de meeste generaties, kunnen de tekortkomingen in DALL-E 2’s relationele begrip meer zichtbaar worden, aangezien elke ‘mislukte’ poging een financiële waarde heeft en er geen restitutie mogelijk is.

Die van ons die een uitnodiging hebben ontvangen voordat de bèta-monetisering van kracht werd, hebben de tijd gehad (en, tot voor kort, meer de vrijheid om met het systeem te spelen) om enkele van de ‘relatieglitches’ te observeren die DALL-E 2 kan produceren.

Als voorbeeld, voor een Jurassic Park-fan, is het erg moeilijk om een dinosauriër te krijgen die een persoon achtervolgt in DALL-E 2, zelfs als het concept van ‘achtervolgen’ niet lijkt te zijn opgenomen in de DALL-E 2 censuursysteem, en zelfs als de lange geschiedenis van dinosauriërfilms voldoende trainingsvoorbeelden zou moeten bieden (tenminste in de vorm van trailers en publiciteitsfoto’s) voor deze anders onmogelijke ontmoeting tussen soorten.

Een typische DALL-E 2-reactie op de prompt ‘Een kleurenfoto van een T-Rex die een man achtervolgt op een weg’. Bron: DALL-E 2

Ik heb gevonden dat de afbeeldingen hierboven typisch zijn voor variaties op de ‘[dinosauriër] die [een persoon] achtervolgt’ promptontwerp, en dat geen enkele vorm van elaboratie in de prompt de T-Rex kan laten doen wat hij hoort te doen. In de eerste en tweede foto’s achtervolgt de man de T-Rex; in de derde loopt hij ernaartoe met een nonchalante minachting voor veiligheid; en in de laatste afbeelding lijkt hij naast het grote beest te joggen. Over ongeveer 10-15 pogingen om dit thema te proberen, heb ik gevonden dat de dinosauriër eveneens ‘afgeleid’ is.

Het kan zijn dat de enige trainingsdata die DALL-E 2 kon benaderen in de lijn van ‘man vecht tegen dinosauriër’ waren, van publiciteitsfoto’s voor oude films zoals Een miljoen jaar voor onze tijd (1966), en dat Jeff Goldblum’s beroemde vlucht van de koning van de roofdieren slechts een outlier is in die kleine tranche van data.

* Mijn conversie van de inline citaten van de auteurs naar hyperlinks.

First published 4th augustus 2022.