Onko DALL-E 2 vain “liimaa asioita yhteen” ilman ymmärrystä niiden suhteista?

Harvardin yliopiston uusi tutkimus viittaa siihen, että OpenAI:n otsikkoja herättävä teksti-kuvaksi-kehyke DALL-E 2: lla on merkittäviä vaikeuksia jopa lasten tasolla olevien suhteiden toistamisessa sen koostamissa kuvissa, huolimatta monien tuotoksien loistavasta sofistikoitumisesta.

Tutkijat suorittivat käyttäjätutkimuksen, johon osallistui 169 joukkoistettua osallistujaa, jotka esiteltiin DALL-E 2: n kuvia, jotka perustuivat ihmisen perustaviin suhteellisen semantiikan periaatteisiin, yhdessä tekstikutsuilla, jotka loivat ne. Kun kysyttiin, ovatko kutsut ja kuvat liittyneitä, alle 22 %: lla kuvista katsottiin olevan merkityksellisiä niiden liittyviin kutsuihin nähden, jopa hyvin yksinkertaisissa suhteissa, joita DALL-E 2: ta pyydettiin visualisoimaan.

Kuvakaappaus uudesta tutkimuksesta. Osallistujat pyydettiin valitsemaan kaikki kuvat, jotka vastasivat kutsuun. Lähde: https://arxiv.org/pdf/2208.00005.pdf

Tulokset osoittavat myös, että DALL-E: n ilmeinen kyky yhdistää erilaisia elementtejä saattaa vähentyä, kun nämä elementit ovat vähemmän todennäköisiä tapahtuvan järjestelmän todellisessa koulutusaineistossa.

Esimerkiksi kuvat kutsulle “lapsi koskettaa kulho” saivat 87 %: n sopimussuhteen (ts. osallistujat klikkasivat useimmat kuvat merkityksellisiksi kutsuun nähden), kun taas samanlaiset fotorealistiset renderöinnit “apina koskettaa iguaania” saivat vain 11 %: n sopimussuhteen:

DALL-E 2: n vaikeus kuvata epätodennäköistä tapahtumaa ‘apina koskettaa iguaania’, joka johtunee siitä, että se ei ole yleinen, tai mahdollisesti ei ole olemassa koulutusaineistossa.

Toisessa esimerkissä DALL-E 2 usein tekee virheitä koossa ja jopa lajissa, luultavasti johtuen aineiston puutteesta, joka esittää tätä tapahtumaa. Sen sijaan on luonnollista odottaa suuren määrän koulutusvalokuvia, jotka liittyvät lapsiin ja ruokaan, ja että tämä alaluokka on hyvin kehittynyt.

DALL-E: n vaikeus yhdistää voimakkaasti kontrastisia kuvaelementtejä osoittaa, että yleisö on tällä hetkellä niin lumottu järjestelmän fotorealistisista ja laajasti tulkittavista kyvyistä, ettei ole kehittänyt kriittistä silmää tapauksiin, joissa järjestelmä on tehnyt virheitä, kuten näissä esimerkeissä virallisen DALL-E 2: n sivustolta:

Leikkaa ja liimaa -synteesi viralliselta DALL-E 2: n sivustolta. Lähde: https://openai.com/dall-e-2/

Uusi tutkimus toteaa*:

‘Suhdeymmärrys on perustava komponentti ihmisen älykkyydessä, joka ilmenee varhain kehityksessä ja lasketaan nopeasti ja automaattisesti havainnossa.

‘DALL-E 2: n vaikeus jopa perustason paikallissuhteissa (kuten in, on, alla) osoittaa, että se ei ole oppinut edes sellaisia edustuksia, jotka sallivat ihmisille joustavan ja vankkaan maailman rakentamisen.

‘Suhdeymmärryksen suora tulkinta on, että järjestelmät kuten DALL-E 2 eivät ole relational compositionalitya.’

Tutkijat ehdottavat, että teksti-ohjattujen kuvien generointijärjestelmiä, kuten DALL-E-sarjaa, voitaisiin parantaa hyödyntämällä algoritmeja, jotka ovat yleisiä robotiikassa, jotka mallintavat identiteettejä ja suhteita samanaikaisesti, johtuen siitä, että agentin on todella vuorovaikutussuhteessa ympäristön kanssa, eikä ainoastaan valmistettu sekoitus erilaisia elementtejä.

Toinen lähestymistapa, joka on nimeltään CLIPort, käyttää samaa CLIP-mekanismia, jota käytetään laadun arvioinnissa DALL-E 2: ssä:

CLIPort, yhteistyö Washingtonin yliopiston ja NVIDIA: n kanssa, käyttää CLIP: iä käytännöllisessä asiayhteydessä, jossa järjestelmien on kehittynä fyysisten suhteiden ymmärrys, jota puuttuu DALL-E 2: sta ja muista ‘fantastisista’ kuvasynteesijärjestelmistä. Lähde: https://arxiv.org/pdf/2109.12098.pdf

Tutkijat ehdottavat myös, että “toinen uskottava parannus” voisi olla kuvasynteesijärjestelmien, kuten DALL-E: n, arkkitehtuurin sisällyttäminen moninkertaisiin vaikutuksiin yksittäisessä laskennan kerroksessa, jolloin suhteiden laskeminen voidaan tehdä biologisen järjestelmän tietojen prosessoinnin kapasiteetin innoittamalla tavalla.

Uusi tutkimus on nimeltään Testing Relational Understanding in Text-Guided Image Generation, ja se on tehty Colin Conwellin ja Tomer D. Ullmanin toimesta Harvardin yliopiston psykologian laitoksella.

Ylittämällä varhaisen kritiikin

Komentoiden DALL-E 2: n realismin ja eheyyden “sleight of hand” -taikatemppua, tutkijat mainitsevat aiemmat tutkimukset, jotka ovat havainneet puutteita DALL-E-tyyppisissä generatiivisissa kuvajärjestelmissä.

Kesäkuussa tämän vuoden aikana, UoC Berkeley huomautti DALL-E: n vaikeuden käsittelyssä heijastuksia ja varjoja; samassa kuussa, Etelä-Korean tutkimus tutki DALL-E 2 -tyyppisen tuotoksen “yksilöllisyyttä” ja alkuperäisyyttä kriittisellä silmällä; preliminary analysis DALL-E 2 -kuvista, pian julkaisun jälkeen, NYU: n ja Texasin yliopiston toimesta, osoitti useita ongelmia koostumisessa ja muissa DALL-E 2 -kuvien olennaisissa tekijöissä; ja viime kuussa, yhteistyö Illinoisin yliopiston ja MIT: n välillä tarjosi ehdotuksia arkkitehtuurin parantamiseksi näissä järjestelmissä koostumisen suhteen.

Tutkijat mainitsevat myös, että DALL-E: n kehittäjät, kuten Aditya Ramesh, ovat myöntäneet järjestelmän ongelmat sitoutumisessa, suhteellisessa koossa, tekstillä ja muilla haasteilla.

Google:n kilpailevan kuvasynteesijärjestelmän Imagen kehittäjät ovat ehdottaneet DrawBench -vertailujärjestelmää, joka arvioi kuvan tarkkuutta eri järjestelmissä erilaisin mittarein.

Sen sijaan uuden tutkimuksen tekijät ehdottavat, että parempi tulos saataisiin, jos ihmisten arvioita verrattaisiin tuloksiin, jotta voidaan määrittää, missä heikkoudet ovat ja mitä voitaisiin tehdä niiden korjaamiseksi.

Tutkimus

Tutkimuksessa tutkijat perustivat lähestymistapansa psykologisiin periaatteisiin ja pyrkivät vetäytymään nykyisestä kiinnostuksen aallosta promptin suunnittelussa (joka on käytännössä myöntymys DALL-E 2: n puutteista, tai vastaavaa järjestelmää), tutkimaan ja mahdollisesti osoittamaan rajoituksia, jotka tekevät nämä “työkalut” välttämättömiksi.

Tutkimus toteaa:

‘Tämä työ keskittyy joukkoon 15 perussuhdetta, jotka on aiemmin kuvattu, tutkittu tai ehdotettu kognitiivisessa, kehityksellisessä tai kielellisessä kirjallisuudessa. Joukko sisältää sekä perustettuja paikallissuhteita (kuten ’X on Y: llä’) että abstrakteja agenteja suhteita (kuten ’X auttaa Y: tä’).

‘Kutsut on tarkoituksella yksinkertaisia, ilman attribuutin monimutkaisuutta tai yksityiskohtaisuutta. Eli emme käytä kutsua kuten ’donkey ja octopus leikkivät peliä. Donkey pitää köyttä toisessa päässä, octopus pitää toisessa päässä. Donkey pitää köyttä suussaan. Kissaa hyppii yli köydän’, vaan ’box on veitsen päällä’.

‘Yksinkertaisuus edelleen sisältää laajan valikoiman suhteita eri alueilta ihmisen psykologiasta, ja tekee mahdolliseksi potentiaalisen mallin epäonnistumisen selkeäksi ja spesifiseksi.’

Tutkijat rekrytoivat 169 osallistujaa Prolificista, kaikki Yhdysvalloissa, keski-iän ollessa 33, ja 59 % naisia.

Osallistujat esiteltiin 18 kuvaa, jotka oli järjestetty 3×6 -ruudukkoon, kutsu yläreunassa ja varoitus alareunassa, jossa sanottiin, että kaikki, jotkut tai mikään kuvista eivät välttämättä olleet generoituja näytetystä kutsusta, ja heidät pyydettiin valitsemaan kuvat, jotka he kokivat liittyvän tähän tapaan.

Kuvat, jotka esiteltiin yksilöille, perustuivat kielellisiin, kehityksellisiin ja kognitiivisiin kirjallisuuteen, ja koostuivat kahdeksasta fyysisestä ja seitsemästä “agenteista” suhteesta (tämä tulee selvemmäksi hetken kuluttua).

Fyysiset suhteet
sisällä, päällä, alla, peittäen, lähellä, peitettynä, roikkuu yläpuolella, ja sidottu siihen.

Agenteja suhteita
työntää, vetää, koskettaa, lyö, potkaisee, auttaa, ja estää.

Kaikki nämä suhteet perustuivat aiemmin mainittuihin ei-tietokoneisiin tutkimusalueisiin.

Kahdetoista entiteettiä johdettiin kutsujen käyttöön, kuusi objektia ja kuusi agenttia:

Objektit
box, cylinder, peite, kulho, teekuppi, ja veitsi.

Agentit
mies, nainen, lapsi, robotti, apina, ja iguaani.

(Tutkijat myöntävät, että iguaanin sisällyttäminen, joka ei ole keskeinen osa kuivaa sosiologista tai psykologista tutkimusta, oli “palkinto”)

Jokaiselle suhteelle luotiin viisi erilaista kutsua satunnaistamalla kaksi entiteettiä viisi kertaa, mikä johti 75 yhteensä kutsuun, joista jokainen esitettiin DALL-E 2: lle, ja joista jokaiselle annettiin 18 alkuperäistä kuvaa, ilman muutoksia tai toista yritystä.

Tulokset

Tutkimus toteaa*:

‘Osallistujat ilmoittivat keskimäärin matalan määrän sopimusta DALL-E 2: n kuvien ja kutsujen välillä, keskiarvon ollessa 22,2 % [18,3, 26,6] 75 erillisen kutsun yli.

‘Agenteja kutsut, joilla oli keskiarvo 28,4 % [22,8, 34,2] 35 kutsun yli, tuottivat suuremman sopimuksen kuin fyysiset kutsut, joilla oli keskiarvo 16,9 % [11,9, 23,0] 40 kutsun yli.’

Tutkimuksen tulokset. Pisteet mustalla osoittavat kaikki kutsut, ja väri erottaa, onko kutsu agenteja vai fyysistä (ts. objektia).

Vertailemaan eroa ihmisen ja algoritmisen näkemyksen välillä kuvissa, tutkijat suorittivat renderöinnit OpenAI: n avoimen lähdekoodin ViT-L/14 CLIP-pohjaisella kehykkeellä. Keskiarvon laskemisen jälkeen he löysivät “kohtalaisen suhteen” kahden tuloksen joukon välillä, mikä on ehkä yllättävää, ottaen huomioon, kuinka paljon CLIP itse auttaa kuvien generoimisessa.

CLIP (ViT-L/14) -vertailun tulokset ihmisten vastauksiin.

Tutkijat ehdottavat, että muut mekanismit arkkitehtuurissa, ehkä yhdistettynä sattumaan tai puutteeseen koulutusaineistossa, voivat selittää, miten CLIP voi tunnistaa DALL-E: n rajoitukset ilman, että se pystyy aina tekemään paljon sen parantamiseksi.

Tutkijat johtopäätöksen, että DALL-E 2: lla on vain nimellinen kyky tuottaa kuvia, jotka sisältävät suhdeymmärryksen, joka on perustava osa ihmisen älykkyyttä, joka kehittyy meissä hyvin varhain.

‘Se, että järjestelmät kuten DALL-E 2 eivät ole koostumisessa, voi tulla yllätyksenä kenelle tahansa, joka on nähnyt DALL-E 2: n vaikuttavat vastaukset kutsuihin kuten ’piirros vauvasta daikon retiisistä tutussa kävelemässä pudelia’. Kutsut kuten nämä usein tuottavat järkevän approksimaation koostumiskäsitteestä, jossa kaikki kutsun osat ovat läsnä ja oikeassa paikassa.

‘Koostumisessa on kuitenkin enemmän kuin vain liimata asioita yhteen – vaikka asioita, joita et ole aiemmin nähnyt yhdessä. Koostumisessa vaaditaan ymmärrys säännöistä, jotka sitovat asiat yhteen. Suhteet ovat tällaisia sääntöjä.’

Mies puraisee T-Rexiä

Mielipide OpenAI: n laajentaessa DALL-E 2: n käyttöä suuremmalle käyttäjäryhmälle sen viimeaikaisen beta-monetisoinnin jälkeen, ja koska nyt on maksettava useimpien generointien osalta, DALL-E 2: n suhdeymmärryksen puutteet saattavat tulla ilmi, kun jokainen “epäonnistunut” yritys on taloudellisesti painava, eikä korvauksia ole saatavilla.

Nämä, jotka saivat kutsun hieman aikaisemmin, ovat olleet aikaisemmin (ja ovat edelleen) vapaita leikkimään järjestelmän kanssa, ja ovat havainneet joitakin “suhdevirheitä”, joita DALL-E 2 voi tuottaa.

Esimerkiksi Jurassic Park -fani voi havaita, että on hyvin vaikea saada dinosauruksen jahtaamaan henkilöä DALL-E 2: ssä, vaikka käsite “jahtaa” ei näytä olevan DALL-E 2: n sensuurijärjestelmässä, ja vaikka dinosaurusten pitkä historia elokuvissa pitäisi tarjota runsaasti koulutusaineistoa (ainakin trailerien ja mainoskuvien muodossa) tälle muuten mahdottomalle kohtaamiselle lajien välillä.

Tyypillinen DALL-E 2 -vastaus kutsulle ‘Värikuvaa T-Rexin jahtaamasta miestä tiellä’. Lähde: DALL-E 2

Olen löytänyt, että yllä olevat kuvat ovat tyypillisiä muunnelmille “[dinosauruksen] jahtaamasta [ihmisestä]” -kutsuun, ja että mikään kutsun yksityiskohtaisuus ei voi saada T-Rexiä tottelemaan. Ensimmäisessä ja toisessa kuvassa mies (melko) jahtaa T-Rexiä; kolmannessa hän lähestyy sitä turvallisuudesta piittaamatta; ja viimeisessä kuvassa hän juoksee rinnakkain suuren pedon kanssa. Noin 10-15 yrityksellä tämän teeman parissa olen löytänyt, että dinosauruksen on “hämmästynyt” vastaavalla tavalla.

On mahdollista, että ainoa koulutusaineisto, johon DALL-E 2 pystyi käyttämään, oli “mies taistelee dinosauruksen kanssa”, vanhempien elokuvien mainoskuvista, kuten One Million Years B.C. (1966), ja että Jeff Goldblumin kuuluisa pakoretki kuningaspedon luota on yksittäinen poikkeama siinä pienessä aineistossa.

* Minun muunnos tutkijoiden sisäisistä viittauksista hyperlinkkeihin.

Julkaistu ensimmäisen kerran 4. elokuuta 2022.