Andersonin kulma
DALL-E 2:n ainutlaatuinen ratkaisu kaksoismerkityksille

Keskeiset kohdatDALL-E 2 jakaa monitulkintaiset sanat, kuten 'lepakko', useiksi kohteiksi yhdessä…
Näytä lisää
- DALL-E 2 jakaa monitulkintaiset sanat, kuten 'lepakko', useiksi kohteiksi yhdessä kuvassa.
- Tämä semanttinen virhe pahenee, kun CLIP-ohjatut mallit koulutetaan suuremmilla tietoaineistoilla.
- Yli 80 %:ssa DALL-E 2:n kuvista, joissa oli homonyymejä, esiintyi tahattomia kaksoistulkintoja.
Kuka tahansa, joka on opiskellut italiaa, oppii pian kiinnittämään huomiota kontekstiin, kun kuvaillaan luutaa, koska tätä arkista kotitalousvälinettä tarkoittavalla italian sanalla on erittäin sopimaton toinen merkitys verbinä*. Vaikka opimme varhain erottamaan monimerkityksisten sanojen merkitykset ja niiden sopivat käyttöyhteydet, tämä ei ole taito, jota voidaan helposti välittää hyperskaalaisiin kuvansynteesijärjestelmiin, kuten DALL-E 2:een ja Stable Diffusioniin, koska ne perustuvat OpenAI:n Kontrastisen kieli- ja kuva-esikoulutusmoduuliin (CLIP), joka käsittelee objekteja ja niiden ominaisuuksia paljon löyhemmin (vaikka se saa yhä enemmän jalansijaa latenteissa diffuusiokuvan ja videon synteesitilassa.
Tutkimalla tätä puutetta, uusi tutkimusyhteistyö Bar-Ilanin yliopistosta ja Allenin tekoälyinstituutista tarjoaa laajan tutkimuksen siitä, kuinka paljon DALL-E 2 on altis tällaisille semanttisille virheille:

Kaksoismerkitykset jaetaan useisiin tulkintoihin DALL-E 2:ssa – vaikka mikä tahansa latenti diffuusiojärjestelmä voi tuottaa tällaisia esimerkkejä. Oikean yläkulman kuvassa ‘gold’-sanan poistaminen muuttaa kalalajia, kun taas ‘zebra-ylitys’-tapauksessa on pakko mainita tien pinta, jotta kaksoisassosiaatio voidaan poistaa. Lähde: https://export.arxiv.org/pdf/2210.10606
Kirjoittajat ovat havainneet, että tämä taipumus tulkita sanoja ja lauseita kaksoismerkityksellisesti näyttää olevan yleinen kaikille CLIP-ohjatuille diffuusiomalleille, ja se pahenee, kun malleja koulutetaan suuremmilla ja suuremmilla datamäärillä. Tutkimusraportti toteaa, että pienennetyt teksti-kuvamallit, mukaan lukien DALL-E Mini (nykyään Craiyon), tuottavat näitä virheitä paljon harvemmin, ja että Stable Diffusion virheilee vähemmän – vaikka usein se ei seuraa ohjeistusta ollenkaan, mikä on toinenlainen virhe.

Yksinkertainen ohje ‘date’ pakottaa DALL-E 2:n kutsumaan kaksi sanan monista merkityksistä, kun taas sana ‘fan’ jakautuu kahteen semanttiseen karttaan, ja kolmannessa kuvassa sana ‘cone’ muuttaa määrittelemättömän ruoan ohjeessa johdonmukaisesti jäätelöksi, joka liittyy ‘cone’-sanaan.
Selittäessään, kuinka teemme tehokkaita leksikaalisia erotteluja, tutkimusraportti toteaa:
‘Vaikka symbolit – sekä lauseen rakenteet – voivat olla epäselviä, kun tulkinta on muodostettu, tämä epäselvyys on jo ratkaistu. Esimerkiksi, kun symboli “bat” lentävässä “bat”:ssa voidaan tulkita joko puiseksi keppiksi tai eläimeksi, mahdolliset tulkinnat lauseesta ovat joko lentävä puinen keppi tai lentävä eläin, mutta ei koskaan molempia samanaikaisesti. Kun sana “bat” on käytetty tulkinnassa merkitsemään objektia (esim. puista keppiä), sitä ei voida uudelleen käyttää merkitsemään toista objektia (eläintä) samassa tulkinnassa.’
DALL-E 2:ssa, tutkimusraportti toteaa, ei ole tämänkaltaista rajoitusta:

‘Lentävä ‘bat’ ylittää baseball-stadionia’ – ensimmäinen kuva on tutkimusraportista, muut kolme saatiin syöttämällä sama ohje DALL-E 2:een.
Tämä ominaisuus on nimetty resurssien herkkyydeksi.
Tutkimusraportti tunnistaa kolme poikkeavaa käyttäytymistä, joita DALL-E 2:ssa esiintyy: sana tai lause voidaan tulkita ja käytännössä jakaa kahteen erilliseen entiteettiin, jolloin objekti tai käsite renderöidään kummallekin samassa kohtauksessa; sana voidaan tulkita määritteeksi kahdelle eri entiteetille (ks. ‘goldfish’ ja muut edellä mainitut esimerkit); ja sana voidaan tulkita samanaikaisesti sekä määritteeksi että vaihtoehtoiseksi entiteetiksi – esimerkkinä ohje ‘a seal is opening a letter’:

‘A seal is opening a letter’ – ensimmäinen kuva on tutkimusraportista, kolme muuta ovat identtisiä reproduktioita DALL-E 2:sta. Alhaalla olevat fotorealistiset esimerkit sisälsivät lisäksi tekstin ‘photo, Canon50, 85mm, F5.6, award-winning photo’.
Tutkijat tunnistavat kaksi epäonnistumisen muotoa diffuusiomalleille tässä suhteessa: käyttäjän ohjeiden tulokset, joissa on merkitykseltään moniselitteisiä sanoja, usein näyttävät konkreettisen sanan yhdessä jonkin käsitteen ilmentymän kanssa; ja käsitteen vuoto, jossa toisen objektin ominaisuudet “vuotavat” toiseen renderöityyn objektiin.
‘Ottaen kaiken huomioon, tutkimamme ilmiöt antavat näytön DALLE-2:n kielellisten taitojen rajoituksista ja avaavat tietä tuleville tutkimuksille, jotka selvittävät, johtuvatko nämä rajoitukset tekstien koodauksesta, generatiivisesta mallista vai molemmista. Laajemmin, ehdotettu lähestymistapa voidaan soveltaa muihin tilanteisiin, joissa dekoodausprosessia käytetään paljastamaan induktiivinen harha ja teksti-kuvamallien puutteet.’
Käyttämällä 17 sanaa, jotka aiheuttavat DALL-E 2:n jakamisen useisiin tuloksiin, tutkijat totesivat, että homonyymin moninkertaistuminen tapahtui yli 80 %:ssa 216:sta renderöidystä kuvasta.
Tutkijat käyttivät ärsyke- ja kontrollikehotteiden pareja tutkimaan, kuinka paljon tarkkaa ja mahdollisesti liiankin yksityiskohtaista kieltä tarvitaan estämään nämä moninkertaistumiset. Entiteetin-ominaisuustesteissä luotiin 10 tällaista paria, ja tutkijat toteavat, että ärsykekehotteet herättävät jaetun ominaisuuden 92,5 %:ssa tapauksista, kun taas kontrollikehote herättää sen vain 6,6 %:ssa tapauksista.
«Esimerkiksi seepra ja katu: seepra on entiteetti mutta määrittää katua, ja DALLE-2 tuottaa jatkuvasti suojateitä, mahdollisesti seepran raitojen ja suojatien samankaltaisuuden vuoksi. Oletuksemme mukaisesti kontrollikehote seepra ja sorakatu määrittää katutyypin, jolla ei yleensä ole suojateitä. Yhdessäkään tämän kehotteen kontrollinäytteessämme ei ollut suojatietä.»













