Unghiul lui Anderson
Soluția unică a DALL-E 2 pentru duble sensuri

Puncte cheieDALL-E 2 desparte cuvintele ambigue precum 'liliac' în mai multe obiecte într-o singură…
Vezi mai mult
- DALL-E 2 desparte cuvintele ambigue precum 'liliac' în mai multe obiecte într-o singură imagine.
- Această eroare semantică se agravează pe măsură ce modelele ghidate de CLIP se antrenează pe seturi de date mai mari.
- Peste 80% dintre imaginile DALL-E 2 care conțin omonime au prezentat interpretări duble neintenționate.
Oricine care a învățat italiana învață devreme să acorde atenție contextului atunci când descrie o mătură, deoarece cuvântul italian pentru acest obiect casnic banal are un al doilea sens ca verb, extrem de nepotrivit la serviciu*. Deși învățăm devreme să desfacem harta semantică și aplicabilitatea cuvintelor cu multiple sensuri, această abilitate nu este ușor de transmis sistemelor de sinteză de imagine la scară largă, cum ar fi DALL-E 2 și Stable Diffusion, deoarece acestea se bazează pe modulul de pre-antrenare a limbajului și imaginii Contrastive (CLIP) al OpenAI, care tratează obiectele și proprietățile lor mult mai liber (dar care câștigă tot mai mult teren în spațiul de sinteză a imaginilor și videourilor difuzive latente).
Studiind această lacună, o nouă colaborare de cercetare de la Universitatea Bar-Ilan și Institutul de Inteligență Artificială Allen oferă un studiu extins privind măsura în care DALL-E 2 este predispus la astfel de erori semantice:

Duble sensuri separate în multiple interpretări în DALL-E 2 – deși orice sistem de difuzie latentă poate produce astfel de exemple. În imaginea din dreapta sus, eliminarea ‘gold’ din prompt schimbă specia de pește, în timp ce în cazul ‘trecerii de pietoni’, este necesar să se specifice explicit suprafața drumului pentru a elimina asocierea duplicată. Sursă: https://export.arxiv.org/pdf/2210.10606
Autorii au constatat că această tendință de a interpreta cuvintele și frazele în mod dublu pare să nu fie numai comună tuturor modelelor de difuzie ghidate de CLIP, dar că se înrăutățește pe măsură ce modelele sunt antrenate cu cantități tot mai mari de date. Articolul notează că “versiunile reduse” ale modelelor de text-la-imagine, inclusiv DALL-E Mini (acum Craiyon), produc aceste tipuri de erori cu o frecvență mult mai mică, și că Stable Diffusion greșește și mai puțin – deși numai pentru că, foarte des, nu urmează promptul deloc, ceea ce este un alt tip de eroare.

Promptul simplu ‘date’ forțează DALL-E 2 să invoce două dintre sensurile cuvântului, în timp ce cuvântul ‘fan’ se separă și el în două dintre sensurile sale, și, în a treia imagine, cuvântul ‘cone’ transformă în mod consecvent alimentul nespecificat din prompt în înghețată, care este asociată cu ‘cone’.
Explicând modul în care realizăm separări lexicale eficiente, articolul afirmă:
‘În timp ce simbolurile – precum și structurile de propoziție – pot fi ambigue, după ce o interpretare este construită, această ambiguitate este deja rezolvată. De exemplu, în timp ce cuvântul englezesc “bat” în expresia “a flying bat” poate fi interpretat ca o bâtă de lemn sau un animal, interpretările noastre posibile ale propoziției sunt fie o bâtă de lemn care zboară sau un “animal care zboară”, dar niciodată ambele în același timp. Odată ce cuvântul “bat” a fost folosit în interpretare pentru a denota un obiect (de exemplu, o bâtă de lemn), el nu poate fi refolosit pentru a denota un alt obiect (un animal) în aceeași interpretare.’
DALL-E 2, observă articolul, nu este limitat în acest fel:

‘A bat is flying over a baseball stadium’ – prima imagine este din articol, celelalte trei obținute prin simpla introducere a aceluiași prompt în DALL-E 2.
Această proprietate a fost denumită sensibilitate la resurse.
Autorii identifică trei comportamente anormale ale DALL-E 2: că un cuvânt sau o frază poate fi interpretat și efectiv bifurcat în două entități distincte, reprezentând un obiect sau un concept pentru fiecare în aceeași scenă; că un cuvânt poate fi interpretat ca un modificator al două entități diferite (a se vedea exemplele ‘pește de aur’ și altele de mai sus); și că un cuvânt poate fi interpretat simultan ca un modificator și o entitate alternativă – exemplificat de promptul ‘a seal is opening a letter’:

‘A seal is opening a letter’ – prima ilustrație este din articol, cele trei alăturate, reproduceri identice din DALL-E 2. Exemplele fotorealiste de mai jos aveau textul suplimentar ‘photo, Canon50, 85mm, F5.6, award-winning photo’.
Autorii identifică două moduri de eșec pentru modelele de difuzie în acest sens: că rezultatele promt-urilor utilizatorilor cu cuvinte ambigue vor exhiba adesea cuvântul concretizat împreună cu o manifestare a conceptului; și scurgerea conceptului, unde proprietățile unui obiect “se scurg” într-un alt obiect redat.
‘Luând împreună, fenomenele pe care le examinăm oferă dovezi pentru limitările capacităților lingvistice ale DALLE-2 și deschid căi pentru cercetări viitoare care ar descoperi dacă acestea provin din probleme cu codificarea textului, modelul generativ sau ambele. Mai general, abordarea propusă poate fi extinsă la alte scenarii în care procesul de decodare este utilizat pentru a descoperi prejudecățile inductive și limitările modelelor de text-la-imagine.’
Utilizând 17 cuvinte care vor face DALL-E 2 să separe intrarea în multiple ieșiri, autorii au observat că duplicarea omonimelor a avut loc în peste 80% din 216 de imagini generate.
Cercetătorii au folosit perechi de stimuli-control pentru a examina măsura în care limbajul specific și, în mod evident, supraspecificat, este necesar pentru a preveni aceste duplicări. Pentru testele de la entitate la proprietate, au fost create 10 astfel de perechi, iar autorii notează că prompturile de stimuli provoacă proprietatea comună în 92,5% din cazuri, în timp ce promptul de control o provoacă doar în 6,6% din cazuri.
‘[Pentru] a demonstra, considerați o zebră și o stradă, aici, zebră este o entitate, dar modifică strada, și DALLE-2 generează în mod constant treceri de pietoni, posibil din cauza asemănării dungi de zebră cu o trecere de pietoni. Și în conformitate cu coniectura noastră, controlul unei zebre și o stradă cu pietriș specifică un tip de stradă care de obicei nu are treceri de pietoni, și, într-adevăr, toate mostrele noastre de control pentru acest prompt nu conțin o trecere de pietoni.’













