Η Μοναδική Λύση του DALL-E 2 για Διπλά Σημασίες

Όποιος έχει μάθει ιταλικά, μαθαίνει από νωρίς να προσέχει το контέκστ όταν περιγράφει ένα σκούπα, γιατί η ιταλική λέξη για αυτό το κοινό οικιακό αντικείμενο έχει μια εξαιρετικά NSFW δεύτερη σημασία ως ρήμα*. Αν και μαθαίνουμε από νωρίς να ξεδιαλέγουμε τη σημασιολογική αντιστοίχηση και (κατάλληλη) εφαρμοσιμότητα των λέξεων με πολλαπλές σημασίες, αυτό δεν είναι ένα χάρισμα που είναι εύκολο να μεταφερθεί σε υπερκλίμακες συστήματα σύνθεσης εικόνων όπως το DALL-E 2 και το Stable Diffusion, γιατί βασίζονται στο μοντέλο Contrastive Language-Image Pre-training (CLIP) της OpenAI, το οποίο αντιμετωπίζει τα αντικείμενα και τις ιδιότητές τους πιο χαλαρά (αλλά το οποίο κερδίζει όλο και περισσότερο έδαφος στον τομέα της συνθετικής εικόνας και βίντεο)

Μελέτη αυτής της ελλείψης, μια νέα έρευνα από το Πανεπιστήμιο Μπαρ-Ιλάν και το Ινστιτούτο Τεχνητής Νοημοσύνης Άλεν προσφέρει μια εκτεταμένη μελέτη για το βαθμό στον οποίο το DALL-E 2 είναι προδιατεθειμένο σε τέτοιους σημασιολογικούς λάθους:

Διπλά σημασίες που χωρίζονται σε πολλαπλά ερμηνείες στο DALL-E 2 – αν και οποιοδήποτε σύστημα διαχύσεως μπορεί να παράγει τέτοιους πίνακες. Στην πάνω δεξιά εικόνα, η αφαίρεση του ‘χρυσο’ από την πρόκληση αλλάζει το είδος του ψαριού, ενώ στην περίπτωση του ‘διασταύρωσης ζέβρας’, είναι απαραίτητο να δηλώσετε ρητά την επιφάνεια του δρόμου για να αφαιρέσετε τη διπλή σύνδεση. Πηγή: https://export.arxiv.org/pdf/2210.10606

Οι συγγραφείς έχουν βρει ότι αυτή η τάση να διερμηνεύει λέξεις και φράσεις φαίνεται όχι μόνο να είναι κοινή σε όλα τα μοντέλα διαχύσεως που καθοδηγούνται από το CLIP, αλλά ότι χειροτερεύει καθώς τα μοντέλα εκπαιδεύονται σε υψηλότερα και υψηλότερα ποσά δεδομένων. Η εργασία σημειώνει ότι ‘μικρότερες’ εκδόσεις μοντέλων κειμένου-εικόνας, συμπεριλαμβανομένων του DALL-E Mini (τώρα Craiyon) παρουσιάζουν αυτά τα λάθη πολύ λιγότερο συχνά, και ότι το Stable Diffusion επίσης λανθάνει λιγότερο – αν και μόνο επειδή, πολύ συχνά, δεν ακολουθεί την πρόκληση καθόλου, που είναι άλλος ένας τύπος λάθους.

Η απλή πρόκληση ‘ημερομηνία’ αναγκάζει το DALL-E 2 να επικαλέσει δύο από τις πολλές σημασίες της λέξης, ενώ η λέξη ‘ανεμιστήρας’ επίσης χωρίζεται σε δύο από τις σημασιολογικές αντιστοιχίσεις της, και, στην τρίτη εικόνα, η φράση ‘κώνος’ μετατρέπει το αόριστο φαγητό στην πρόκληση σε παγωτό, που σχετίζεται με ‘κώνο’.

Εξηγώντας πώς πραγματοποιούμε αποτελεσματικές λεξικές διαχωριστικές, η εργασία αναφέρει:

‘Ενώ τα σύμβολα – καθώς και οι δομές προτάσεων – μπορεί να είναι αμφίσημα, μετά τη δημιουργία μιας ερμηνείας αυτή η αμφισημία έχει ήδη επιλυθεί. Για παράδειγμα, ενώ το σύμβολο ‘μπάτ’ σε ένα ιπτάμενο ‘μπάτ’ μπορεί να ερμηνευθεί είτε ως ξύλινο ραβδί είτε ως ζώο, οι πιθανές ερμηνείες μας της πρότασης είναι είτε ένα ιπτάμενο ξύλινο ραβδί είτε ένα ιπτάμενο ζώο, αλλά ποτέ και στα δύο την ίδια στιγμή. Μόλις η λέξη ‘μπάτ’ έχει χρησιμοποιηθεί στην ερμηνεία για να δηλώσει ένα αντικείμενο (για παράδειγμα ένα ξύλινο ραβδί), δεν μπορεί να ξαναχρησιμοποιηθεί για να δηλώσει ένα άλλο αντικείμενο (ένα ζώο) στην ίδια ερμηνεία.’

Το DALL-E 2, παρατηρεί η εργασία, δεν περιορίζεται με αυτόν τον τρόπο:

‘Ένα μπατ πετάει πάνω από ένα στάδιο μπέιζμπολ’ – η πρώτη εικόνα είναι από την εργασία, οι άλλες τρεις από την πρόκληση του ίδιου κειμένου στο DALL-E 2.

Αυτή η ιδιότητα έχει ονομαστεί ευαισθησία σε πόρους.

Η εργασία αναγνωρίζει τρεις ανωμαλίες που εμφανίζονται στο DALL-E 2: ότι μια λέξη ή μια φράση μπορεί να ερμηνευθεί και να χωριστεί αποτελεσματικά σε δύο ξεχωριστά αντικείμενα, αποδίδοντας ένα αντικείμενο ή концепτό στην ίδια σκηνή· ότι μια λέξη μπορεί να ερμηνευθεί ως τροποποιητής δύο διαφορετικών οντοτήτων (βλέπε τα παραδείγματα ‘χρυσοψάρι’ και άλλα παραπάνω)· και ότι μια λέξη μπορεί να ερμηνευθεί ταυτόχρονα και ως τροποποιητής και ως εναλλακτική οντότητα – όπως φαίνεται στην πρόκληση ‘ένα φώκια ανοίγει μια επιστολή’:

‘Ένα φώκια ανοίγει μια επιστολή’ – η πρώτη εικονογράφηση είναι από την εργασία, οι τρεις διπλές αναπαραγωγές από το DALL-E 2. Οι φωτορεαλιστικές εικόνες κάτω είχαν το πρόσθετο κείμενο ‘φωτογραφία, Canon50, 85mm, F5.6, βραβευμένη φωτογραφία’.

Οι συγγραφείς αναγνωρίζουν δύο τρόπους αποτυχίας για τα μοντέλα διαχύσεως σε αυτήν την περίπτωση: ότι τα αποτελέσματα των προκλήσεων χρηστών με λέξεις με αμφίσημη σημασία θα εμφανίζουν συχνά το συγκεκριμένο λόγο μαζί με κάποια εκδήλωση της концепτού· και διαρροή концепτού, όπου οι ιδιότητες ενός αντικειμένου ‘διαρρέουν’ σε ένα άλλο αποδομένο αντικείμενο.

‘Συνολικά, τα φαινόμενα που εξετάζουμε παρέχουν στοιχεία για τους περιορισμούς στις γλωσσικές ικανότητες του DALLE-2 και ανοίγουν δρόμους για μελλοντική έρευνα που θα αποκαλύψει αν αυτοί οι περιορισμοί οφείλονται σε προβλήματα με την κωδικοποίηση κειμένου, το γενετικό μοντέλο ή και τα δύο. Περισσότερο γενικά, η προτεινόμενη προσέγγιση μπορεί να επεκταθεί σε άλλες περιπτώσεις όπου η διαδικασία αποκωδικοποίησης χρησιμοποιείται για να αποκαλύψει την επαγωγική προκατάληψη και τις ελλείψεις των μοντέλων κειμένου-εικόνας.’

Χρησιμοποιώντας 17 λέξεις που θα κάνουν το DALL-E 2 να χωρίσει την είσοδο σε πολλαπλά αποτελέσματα, οι συγγραφείς παρατήρησαν ότι η ομωνυμία διπλασιασμού συνέβη σε πάνω από το 80% των 216 εικόνων που αποδόθηκαν.

Οι ερευνητές χρησιμοποίησαν ζευγάρια ερεθισμάτων-ελέγχου για να εξετάσουν το βαθμό στον οποίο η συγκεκριμένη και επιχειρηματικά υπερκαθορισμένη γλώσσα είναι απαραίτητη για να σταματήσει αυτές τις διπλάσεις. Για τους έλεγχους οντοτήτων-ιδιοτήτων, 10 τέτοια ζευγάρια δημιουργήθηκαν, και οι συγγραφείς σημειώνουν ότι οι πρόκλησεις ερεθισμάτων προκαλούν την κοινή ιδιότητα στο 92,5% των περιπτώσεων, ενώ η πρόκληση ελέγχου την προκαλεί μόνο στο 6,6% των περιπτώσεων.

‘Για να δείξουμε, σκεφτείτε μια ζέβρα και einen δρόμο, εδώ, η ζέβρα είναι μια οντότητα, αλλά τροποποιεί τον δρόμο, και το DALLE-2 συνεχώς παράγει διασταυρώσεις, πιθανώς λόγω της ομοιότητας των λωρίδων της ζέβρας με μια διασταύρωση. Και σύμφωνα με την υπόθεσή μας, ο έλεγχος μια ζέβρα και ένας δρόμος με χαλίκι καθορίζει einen τύπο δρόμου που συνήθως δεν έχει διασταυρώσεις, και πραγματικά, όλα τα δείγματα ελέγχου μας για αυτήν την πρόκληση δεν περιέχουν διασταύρωση.’