Η γωνία του Anderson
Το DALL-E 2 απλώς κολλάει πράγματα μεταξύ τους χωρίς να κατανοεί τις σχέσεις τους;

Βασικά σημείαΤο DALL-E 2 αποτυγχάνει να αναπαράγει βασικές χωρικές σχέσεις όπως «μέσα» ή «πάνω» στις…
Δείτε περισσότερα
- Το DALL-E 2 αποτυγχάνει να αναπαράγει βασικές χωρικές σχέσεις όπως «μέσα» ή «πάνω» στις παραγόμενες εικόνες.
- Μόνο το 22% των εικόνων του DALL-E 2 αντιστοιχούσαν στις προτροπές τους σε μια μελέτη 169 συμμετεχόντων.
- Οι σχεσιακές αποτυχίες του συστήματος επιδεινώνονται όταν τα δεδομένα εκπαίδευσης στερούνται παραδειγμάτων του απεικονιζόμενου γεγονότος.
Μια νέα έρευνα από το Πανεπιστήμιο Χάρβαρντ υποδηλώνει ότι το DALL-E 2, το πλαίσιο παραγωγής εικόνων από κείμενο της OpenAI, έχει σημαντικές δυσκολίες στην αναπαραγωγή ακόμη και σχέσεων που κατανοούν τα βρέφη μεταξύ των στοιχείων που συνθέτει σε συνθετικές φωτογραφίες, παρά την εντυπωσιακή πολυπλοκότητα των αποτελεσμάτων του.
Οι ερευνητές διεξήγαγαν μια μελέτη χρηστών που συμμετείχαν 169 συμμετέχοντες, οι οποίοι έλαβαν DALL-E 2 εικόνες με βάση τις πιο βασικές ανθρώπινες αρχές της σημασιολογίας των σχέσεων, μαζί με τα κείμενα-προτροπές που τις δημιούργησαν. Όταν τους ζητήθηκε να δηλώσουν εάν οι προτροπές και οι εικόνες ήταν σχετικές, λιγότερο από το 22% των εικόνων θεωρήθηκαν σχετικές με τις αντίστοιχες προτροπές, όσον αφορά τις πολύ απλές σχέσεις που ζητήθηκε να οπτικοποιήσει το DALL-E 2.

Ένα στιγμιότυπο από τις δοκιμές που διεξήχθησαν για τη νέα εργασία. Οι συμμετέχοντες ζητήθηκαν να επιλέξουν όλες τις εικόνες που ταιριάζουν με την προτροπή. Παρά την προειδοποίηση στο κάτω μέρος της διεπαφής, όλες οι εικόνες είχαν δημιουργηθεί από την εμφανιζόμενη προτροπή, κάτι που οι συμμετέχοντες δεν γνώριζαν. Πηγή: https://arxiv.org/pdf/2208.00005.pdf
Τα αποτελέσματα δείχνουν επίσης ότι η φαινομενική ικανότητα του DALL-E να συνδυάζει διαφορετικά στοιχεία μπορεί να μειωθεί καθώς αυτά τα στοιχεία γίνονται λιγότερο πιθανό να έχουν συμβεί στα δεδομένα εκπαίδευσης που τροφοδοτούν το σύστημα.
Για παράδειγμα, εικόνες για την προτροπή “παιδί που αγγίζει ένα μπολ” έλαβαν ποσοστό συμφωνίας 87% (δηλαδή οι συμμετέχοντες κλικάρησαν στις περισσότερες εικόνες ως σχετικές με την προτροπή), ενώ παρόμοιες φωτορεαλιστικές αναπαραγωγές του “ένας πίθηκος που αγγίζει ένα ιγκουάνα” έλαβαν μόνο 11% συμφωνίας:

Το DALL-E δυσκολεύεται να απεικονίσει το απίθανο γεγονός του ‘ένας πίθηκος που αγγίζει ένα ιγκουάνα’, πιθανότατα επειδή αυτό το συμβάν είναι σπάνιο ή ακόμη και ανύπαρκτο στα δεδομένα εκπαίδευσης.
Στη δεύτερη περίπτωση, το DALL-E 2 συχνά λαμβάνει λάθος το μέγεθος και ακόμη και το είδος, πιθανότατα λόγω της έλλειψης πραγματικών εικόνων που απεικονίζουναυτό το γεγονός. Αντίθετα, είναι λογικό να περιμένουμε ένα μεγάλο αριθμό φωτογραφιών εκπαίδευσης που σχετίζονται με παιδιά και φαγητό, και ότι αυτό το υποτομέας/κλάση είναι καλά αναπτυγμένο.
Η δυσκολία του DALL-E να συνθέτει στοιχεία εικόνας που αντιθέτουν έντονα μεταξύ τους υποδηλώνει ότι το κοινό είναιαυτή τη στιγμή τόσο εντυπωσιασμένο από τις φωτορεαλιστικές και ευρείες ερμηνευτικές ικανότητες του συστήματος, ώστε να μην έχει αναπτύξει ένα κριτικό μάτι για τις περιπτώσεις όπου το σύστημα έχει αποτελεσματικά “κολλήσει” ένα στοιχείο δραματικά σε ένα άλλο, όπως σε αυτά τα παραδείγματα από τον επίσημο ιστότοπο του DALL-E 2:
Η νέα εργασία αναφέρει*:
‘Η σχεσιακή κατανόηση είναι ένας θεμελιώδης συστατικό της ανθρώπινης νοημοσύνης, ο οποίος εκδηλώνεται νωρίς στην ανάπτυξη και υπολογίζεται γρήγορα και αυτόματα κατά την αντίληψη.
‘Η δυσκολία του DALL-E 2 με τις βασικές χωρικές σχέσεις (όπως μέσα, πάνω, κάτω) υποδηλώνει ότι ό,τι έχει μάθει, δεν έχει ακόμη μάθει τις αναπαραστάσεις που επιτρέπουν στους ανθρώπους να δομήσουν τον κόσμο με τέτοια ευελιξία και σταθερότητα.
‘Μια άμεση ερμηνεία αυτής της δυσκολίας είναι ότι συστήματα όπως το DALL-E 2 δεν έχουν ακόμη σχεσιακή σύνθεση.’
Οι συγγραφείς προτείνουν ότι συστήματα όπως το DALL-E 2 θα μπορούσαν να ωφεληθούν από την αξιοποίηση αλγορίθμων που είναι κοινοί στη ρομποτική, οι οποίοι μοντελοποιούν ταυτόχρονα ταυτότητες και σχέσεις, λόγω της ανάγκης του πράκτορα να αλληλεπιδρά με το περιβάλλον και όχι απλά να συνθέτει μια σύνθεση διαφορετικών στοιχείων.
Μια τέτοια προσέγγιση, με τίτλο CLIPort, χρησιμοποιεί τον ίδιο μηχανισμό CLIP που χρησιμεύει ως στοιχείο αξιολόγησης ποιότητας στο DALL-E 2:

CLIPort, μια συνεργασία του 2021 μεταξύ του Πανεπιστημίου της Ουάσινγκτον και της NVIDIA, χρησιμοποιεί το CLIP σε ένα πλαίσιο τόσο πρακτικό, ώστε τα εκπαιδευόμενα συστήματα αναγκάζονται να αναπτύξουν κατανόηση των φυσικών σχέσεων. Αυτό το κίνητρο απουσιάζει από το DALL-E 2 και παρόμοια πλαίσια σύνθεσης φανταστικών εικόνων. Πηγή: https://arxiv.org/pdf/2109.12098.pdf
Οι συγγραφείς προτείνουν επίσης ότι μια άλλη πιθανή βελτίωση θα μπορούσε να είναι η ενσωμάτωση πολλαπλασιαστικών επιδράσεων σε ένα μόνο επίπεδο υπολογισμού, επιτρέποντας τον υπολογισμό των σχέσεων με τρόπο που εμπνέεται από τις ικανότητες επεξεργασίας πληροφοριών των βιολογικών συστημάτων.
Η νέα εργασία, με τίτλο Δοκιμή της κατανόησης σχέσεων στην παραγωγή εικόνων με καθοδήγηση κειμένου, προέρχεται από τους Colin Conwell και Tomer D. Ullman, του Τμήματος Ψυχολογίας του Χάρβαρντ.
Πέρα από την πρώιμη κριτική
Σχολιάζοντας την “παλιά μαγεία” πίσω από τον ρεαλισμό και την ακεραιότητα του εξόδου του DALL-E 2, οι συγγραφείς σημειώνουν προηγούμενες εργασίες που έχουν βρει ελαττώματα στα συστήματα παραγωγής εικόνων τύπου DALL-E.
Τον Ιούνιο του τρέχοντος έτους, το Πανεπιστήμιο Μπέρκλεϊ της Καλιφόρνιας επισήμανε τη δυσκολία του DALL-E στην αντιμετώπιση ανακλάσεων και σκιών. Την ίδια μηνά, μια μελέτη από τη Νότια Κορέα διερεύνησε την “μοναδικότητα” και την πρωτοτυπία του εξόδου του DALL-E 2 με κριτική ματιά. Μια προκαταρκτική ανάλυση εικόνων DALL-E 2, λίγο μετά την κυκλοφορία, από το NYU και το Πανεπιστήμιο του Τέξας, βρήκε διάφορα προβλήματα με τη σύνθεση και άλλα βασικά στοιχεία στις εικόνες του DALL-E 2. Και τον προηγούμενο μήνα, μια συνεργασία μεταξύ του Πανεπιστημίου του Ιλινόις και του MIT πρότεινε προτάσεις για βελτιώσεις στην αρχιτεκτονική τέτοιων συστημάτων όσον αφορά τη σύνθεση.
Οι ερευνητές σημειώνουν επίσης ότι κορυφαίες προσωπικότητες του DALL-E όπως ο Aditya Ramesh έχουν αναγνωρίσει τα προβλήματα του πλαισίου με τη δέσμευση, το σχετικό μέγεθος, το κείμενο και άλλες προκλήσεις.
Οι προγραμματιστές πίσω από το σύστημα σύνθεσης εικόνας Imagen της Google έχουν επίσης προτείνει το DrawBench, ένα νέο σύστημα σύγκρισης που αξιολογεί την ακρίβεια εικόνας σε διαφορετικά συστήματα με διαφορετικά μετρικά.
Αντίθετα, οι συγγραφείς της νέας εργασίας προτείνουν ότι ένα καλύτερο αποτέλεσμα θα μπορούσε να επιτευχθεί με την αντιπαράθεση της ανθρώπινης εκτίμησης – και όχι των αλγοριθμικών μετρικών – με τις εικόνες που προκύπτουν, για να καθορίσουν πού βρίσκονται τα αδύνατα σημεία και τι θα μπορούσε να γίνει για να τα μετριάσει.
Η μελέτη
Για το σκοπό αυτό, η νέα εργασία βασίζεται σε ψυχολογικές αρχές και προσπαθεί να απομακρύνει την τρέχουσα έξαρση του ενδιαφέροντος για τη μηχανική προτροπών (η οποία, στην πραγματικότητα, είναι μια παραδοχή των ελαττωμάτων του DALL-E 2 ή οποιοδήποτε αντίστοιχο σύστημα), για να διερευνήσει και να αντιμετωπίσει τους περιορισμούς που κάνουν τέτοιες παρακάμψεις αναγκαίους.
Η εργασία αναφέρει:
‘Η παρούσα εργασία επικεντρώνεται σε ένα σύνολο 15 βασικών σχέσεων που έχουν περιγραφεί, εξεταστεί ή προταθεί στη γνωστική, αναπτυξιακή ή γλωσσική βιβλιογραφία. Το σύνολο περιλαμβάνει τόσο χωρικές σχέσεις (π.χ. “X στο Y”) όσο και πιο αφηρημένες σχέσεις (π.χ. “X βοηθά το Y”).
‘Οι προτροπές είναι σκόπιμα απλές, χωρίς σύνθετα χαρακτηριστικά ή πρόσθετες λεπτομέρειες. Δηλαδή, αντί για μια προτροπή όπως “ένα γαϊδούρι και ένα χταπόδι παίζουν ένα παιχνίδι. Το γαϊδούρι κρατά τη μία άκρη ενός σχοινιού και το χταπόδι την άλλη. Το γαϊδούρι κρατά το σχοινί στο στόμα του. Μια γάτα πηδά πάνω από το σχοινί”, χρησιμοποιούμε “ένα κουτί πάνω σε ένα μαχαίρι”.’
‘Η απλότητα εξακολουθεί να καλύπτει ένα ευρύ φάσμα σχέσεων από διάφορους υποτομείς της ανθρώπινης ψυχολογίας, και κάνει τις πιθανές αποτυχίες του μοντέλου πιο εμφανείς και συγκεκριμένες.’
Για τη μελέτη τους, οι συγγραφείς προσέλαβαν 169 συμμετέχοντες από το Prolific, όλοι τους από τις Ηνωμένες Πολιτείες, με μέση ηλικία 33 ετών και 59% γυναίκες.
Οι συμμετέχοντες έλαβαν 18 εικόνες οργανωμένες σε ένα πλέγμα 3×6 με την προτροπή στην κορυφή και μια προειδοποίηση στο κάτω μέρος, η οποία ανέφερε ότι όλες, κάποιες ή καμία από τις εικόνες μπορεί να είχαν δημιουργηθεί από την προτροπή που εμφανιζόταν, και τους ζητήθηκε να επιλέξουν τις εικόνες που πίστευαν ότι ήταν σχετικές με αυτόν τον τρόπο.
Οι εικόνες που παρουσιάστηκαν στους συμμετέχοντες βασίζονταν σε γλωσσική, αναπτυξιακή και γνωστική βιβλιογραφία, και αποτελούσαν ένα σύνολο οκτώ φυσικών και επτά σχέσεων μεταξύ δρώντων (αυτό θα γίνει σαφές σε λίγο).
Φυσικές σχέσεις
μέσα, πάνω, κάτω, καλύπτοντας, κοντά, κρυμμένο πίσω από, κρέμεται πάνω από, και δεμένο με.
Σχέσεις μεταξύ δρώντων
σπρώχνοντας, τραβώντας, αγγίζοντας, χτυπώντας, κλοτσώντας, βοηθώντας, και εμποδίζοντας.
Όλες αυτές οι σχέσεις προέρχονται από προηγούμενες πεδία μελέτης εκτός της επιστήμης υπολογιστών.
Δώδεκα οντότητες χρησιμοποιήθηκαν για τις προτροπές, με έξι αντικείμενα και έξι πράκτορες:
Αντικείμενα
κουτί, κύλινδρος, κουβέρτα, μπολ, φλιτζάνι, και μαχαίρι.
Πράκτορες
άνδρας, γυναίκα, παιδί, ρομπότ, πίθηκος, και ιγκουάνα.
(Οι ερευνητές παραδέχονται ότι η συμπερίληψη του ιγκουάνα, που δεν είναι ένα κλασικό αντικείμενο της κοινωνικής ή ψυχολογικής έρευνας, ήταν “μια απόλαυση”)
Για κάθε σχέση, δημιουργήθηκαν πέντε διαφορετικές προτροπές με τυχαία δειγματοληψία δύο οντοτήτων πέντε φορές, με αποτέλεσμα 75 συνολικά προτροπές, από τις οποίες το DALL-E 2 δημιούργησε τις αρχικές 18 εικόνες, και για κάθε μια από αυτές τις εικόνες δεν επιτρεπόταν καμία παραλλαγή ή δεύτερη ευκαιρία.
Αποτελέσματα
Η εργασία αναφέρει*:
‘Οι συμμετέχοντες σε μέσο όρο ανέφεραν ένα χαμηλό ποσοστό συμφωνίας μεταξύ των εικόνων του DALL-E 2 και των προτρόπων που χρησιμοποιήθηκαν για τη δημιουργία τους, με μέσο όρο 22,2% [18,3, 26,6] σε 75 διαφορετικές προτροπές.
‘Οι προτροπές που αφορούσαν πράκτορες, με μέσο όρο 28,4% [22,8, 34,2] σε 35 προτροπές, παρήγαγαν υψηλότερη συμφωνία από τις φυσικές προτροπές, με μέσο όρο 16,9% [11,9, 23,0] σε 40 προτροπές.’

Αποτελέσματα από τη μελέτη. Τα σημεία σε μαύρο υποδηλώνουν όλες τις προτροπές, με κάθε σημείο να αντιστοιχεί σε μία προτροπή. Το χρώμα διακρίνει τις σχέσεις μεταξύ δρώντων από τις φυσικές σχέσεις μεταξύ αντικειμένων.
Για να συγκρίνουν τη διαφορά μεταξύ ανθρώπινης και αλγοριθμικής αντίληψης των εικόνων, οι ερευνητές έτρεξαν τις εικόνες τους μέσω του ανοικτού κώδικα ViT-L/14 που βασίζεται στο CLIP της OpenAI. Υπολογίζοντας τον μέσο όρο των βαθμολογιών, βρήκαν μια “μέτρια” σχέση μεταξύ των δύο συνόλων αποτελεσμάτων, το οποίο είναι ίσως εκπληκτικό,λαμβάνοντας υπόψη το βαθμό με τον οποίο το CLIP συμβάλλει στη δημιουργία των εικόνων.

Αποτελέσματα της σύγκρισης του CLIP (ViT-L/14) με τις ανθρώπινες απαντήσεις.
Οι ερευνητές προτείνουν ότι άλλοι μηχανισμοί στην αρχιτεκτονική, ίσως σε συνδυασμό με μια συμπτωματική υπεραφθονία (ή έλλειψη) δεδομένων στην βάση δεδομένων εκπαίδευσης, μπορεί να ευθύνονται για τον τρόπο με τον οποίο το CLIP μπορεί να αναγνωρίσει τις αδυναμίες του DALL-E χωρίς να μπορεί, σε όλες τις περιπτώσεις, να κάνει κάτι σημαντικό για το πρόβλημα.
Οι συγγραφείς καταλήγουν στο συμπέρασμα ότι το DALL-E 2 έχει μόνο μια υποτυπώδη ικανότητα, αν υπάρχει, να αναπαράγει εικόνες που ενσωματώνουν σχεσιακή κατανόηση, ένα θεμελιώδες στοιχείο της ανθρώπινης νοημοσύνης που αναπτύσσεται σε μας πολύ νωρίς.
‘Η ιδέα ότι συστήματα όπως το DALL-E 2 δεν έχουν σύνθεση μπορεί να είναι μια έκπληξη για όποιον έχει δει τις εντυπωσιακές και λογικές απαντήσεις του DALL-E 2 σε προτροπές όπως “ένα καρτούν ενός μικρού ραπανιού ντάικον με φούστα τουτού που βγάζει βόλτα ένα κανίς”. Προτροπές όπως αυτές συχνά δημιουργούν μια λογική προσέγγιση μιας συνδυαστικής σύλληψης, με όλα τα στοιχεία της προτροπής παρόντα και στην σωστή θέση.
‘Η σύνθεση, ωστόσο, δεν είναι μόνο η ικανότητα να “κολλάει” πράγματα μαζί – ακόμη και πράγματα που μπορεί να μην έχει δει μαζί πριν. Η σύνθεση απαιτεί μια κατανόηση των κανόνων που δένουν τα πράγματα μαζί. Οι σχέσεις είναι τέτοιου είδους κανόνες.’
Ο άνθρωπος δαγκώνει τον Τ-Ρεξ
Άποψη Καθώς η OpenAI δέχεται μεγαλύτερο αριθμό χρηστών μετά την πρόσφατη εμπορική αξιοποίηση της δοκιμαστικής έκδοσης του DALL-E 2 και καθώς πλέον πρέπει να πληρώνει κανείς για τις περισσότερες δημιουργίες εικόνων, τα ελαττώματα του DALL-E 2 στη σχεσιακή κατανόηση μπορεί να γίνουν πιο εμφανή, καθώς κάθε “αποτυχημένη” προσπάθεια έχει ένα οικονομικό βάρος και δεν υπάρχουν επιστροφές.
Εκείνοι από εμάς που έλαβαν μια πρόσκληση λίγο νωρίτερα είχαν χρόνο (και, μέχρι πρόσφατα, μεγαλύτερη ελευθερία να παίξουν με το σύστημα) να παρατηρήσουν κάποια από τα “σχέση-σφάλματα” που μπορεί να εκπέμψει το DALL-E 2.
Για παράδειγμα, για έναν φαν του Jurassic Park, είναι πολύ δύσκολο να πάρει ένα δεινόσαυρο να κυνηγά έναν άνθρωπο στο DALL-E 2, ακόμη και αν η έννοια του “κυνηγιού” δεν φαίνεται να είναι στο σύστημα λογοκρισίας του DALL-E 2 και ακόμη και αν η μακρά ιστορία των ταινιών με δεινοσαύρους θα πρέπει να παρέχει πολλά παραδείγματα εκπαίδευσης (τουλάχιστον σε μορφή τρέιλερ και φωτογραφιών προώθησης) για αυτή την αδιανόητη συνάντηση ειδών.

Μια τυπική απάντηση του DALL-E 2 στην προτροπή ‘Μια έγχρωμη φωτογραφία ενός Τ-Ρεξ που κυνηγάει έναν άνθρωπο σε ένα δρόμο’. Πηγή: DALL-E 2
Έχω βρει ότι οι εικόνες πάνω είναι τυπικές για παραλλαγές της προτροπής “[δεινόσαυρος] κυνηγάει [έναν άνθρωπο]” και ότι καμία επέκταση της προτροπής δεν μπορεί να κάνει τον Τ-Ρεξ να συμμορφωθεί. Στην πρώτη και δεύτερη φωτογραφία, ο άνθρωπος (περίπου) κυνηγάει τον Τ-Ρεξ. Στην τρίτη, προσεγγίζει τον Τ-Ρεξ με μια αδιαφορία για την ασφάλεια και στην τέταρτη, τρέχει παράλληλα με το μεγάλο θηρίο. Σε περίπου 10-15 προσπάθειες σε αυτό το θέμα, βρήκα ότι ο δεινόσαυρος είναι παρόμοια “απασχολημένος”.
Ίσως το μόνο δεδομένο εκπαίδευσης που το DALL-E 2 μπορούσε να έχει πρόσβαση ήταν της μορφής “άνθρωπος πολεμά δεινόσαυρο”, από φωτογραφίες προώθησης παλαιότερων ταινιών όπως το One Million Years B.C. (1966), και ότι η διάσημη φυγή του Jeff Goldblum από τον βασιλιά των θηρίων είναι απλά μια εξαίρεση σε αυτή τη μικρή σύνολο δεδομένων.
* Μετατροπή των ενδοκειμενικών παραπομπών των συγγραφέων σε υπερσυνδέσμους από τον συντάκτη.
Πρώτη δημοσίευση στις 4 Αυγούστου 2022.














