Είναι το DALL-E 2 απλά “κολάει πράγματα μαζί” χωρίς να κατανοεί τις σχέσεις τους;

Μια νέα έρευνα από το Πανεπιστήμιο Χάρβαρντ υποδηλώνει ότι το DALL-E 2, το text-to-image framework της OpenAI, έχει σημαντικές δυσκολίες στην αναπαραγωγή ακόμη και των πιο βασικών σχέσεων μεταξύ των στοιχείων που συνθέτει σε συνθετικές φωτογραφίες, παρά την εντυπωσιακή σοφιστικέ του εξόδου.

Οι ερευνητές διεξήγαγαν μια μελέτη χρηστών που συμμετείχαν 169 συμμετέχοντες, οι οποίοι έλαβαν DALL-E 2 εικόνες με βάση τις πιο βασικές ανθρώπινες αρχές της σημασιολογίας των σχέσεων, μαζί με τα κείμενα-προτροπές που τις δημιούργησαν. Όταν τους ζητήθηκε να δηλώσουν εάν οι προτροπές και οι εικόνες ήταν σχετικές, λιγότερο από το 22% των εικόνων θεωρήθηκαν σχετικές με τις αντίστοιχες προτροπές, όσον αφορά τις πολύ απλές σχέσεις που ζητήθηκε να οπτικοποιήσει το DALL-E 2.

Ένα στιγμιότυπο από τις δοκιμές που διεξήχθησαν για τη νέα εργασία. Οι συμμετέχοντες ζητήθηκαν να επιλέξουν όλες τις εικόνες που ταιριάζουν με την προτροπή. Source: https://arxiv.org/pdf/2208.00005.pdf

Τα αποτελέσματα δείχνουν επίσης ότι η φαινομενική ικανότητα του DALL-E να συνδυάζει διαφορετικά στοιχεία μπορεί να μειωθεί καθώς αυτά τα στοιχεία γίνονται λιγότερο πιθανό να έχουν συμβεί στα δεδομένα εκπαίδευσης που τροφοδοτούν το σύστημα.

Για παράδειγμα, εικόνες για την προτροπή “παιδί που αγγίζει ένα μπολ” έλαβαν ποσοστό συμφωνίας 87% (δηλαδή οι συμμετέχοντες κλικάρησαν στις περισσότερες εικόνες ως σχετικές με την προτροπή), ενώ παρόμοιες φωτορεαλιστικές αναπαραγωγές του “ένα πίθηκος που αγγίζει ένα ιγκουάνα” έλαβαν μόνο 11% συμφωνίας:

Το DALL-E δυσκολεύεται να απεικονίσει το απίθανο γεγονός του ‘ένα πίθηκος που αγγίζει ένα ιγκουάνα’.

Στη δεύτερη περίπτωση, το DALL-E 2 συχνά λαμβάνει λάθος το μέγεθος και ακόμη και το είδος, πιθανότατα λόγω της έλλειψης πραγματικών εικόνων που απεικονίζουν这一 γεγονός. Αντίθετα, είναι λογικό να περιμένουμε ένα μεγάλο αριθμό φωτογραφιών εκπαίδευσης που σχετίζονται με παιδιά και φαγητό, και ότι αυτό το υποτομέας/κλάση είναι καλά αναπτυγμένο.

Η δυσκολία του DALL-E να συνθέτει στοιχεία εικόνας που αντιθέτουν έντονα μεταξύ τους υποδηλώνει ότι το κοινό είναι目前 τόσο εντυπωσιασμένο από τις φωτορεαλιστικές και ευρείες ερμηνευτικές ικανότητες του συστήματος, ώστε να μην έχει αναπτύξει ένα κριτικό μάτι για τις περιπτώσεις όπου το σύστημα έχει αποτελεσματικά “κολάσει” ένα στοιχείο δραματικά σε ένα άλλο, όπως σε αυτά τα παραδείγματα από τον επίσημο ιστότοπο του DALL-E 2:

Σύνθεση κολλήματος, από τα επίσημα παραδείγματα για το DALL-E 2. Source: https://openai.com/dall-e-2/

Η νέα εργασία αναφέρει*:

‘Η σχεσιακή κατανόηση είναι ένας θεμελιώδης компонέας της ανθρώπινης νοημοσύνης, ο οποίος εκδηλώνεται νωρίς στην ανάπτυξη και υπολογίζεται γρήγορα και αυτόματα στην αντίληψη.

‘Η δυσκολία του DALL-E 2 με τις βασικές χωρικές σχέσεις (όπως in, on, under) υποδηλώνει ότι ό,τι έχει μάθει, δεν έχει ακόμη μάθει τις αναπαραστάσεις που επιτρέπουν στους ανθρώπους να δομήσουν τον κόσμο με इतनή ευελιξία και σταθερότητα.

‘Μια άμεση ερμηνεία αυτής της δυσκολίας είναι ότι συστήματα όπως το DALL-E 2 δεν έχουν ακόμη σχεσιακή σύνθεση.’

Οι συγγραφείς προτείνουν ότι συστήματα όπως το DALL-E 2 θα μπορούσαν να ωφεληθούν από την αξιοποίηση αλγορίθμων που είναι κοινών στην ρομποτική, οι οποίοι μοντελοποιούν ταυτόχρονα ταυτότητες και σχέσεις, λόγω της ανάγκης του πράκτορα να αλληλεπιδρά με το περιβάλλον και όχι απλά να συνθέτει μια σύνθεση διαφορετικών στοιχείων.

Μια τέτοια προσέγγιση, με τίτλο CLIPort, χρησιμοποιεί τον ίδιο μηχανισμό CLIP που χρησιμεύει ως στοιχείο αξιολόγησης ποιότητας στο DALL-E 2:

CLIPort, μια συνεργασία του 2021 μεταξύ του Πανεπιστημίου της Ουάσινγκτον και της NVIDIA, χρησιμοποιεί το CLIP σε ένα контекστ τόσο πρακτικό. Source: https://arxiv.org/pdf/2109.12098.pdf

Οι συγγραφείς προτείνουν επίσης ότι μια άλλη πιθανή βελτίωση θα μπορούσε να είναι η ενσωμάτωση πολλαπλασιαστικών επιπτώσεων σε ένα μόνο επίπεδο υπολογισμού, επιτρέποντας τον υπολογισμό των σχέσεων με τρόπο που εμπνέεται από τις ικανότητες επεξεργασίας πληροφοριών των βιολογικών συστημάτων.

Η νέα εργασία, με τίτλο Testing Relational Understanding in Text-Guided Image Generation, προέρχεται από τους Colin Conwell και Tomer D. Ullman, του Τμήματος Ψυχολογίας του Χάρβαρντ.

Πέρα από την πρώιμη κριτική

Συментώντας την “παλιά μαγεία” πίσω από τον ρεαλισμό και την ακεραιότητα του εξόδου του DALL-E 2, οι συγγραφείς σημειώνουν προηγούμενες εργασίες που έχουν βρει ελαττώματα στα συστήματα γενικής εικόνας DALL-E.

Τον Ιούνιο του τρέχοντος έτους, το Πανεπιστήμιο Μπέρκλεϊ της Καλιφόρνιας σημείωσε τη δυσκολία του DALL-E στην αντιμετώπιση ανακλάσεων και σκιών. Την ίδια μηνά, μια μελέτη από τη Νότια Κορέα διερεύνησε την “μοναδικότητα” και την πρωτοτυπία του εξόδου του DALL-E 2 με κριτικό μάτι. Μια προκαταρκτική ανάλυση εικόνων DALL-E 2, λίγο μετά την κυκλοφορία, από το NYU και το Πανεπιστήμιο του Τέξας, βρήκε διάφορα προβλήματα με τη σύνθεση και άλλα βασικά στοιχεία στις εικόνες του DALL-E 2. Και τον προηγούμενο μήνα, μια συνεργασία μεταξύ του Πανεπιστημίου του Ιλινόις και του MIT πρότεινε προτάσεις για βελτιώσεις στην αρχιτεκτονική τέτοιων συστημάτων όσον αφορά τη σύνθεση.

Οι ερευνητές σημειώνουν επίσης ότι οι DALL-E luminaries όπως ο Aditya Ramesh έχουν παραδεχθεί τα προβλήματα του πλαισίου με τη δέσμευση, το σχετικό μέγεθος, το κείμενο και άλλες προκλήσεις.

Οι dévelopπεurs πίσω από το σύστημα σύνθεσης εικόνας Imagen της Google έχουν επίσης προτείνει το DrawBench, ένα νέο σύστημα σύγκρισης που αξιολογεί την ακρίβεια εικόνας σε διαφορετικά συστήματα με διαφορετικά μετρικά.

Αντίθετα, οι συγγραφείς της νέας εργασίας προτείνουν ότι ένα καλύτερο αποτέλεσμα θα μπορούσε να επιτευχθεί με την αντιπαράθεση της ανθρώπινης εκτίμησης – και όχι των αλγοριθμικών μετρικών – με τις εικόνες που προκύπτουν, για να καθορίσουν πού βρίσκονται τα弱ά σημεία και τι θα μπορούσε να γίνει για να τα μετριάσει.

Η μελέτη

Για το σκοπό αυτό, η νέα εργασία βασίζεται σε ψυχολογικές αρχές και προσπαθεί να απομακρύνει την τρέχουσα έξαρση του ενδιαφέροντος για την “μηχανική προτροπή” (η οποία, στην πραγματικότητα, είναι μια παραίτηση από τα ελαττώματα του DALL-E 2 ή οποιοδήποτε tương đương σύστημα), για να διερευνήσει και να αντιμετωπίσει τις περιορισμούς που κάνουν τέτοιες “γύρους” αναγκαίους.

Η εργασία αναφέρει:

‘Η παρούσα εργασία επικεντρώνεται σε ένα σύνολο 15 βασικών σχέσεων που έχουν περιγραφεί, εξεταστεί ή προταθεί στη γνωστική, αναπτυξιακή ή γλωσσική βιβλιογραφία. Το σύνολο περιλαμβάνει τόσο χωρικές σχέσεις (π.χ. “X στο Y”) όσο και πιο αφηρημένες σχέσεις (π.χ. “X βοηθά το Y”).

‘Οι προτροπές είναι故意 απλές, χωρίς複雑ή complexity ή πλούτο. Δηλαδή, αντί για μια προτροπή όπως “ένα γαϊδούρι και ένα πιθήκος παίζουν ένα παιχνίδι. Το γαϊδούρι κρατάει μια σχοινί στο στόμα του. Ένα γάτο πηδάει πάνω από το σχοινί”, χρησιμοποιούμε “ένα κουτί πάνω σε ένα μαχαίρι”.’

‘Η απλότητα ακόμη και così μια ευρεία περιοχή σχέσεων από διάφορους υποτομείς της ανθρώπινης ψυχολογίας, και κάνει τις πιθανές αποτυχίες του μοντέλου πιο εμφανείς και συγκεκριμένες.’

Για τη μελέτη τους, οι συγγραφείς προσέλαβαν 169 συμμετέχοντες από το Prolific, όλοι τους από τις Ηνωμένες Πολιτείες, με μέση ηλικία 33 ετών και 59% γυναίκες.

Οι συμμετέχοντες έλαβαν 18 εικόνες οργανωμένες σε ένα πλέγμα 3×6 με την προτροπή στην κορυφή και μια προειδοποίηση στο κάτω μέρος, η οποία ανέφερε ότι όλες, κάποιες ή καμία από τις εικόνες μπορεί να είχαν δημιουργηθεί από την προτροπή που εμφανιζόταν, και τους ζητήθηκε να επιλέξουν τις εικόνες που πίστευαν ότι ήταν σχετικές με αυτόν τον τρόπο.

Οι εικόνες που παρουσιάστηκαν στους συμμετέχοντες βασίζονταν σε γλωσσική, αναπτυξιακή και γνωστική βιβλιογραφία, και αποτελούσαν ένα σύνολο οκτώ φυσικών και επτά “πρακτικών” σχέσεων (αυτό θα γίνει σαφές σε λίγο).

Φυσικές σχέσεις
μέσα, πάνω, κάτω, καλύπτοντας, κοντά, αποκρύπτοντας, κρέμεται πάνω από, και δέσμιο σε.

Πρακτικές σχέσεις
πوشώντας, ρίχνοντας, αγγίζοντας, χτυπώντας, κτυπώντας, βοηθώντας, και εμποδίζοντας.

Όλες αυτές οι σχέσεις προέρχονται από προηγούμενες μη-CS περιοχές μελέτης.

Δώδεκα οντότητες χρησιμοποιήθηκαν για τις προτροπές, με έξι αντικείμενα και έξι πράκτορες:

Αντικείμενα
κουτί, κύλινδρος, πετσέτα, μπολ, φλιτζάνι, και μαχαίρι.

Πράκτορες
άνθρωπος, γυναίκα, παιδί, ρομπότ, πίθηκος, και ιγκουάνα.

(Οι ερευνητές παραδέχονται ότι η συμπερίληψη του ιγκουάνα, που δεν είναι ένα κλασικό αντικείμενο της ξηράς ή ψυχολογικής έρευνας, ήταν “μια απόλαυση”)

Για κάθε σχέση, δημιουργήθηκαν πέντε διαφορετικές προτροπές με τυχαία δειγματοληψία δύο οντοτήτων πέντε φορές, με αποτέλεσμα 75 συνολικά προτροπές, από τις οποίες το DALL-E 2 δημιούργησε τις αρχικές 18 εικόνες, και για κάθε μια από αυτές τις εικόνες δεν επιτρεπόταν καμία παραλλαγή ή δεύτερη ευκαιρία.

Αποτελέσματα

Η εργασία αναφέρει*:

‘Οι συμμετέχοντες σε μέσο όρο ανέφεραν ένα χαμηλό ποσοστό συμφωνίας μεταξύ των εικόνων του DALL-E 2 και των προτρόπων που χρησιμοποιήθηκαν για τη δημιουργία τους, με μέσο όρο 22,2% [18,3, 26,6] σε 75 διαφορετικές προτροπές.

‘Οι προτροπές που αφορούσαν πράκτορες, με μέσο όρο 28,4% [22,8, 34,2] σε 35 προτροπές, παρήγαγαν υψηλότερη συμφωνία από τις φυσικές προτροπές, με μέσο όρο 16,9% [11,9, 23,0] σε 40 προτροπές.’

Αποτελέσματα από τη μελέτη. Οι σημείες σε μαύρο υποδηλώνουν όλες τις προτροπές.

Για να συγκρίνουν τη διαφορά μεταξύ ανθρώπινης και αλγοριθμικής αντίληψης των εικόνων, οι ερευνητές έτρεξαν τις εικόνες τους μέσω του ανοικτού κώδικα ViT-L/14 του CLIP της OpenAI. Με την μέσος όρος των βαθμολογιών, βρήκαν μια “μετριά” σχέση μεταξύ των δύο συνόλων αποτελεσμάτων, το οποίο είναι ίσως εκπληκτικό,考虑 το βαθμό με τον οποίο το CLIP συμβάλλει στη δημιουργία των εικόνων.

Αποτελέσματα της σύγκρισης του CLIP (ViT-L/14) με τις ανθρώπινες απαντήσεις.

Οι ερευνητές προτείνουν ότι άλλα μηχανισμοί στην αρχιτεκτονική, ίσως σε συνδυασμό με μια τυχαία πλεονεξία (ή έλλειψη) δεδομένων στην βάση δεδομένων εκπαίδευσης, μπορεί να ευθύνονται για τον τρόπο με τον οποίο το CLIP μπορεί να αναγνωρίσει τις αδυναμίες του DALL-E χωρίς να μπορεί, σε όλες τις περιπτώσεις, να κάνει κάτι σημαντικό για το πρόβλημα.

Οι συγγραφείς καταλήγουν στο συμπέρασμα ότι το DALL-E 2 έχει μόνο μια νομική ικανότητα, αν υπάρχει, να αναπαράγει εικόνες που ενσωματώνουν σχεσιακή κατανόηση, ένα θεμελιώδες στοιχείο της ανθρώπινης νοημοσύνης που αναπτύσσεται σε μας πολύ sớmο.

‘Η ιδέα ότι συστήματα όπως το DALL-E 2 δεν έχουν σύνθεση μπορεί να είναι μια έκπληξη για όποιον έχει δει τις εντυπωσιακές και λογικές απαντήσεις του DALL-E 2 σε προτροπές όπως “ένα καρτούν ενός μωρού δαϊκόν ραδίκι σε ένα τούτο φόρεμα περπατάει ένα πούδι”. Προτροπές όπως αυτές συχνά δημιουργούν μια λογική προσέγγιση μιας συνθετικής концепции, με όλα τα στοιχεία της προτροπής παρόντα και στην σωστή θέση.

‘Η σύνθεση, ωστόσο, δεν είναι μόνο η ικανότητα να “κολάει” πράγματα μαζί – ακόμη και πράγματα που μπορεί να μην έχει δει μαζί πριν. Η σύνθεση απαιτεί μια κατανόηση των κανόνων που δένουν τα πράγματα μαζί. Οι σχέσεις είναι τέτοιου είδους κανόνες.’

Ο άνθρωπος δαγκώνει τον Τ-Ρεξ

Όσο η OpenAI ενισχύει τον αριθμό των χρηστών μετά την πρόσφατη βета-εμπορική εκμετάλλευση του DALL-E 2 και既然 τώρα πρέπει να πληρώσει για την περισσότερη από τις γεννήσεις, τα ελαττώματα του DALL-E 2 στη σχεσιακή κατανόηση μπορεί να γίνουν πιο εμφανή, καθώς κάθε “αποτυχημένη” προσπάθεια έχει ένα οικονομικό βάρος και δεν υπάρχουν επιστροφές.

Εκείνοι από εμάς που έλαβαν μια πρόσκληση λίγο νωρίτερα έχουν είχε χρόνο (και, μέχρι πρόσφατα, μεγαλύτερη ευχαρίστηση να παίξουν με το σύστημα) να παρατηρήσουν κάποια από τα “σχέση-σφάλματα” που μπορεί να εκπέμψει το DALL-E 2.

Για παράδειγμα, για έναν φαν του Jurassic Park, είναι πολύ δύσκολο να πάρει ένα δεινόσαυρο να κυνηγάει一个人 στο DALL-E 2, ακόμη και αν η концепτός του “κυνηγιού” δεν φαίνεται να είναι στο σύστημα censormeans του DALL-E 2 και ακόμη και αν η μακρά ιστορία των dinosaur movies θα πρέπει να παρέχει πολλά παραδείγματα εκπαίδευσης (τουλάχιστον σε μορφή τρέιλερ και φωτογραφιών προώθησης) για αυτή την αδιανόητη συνάντηση ειδών.

Μια τυπική απάντηση του DALL-E 2 στην προτροπή ‘Μια έγχρωμη φωτογραφία ενός Τ-Ρεξ που κυνηγάει έναν άνθρωπο σε ένα δρόμο’. Source: DALL-E 2

Έχω βρει ότι οι εικόνες πάνω είναι τυπικές για παραλλαγές της προτροπής “[δείνωσαυρος] κυνηγάει [έναν άνθρωπο]” και ότι καμία επέκταση της προτροπής δεν μπορεί να κάνει τον Τ-Ρεξ να συμμορφωθεί. Στην πρώτη και δεύτερη φωτογραφία, ο άνθρωπος (περίπου) κυνηγάει τον Τ-Ρεξ. Στην τρίτη, προσεγγίζει τον Τ-Ρεξ με μια αδιαφορία για την ασφάλεια και στην τέταρτη, τρέχει παράλληλα με το μεγάλο θηρίο. Σε περίπου 10-15 προσπάθειες σε αυτό το θέμα, βρήκα ότι ο δεινόσαυρος είναι παρόμοια “απασχολημένος”.

Ίσως το μόνο δεδομένο εκπαίδευσης που το DALL-E 2 μπορούσε να έχει πρόσβαση ήταν της μορφής “άνθρωπος πολεμά δεινόσαυρο”, από φωτογραφίες προώθησης παλαιότερων ταινιών όπως το One Million Years B.C. (1966), και ότι η διάσημη πτήση του Jeff Goldblum από τον βασιλιά των θηρίων είναι απλά μια εξαίρεση σε αυτή τη μικρή tranche δεδομένων.