Το DALL-E 2 απλώς «κολλάει πράγματα μαζί» χωρίς να κατανοεί τις σχέσεις τους;

Μια νέα ερευνητική εργασία από το Πανεπιστήμιο του Χάρβαρντ υποδηλώνει ότι το πλαίσιο κειμένου σε εικόνα του OpenAI, το DALL-E 2, που συγκεντρώνει τίτλους, έχει αξιοσημείωτη δυσκολία στην αναπαραγωγή σχέσεων ακόμη και σε επίπεδο βρέφους μεταξύ των στοιχείων που συνθέτει σε συνθετικές φωτογραφίες, παρά την εκθαμβωτική πολυπλοκότητα πολλών την παραγωγή του.

Οι ερευνητές ανέλαβαν μια μελέτη χρήστη στην οποία συμμετείχαν 169 συμμετέχοντες με crowdsource, στους οποίους παρουσιάστηκαν εικόνες DALL-E 2 βασισμένες στις πιο βασικές ανθρώπινες αρχές της σημασιολογίας των σχέσεων, μαζί με τα μηνύματα κειμένου που τις είχαν δημιουργήσει. Όταν ρωτήθηκε εάν οι προτροπές και οι εικόνες σχετίζονται, λιγότερο από το 22% των εικόνων θεωρήθηκε ότι σχετίζονται με τις σχετικές προτροπές τους, όσον αφορά τις πολύ απλές σχέσεις που ζητήθηκε από το DALL-E 2 να απεικονίσει.

Μια οθόνη από τις δοκιμές που έγιναν για τη νέα εφημερίδα. Οι συμμετέχοντες είχαν την αποστολή να επιλέξουν όλες τις εικόνες που ταιριάζουν με την προτροπή. Παρά την αποποίηση ευθύνης στο κάτω μέρος της διεπαφής, σε όλες τις περιπτώσεις οι εικόνες, εν αγνοία των συμμετεχόντων, δημιουργήθηκαν στην πραγματικότητα από την εμφανιζόμενη σχετική προτροπή. Πηγή: https://arxiv.org/pdf/2208.00005.pdf

Τα αποτελέσματα υποδηλώνουν επίσης ότι η φαινομενική ικανότητα του DALL-E να συνενώνει ανόμοια στοιχεία μπορεί να μειωθεί καθώς αυτά τα στοιχεία είναι λιγότερο πιθανό να έχουν εμφανιστεί στα δεδομένα εκπαίδευσης του πραγματικού κόσμου που τροφοδοτούν το σύστημα.

Για παράδειγμα, οι εικόνες για την προτροπή «παιδί που αγγίζει ένα μπολ» έλαβαν ποσοστό συμφωνίας 87% (δηλαδή οι συμμετέχοντες έκαναν κλικ στις περισσότερες από τις εικόνες ως σχετικές με την προτροπή), ενώ παρομοίως φωτορεαλιστικές αποδόσεις «μια μαϊμού που αγγίζει ένα ιγκουάνα» πέτυχαν συμφωνία μόνο 11%:

Το DALL-E παλεύει να απεικονίσει το απίθανο γεγονός ενός «πίθηκου να αγγίζει ένα ιγκουάνα», αναμφισβήτητα επειδή είναι ασυνήθιστο, πιθανότατα ανύπαρκτο, στο σετ εκπαίδευσης.

Στο δεύτερο παράδειγμα, το DALL-E 2 συχνά κάνει λάθος την κλίμακα και ακόμη και το είδος, πιθανώς λόγω της έλλειψης εικόνων από τον πραγματικό κόσμο που απεικονίζουν αυτό το γεγονός. Αντίθετα, είναι λογικό να περιμένουμε μεγάλο αριθμό προπονητικών φωτογραφιών που σχετίζονται με παιδιά και φαγητό και ότι αυτός ο υποτομέας/τάξη είναι καλά ανεπτυγμένος.

Η δυσκολία του DALL-E στην αντιπαράθεση στοιχείων εικόνας με άγρια ​​αντίθεση υποδηλώνει ότι το κοινό είναι επί του παρόντος τόσο έκθαμβο από τις φωτορεαλιστικές και ευρέως ερμηνευτικές ικανότητες του συστήματος που δεν έχει αναπτύξει κριτική ματιά για περιπτώσεις όπου το σύστημα έχει απλώς «κολλήσει» ένα στοιχείο ξεκάθαρα πάνω στο άλλο , όπως σε αυτά τα παραδείγματα από τον επίσημο ιστότοπο DALL-E 2:

Σύνθεση κοπής και επικόλλησης, από τα επίσημα παραδείγματα για το DALL-E 2. Πηγή: https://openai.com/dall-e-2/

Το νέο έγγραφο αναφέρει*:

«Η σχεσιακή κατανόηση είναι ένα θεμελιώδες συστατικό της ανθρώπινης νοημοσύνης, το οποίο εκδηλώνεται νωρίς στην ανάπτυξη, και υπολογίζεται γρήγορα και αυτόματα στην αντίληψη.

Η δυσκολία του «DALL-E 2» ακόμη και με βασικές χωρικές σχέσεις (όπως π.χ in, on, υπό) υποδηλώνει ότι ό,τι κι αν έχει μάθει, δεν έχει μάθει ακόμη τα είδη των αναπαραστάσεων που επιτρέπουν στους ανθρώπους να δομούν τόσο ευέλικτα και στιβαρά τον κόσμο.

«Μια άμεση ερμηνεία αυτής της δυσκολίας είναι ότι συστήματα όπως το DALL-E 2 δεν έχουν ακόμη σχεσιακή σύνθεση».

Οι συγγραφείς προτείνουν ότι τα συστήματα παραγωγής εικόνων με καθοδήγηση κειμένου, όπως η σειρά DALL-E, θα μπορούσαν να επωφεληθούν από τη μόχλευση αλγορίθμων κοινών στη ρομποτική, που μοντελοποιούν ταυτότητες και σχέσεις ταυτόχρονα, λόγω της ανάγκης ο πράκτορας να αλληλεπιδρά πραγματικά με το περιβάλλον και όχι απλώς να κατασκευάζει ένα μείγμα από διαφορετικά στοιχεία.

Μια τέτοια προσέγγιση, με τίτλο CLIPport, χρησιμοποιεί το ίδιο Μηχανισμός CLIP που χρησιμεύει ως στοιχείο αξιολόγησης ποιότητας στο DALL-E 2:

Το CLIPort, μια συνεργασία του 2021 μεταξύ του Πανεπιστημίου της Ουάσιγκτον και της NVIDIA, χρησιμοποιεί το CLIP σε ένα πλαίσιο τόσο πρακτικό που τα συστήματα που εκπαιδεύονται σε αυτό πρέπει απαραίτητα να αναπτύξουν μια κατανόηση των φυσικών σχέσεων, ένα κίνητρο που απουσιάζει στο DALL-E 2 και παρόμοια «φανταστικά» πλαίσια σύνθεσης εικόνας. Πηγή: https://arxiv.org/pdf/2109.12098.pdf

Οι συγγραφείς προτείνουν περαιτέρω ότι «μια άλλη εύλογη αναβάθμιση» θα μπορούσε να είναι η ενσωμάτωση της αρχιτεκτονικής συστημάτων σύνθεσης εικόνας όπως το DALL-E πολλαπλασιαστικά εφέ σε ένα μοναδικό επίπεδο υπολογισμού, που επιτρέπει τον υπολογισμό των σχέσεων με τρόπο εμπνευσμένο από τις ικανότητες επεξεργασίας πληροφοριών του βιολογικός συστήματα.

Η νέο χαρτί είναι ο τίτλος Δοκιμή Σχεσιακής Κατανόησης στη Δημιουργία εικόνων καθοδηγούμενη από κείμενο, και προέρχεται από τους Colin Conwell και Tomer D. Ullman στο Τμήμα Ψυχολογίας του Χάρβαρντ.

Πέρα από την πρώιμη κριτική

Σχολιάζοντας την «εξυπνάδα» πίσω από τον ρεαλισμό και την ακεραιότητα της παραγωγής του DALL-E 2, οι συγγραφείς σημειώνουν προηγούμενες εργασίες που έχουν βρει ελλείψεις στα συστήματα παραγωγής εικόνας τύπου DALL-E.

Τον Ιούνιο του τρέχοντος έτους, το UoC Berkeley Σημειώνεται Η δυσκολία που έχει το DALL-E στο χειρισμό αντανακλάσεων και σκιών. τον ίδιο μήνα, μια μελέτη από την Κορέα διερεύνησε τη «μοναδικότητα» και την πρωτοτυπία της παραγωγής τύπου DALL-E 2 με κριτική ματιά? με προκαταρκτική ανάλυση των εικόνων DALL-E 2, λίγο μετά την κυκλοφορία, από το NYU και το Πανεπιστήμιο του Τέξας, βρήκαν διάφορα ζητήματα με τη σύνθεση και άλλους βασικούς παράγοντες στις εικόνες DALL-E 2. και τον περασμένο μήνα, μια κοινή δουλειά μεταξύ του Πανεπιστημίου του Ιλινόις και του MIT προσέφερε προτάσεις για αρχιτεκτονικές βελτιώσεις σε τέτοια συστήματα όσον αφορά τη σύνθεση.

Οι ερευνητές σημειώνουν περαιτέρω ότι τα φωτιστικά DALL-E όπως η Aditya Ramesh έχουν παραδέχθηκε ζητήματα του πλαισίου με δεσμευτικό, σχετικό μέγεθος, κείμενο και άλλες προκλήσεις.

Οι προγραμματιστές πίσω από το αντίπαλο σύστημα σύνθεσης εικόνας της Google Imagen έχουν επίσης προτείνει DrawBench, ένα νέο σύστημα σύγκρισης που μετράει την ακρίβεια της εικόνας σε πλαίσια με διαφορετικές μετρήσεις.

Αντίθετα, οι συγγραφείς της νέας εργασίας προτείνουν ότι ένα καλύτερο αποτέλεσμα θα μπορούσε να επιτευχθεί με την αντιπαράθεση της ανθρώπινης εκτίμησης - αντί των εσωτερικών, αλγοριθμικών μετρήσεων - με τις προκύπτουσες εικόνες, για να καθοριστεί πού βρίσκονται οι αδυναμίες και τι θα μπορούσε να γίνει για να μετριαστούν.

Η μελέτη

Για το σκοπό αυτό, το νέο έργο βασίζει την προσέγγισή του σε ψυχολογικές αρχές και επιδιώκει να υποχωρήσει από το τρέχον κύμα ενδιαφέροντος in άμεση μηχανική (που είναι, στην πραγματικότητα, παραχώρηση στις ελλείψεις του DALL-E 2, ή οποιουδήποτε παρόμοιου συστήματος), για τη διερεύνηση και πιθανή αντιμετώπιση των περιορισμών που καθιστούν αναγκαίες τέτοιες «λύσεις».

Το έγγραφο αναφέρει:

«Η τρέχουσα εργασία επικεντρώνεται σε ένα σύνολο 15 βασικών σχέσεων που περιγράφηκαν, εξετάστηκαν ή προτάθηκαν προηγουμένως στη γνωστική, αναπτυξιακή ή γλωσσική βιβλιογραφία. Το σύνολο περιέχει τόσο γειωμένες χωρικές σχέσεις (π.χ. «Χ στο Υ»), όσο και πιο αφηρημένες πρακτορικές σχέσεις (π.χ. «Χ βοηθώντας το Υ»).

«Οι προτροπές είναι σκόπιμα απλές, χωρίς πολυπλοκότητα ή επεξεργασία χαρακτηριστικών. Δηλαδή, αντί για μια προτροπή όπως «ένας γάιδαρος και ένα χταπόδι παίζουν ένα παιχνίδι. Ο γάιδαρος κρατάει ένα σχοινί στη μια άκρη, το χταπόδι από την άλλη. Ο γάιδαρος κρατάει το σχοινί στο στόμα του. Μια γάτα πηδά πάνω από το σχοινί», χρησιμοποιούμε «ένα κουτί σε ένα μαχαίρι».

«Η απλότητα εξακολουθεί να καταγράφει ένα ευρύ φάσμα σχέσεων από διάφορους υποτομείς της ανθρώπινης ψυχολογίας και κάνει τις πιθανές αποτυχίες μοντέλων πιο εντυπωσιακές και συγκεκριμένες».

Για τη μελέτη τους, οι συγγραφείς στρατολόγησαν 169 συμμετέχοντες από το Prolific, όλοι βρίσκονται στις ΗΠΑ, με μέση ηλικία τα 33 και 59% γυναίκες.

Στους συμμετέχοντες εμφανίστηκαν 18 εικόνες οργανωμένες σε ένα πλέγμα 3×6 με την προτροπή στο επάνω μέρος και μια δήλωση αποποίησης ευθύνης στο κάτω μέρος που δηλώνει ότι όλες, μερικές ή καμία από τις εικόνες μπορεί να έχουν δημιουργηθεί από το εμφανιζόμενο μήνυμα και στη συνέχεια τους ζητήθηκε να επιλέξτε τις εικόνες που πίστευαν ότι σχετίζονται με αυτόν τον τρόπο.

Οι εικόνες που παρουσιάστηκαν στα άτομα βασίστηκαν σε γλωσσική, αναπτυξιακή και γνωστική βιβλιογραφία, αποτελώντας ένα σύνολο οκτώ φυσικών και επτά «πρακτικών» σχέσεων (αυτό θα γίνει σαφές σε λίγο).

Φυσικές σχέσεις
μέσα, επάνω, κάτω, κάλυμμα, κοντά, αποκλεισμένο από, κρέμεται, και δεμένος σε.

Αντιπροσωπειακές σχέσεις
σπρώξιμο, τράβηγμα, άγγιγμα, χτύπημα, κλωτσιά, βοήθεια, και εμποδίζοντας.

Όλες αυτές οι σχέσεις αντλήθηκαν από τα προαναφερθέντα πεδία σπουδών εκτός CS.

Έτσι δημιουργήθηκαν δώδεκα οντότητες για χρήση στις προτροπές, με έξι αντικείμενα και έξι πράκτορες:

Αντικείμενα
κουτί, κύλινδρος, κουβέρτα, μπολ, φλιτζάνι τσαγιού, και μαχαίρι.

Πράκτορες
άνδρας, γυναίκα, παιδί, ρομπότ, μαϊμού, και ιγκουάνα.

(Οι ερευνητές παραδέχονται ότι η συμπερίληψη του ιγκουάνα, που δεν είναι βασικός πυλώνας της ξηρής κοινωνιολογικής ή ψυχολογικής έρευνας, ήταν «απόλαυση»)

Για κάθε σχέση, δημιουργήθηκαν πέντε διαφορετικές προτροπές με τυχαία δειγματοληψία δύο οντοτήτων πέντε φορές, με αποτέλεσμα 75 συνολικά προτροπές, καθεμία από τις οποίες υποβλήθηκε στο DALL-E 2 και για καθεμία από τις οποίες χρησιμοποιήθηκαν οι αρχικές 18 παρεχόμενες εικόνες, χωρίς παραλλαγές ή επιτρέπονται δεύτερες ευκαιρίες.

Αποτελέσματα

Η εφημερίδα αναφέρει*:

«Οι συμμετέχοντες ανέφεραν κατά μέσο όρο χαμηλή συμφωνία μεταξύ των εικόνων του DALL-E 2 και των προτροπών που χρησιμοποιήθηκαν για τη δημιουργία τους, με μέσο όρο 22.2% [18.3, 26.6] για τις 75 διακριτές προτροπές.

"Τα πρακτορικά μηνύματα, με μέσο όρο 28.4% [22.8, 34.2] σε 35 προτροπές, δημιούργησαν υψηλότερη συμφωνία από τα φυσικά μηνύματα, με μέσο όρο 16.9% [11.9, 23.0] σε 40 προτροπές."

Αποτελέσματα από τη μελέτη. Τα σημεία με μαύρο χρώμα υποδηλώνουν όλες τις προτροπές, με κάθε σημείο μια μεμονωμένη προτροπή, και το χρώμα αναλύεται ανάλογα με το αν το υποκείμενο της προτροπής ήταν αντιπροσωπευτικό ή φυσικό (δηλ. ένα αντικείμενο).

Για να συγκρίνουν τη διαφορά μεταξύ ανθρώπινης και αλγοριθμικής αντίληψης των εικόνων, οι ερευνητές έτρεξαν τις αποδόσεις τους μέσω του ανοιχτού κώδικα του OpenAI ViT-L/14 Πλαίσιο που βασίζεται σε CLIP. Με τον μέσο όρο των βαθμολογιών, βρήκαν μια «μέτρια σχέση» μεταξύ των δύο σειρών αποτελεσμάτων, κάτι που ίσως προκαλεί έκπληξη, λαμβάνοντας υπόψη τον βαθμό στον οποίο το ίδιο το CLIP βοηθά στη δημιουργία των εικόνων.

Αποτελέσματα της σύγκρισης CLIP (ViT-L/14) έναντι των ανθρώπινων αποκρίσεων.

Οι ερευνητές προτείνουν ότι άλλοι μηχανισμοί εντός της αρχιτεκτονικής, ίσως σε συνδυασμό με μια τυχαία υπεροχή (ή έλλειψη) δεδομένων στο σετ εκπαίδευσης μπορεί να εξηγούν τον τρόπο με τον οποίο το CLIP μπορεί να αναγνωρίσει τους περιορισμούς του DALL-E χωρίς να μπορεί, σε όλες τις περιπτώσεις, να κάνει οτιδήποτε. πολλά για το πρόβλημα.

Οι συγγραφείς καταλήγουν στο συμπέρασμα ότι το DALL-E 2 έχει μόνο μια πλασματική δυνατότητα, εάν υπάρχει, για την αναπαραγωγή εικόνων που ενσωματώνουν τη σχεσιακή κατανόηση, μια θεμελιώδη πτυχή της ανθρώπινης νοημοσύνης που αναπτύσσεται μέσα μας πολύ νωρίς.

«Η αντίληψη ότι συστήματα όπως το DALL-E 2 δεν έχουν συνθετικότητα μπορεί να αποτελεί έκπληξη για όποιον έχει δει τις εντυπωσιακά λογικές απαντήσεις του DALL-E 2 σε προτροπές όπως «ένα κινούμενο σχέδιο με ένα μωρό ραπανάκι ντάικον σε ένα tutu που περπατά ένα κανίς». Προτροπές όπως αυτές δημιουργούν συχνά μια λογική προσέγγιση μιας έννοιας σύνθεσης, με όλα τα μέρη των προτροπών να υπάρχουν και να υπάρχουν στα σωστά σημεία.

«Η συνθετικότητα, ωστόσο, δεν είναι μόνο η ικανότητα να κολλάς πράγματα μεταξύ τους – ακόμα και πράγματα που μπορεί να μην έχεις παρατηρήσει ποτέ πριν. Η συνθετικότητα απαιτεί κατανόηση του κανόνες που ενώνουν τα πράγματα μεταξύ τους. Οι σχέσεις είναι τέτοιοι κανόνες ».

Man Bites T-Rex

Γνώμη Καθώς το OpenAI αγκαλιάζει α μεγαλύτερο αριθμό χρηστών μετά την πρόσφατη δημιουργία εσόδων beta του DALL-E 2, και δεδομένου ότι πρέπει να πληρώσει κανείς για τις περισσότερες γενιές, οι ελλείψεις στη σχεσιακή κατανόηση του DALL-E 2 μπορεί να γίνουν πιο εμφανείς καθώς κάθε «αποτυχημένη» προσπάθεια έχει οικονομικό βάρος σε αυτήν, και δεν υπάρχουν επιστροφές χρημάτων.

Όσοι από εμάς έλαβαν μια πρόσκληση λίγο νωρίτερα, είχαμε χρόνο (και, μέχρι πρόσφατα, περισσότερο ελεύθερο χρόνο για να παίξουμε με το σύστημα) να παρατηρήσουμε ορισμένες από τις «αστοχίες σχέσεων» που μπορεί να εκπέμψει το DALL-E 2.

Για παράδειγμα, για α Τζουράσικ Παρκ θαυμαστής, είναι πολύ δύσκολο να πείσεις έναν δεινόσαυρο να κυνηγήσει ένα άτομο στο DALL-E 2, παρόλο που η έννοια του «κυνηγητό» δεν φαίνεται να υπάρχει στο DALL-E 2 σύστημα λογοκρισίας, και παρόλο που το μακρά ιστορία Οι ταινίες με δεινόσαυρους θα πρέπει να παρέχουν άφθονα παραδείγματα εκπαίδευσης (τουλάχιστον με τη μορφή τρέιλερ και διαφημιστικών λήψεων) για αυτήν την κατά τα άλλα αδύνατη συνάντηση ειδών.

Μια τυπική απάντηση του DALL-E 2 στην προτροπή «Μια έγχρωμη φωτογραφία ενός T-Rex που κυνηγά έναν άνδρα σε έναν δρόμο». Πηγή: DALL-E 2

Βρήκα ότι οι παραπάνω εικόνες είναι χαρακτηριστικές για παραλλαγές στο «[δεινόσαυρος] κυνηγά [ένα άτομο]» άμεση σχεδίαση και ότι καμία επεξεργασία στο προτροπή δεν μπορεί να κάνει το T-Rex να συμμορφωθεί πραγματικά. Στην πρώτη και στη δεύτερη φωτογραφία, ο άντρας κυνηγάει (λίγο πολύ) το T-Rex. στο τρίτο, προσεγγίζοντας το με μια περιστασιακή αδιαφορία για την ασφάλεια. και στην τελική εικόνα, προφανώς τζόκινγκ παράλληλα με το μεγάλο θηρίο. Σε περίπου 10-15 προσπάθειες σε αυτό το θέμα, βρήκα ότι ο δεινόσαυρος είναι παρομοίως «αποσπασμένος».

Θα μπορούσε να είναι ότι τα μόνα δεδομένα εκπαίδευσης στα οποία μπορούσε να έχει πρόσβαση το DALL-E 2 ήταν στη σειρά «Άνθρωπος παλεύει με δεινόσαυρο», από διαφημιστικά πλάνα για παλιότερες ταινίες όπως π.χ Ένα εκατομμύριο χρόνια π.Χ (1966), και αυτό του Jeff Goldblum διάσημη πτήση από τον βασιλιά των αρπακτικών είναι απλώς ένα ακραίο στοιχείο σε αυτή τη μικρή δόση δεδομένων.

* Η μετατροπή των ενσωματωμένων παραπομπών των συγγραφέων σε υπερσυνδέσμους.

Πρώτη δημοσίευση 4 Αυγούστου 2022.