Η γωνία του Anderson

Σύστημα ανίχνευσης για πλαίσια σύνθεσης εικόνων όπως το DALL-E 2

Martin Anderson
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
Βασικά σημείαΟι αντανακλάσεις του DALL-E 2 αποτυγχάνουν επειδή τα κατοπτρικά αντικείμενα στερούνται…
Δείτε περισσότερα
  • Οι αντανακλάσεις του DALL-E 2 αποτυγχάνουν επειδή τα κατοπτρικά αντικείμενα στερούνται γεωμετρικής συνέπειας με τις πηγές τους.
  • Σφάλματα παγκόσμιας προοπτικής σε κουζίνες του DALL-E 2 αποκαλύπτουν τοπικά συνεπή αλλά παγκόσμια ασυνεπή σημεία φυγής.
  • Ασυνέπειες σκιάς σε ηλιόλουστες σκηνές του DALL-E 2 υποδηλώνουν ότι το μοντέλο δεν μπορεί να επιβάλει λογική μοναδικής πηγής φωτός.

Νέα έρευνα από το Πανεπιστήμιο της Καλιφόρνιας στο Μπέρκλεϊ προσφέρει μια μέθοδο για να καθορίσει εάν η έξοδος από τη νέα γενιά πλαισίων σύνθεσης εικόνων – όπως το DALL-E 2 της Open AI και το Imagen και το Parti της Google – μπορεί να ανιχνευθεί ως ‘μη-πραγματική’, μελετώντας τη γεωμετρία, τις σκιές και τις ανακλάσεις που εμφανίζονται στις συνθετικές εικόνες.

Μελέτη των εικόνων που παράγονται από κείμενα σε πρότυπα στο DALL-E 2, οι ερευνητές βρήκαν ότι παρά την εντυπωσιακή πραγματικότητα της οποίας η αρχιτεκτονική είναι ικανή, κάποιες μόνιμες ασυνέπειες συμβαίνουν σχετικά με την απόδοση της συνολικής προοπτικής, τη δημιουργία και τη διάθεση των σκιών και ιδιαίτερα σχετικά με την απόδοση των αντανακλαστικών αντικειμένων.

Το έγγραφο αναφέρει:

‘[Γεωμετρικές] δομές, σκιές και ανακλάσεις σε ανακλαστικές επιφάνειες δεν είναι πλήρως συνεπείς με την αναμενόμενη γεωμετρία προοπτικής των φυσικών σκηνών. Γεωμετρικές δομές και σκιές είναι, γενικά, τοπικά συνεπείς, αλλά συνολικά ασυνεπείς.

‘Οι ανακλάσεις, από την άλλη πλευρά, είναι συχνά αποδομένες με μη πειστικό τρόπο, πιθανότατα επειδή είναι λιγότερο συχνές στην εκπαίδευση του συνόλου εικόνων.’

Μια έλλειψη συνεπών τομών μεταξύ του αποδοθέντος αντικειμένου και της απόδοσης της ανακλάσεώς του είναι προς το παρόν ένα αξιόπιστο τρόπο για να ανιχνεύσει μια εικόνα DALL-E 2, σύμφωνα με τη νέα μελέτη. Πηγή: https://arxiv.org/pdf/2206.14617.pdf

Μια έλλειψη συνεπών τομών μεταξύ του αποδοθέντος αντικειμένου και της απόδοσης της ανακλάσεώς του είναι προς το παρόν ένα αξιόπιστο τρόπο για να ανιχνεύσει μια εικόνα DALL-E 2, σύμφωνα με τη νέα μελέτη. Πηγή: https://arxiv.org/pdf/2206.14617.pdf

Το έγγραφο αντιπροσωπεύει μια πρώιμη έφοδο σε αυτό που μπορεί τελικά να γίνει ένας αξιοσημείωτος κλάδος στην κοινότητα έρευνας της υπολογιστικής όρασης – Ανίχνευση Σύνθεσης Εικόνων.

Από την εποχή της εμφάνισης των deepfakes το 2017, ανίχνευση deepfakes (πρωτίστως εξόδου autoencoder από πακέτα όπως DeepFaceLab και FaceSwap) έχει γίνει ένας ενεργός και ανταγωνιστικός ακαδημαϊκός κλάδος, με διάφορα έγγραφα και μεθοδολογίες που στοχεύουν τις εξελισσόμενες ενδείξεις των συνθετικών προσώπων σε πραγματική βίντεο εικόνα.

Ωστόσο, μέχρι την πολύ πρόσφατη εμφάνιση υπερκλιμακωμένων συστημάτων γεννήσεων εικόνων, η έξοδος από συστήματα κειμένου-πρόσκλησης όπως CLIP δεν αποτελούσε απειλή για την κατάσταση της ‘φωτογραφικής πραγματικότητας’. Οι συγγραφείς του νέου εγγράφου πιστεύουν ότι αυτό πρόκειται σύντομα να αλλάξει, και ότι ακόμη και οι ασυνέπειες που έχουν ανακαλύψει στην έξοδο του DALL-E 2 μπορεί να μην κάνουν μεγάλη διαφορά στην ικανότητα των εικόνων να εξαπατούν τους θεατές.

Οι συγγραφείς αναφέρουν*:

‘[Τέτοιες] αποτυχίες μπορεί να μην έχουν μεγάλη σημασία για το ανθρώπινο οπτικό σύστημα, το οποίο έχει βρεθεί να είναι εκπληκτικά ανίκανο σε ορισμένες γεωμετρικές κρίσεις, συμπεριλαμβανομένων ασυνεπειών στη φωτισμό, σκιές, ανακλάσεις, θέση θέασης και παραμόρφωση προοπτικής.’

Εξαφανιζόμενη Πιστότητα

Η πρώτη εγκληματολογική ανάλυση των συγγραφέων σχετικά με την έξοδο του DALL-E 2 αφορά την προοπτική προβολή – τον τρόπο με τον οποίο η τοποθέτηση των ευθύγραμμων ακμών σε κοντινά αντικείμενα και υφές πρέπει να λυθεί ομοιόμορφα σε ένα ‘σημείο εξαφάνισης’.

Αριστερά, παράλληλες γραμμές στο ίδιο επίπεδο λύνονται σε ένα κοινό σημείο εξαφάνισης; δεξιά, πολλά σημεία εξαφάνισης στο ίδιο και παράλληλα επίπεδα ορίζουν μια γραμμή εξαφάνισης (απεικονίζεται σε κόκκινο).

Αριστερά, παράλληλες γραμμές στο ίδιο επίπεδο λύνονται σε ένα κοινό σημείο εξαφάνισης; δεξιά, πολλά σημεία εξαφάνισης στο ίδιο και παράλληλα επίπεδα ορίζουν μια γραμμή εξαφάνισης (απεικονίζεται σε κόκκινο).

Για να δοκιμάσουν την συνεπήτητα του DALL-E 2 σε αυτό το σημείο, οι συγγραφείς χρησιμοποίησαν το DALL-E 2 για να παράγουν 25 συνθετικές εικόνες κουζινών – ένα οικείο χώρο που, ακόμη και σε καλά εξοπλισμένα σπίτια, είναι συνήθως αρκετά περιορισμένος για να παρέχει πολλαπλά δυνατά σημεία εξαφάνισης για μια σειρά αντικειμένων και υφασμάτων.

Εξετάζοντας την έξοδο από την πρόσκληση ‘μια φωτογραφία μιας κουζίνας με πλακάκι δαπέδου’, οι ερευνητές βρήκαν ότι παρά μια γενικά πειστική αναπαράσταση σε κάθε περίπτωση (εκτός από κάποια περίεργα, μικρότερα οπτικά τεχνουργήματα που δεν σχετίζονται με προοπτική), τα αντικείμενα που απεικονίζονται ποτέ δεν φαίνεται να συναντώνται σωστά.

Οι συγγραφείς σημειώνουν ότι ενώ κάθε σύνολο παράλληλων γραμμών από το μοτίβο πλακάκι είναι συνεπές και τέμνει σε ένα μόνο σημείο εξαφάνισης (μπλε στην εικόνα παρακάτω), το σημείο εξαφάνισης για την επιφάνεια (κυανό) δεν συμφωνεί με τις γραμμές εξαφάνισης (κόκκινο) και το σημείο εξαφάνισης που προέρχεται από τα πλακάκια.

Οι συγγραφείς παρατηρούν ότι ακόμη και αν η επιφάνεια δεν ήταν παράλληλη με τα πλακάκια, το σημείο εξαφάνισης κυανό θα πρέπει να λυθεί στην (κόκκινη) γραμμή εξαφάνισης που ορίζεται από τα σημεία εξαφάνισης του δαπέδου.

Το έγγραφο αναφέρει:

‘Ενώ η προοπτική σε αυτές τις εικόνες είναι – εντυπωσιακά – τοπικά συνεπής, δεν είναι συνολικά συνεπής. Αυτό το ίδιο μοτίβο βρέθηκε σε κάθε μια από τις 25 συνθετικές εικόνες κουζινών.’

Σκιές Φορενζικής

Όπως όποιος έχει να κάνει με ray-tracing, οι σκιές έχουν επίσης δυνατά σημεία εξαφάνισης, που δείχνουν φωτισμό από μία ή περισσότερες πηγές. Για εξωτερικές σκιές σε έντονο ηλιακό φως, θα περιμέναμε σκιές σε όλα τα σημεία της εικόνας να λύνονται συνεπώς σε μία μόνο πηγή φωτός (τον ήλιο).

Όπως και στην προηγούμενη πειραματική διαδικασία, οι ερευνητές δημιούργησαν 25 εικόνες DALL-E 2 με την πρόσκληση ‘τρεις κύβοι σε ένα πεζοδρόμιο φωτογραφημένα σε μια ηλιόλουστη μέρα’, καθώς και 25 ακόμη με την πρόσκληση ‘‘τρεις κύβοι σε ένα πεζοδρόμιο φωτογραφημένα σε μια συννεφιασμένη μέρα’.

Στην πρώτη σειρά, εικόνες που δημιουργήθηκαν από την πρόσκληση των ερευνητών 'τρεις κύβοι σε ένα πεζοδρόμιο φωτογραφημένα σε μια συννεφιασμένη μέρα'; στην κάτω σειρά, εικόνες που δημιουργήθηκαν από την πρόσκληση 'τρεις κύβοι σε ένα πεζοδρόμιο φωτογραφημένα σε μια ηλιόλουστη μέρα'.

Στην πρώτη σειρά, εικόνες που δημιουργήθηκαν από την πρόσκληση των ερευνητών ‘τρεις κύβοι σε ένα πεζοδρόμιο φωτογραφημένα σε μια συννεφιασμένη μέρα’; στην κάτω σειρά, εικόνες που δημιουργήθηκαν από την πρόσκληση ‘τρεις κύβοι σε ένα πεζοδρόμιο φωτογραφημένα σε μια ηλιόλουστη μέρα’.

Οι ερευνητές σημειώνουν ότι όταν αναπαριστούν συννεφιασμένες συνθήκες, το DALL-E 2 είναι σε θέση να αποδώσει τις πιο διάχυτες σκιές που σχετίζονται με ένα πειστικό και πιθανό τρόπο, ίσως όχι λιγότερο επειδή αυτό το είδος σκιών είναι πιο πιθανό να είναι πιο συχνό στο συνόλου εικόνων με βάση το οποίο εκπαιδεύτηκε το πλαίσιο.

Ωστόσο, κάποιες από τις ‘ηλιόλουστες’ φωτογραφίες, οι συγγραφείς βρήκαν, ήταν ασυνεπείς με μια σκηνή που φωτίζεται από μία μόνο πηγή φωτός.

Για την παραπάνω εικόνα, οι γεννήσεις έχουν μετατραπεί σε ασπρόμαυρο για σαφήνεια και δείχνουν κάθε αντικείμενο με το δικό του αφορισμένο ‘ήλιο’.

Αν και ο μέσος θεατής μπορεί να μην καταλάβει τέτοιες ανωμαλίες, κάποιες από τις γεννημένες εικόνες είχαν πιο φανερές παραδείγματα ‘αποτυχίας σκιών’:

Ενώ κάποιες από τις σκιές είναι απλά στη λάθος θέση, πολλές από αυτές, ενδιαφέροντα, αντιστοιχούν στο είδος της οπτικής διακύμανσης που παράγεται σε CGI μοντελισμό όταν ο δειγματοληπτικός ρυθμός για μια εικονική πηγή φωτός είναι πολύ χαμηλός.

Ανακλάσεις στο DALL-E 2

Τα πιο καταδικαστικά αποτελέσματα σε όρους εγκληματολογικής ανάλυσης προέκυψαν όταν οι συγγραφείς δοκίμασαν την ικανότητα του DALL-E 2 να δημιουργήσει υψηλά ανακλαστικές επιφάνειες, που είναι ένας βαρύς υπολογισμός επίσης σε CGI ray-tracing και άλλες παραδοσιακές αλγόριθμους απόδοσης.

Για αυτήν την πειραματική διαδικασία, οι συγγραφείς παρήγαγαν 25 εικόνες DALL-E 2 με την πρόσκληση ‘μια φωτογραφία ενός παιχνιδιού δεινοσαύρου και της ανακλάσεώς του σε έναν καθρέφτη καλλωπισμού’.

Σε όλες τις περιπτώσεις, οι συγγραφείς αναφέρουν ότι η εικόνα καθρέφτη του αποδοθέντος παιχνιδιού δεινοσαύρου ήταν σε κάποιο τρόπο αποσυνδεδεμένη από την πραγματική εμφάνιση και διάταξη του παιχνιδιού δεινοσαύρου. Οι συγγραφείς αναφέρουν ότι το πρόβλημα παρέμενε ακόμη και όταν άλλαζε η διατύπωση της προτροπής και φαίνεται να αποτελεί θεμελιώδη αδυναμία του συστήματος.

Φαίνεται να υπάρχει μια λογική στις λάθος – το πρώτο και το τρίτο παράδειγμα στην πρώτη σειρά φαίνεται να δείχνει έναν δεινόσαυρο που είναι αντιγραμμένος πολύ καλά, αλλά όχι ανακλασμένος.

Οι συγγραφείς σχολιάζουν:

‘Αντιθέτως με τις σκιές και τις γεωμετρικές δομές στις προηγούμενες ενότητες, το DALL·E-2 δυσκολεύεται να συνθέσει πιθανές ανακλάσεις, πιθανότατα επειδή τέτοιες ανακλάσεις είναι λιγότερο συχνές στο συνόλου εικόνων εκπαίδευσης.’

Λάθη όπως αυτά μπορεί να διορθωθούν σε μελλοντικά μοντέλα κειμένου-εικόνας που θα είναι σε θέση να αναθεωρήσουν πιο αποτελεσματικά την συνολική σημασιολογική λογική της εξόδου τους και θα είναι σε θέση να επιβάλουν αφηρημένους φυσικούς κανόνες σε σκηνές που έχουν, σε κάποιο βαθμό, συναρμολογηθεί από χαρακτηριστικά-λέξεις στον λανθάνοντα χώρο του συστήματος.

Σε σχέση με την τάση προς μεγαλύτερα συστήματα σύνθεσης, οι συγγραφείς καταλήγουν:

‘[Ίσως] μπορεί να είναι θέμα χρόνου πριν τα συστήματα σύνθεσης εικόνων από κείμενο μάθουν να αποδίδουν εικόνες με πλήρη προοπτική συνεπήτητα. Μέχρι εκείνη την ώρα, ωστόσο, οι γεωμετρικές εγκληματολογικές αναλύσεις μπορεί να αποδειχθούν χρήσιμες στην ανάλυση αυτών των εικόνων.’

 

* Η μετατροπή μου των εσωτερικών παραπομπών των συγγραφέων σε υπερσύνδεσμους.

Πρώτη δημοσίευση 30ης Ιουνίου 2022.

Συγγραφέας στον τομέα της μηχανικής μάθησης, ειδικός σε συνθετικές ανθρώπινες εικόνες. Πρώην επικεφαλής του τμήματος περιεχομένου έρευνας στην Metaphysic.ai, μέχρι τη διάλυσή της στην Brahma.ai της DNEG.
Ιστοσελίδα: martinanderson.ai
Επικοινωνία: martin@martinanderson.ai