Ένας Μηχανισμός Ανίχνευσης για Πλαίσια Συntέσεων Εικόνων όπως το DALL-E 2

Νέα έρευνα από το Πανεπιστήμιο της Καλιφόρνιας στο Μπέρκλεϊ προσφέρει einen μέθοδο για να καθορίσει εάν η έξοδος από τη νέα γενιά πλασίων σύνθεσης εικόνων – όπως το DALL-E 2 της Open AI και το Imagen και το Parti της Google – μπορεί να ανιχνευθεί ως ‘μη-πραγματική’, μελετώντας τη γεωμετρία, τις σκιές και τις ανακλάσεις που εμφανίζονται στις συνθετικές εικόνες.

Μελέτη των εικόνων που παράγονται από κείμενα σε πρότυπα στο DALL-E 2, οι ερευνητές βρήκαν ότι παρά την εντυπωσιακή πραγματικότητα της οποίας η αρχιτεκτονική είναι ικανή, κάποιες μόνιμες ασυνέπειες συμβαίνουν σχετικά με την απόδοση της γлобικής προοπτικής, τη δημιουργία και τη διάθεση των σκιών και ιδιαίτερα σχετικά με την απόδοση των αντανακλαστικών αντικειμένων.

Το έγγραφο αναφέρει:

‘[Γεωμετρικές] δομές, σκιές και ανακλάσεις σε ανακλαστικές επιφάνειες δεν είναι πλήρως συνεπείς με την αναμενόμενη γεωμετρία προοπτικής των φυσικών σκηνών. Γεωμετρικές δομές και σκιές είναι, γενικά, τοπικά συνεπείς, αλλά γлобικά ασυνεπείς.

‘Οι ανακλάσεις, από την άλλη πλευρά, είναι συχνά αποδομένες απίστευτα, πιθανότατα επειδή είναι λιγότερο συχνές στην εκπαίδευση του συνόλου εικόνων.’

Μια έλλειψη συνεπών τομών μεταξύ του αποδοθέντος αντικειμένου και της απόδοσης της ανακλάσεώς του είναι目前 ένα αξιόπιστο τρόπο για να ανιχνεύσει μια εικόνα DALL-E 2, σύμφωνα με τη νέα μελέτη. Πηγή: https://arxiv.org/pdf/2206.14617.pdf

Το έγγραφο αντιπροσωπεύει μια πρώιμη έφοδο σε αυτό που μπορεί τελικά να γίνει ένας αξιοσημείωτος κλάδος στην κοινότητα έρευνας της οπτικής αναγνώρισης – Ανίχνευση Σύνθεσης Εικόνων.

Από την εποχή της εμφάνισης των deepfakes το 2017, ανίχνευση deepfakes (πρωτίστως εξόδου autoencoder από πακέτα όπως DeepFaceLab και FaceSwap) έχει γίνει ένας ενεργός και ανταγωνιστικός ακαδημαϊκός κλάδος, με διάφορα έγγραφα και μεθοδολογίες που στοχεύουν τις εξελισσόμενες ‘παραδοχές’ των συνθετικών προσώπων σε πραγματική βίντεο εικόνα.

Ωστόσο, μέχρι την πολύ πρόσφατη εμφάνιση υπερκλιμακωμένων συστημάτων γεννήσεων εικόνων, η έξοδος από συστήματα κειμένου-πρόσκλησης όπως CLIP δεν αποτελούσε απειλή για την κατάσταση της ‘φωτογραφικής πραγματικότητας’. Οι συγγραφείς του νέου εγγράφου πιστεύουν ότι αυτό είναι πρόωρο για να αλλάξει, και ότι ακόμη και οι ασυνέπειες που έχουν ανακαλύψει στην έξοδο του DALL-E 2 μπορεί να μην κάνουν μεγάλη διαφορά στην khảότητα των εικόνων να εξαπατούν τους θεατές.

Οι συγγραφείς αναφέρουν*:

‘[ΣUCH] αποτυχίες μπορεί να μην έχουν μεγάλη σημασία για το ανθρώπινο οπτικό σύστημα, το οποίο έχει βρεθεί να είναι आश्चαρακτικά ανίκανο σε ορισμένες γεωμετρικές κρίσεις, συμπεριλαμβανομένων ασυνεπαθειών στη φωτισμό, σκιές, ανακλάσεις, θέση θέασης και παραμόρφωση προοπτικής.’

Εξαφανιζόμενη Πιστότητα

Η πρώτη νομική εξέταση των συγγραφέων σχετικά με την έξοδο του DALL-E 2 αφορά την προοπτική προβολή – τον τρόπο με τον οποίο η τοποθέτηση των ευθύγραμμων ακμών σε κοντινά αντικείμενα και υφάσματα πρέπει να λυθεί ομοιόμορφα σε ένα ‘σημείο εξαφάνισης’.

Αριστερά, παράλληλες γραμμές στο ίδιο επίπεδο λύνονται σε ένα κοινό σημείο εξαφάνισης; δεξιά, πολλά σημεία εξαφάνισης στο ίδιο και παράλληλα επίπεδα ορίζουν μια γραμμή εξαφάνισης (απεικονίζεται σε κόκκινο).

Για να δοκιμάσουν την συνεπήτητα του DALL-E 2 σε αυτό το σημείο, οι συγγραφείς χρησιμοποίησαν το DALL-E 2 για να παράγουν 25 συνθετικές εικόνες κουζινών – ένα οικείο χώρο που, ακόμη και σε καλά εξοπλισμένα σπίτια, είναι συνήθως αρκετά περιορισμένος για να παρέχει πολλαπλά δυνατά σημεία εξαφάνισης για eine σειρά αντικειμένων και υφασμάτων.

Εξετάζοντας την έξοδο από την πρόσκληση ‘μια φωτογραφία μιας κουζίνας με πλακάκι δαπέδου’, οι ερευνητές βρήκαν ότι παρά μια γενικά πειστική αναπαράσταση σε κάθε περίπτωση (εκτός από κάποια περίεργα, μικρότερα артеφάκτα που δεν σχετίζονται με προοπτική), τα αντικείμενα που απεικονίζονται ποτέ δεν φαίνεται να συναντώνται σωστά.

Οι συγγραφείς σημειώνουν ότι ενώ κάθε σύνολο παράλληλων γραμμών από το μοτίβο πλακάκι είναι συνεπές και τέμνει σε ένα μόνο σημείο εξαφάνισης (μπλε στην εικόνα παρακάτω), το σημείο εξαφάνισης για την επιφάνεια (κυανό) δεν συμφωνεί με τις γραμμές εξαφάνισης (κόκκινο) και το σημείο εξαφάνισης που προέρχεται από τα πλακάκια.

Οι συγγραφείς παρατηρούν ότι ακόμη και αν η επιφάνεια δεν ήταν παράλληλη με τα πλακάκια, το σημείο εξαφάνισης κυανό θα πρέπει να λυθεί στην (κόκκινη) γραμμή εξαφάνισης που ορίζεται από τα σημεία εξαφάνισης του δαπέδου.

Το έγγραφο αναφέρει:

‘Ενώ η προοπτική σε αυτές τις εικόνες είναι – εντυπωσιακά – τοπικά συνεπής, δεν είναι γлобικά συνεπής. Αυτό το ίδιο μοτίβο βρέθηκε σε κάθε μια από τις 25 συνθετικές εικόνες κουζινών.’

Σκιές Φορενζικής

Όπως όποιος έχει να κάνει με ray-tracing, οι σκιές έχουν επίσης δυνατά σημεία εξαφάνισης, που δείχνουν單ή ή πολυπηγή φωτισμό. Για εξωτερικές σκιές σε έντονο ηλιακό φως, θα περιμέναμε σκιές σε όλα τα σημεία της εικόνας να λύνονται συνεπώς σε μια seule πηγή φωτός (τον ήλιο).

Όπως και στην προηγούμενη πειραματική διαδικασία, οι ερευνητές δημιούργησαν 25 εικόνες DALL-E 2 με την πρόσκληση ‘τρία κύβοι σε einen πεζοδρόμιο φωτογραφημένα σε μια ηλιόλουστη μέρα’, καθώς και 25 ακόμη με την πρόσκληση ‘‘τρία κύβοι σε einen πεζοδρόμιο φωτογραφημένα σε μια συννεφιασμένη μέρα’.

Στην πρώτη σειρά, εικόνες που δημιουργήθηκαν από την πρόσκληση των ερευνητών ‘τρία κύβοι σε einen πεζοδρόμιο φωτογραφημένα σε μια συννεφιασμένη μέρα’; στην κάτω σειρά, εικόνες που δημιουργήθηκαν από την πρόσκληση ‘τρία κύβοι σε einen πεζοδρόμιο φωτογραφημένα σε μια ηλιόλουστη μέρα’.

Οι ερευνητές σημειώνουν ότι όταν αναπαριστούν συννεφιασμένες συνθήκες, το DALL-E 2 είναι σε θέση να αποδώσει τις πιο διάχυτες σκιές που σχετίζονται με ένα πειστικό και πιθανό τρόπο, vielleicht όχι λιγότερο επειδή αυτό το είδος σκιών είναι πιο πιθανό να είναι πιο συχνό στο συνόλου εικόνων με βάση το οποίο εκπαιδεύτηκε το πλαίσιο.

Ωστόσο, κάποιες από τις ‘ηλιόλουστες’ φωτογραφίες, οι συγγραφείς βρήκαν, ήταν ασυνεπείς με μια σκηνή που φωτίζεται από μια seule πηγή φωτός.

Για την παραπάνω εικόνα, οι γεννήσεις έχουν μετατραπεί σε ασπρόμαυρο για σαφήνεια και δείχνουν κάθε αντικείμενο με το δικό του αφορισμένο ‘ήλιο’.

Αν και ο μέσος θεατής μπορεί να μην καταλάβει τέτοιες ανωμαλίες, κάποιες από τις γεννημένες εικόνες είχαν πιο φανερές παραδείγματα ‘αποτυχίας σκιών’:

Ενώ κάποιες από τις σκιές είναι απλά στη λάθος θέση, πολλές από αυτές, ενδιαφέροντα, αντιστοιχούν στο είδος της οπτικής διακύμανσης που παράγεται σε CGI μοντελισμό όταν ο δειγματοληπτικός ρυθμός για einen εικονικό φωτισμό είναι πολύ χαμηλός.

Ανακλάσεις στο DALL-E 2

Τα πιο καταδικαστικά αποτελέσματα σε όρους φορολογικής ανάλυσης προέκυψαν όταν οι συγγραφείς έτεσταν την ικανότητα του DALL-E 2 να δημιουργήσει υψηλά ανακλαστικές επιφάνειες, που είναι ένας βαρύς υπολογισμός επίσης σε CGI ray-tracing και άλλες παραδοσιακές αλγόριθμους απόδοσης.

Για αυτήν την πειραματική διαδικασία, οι συγγραφείς παρήγαγαν 25 εικόνες DALL-E 2 με την πρόσκληση ‘μια φωτογραφία ενός παιχνιδιού δεινοσαύρου και της ανακλάσεώς του σε einen καθρέφτη ντουλάπας’.

Σε όλες τις περιπτώσεις, οι συγγραφείς αναφέρουν ότι η εικόνα καθρέφτη του αποδοθέντος παιχνιδιού δεινοσαύρου ήταν σε κάποιο τρόπο αποσυνδεδεμένη από την ‘πραγματική’ όψη και διάθεση του παιχνιδιού δεινοσαύρου.

Φαίνεται να υπάρχει μια λογική στις λάθος – το πρώτο και το τρίτο παράδειγμα στην πρώτη σειρά φαίνεται να δείχνει einen δεινόσαυρο που είναι διπλωμένος πολύ καλά, αλλά όχι ανακλασμένος.

Οι συγγραφείς σχολιάζουν:

‘Αντιθέτως με τις σκιές και τις γεωμετρικές δομές στις προηγούμενες ενότητες, το DALL·E-2 δυσκολεύεται να συνθέσει πιθανές ανακλάσεις, πιθανότατα επειδή τέτοιες ανακλάσεις είναι λιγότερο συχνές στο συνόλου εικόνων εκπαίδευσης.’

Λάθη όπως αυτά μπορεί να διορθωθούν σε μελλοντικά μοντέλα κειμένου-εικόνας που θα είναι σε θέση να αναθεωρήσουν πιο αποτελεσματικά την συνολική σεμαντική λογική της εξόδου τους και θα είναι σε θέση να επιβάλουν αφηρημένους φυσικούς κανόνες σε σκηνές που έχουν, σε κάποιο βαθμό, συναρμολογηθεί από χαρακτηριστικά-λέξεις στο.latent χώρο του συστήματος.

Σε σχέση με την τάση προς μεγαλύτερα συστήματα σύνθεσης, οι συγγραφείς καταλήγουν:

‘[Ίσως] μπορεί να είναι θέμα χρόνου πριν τα συστήματα σύνθεσης εικόνων από κείμενο μάθουν να αποδίδουν εικόνες με πλήρη προοπτική συνεπήτητα. Μέχρι εκείνη την ώρα, ωστόσο, οι γεωμετρικές φορολογικές αναλύσεις μπορεί να αποδειχθούν χρήσιμες στην ανάλυση αυτών των εικόνων.’

* Η μετατροπή μου των εσωτερικών παραπομπών των συγγραφέων σε υπερσύνδεσμους.

Πρώτη δημοσίευση 30ης Ιουνίου 2022.