Πώς να Σταματήσετε τα AI να Απεικονίζουν iPhones σε Παλαιότερες Εποχές

Πώς οι γεννήτριες εικόνων AI απεικονίζουν το παρελθόν; Νέα έρευνα δείχνει ότι ρίχνουν τα smartphones στον 18ο αιώνα, εισάγουν laptops σε σκηνές της δεκαετίας του 1930 και τοποθετούν ηλεκτρικές σκούπες σε σπίτια του 19ου αιώνα, θέτοντας ερωτήματα σχετικά με το πώς αυτά τα μοντέλα φαντάζονται την ιστορία – και αν είναι ικανά να επιτύχουν ιστορική ακρίβεια.

Στις αρχές του 2024, οι ικανότητες γεννήτριας εικόνων του μοντέλου Gemini της Google υπόκεινταν σε κριτική για την επιβολή δημογραφικής ισότητας σε απρόσφορους контекστούς, όπως η γεννήτρια στρατιωτών του Β’ Παγκοσμίου Πολέμου με απίθανη προέλευση:

Δημογραφικά απίθανες στρατιωτικές δυνάμεις, όπως τις φαντάζεται το μοντέλο Gemini της Google το 2024. Πηγή: Gemini AI/Google μέσω The Guardian

Αυτό ήταν ένα παράδειγμα όπου οι προσπάθειες να αντιμετωπιστούν παρωπίδες στα μοντέλα AI απέτυχαν να λάβουν υπόψη einen ιστορικό контекστο. Σε αυτή την περίπτωση, το ζήτημα διευθετήθηκε σύντομα μετά. Ωστόσο, τα μοντέλα διασποράς παραμένουν ευάλωτα να παράγουν εκδοχές της ιστορίας που συγχέουν σύγχρονες και ιστορικές πτυχές και τεχνουργήματα.

Αυτό οφείλεται εν μέρει στο entanglement, όπου οι ιδιότητες που εμφανίζονται συχνά μαζί στα δεδομένα εκπαίδευσης γίνονται συνδεδεμένες στην έξοδο του μοντέλου. Για παράδειγμα, αν τα σύγχρονα αντικείμενα όπως τα smartphones συχνά συνδυάζονται με την ενέργεια του ομιλίας ή της ακρόασης στο σύνολο δεδομένων, το μοντέλο μπορεί να μάθει να συνδέει αυτές τις δραστηριότητες με σύγχρονα συσκευές, ακόμη και όταν η πρόκληση ορίζει einen ιστορικό контекστο. Μόλις αυτές οι συνδέσεις ενσωματωθούν στις εσωτερικές αναπαραστάσεις του μοντέλου, γίνεται δύσκολο να διαχωριστεί η δραστηριότητα από τον σύγχρονο контекστο της, οδηγώντας σε ιστορικά ανακριβείς αποτελέσματα.

Μια νέα έρευνα από την Ελβετία, που εξετάζει το φαινόμενο των entangled ιστορικών γενεών σε μοντέλα διασποράς, παρατηρεί ότι τα μοντέλα AI που είναι κατάλληλα για τη δημιουργία φωτορεαλιστικών ανθρώπων προτιμούν να απεικονίζουν ιστορικές μορφές με ιστορικούς τρόπους:

Από την νέα έρευνα, ποικίλες αναπαραστάσεις μέσω LDM της πρόκλησης ‘Μια φωτορεαλιστική εικόνα ενός ανθρώπου που γελά με einen φίλο στην [ιστορική περίοδο]’, με κάθε περίοδο που υποδεικνύεται σε κάθε έξοδο. Όπως βλέπουμε, το μέσο της εποχής έχει συνδεθεί με το περιεχόμενο. Πηγή: https://arxiv.org/pdf/2505.17064

Για την πρόκληση ‘Μια φωτορεαλιστική εικόνα ενός ανθρώπου που γελά με einen φίλο στην [ιστορική περίοδο]’, ένα από τα τρία δοκιμασμένα μοντέλα συχνά αγνοεί την αρνητική πρόκληση ‘μονόχρωμη’ και αντίθετα χρησιμοποιεί χρωματικές επεξεργασίες που αντανακλούν το οπτικό μέσο της καθορισμένης εποχής, για παράδειγμα μιμούμενος τις αμβλύες τόνους της κινηματογραφικής ταινίας από τις δεκαετίες του 1950 και 1970.

Στην δοκιμή των τριών μοντέλων για την ικανότητά τους να δημιουργήσουν αναχρονισμούς (πράγματα που δεν ανήκουν στην στόχευση περίοδο, ή ‘εκτός χρόνου’ – τα οποία μπορεί να είναι από το μέλλον της στόχευσης περίοδο καθώς και το παρελθόν της), βρήκαν μια γενική τάση να συγχέουν αιωνίους δραστηριότητες (όπως ‘τραγούδι’ ή ‘μαγείρεμα’) με σύγχρονους контекστούς και εξοπλισμό:

Ποικίλες δραστηριότητες που είναι απόλυτα έγκυρες για προηγούμενες αιώνες απεικονίζονται με τρέχοντα ή πιο πρόσφατα τεχνολογία και εξοπλισμό, ενάντια στο πνεύμα της ζητούμενης εικόνας.

Είναι αξιοσημείωτο ότι τα smartphones είναι ιδιαίτερα δύσκολο να διαχωριστούν από το ιδίωμα της φωτογραφίας, και από πολλές άλλες ιστορικές контекστούς,既然 η διάδοση και απεικόνιση τους είναι καλά αναπαρασταμένα σε επιρροή datasets όπως Common Crawl:

Στο Flux γεννήτρια κειμένου-εικόνας, οι επικοινωνίες και τα smartphones είναι στενά-συνδεδεμένα έννοιες – ακόμη και όταν ο ιστορικός контεκστ δεν το επιτρέπει.

Για να καθορίσει το βαθμό του προβλήματος, και να δώσει μελλοντικές ερευνητικές προσπάθειες ένα δρόμο προς τα εμπρός με αυτό το συγκεκριμένο πρόβλημα, οι συγγραφείς της νέας έρευνας ανέπτυξαν ένα ειδικό dataset για να δοκιμάσουν τα γεννητικά συστήματα. Σε μια στιγμή, θα δούμε αυτή τη νέα έρευνα, η οποία ονομάζεται Συνθετική Ιστορία: Αξιολόγηση Οπτικών Αναπαραστάσεων του Παρελθόντος σε Μοντέλα Διασποράς, και προέρχεται από δύο ερευνητές στο Πανεπιστήμιο της Ζυρίχης. Το dataset και ο κώδικας είναι δημόσια διαθέσιμοι.

Μια Ευαίσθητη ‘Αλήθεια’

Ορισμένα από τα θέματα της έρευνας αφορούν πολιτιστικά ευαίσθητα ζητήματα, όπως η υποαναπαράσταση φυλών και φύλου στις ιστορικές αναπαραστάσεις. Ενώ η επιβολή της Gemini της δημογραφικής ισότητας σε απρόσφορους контεκστούς, όπως η γεννήτρια στρατιωτών του Β’ Παγκοσμίου Πολέμου με απίθανη προέλευση, είναι μια άσκημη και προσβλητική ιστορική αναθεώρηση, η αποκατάσταση των ‘παραδοσιακών’ φυλετικών αναπαραστάσεων (όπου τα μοντέλα διασποράς έχουν ‘ενημερώσει’ αυτές) θα οδηγούσε συχνά στην ‘ξανα-λευκανίσή’ της ιστορίας.

Πολλές πρόσφατες επιτυχημένες ιστορικές εκπομπές, όπως Bridgerton, θολώνουν την ιστορική δημογραφική ακρίβεια με τρόπους που πιθανό να επηρεάσουν μελλοντικά datasets εκπαίδευσης, περιπλέκοντας τις προσπάθειες να ευθυγραμμισθούν οι εικόνες που παράγονται από LLM με παραδοσιακές προδιαγραφές. Ωστόσο, αυτό είναι ένα σύνθετο ζήτημα, δεδομένου του ιστορικής τάσης της (δυτικής) ιστορίας να ευνοεί την πλούσια και λευκή φυλή, και να αφήνει πολλές ‘μικρότερες’ ιστορίες ανείπωτες.

Λαμβάνοντας υπόψη αυτούς τους δυσκόλους και συνεχώς μεταβαλλόμενους πολιτιστικούς παραμέτρους, ας δούμε την νέα προσέγγιση των ερευνητών.

Μέθοδος και Δοκιμές

Για να δοκιμάσουν πώς τα γεννητικά μοντέλα ερμηνεύουν τον ιστορικό контεκστο, οι συγγραφείς δημιούργησαν HistVis, ένα dataset 30.000 εικόνων που παράγονται από εκατό πρόκλησεις που απεικονίζουν κοινές ανθρώπινες δραστηριότητες, κάθε μια από τις οποίες αποδίδεται σε δέκα διαφορετικές χρονικές περιόδους:

Ένα δείγμα από το dataset HistVis, το οποίο οι συγγραφείς έχουν κάνει διαθέσιμο στο Hugging Face. Πηγή: https://huggingface.co/datasets/latentcanon/HistVis

Οι δραστηριότητες, όπως μαγείρεμα, προσευχή ή ακούγοντας μουσική, επιλέχθηκαν για την καθολικότητά τους, και φράζονταν σε μια ουδέτερη μορφή για να αποφευχθεί η στήριξη του μοντέλου σε οποιοδήποτε συγκεκριμένο αισθητικό. Οι χρονικές περιόδους για το dataset κυμαίνονται από τον 17ο αιώνα μέχρι σήμερα, με πρόσθετη εστίαση σε πέντε 개별 δεκαετίες από τον 20ό αιώνα.

30.000 εικόνες παράχθηκαν χρησιμοποιώντας τρία ευρέως χρησιμοποιούμενα ανοιχτά μοντέλα διασποράς: Stable Diffusion XL; Stable Diffusion 3; και FLUX.1. Με την απομόνωση της χρονικής περιόδου ως την einzige μεταβλητή, οι ερευνητές δημιούργησαν μια δομημένη βάση για την αξιολόγηση του πώς οι ιστορικές ενδείξεις κωδικοποιούνται οπτικά ή αγνοούνται από αυτά τα συστήματα.

Οπτική Στυλική Κυριαρχία

Ο συγγραφέας αρχικά εξέτασε αν τα γεννητικά μοντέλα προκαθορίζουν συγκεκριμένα οπτικά στυλ όταν απεικονίζουν ιστορικές περιόδους. Φάνηκε ότι ακόμη και όταν οι πρόκλησεις δεν περιείχαν καμία αναφορά σε μέσο ή αισθητικό, τα μοντέλα συχνά συνδύαζαν συγκεκριμένες αιώνες με χαρακτηριστικά στυλ:

Προβλεπόμενα οπτικά στυλ για εικόνες που παράγονται από την πρόκληση ‘Ένας άνθρωπος χορεύει με έναν άλλον στην [ιστορική περίοδο]’ (αριστερά) και από την τροποποιημένη πρόκληση ‘Μια φωτορεαλιστική εικόνα ενός ανθρώπου που χορεύει με έναν άλλον στην [ιστορική περίοδο]’ με ‘μονόχρωμη εικόνα’ ως αρνητική πρόκληση (δεξιά).

Για να μετρήσουν αυτή τη τάση, οι συγγραφείς εκπαίδευσαν ένα convolutional neural network (CNN) για να ταξινομήσει κάθε εικόνα στο dataset HistVis σε μια από τις πέντε κατηγορίες: σχεδίαση; χαρακτική; εικονογράφηση; ζωγραφική; ή φωτογραφία. Αυτές οι κατηγορίες προορίζονταν να αντανακλούν κοινά μοτίβα που εμφανίζονται σε διαφορετικές χρονικές περιόδους και που υποστηρίζουν δομημένη σύγκριση.

Ο ταξινομητής βασίστηκε σε ένα VGG16 μοντέλο που προ-εκπαιδεύτηκε στο ImageNet και fine-tuned με 1.500 παραδείγματα ανά κατηγορία από ένα WikiArt-παράγωγο dataset. Επειδή το WikiArt δεν διακρίνει μονόχρωμη από χρωματική φωτογραφία, χρησιμοποιήθηκε ένα χρωματικό σκορ για να επισημάνει εικόνες με χαμηλή κορεσμό ως μονόχρωμες.

Ο εκπαιδευμένος ταξινομητής εφαρμόστηκε στο πλήρες dataset, με τα αποτελέσματα που δείχνουν ότι όλα τα τρία μοντέλα επιβάλλουν συνεπείς στυλιστικές προκαταλήψεις ανά περίοδο: SDXL συνδέει τους 17ο και 18ο αιώνες με χαρακτικές, ενώ τα SD3 και FLUX.1 προτιμούν ζωγραφική. Στις δεκαετίες του 20ου αιώνα, το SD3 προτιμά τη μονόχρωμη φωτογραφία, ενώ το SDXL συχνά επιστρέφει σε σύγχρονες εικονογραφήσεις.

Αυτές οι προτιμήσεις βρέθηκαν να παραμένουν παρά τις προσαρμογές της πρόκλησης, υποδεικνύοντας ότι τα μοντέλα κωδικοποιούν εδραιωμένες συνδέσεις μεταξύ στυλ και ιστορικού контεκστου.

Προβλεπόμενα οπτικά στυλ για τις εικόνες που παράγονται σε διαφορετικές ιστορικές περιόδους για κάθε μοντέλο διασποράς, με βάση 1.000 δείγματα ανά περίοδο ανά μοντέλο.

Για να ποσοτικοποιήσουν πόσο ισχυρά ένα μοντέλο συνδέει μια ιστορική περίοδο με ένα συγκεκριμένο οπτικό στυλ, οι συγγραφείς ανέπτυξαν einen μετρητή που ονομάζεται Οπτική Στυλική Κυριαρχία (VSD). Για κάθε μοντέλο και χρονική περίοδο, η VSD ορίζεται ως η αναλογία των εξόδων που προβλέπονται να μοιράζονται το πιο συχνό στυλ:

Παραδείγματα στυλιστικών προκαταλήψεων στα μοντέλα.

Εφαρμογή του μετρητή VSD στο πλήρες dataset HistVis αποκάλυψε διαφορετικά επίπεδα σύγκλισης, βοηθώντας να γίνει πιο σαφής πώς στενά κάθε μοντέλο περιορίζει την οπτική του ερμηνεία του παρελθόντος:

Το πίνακας αποτελεσμάτων παραπάνω δείχνει τους βαθμούς VSD σε ιστορικές περιόδους για κάθε μοντέλο. Στους 17ο και 18ο αιώνες, το SDXL παράγει χαρακτικές με υψηλή συνέπεια, ενώ τα SD3 και FLUX.1 προτιμούν ζωγραφική. Στις δεκαετίες του 20ου και 21ου αιώνα, τα SD3 και FLUX.1 μετατοπίζονται προς τη φωτογραφία, ενώ το SDXL δείχνει μεγαλύτερη ποικιλία, αλλά συχνά προτιμά τις σύγχρονες εικονογραφήσεις.

Όλα τα τρία μοντέλα δείχνουν μια ισχυρή προτίμηση για μονόχρωμη εικόνα στις πρώτες δεκαετίες του 20ου αιώνα, ιδιαίτερα στις δεκαετίες του 1910, 1930 και 1950.

Για να δοκιμάσουν αν αυτές οι τάσεις θα μπορούσαν να μετριαστούν, οι συγγραφείς χρησιμοποίησαν prompt engineering, ζητώντας ρητά φωτορεαλισμό και αποθαρρύνοντας μονόχρωμη έξοδο χρησιμοποιώντας μια αρνητική πρόκληση. Σε ορισμένες περιπτώσεις, οι βαθμοί κυριαρχίας μειώθηκαν, και το κυρίαρχο στυλ μετατοπίστηκε, για παράδειγμα από μονόχρωμη σε ζωγραφική, στους 17ο και 18ο αιώνες.

Ωστόσο, αυτές οι παρεμβάσεις σπάνια παρήγαγαν πραγματικά φωτορεαλιστικές εικόνες, υποδεικνύοντας ότι οι στυλιστικές προκαταλήψεις των μοντέλων είναι βαθιά εδραιωμένες.

Ιστορική Συνέπεια

Η επόμενη γραμμή ανάλυσης εξέτασε την ιστορική συνέπεια: αν οι γεννημένες εικόνες περιείχαν αντικείμενα που δεν ταιριάζουν στην περίοδο. Αντί να χρησιμοποιηθεί ένας σταθερός κατάλογος απαγορευμένων αντικειμένων, οι συγγραφείς ανέπτυξαν μια ευέλικτη μέθοδο που εκμεταλλεύτηκε μεγάλα γλωσσικά μοντέλα (LLMs) και οπτικο-γλωσσικά μοντέλα (VLMs) για να εντοπίσουν στοιχεία που φαίνονταν εκτός τόπου, με βάση τον ιστορικό контεκστο:

Η μέθοδος ανίχνευσης ακολούθησε το ίδιο φορμάτ με το dataset HistVis, όπου κάθε πρόκληση συνδύαζε μια ιστορική περίοδο με μια ανθρώπινη δραστηριότητα. Για κάθε πρόκληση, το GPT-4o παρήγαγε μια λίστα αντικειμένων που θα ήταν εκτός τόπου στην καθορισμένη περίοδο, και για κάθε προτεινόμενο αντικείμενο, το GPT-4o παρήγαγε ένα ναι-όχι ερώτημα για να ελέγξει αν το αντικείμενο εμφανιζόταν στην παραγμένη εικόνα.

Για παράδειγμα, με την πρόκληση ‘Ένας άνθρωπος που ακούει μουσική στον 18ο αιώνα’, το GPT-4o μπορεί να εντοπίσει σύγχρονες ηχητικές συσκευές ως ιστορικά ανακριβείς, και να παραγάγει το ερώτημα Χρησιμοποιεί ο άνθρωπος ακουστικά ή ένα smartphone που δεν υπήρχε στον 18ο αιώνα;

Αυτά τα ερωτήματα μεταφέρθηκαν πίσω στο GPT-4o σε μια ρύθμιση ερωτήσεων-απαντήσεων, όπου το μοντέλο εξέτασε την εικόνα και επέστρεψε ένα ναι ή όχι για κάθε ερώτημα. Αυτή η διαδικασία επέτρεψε την ανίχνευση ιστορικά απίθανων περιεχομένων χωρίς να βασίζεται σε οποιοδήποτε προκαθορισμένο ταξινόμιο σύγχρονων αντικειμένων:

Παραδείγματα γεννημένων εικόνων που σημειώθηκαν από τη διπλή μέθοδο ανίχνευσης, δείχνοντας αναχρονιστικά στοιχεία: ακουστικά στον 18ο αιώνα, ηλεκτρική σκούπα στον 19ο αιώνα, laptop στη δεκαετία του 1930 και smartphone στη δεκαετία του 1950.

Για να μετρήσουν πόσο συχνά αναχρονισμοί εμφανίζονται στις γεννημένες εικόνες, οι συγγραφείς εισήγαγαν μια απλή μέθοδο για την αξιολόγηση της συχνότητας και της βαρύτητας. Πρώτα, λογαρίθμισαν τις ελαφρές διαφορές στη λεκτική περιγραφή του ίδιου αντικειμένου.

Για παράδειγμα, σύγχρονη ηχητική συσκευή και ψηφιακή ηχητική συσκευή αντιμετωπίζονταν ως ισοδύναμες. Για να αποφευχθεί η διπλή μέτρηση, χρησιμοποιήθηκε ένα ασαφές σύστημα αντιστοίχισης για να ομαδοποιήσει αυτές τις επιφανειακές παραλλαγές χωρίς να επηρεάσουν πραγματικά διαφορετικές έννοιες.

Μόλις όλα τα προτεινόμενα αναχρονιστικά ομαδοποιήθηκαν, δύο μετρητές υπολογίστηκαν: η συχνότητα μετρούσε πόσο συχνά ένα δεδομένο αντικείμενο εμφανιζόταν σε εικόνες για μια συγκεκριμένη περίοδο και μοντέλο, και η βαρύτητα μετρούσε πόσο αξιόπιστα το αντικείμενο εμφανιζόταν μια φορά που είχε προταθεί από το μοντέλο.

Εάν ένα σύγχρονο τηλέφωνο σημειώθηκε δέκα φορές και εμφανιζόταν σε δέκα γεννημένες εικόνες, έλαβε einen βαθμό βαρύτητας 1,0. Εάν εμφανιζόταν μόνο σε πέντε, ο βαθμός βαρύτητας ήταν 0,5. Αυτοί οι βαθμοί βοήθησαν να αναγνωριστούν όχι μόνο αν αναχρονισμοί συνέβησαν, αλλά και πόσο στενά ενσωματωμένα ήταν στην έξοδο του μοντέλου για κάθε περίοδο:

Τα κορυφαία 15 αναχρονιστικά στοιχεία για κάθε μοντέλο, που σχεδιάζονται με συχνότητα στο άξονα x και βαρύτητα στο άξονα y. Κύκλοι σημειώνουν στοιχεία που κατηγοριοποιούνται στα κορυφαία 15 με βάση τη συχνότητα, τρίγωνα με βάση τη βαρύτητα, και διαμάντια και από τα δύο.

Παραπάνω βλέπουμε τα 15 πιο συχνά αναχρονιστικά για κάθε μοντέλο, κατηγοριοποιημένα με βάση τη συχνότητα και τη βαρύτητα.

Η ενδυμασία ήταν συχνή αλλά διάσπαρτη, ενώ αντικείμενα όπως ηχητικές συσκευές και σίδερο εμφανίζονταν λιγότερο συχνά, αλλά με υψηλή συνέπεια – μοτίβα που υποδηλώνουν ότι τα μοντέλα συχνά ανταποκρίνονται περισσότερο στην δραστηριότητα στην πρόκληση παρά στην περίοδο.

Το SD3 έδειξε τον υψηλότερο ρυθμό αναχρονισμών, ιδιαίτερα σε εικόνες του 19ου αιώνα και της δεκαετίας του 1930, ακολουθούμενο από το FLUX.1 και το SDXL.

Για να δοκιμάσουν πόσο καλά η μέθοδος ανίχνευσης συμφωνούσε με την ανθρώπινη κρίση, οι συγγραφείς διεξήγαγαν μια μελέτη χρηστών με 1.800 τυχαία δείγματα εικόνων από το SD3 (το μοντέλο με τον υψηλότερο ρυθμό αναχρονισμών), με κάθε εικόνα να αξιολογείται από τρεις εργάτες του πλήθους. Μετά από φιλτράρισμα για αξιόπιστες απαντήσεις, 2.040 κρίσεις από 234 χρήστες συμπεριλήφθηκαν, και η μέθοδος συμφωνούσε με την πλειοψηφική ψήφο στο 72% των περιπτώσεων.

Γραφικό περιβάλλον για τη μελέτη ανθρώπινης αξιολόγησης, δείχνοντας οδηγίες εργασίας, παραδείγματα ακριβών και αναχρονιστικών εικόνων, και ναι-όχι ερωτήματα για την αναγνώριση χρονικών ασυμφωνιών στις γεννημένες εξόδους.

Δημογραφικά

Η τελική ανάλυση εξέτασε πώς τα μοντέλα απεικονίζουν φύλο και φυλή με την πάροδο του χρόνου. Χρησιμοποιώντας το dataset HistVis, οι συγγραφείς σύγκριναν τις εξόδους του μοντέλου με εκτιμήσεις που παράγονται από ένα γλωσσικό μοντέλο. Αυτές οι εκτιμήσεις δεν ήταν ακριβείς, αλλά προσέφεραν μια ungefähre αίσθηση της ιστορικής πιθανοότητας, βοηθώντας να αποκαλυφθεί αν τα μοντέλα προσαρμόζουν τις απεικονίσεις τους στην προτεινόμενη περίοδο.

Για να αξιολογήσουν αυτές τις απεικονίσεις σε μεγάλη κλίμακα, οι συγγραφείς δημιούργησαν μια διαδικασία που σύγκρινε τις εξόδους του μοντέλου με τις προσδοκίες. Πρώτα, χρησιμοποίησαν τον ταξινομητή FairFace, ένα εργαλείο που βασίζεται στο ResNet34 και εκπαιδευμένο σε πάνω από 100.000 εικόνες, για να ανιχνεύσει φύλο και φυλή στις γεννημένες εξόδους, επιτρέποντας τη μέτρηση πόσο συχνά τα πρόσωπα σε κάθε σκηνή ταξινομούνταν ως αρσενικά ή θηλυκά, και για την παρακολούθηση των φυλετικών κατηγοριών σε διαφορετικές περιόδους:

Παραδείγματα γεννημένων εικόνων που δείχνουν δημογραφική υπερεκπροσώπηση σε διαφορετικά μοντέλα, περιόδους και δραστηριότητες.

Αποτέλεσματα με χαμηλή βεβαιότητα φιλτράρονταν για να μειωθεί ο θόρυβος, και οι προβλέψεις औसतίζονταν σε όλες τις εικόνες που συνδέονταν με μια συγκεκριμένη περίοδο και δραστηριότητα. Για να ελέγξουν την αξιοπιστία των αναγνώσεων του FairFace, χρησιμοποιήθηκε ένα δεύτερο σύστημα που βασίζεται στο DeepFace σε ένα δείγμα 5.000 εικόνων. Οι δύο ταξινομητές έδειξαν ισχυρή συμφωνία, υποστηρίζοντας τη συνεπή δημογραφική ανάγνωση που χρησιμοποιήθηκε στη μελέτη.

Για να συγκρίνουν τις εξόδους του μοντέλου με την ιστορική πιθανοότητα, οι συγγραφείς ζήτησαν από το GPT-4o να εκτιμήσει την αναμενόμενη κατανομή φύλου και φυλής για κάθε δραστηριότητα και περίοδο. Αυτές οι εκτιμήσεις χρησίμευαν ως ungefähre βάσεις, παρά ως αλήθεια. Δύο μετρητές χρησιμοποιήθηκαν: υποεκπροσώπηση και υπερεκπροσώπηση, μετρούσαν πόσο πολύ οι εξόδους του μοντέλου απομακρύνθηκαν από τις εκτιμήσεις του LLM.

Τα αποτελέσματα έδειξαν σαφείς τάσεις: το FLUX.1 συχνά υπερεκπροσωπούσε άνδρες, ακόμη και σε σενάρια όπως μαγείρεμα, όπου οι γυναίκες αναμενόταν, το SD3 και το SDXL έδειξαν παρόμοιες τάσεις σε κατηγορίες όπως εργασία, εκπαίδευση και θρησκεία, λευκά πρόσωπα εμφανίζονταν περισσότερο από το αναμενόμενο συνολικά, αν και αυτή η προκατάληψη μειώθηκε σε πιο πρόσφατες περιόδους, και ορισμένες κατηγορίες έδειξαν απροσδόκητες αύξησεις σε μη λευκές αναπαραστάσεις, υποδεικνύοντας ότι η συμπεριφορά του μοντέλου μπορεί να αντανακλά συσχετίσεις του dataset παρά ιστορικό контεκστο:

Γενデル και φυλετική υπερεκπροσώπηση και υποεκπροσώπηση στις εξόδους του FLUX.1 σε αιώνες και δραστηριότητες, που δείχνουν απόλυτες διαφορές από τις εκτιμήσεις δημογραφίας του GPT-4o.

Οι συγγραφείς καταλήγουν:

‘Η ανάλυση μας αποκαλύπτει ότι τα μοντέλα TTI βασίζονται σε περιορισμένες στυλιστικές κωδικοποιήσεις παρά σε νюανσικές κατανόηση ιστορικών περιόδων. Κάθε εποχή συνδέεται στενά με ένα συγκεκριμένο οπτικό στυλ, οδηγώντας σε μονοδιάστατες απεικονίσεις της ιστορίας.

‘Σημαντικά, φωτορεαλιστικές απεικονίσεις ανθρώπων εμφανίζονται μόνο από τον 20ό αιώνα και μετά, με σπάνιες εξαιρέσεις στο FLUX.1 και το SD3, υποδεικνύοντας ότι τα μοντέλα ενισχύουν τις μάθειες συνδέσεις παρά να προσαρμόζονται ευέλικτα σε ιστορικούς контεκστούς, διατηρώντας την έννοια ότι ο ρεαλισμός είναι một σύγχρονο χαρακτηριστικό.

‘Επιπλέον, συχνές αναχρονισμοί δείχνουν ότι οι ιστορικές περιόδους δεν είναι καθαρά分离μένες στους.latent χώρους αυτών των μοντέλων,既然 σύγχρονα αντικείμενα συχνά εμφανίζονται σε προ-σύγχρονους контεκστούς, υπονομεύοντας την αξιοπιστία των συστημάτων TTI σε εκπαιδευτικούς και πολιτιστικούς контεκστούς.’

Συμπέρασμα

Κατά την εκπαίδευση ενός μοντέλου διασποράς, νέες έννοιες δεν εγκαθίστανται καθαρά σε προκαθορισμένες θέσεις στον.latent χώρο. Αντίθετα, σχηματίζουνクラστερ που διαμορφώνονται από το πόσο συχνά εμφανίζονται και από την εγγύτητά τους σε συναφείς ιδέες. Το αποτέλεσμα είναι μια χαλαρά οργανωμένη δομή όπου οι έννοιες υπάρχουν σε σχέση με τη συχνότητά τους και τον τυπικό контεκστο, παρά με οποιαδήποτε καθαρή ή εμπειρική διάκριση.

Αυτό καθιστά δύσκολο να απομονωθεί τι συνιστά ‘ιστορικό’ σε ένα μεγάλο, γενικό-σκοπού dataset. Όπως δείχνουν τα ευρήματα στην νέα έρευνα, πολλές χρονικές περιόδους αντιπροσωπεύονται περισσότερο από το εμφάνιση του μέσου που χρησιμοποιείται για να τις απεικονίσει παρά από οποιοδήποτε βαθύτερο ιστορικό λεπτομέρεια.

Αυτό είναι ένας λόγος για τον οποίο παραμένει δύσκολο να παραχθεί μια φωτορεαλιστική εικόνα ενός χαρακτήρα από (για παράδειγμα) τον 19ο αιώνα, σε πολλές περιπτώσεις, το μοντέλο θα βασιστεί σε οπτικές προκαταλήψεις που προέρχονται από κινηματογράφο και τηλεόραση. Όταν αυτές οι προκαταλήψεις αποτυγχάνουν να ταιριάζουν με την αίτηση, υπάρχει λίγο άλλο στα δεδομένα για να компενσάρει. Η γέφυρα αυτού του χάσματος θα εξαρτηθεί πιθανότατα από μελλοντικές βελτιώσεις στην αποσύνδεση των перекrýων εννοιών.

Πρώτη δημοσίευση Δευτέρα, 26 Μαΐου 2025