Η ‘Προκλήση Κατηγοριοποίησης Φυλής’ για Συστήματα Συνθέσης Εικόνων Βασισμένα σε CLIP

Νέα έρευνα από τις ΗΠΑ ανακαλύπτει ότι ένα από τα δημοφιλή μοντέλα υπολογιστικής όρασης πίσω από τη σειρά DALL-E, καθώς και πολλά άλλα μοντέλα γεννήσεων και ταξινόμησης εικόνων, παρουσιάζει μια αποδεδειγμένη τάση προς υπoδoσčení – τον κανόνα κατηγοριοποίησης φυλής (γνωστό επίσης ως κανόνα μιας σταγόνης) που κατηγοριοποιεί ένα άτομο με ακόμη και μια μικρή έκταση ‘μικτής’ (δηλαδή μη-Καυκασιανής) γενετικής καταγωγής完全 στην κατηγορία ‘μειονοτική’ φυλής.

Καθώς η υπoδoσčení έχει χαρακτηρίσει κάποια από τα πιο άσχημα κεφάλαια στην ιστορία της ανθρωπότητας, οι συγγραφείς της νέας εργασίας προτείνουν ότι τέτοιες τάσεις στην έρευνα υπολογιστικής όρασης και εφαρμογής πρέπει να λάβουν μεγαλύτερη προσοχή, όχι τουλάχιστον επειδή το υποστηρικτικό πλαίσιο υπό εξέταση, το οποίο έχει κατεβαστεί σχεδόν ένα εκατομμύριο φορές το μήνα, θα μπορούσε να διαδώσει και να προωθήσει την φυλετική προκατάληψη σε υποκατηγορίες.

Η αρχιτεκτονική που μελετάται στην νέα εργασία είναι Contrastive Language Image Pretraining (CLIP), ένα πολυμορφικό μοντέλο μηχανικής μάθησης που μαθαίνει σημασιολογικές συνδέσεις με την εκπαίδευση σε ζευγάρια εικόνων/λεζάντων από το διαδίκτυο – μια ημι-εποπτική προσέγγιση που μειώνει το σημαντικό κόστος επισήμανσης, αλλά η οποία πιθανότατα να αντικατοπτρίζει την προκατάληψη των ανθρώπων που δημιούργησαν τις λεζάντες.

Από το έγγραφο:

‘Τα αποτελέσματά μας παρέχουν αποδείξεις για υπoδoσčení στο χώρο CLIP, μια προκατάληψη που εφαρμόζεται πιο ισχυρά σε εικόνες γυναικών. Τα αποτελέσματα δείχνουν επίσης ότι το CLIP συνδέει εικόνες με φυλετικές ή εθνοτικές ετικέτες με βάση την απόκλιση από το Λευκό, με το Λευκό ως προεπιλογή.

Το έγγραφο επίσης ανακαλύπτει ότι η συσχέτιση της εικόνας (η τάση να συνδέεται με ‘καλά’ ή ‘κακά’ πράγματα) είναι αξιοσημείωτα υψηλότερη για ‘μειονοτικές’ φυλετικές ετικέτες παρά για τις Καυκασιανές ετικέτες, και προτείνει ότι οι προκαταλήψεις του CLIP αντικατοπτρίζουν τον αμερικανικό κεντρικό συνόλου λογοτεχνίας (αγγλική Βικιπαίδεια) στον οποίο εκπαιδεύτηκε το πλαίσιο.

Σχολιάζοντας τις επιπτώσεις της φαινομενικής υποστήριξης της υπoδoσčení από το CLIP, οι συγγραφείς αναφέρουν*:

‘[Μια από] τις πρώτες χρήσεις του CLIP ήταν να εκπαιδεύσει το μοντέλο γεννήσεων εικόνων DALL-E. Μια μεγαλύτερη, μη δημόσια έκδοση της αρχιτεκτονικής CLIP χρησιμοποιήθηκε στην εκπαίδευση του DALL-E 2. Σύμφωνη με τα ευρήματα της παρούσας έρευνας, η ενότητα Κινδύνων και Περιορισμών που περιγράφεται στην κάρτα μοντέλου DALL-E 2 σημειώνει ότι “παράγει εικόνες που τείνουν να υπερεκπροσωπούν άτομα που είναι Λευκά”.

‘Τέτοιες χρήσεις δείχνουν τη δυνατότητα για τις προκαταλήψεις που μάθει το CLIP να εξαπλωθούν πέρα από τον χώρο του μοντέλου, καθώς τα χαρακτηριστικά του χρησιμοποιούνται για να οδηγήσουν τη διαμόρφωση της σημασιολογίας σε άλλα μοντέλα.

‘Επιπλέον, λόγω των προόδων που επιτεύχθηκαν από το CLIP και παρόμοια μοντέλα για την σύνδεση εικόνων και κειμένου σε ρύθμιση zero-shot, οι πολυμορφικές αρχιτεκτονικές έχουν περιγραφεί ως η βάση για το μέλλον των ευρέως χρησιμοποιούμενων εφαρμογών διαδικτύου, συμπεριλαμβανομένων των μηχανών αναζήτησης.

‘Τα αποτελέσματά μας δείχνουν ότι επιπλέον προσοχή σε αυτά που μαθαίνει το CLIP από την εποπτική επίβλεψη είναι δικαιολογημένη.’

Το έγγραφο έχει τον τίτλο Αποδείξεις για Υπoδoσčení σε Οπτική Σημασιολογική AI και προέρχεται από τρεις ερευνητές στο Πανεπιστήμιο του Ουάσινγκτον και το Πανεπιστήμιο Χάρβαρντ.

CLIP και Κακές Επιρροές

Αν και οι ερευνητές πιστοποιούν ότι η δουλειά τους είναι η πρώτη ανάλυση της υπoδoσčení στο CLIP, προηγούμενες εργασίες έχουν δείξει ότι η ροή εργασίας του CLIP, που εξαρτάται από την εκπαίδευση σε lớnες, μη εποπτευόμενες δεδομένα από το διαδίκτυο, υποεκπροσωπεί τις γυναίκες, μπορεί να παράγει απρεπή περιεχόμενο, και μπορεί να δείξει σημασιολογική προκατάληψη (όπως αντι-μουσουλμανική στάση) στον κωδικοποιητή εικόνων.

Το πρωτότυπο έγγραφο που παρουσίασε το CLIP παραδέχτηκε ότι σε ρύθμιση zero-shot, το CLIP συνδέει μόνο το 58,3% των ανθρώπων με την ετικέτα φυλής Λευκός στη βάση δεδομένων FairFace. Παρατηρώντας ότι η FairFace είχε επισημανθεί με πιθανή προκατάληψη από τους εργαζόμενους του Amazon Mechanical Turk, οι συγγραφείς της νέας εργασίας αναφέρουν ότι ‘μια σημαντική μειοψηφία των ανθρώπων που θεωρούνται από άλλους ανθρώπους ως Λευκοί συνδέονται με μια φυλή άλλη από το Λευκό από το CLIP.’

Συνεχίζουν*:

‘Το αντίστροφο δεν φαίνεται να ισχύει, καθώς άτομα που θεωρούνται ότι ανήκουν σε άλλες φυλετικές ή εθνοτικές ετικέτες στη βάση δεδομένων FairFace συνδέονται με αυτές τις ετικέτες από το CLIP. Αυτό το αποτέλεσμα προτείνει τη δυνατότητα ότι το CLIP έχει μάθει τον κανόνα της “υπoδoσčení”, όπως περιγράφεται από τους κοινωνικούς επιστήμονες: άτομα με πολυφυλετική καταγωγή είναι πιο πιθανό να θεωρηθούν και να κατηγοριοποιηθούν ως ανήκοντα στην μειονοτική ή λιγότερο προνομιούχο γονεϊκή ομάδα παρά στην εξίσου νόμιμη πλειονοτική ή προνομιούχο γονεϊκή ομάδα.

‘Με άλλα λόγια, το παιδί ενός Μαύρου και ενός Λευκού γονέα θεωρείται πιο Μαύρο παρά Λευκό και το παιδί ενός Ασιάτη και ενός Λευκού γονέα θεωρείται πιο Ασιάτης παρά Λευκός.’

Το έγγραφο έχει τρεις κεντρικούς結 luận:

ότι το CLIP παρουσιάζει υπoδoσčení, ‘οδηγώντας’ άτομα με πολυφυλετικές ταυτότητες στην κατηγορία μειονοτικής φυλής που τους αντιστοιχεί

ότι ‘το Λευκό είναι η προεπιλογή φυλής στο CLIP’

και ότι η προκατάληψη της αξίας (μία σύνδεση με ‘κακά’ έννοιες) συσχετίζεται με το βαθμό που το άτομο κατηγοριοποιείται σε μειονοτική φυλή.

Μέθοδος και Δεδομένα

Για να καθορίσουν τον τρόπο με τον οποίο το CLIP αντιμετωπίζει τα πολυφυλετικά υποκείμενα, οι ερευνητές χρησιμοποίησαν μια προηγουμένως υιοθετημένη τεχνική μορφοποίησης για να αλλάξουν την φυλή των εικόνων των ατόμων. Οι φωτογραφίες λήφθηκαν από τη Βάση Δεδομένων Προσώπων του Σικάγου, ένα σύνολο που αναπτύχθηκε για ψυχολογικές μελέτες που αφορούν τη φυλή.

Παραδείγματα από τις ρατσικά-μορφοποιημένες εικόνες CFD που εμφανίζονται στο συμπληρωματικό υλικό της νέας εργασίας. Πηγή: https://arxiv.org/pdf/2205.10764.pdf

Οι ερευνητές επέλεξαν μόνο εικόνες με ‘ουδέτερη έκφραση’ από τη βάση δεδομένων, για να παραμείνουν συνεπείς με την προηγούμενη εργασία. Χρησιμοποίησαν το Δίκτυο Ανταγωνιστικών Γενετικών Αλγορίθμων StyleGAN2-ADA (εκπαιδευμένο στο FFHQ) για να επιτύχουν την αλλαγή της φυλής των εικόνων προσώπων, και δημιούργησαν ενδιάμεσες εικόνες που δείχνουν την εξέλιξη από μια φυλή σε άλλη (βλέπε παραπάνω εικόνες).

Συμφωνώντας με την προηγούμενη εργασία, οι ερευνητές μορφοποίησαν πρόσωπα ανθρώπων που αυτοπροσδιορίζονταν ως Μαύροι, Ασιάτες και Λατίνοι στη βάση δεδομένων σε πρόσωπα που αυτοπροσδιορίζονταν ως Λευκοί. Δημιουργήθηκαν 19 ενδιάμεσες φάσεις στη διαδικασία. Συνολικά, 21.000 εικόνες 1024x1024px δημιουργήθηκαν για το έργο με αυτή τη μέθοδο.

Οι ερευνητές έλαβαν μια προβλεπόμενη εικόνα-εμφάνιση για το CLIP για κάθε μια από τις 21 εικόνες σε κάθε σετ μορφοποίησης. Μετά από αυτό, ζήτησαν μια ετικέτα για κάθε εικόνα από το CLIP: ‘πολυφυλετική’, ‘διφυλετική’, ‘μικτή φυλή’ και ‘άτομο’ (η τελική ετικέτα που παραλείπει τη φυλή).

Η έκδοση του CLIP που χρησιμοποιήθηκε ήταν η εκτέλεση CLIP-ViT-Base-Patch32. Οι συγγραφείς σημειώνουν ότι αυτό το μοντέλο κατεβασμένο πάνω από ένα εκατομμύριο φορές το μήνα πριν από την γραπτή τους έρευνα και αντιπροσωπεύει το 98% των κατεβάσεων οποιουδήποτε μοντέλου CLIP από τη Βιβλιοθήκη Μεταμορφώσεων.

Δοκιμές

Για να δοκιμάσουν την πιθανή προκατάληψη του CLIP προς την υπoδoσčení, οι ερευνητές σημείωσαν την ετικέτα φυλής που ανατέθηκε από το CLIP σε κάθε εικόνα στη γραδία των μορφοποιημένων εικόνων για κάθε άτομο.

Σύμφωνα με τα ευρήματα, το CLIP τείνει να ομαδοποιεί άτομα στις κατηγορίες ‘μειονοτικές’ γύρω στη σημεία μετάβασης 50%.

Σε αναλογία μίξης 50%, όπου το υποκείμενο είναι ισότιμο με την προέλευση/στόχο φυλής, το CLIP συνδέει υψηλότερο αριθμό 1000 μορφοποιημένων εικόνων γυναικών με ετικέτες Ασιάτισσας (89,1%), Λατίνας (75,8%) και Μαύρης (69,7%) παρά με μια ισοδύναμη ετικέτα Λευκής.

Τα αποτελέσματα δείχνουν ότι τα θηλυκά υποκείμενα είναι πιο ευαίσθητα στην υπoδoσčení του CLIP παρά τα αρσενικά, αν και οι συγγραφείς υποθέτουν ότι αυτό μπορεί να οφείλεται στο ότι οι ετικέτες που προέρχονται από το διαδίκτυο και δεν έχουν επιβλεπόμενη ετικέτα που χαρακτηρίζουν τις εικόνες γυναικών τείνουν να τονίζουν την εμφάνιση του υποκειμένου περισσότερο από ότι στους άνδρες, και ότι αυτό μπορεί να έχει μια στρεβλωτική επίδραση.

Η υπoδoσčení σε αναλογία φυλής 50% δεν παρατηρήθηκε για τη σειρά μορφοποίησης Ασιάτη-Λευκού αρσενικού ή Λατίνο-Λευκού αρσενικού, ενώ το CLIP ανέταξε μια υψηλότερη ομοιότητα cosine στη ετικέτα Μαύρου σε 67,5% των περιπτώσεων σε αναλογία μίξης 55%.

Η μέση ομοιότητα cosine των ετικετών Πολυφυλετική, Διφυλετική και Μικτή Φυλή. Τα αποτελέσματα δείχνουν ότι το CLIP λειτουργεί μια είδους ‘κατακλυσμός’ κατηγοριοποίησης σε ποσοστά φυλετικής μίξης, λιγότερο συχνά αναθέτοντας μια τέτοια φυλετική μίξη στο Λευκό (‘άτομο’, στη λογική των πειραμάτων) παρά στην εθνοτική ομάδα που έχει αντιληφθεί στην εικόνα.

Το ιδανικό στόχος, σύμφωνα με το έγγραφο, είναι ότι το CLIP θα κατηγοριοποιήσει τις ενδιάμεσες φυλετικές μίξεις ακριβώς ως ‘μικτή φυλή’, αντί να ορίζει ένα ‘σημείο καμπής’ στο οποίο το υποκείμενο συχνά κατηγοριοποιείται完全 στην ετικέτα μη-Λευκής.

Μέχρι κάποιο βαθμό, το CLIP αναθέτει τις ενδιάμεσες μορφές με την ετικέτα Μικτή Φυλή (βλέπε παραπάνω γράφο), αλλά τελικά δείχνει μια προτίμηση για την κατηγοριοποίηση των υποκειμένων ως της μειονοτικής φυλής που συνεισφέρει.

Σχετικά με την αξία, οι συγγραφείς σημειώνουν τη σκευωμένη κρίση του CLIP:

‘[Η μέση] συσχέτιση αξίας (σύνδεση με ‘κακά’ ή ‘απρεπή’ ενάντια σε ‘καλά’ ή ‘ευχάριστα’) ποικίλλει με το ποσοστό μίξης στη σειρά μορφοποίησης Μαύρου-Λευκού αρσενικού, så ότι το CLIP κωδικοποιεί συνδέσεις με απρεπή έννοιες για τα πρόσωπα που είναι πιο παρόμοια με τους εθελοντές της CFD που αυτοπροσδιορίζονται ως Μαύροι.’

Τα αποτελέσματα της αξίας – τα πειράματα δείχνουν ότι οι μειονοτικές ομάδες είναι πιο συνδεμένες με αρνητικές έννοιες στην αρχιτεκτονική εικόνας/ζευγαρωμάτων παρά με τις ετικέτες Λευκής. Οι συγγραφείς ισχυρίζονται ότι η σύνδεση απρεπής της εικόνας αυξάνει με την πιθανότητα που το μοντέλο συνδέει την εικόνα με την ετικέτα Μαύρου.

Το έγγραφο αναφέρει:

‘Τα αποδεικτικά στοιχεία δείχνουν ότι η αξία της εικόνας συσχετίζεται με τη φυλετική [σύνδεση]. Πιο συγκεκριμένα, τα αποτελέσματά μας δείχνουν ότι όσο πιο βέβαιο είναι το μοντέλο ότι μια εικόνα αντανακλά ένα άτομο Μαύρο, τόσο πιο συνδεδεμένη είναι η εικόνα με τον χώρο εμφάνισης απρεπής.’

Ωστόσο, τα αποτελέσματα δείχνουν επίσης μια αρνητική συσχέτιση στην περίπτωση των Ασιατικών προσώπων. Οι συγγραφείς προτείνουν ότι αυτό μπορεί να οφείλεται στην διέλευση (μέσω των δεδομένων που προέρχονται από το διαδίκτυο) των θετικών αμερικανικών πολιτιστικών αντιλήψεων για τους Ασιάτες ανθρώπους και τις κοινότητες. Οι συγγραφείς αναφέρουν*:

‘Η παρατήρηση μιας συσχετίσεως μεταξύ ευχαρίστησης και πιθανότητας της ετικέτας Ασιάτη μπορεί να ανταποκρίνεται στο στερεότυπο του “μοντέλου μειονοτήτων”, όπου οι άνθρωποι Ασιατικής καταγωγής επαινούνται για την ανύψωσή τους και την ενσωμάτωσή τους στον αμερικανικό πολιτισμό, και ακόμη συνδέονται με “καλή συμπεριφορά”.’

Σχετικά με τον τελικό στόχο, να εξεταστεί εάν το Λευκό είναι η ‘προεπιλογή ταυτότητας’ από την πλευρά του CLIP, τα αποτελέσματα δείχνουν μια ενσωματωμένη πολικότητα, υποδεικνύοντας ότι υπό αυτή την αρχιτεκτονική, είναι khá δύσκολο να είναι ‘λίγο Λευκός’.

Η ομοιότητα cosine σε 21.000 εικόνες που δημιουργήθηκαν για τα πειράματα.

Οι συγγραφείς σχολιάζουν:

‘Τα αποδεικτικά στοιχεία δείχνουν ότι το CLIP κωδικοποιεί το Λευκό ως προεπιλογή φυλής. Αυτό υποστηρίζεται από τις ισχυρότερες συσχετίσεις μεταξύ ομοιότητας cosine Λευκής και ομοιότητας cosine ατόμου παρά για οποιαδήποτε άλλη φυλετική ή εθνοτική ομάδα.’

*Η μετατροπή μου των εσωτερικών παραπομπών των συγγραφέων σε υπερσύνδεσμους.

Πρώτη δημοσίευση 24ης Μαΐου 2022.