Η έκθεση του GEPI «Πώς αποτυγχάνει η ΤΝ απέναντι στις γυναίκες» εξετάζει πώς οι αλγόριθμοι εντείνουν τη μεροληψία λόγω φύλου

Μια βαθμολογία υποψηφίου για πρόσληψη, μια πιστοληπτική αξιολόγηση ή μια κλινική σύσταση μπορεί να φαίνεται αμερόληπτη, ενώ στην πραγματικότητα διαιωνίζει τις ανισότητες που ενυπάρχουν στα δεδομένα στα οποία βασίζεται. Αυτή είναι η κεντρική προειδοποίηση της νέας έκθεσης του Gender Equity Policy Institute, Πώς αποτυγχάνει η ΤΝ απέναντι στις γυναίκες: όταν εντείνεται η μεροληψία, η οποία συγκεντρώνει έρευνες σχετικά με το πώς τα αυτοματοποιημένα συστήματα μπορούν να αναπαράγουν —και μερικές φορές να εντείνουν— τις διακρίσεις λόγω φύλου.

Η έκθεση, την οποία συνέταξε η επιστήμονας μηχανικής μάθησης και ανώτερη συνεργάτιδα του GEPI Myriam Shiran, PhD, εξετάζει ακαδημαϊκή και γκρίζα βιβλιογραφία σχετικά με τις οικονομικές ευκαιρίες, την υγειονομική περίθαλψη, την ποινική δικαιοσύνη, το περιεχόμενο που παράγεται από συστήματα ΤΝ, τον σχεδιασμό καταναλωτικών εφαρμογών ΤΝ και τη σεξουαλική κακοποίηση με χρήση εικόνων που διευκολύνεται από την ΤΝ. Πρόκειται για σύνθεση των υφιστάμενων στοιχείων και όχι για νέο πείραμα που αξιολογεί κάθε σύστημα ΤΝ με βάση ένα ενιαίο μέτρο αναφοράς.

Το σημαντικότερο επιχείρημά της αφορά όσα συμβαίνουν όταν ένα μεροληπτικό αποτέλεσμα βγαίνει από ένα μοντέλο. Οι συστάσεις επηρεάζουν τις αποφάσεις, το περιεχόμενο που παράγεται διαμορφώνει προσδοκίες και ορισμένα αποτελέσματα γίνονται υλικό για μελλοντική εκπαίδευση. Έτσι, ένα άδικο μοτίβο μπορεί να γίνεται δυσκολότερο να εντοπιστεί καθώς περνά διαδοχικά από διαφορετικά συστήματα.

Τα δεδομένα εισόδου που αγνοούν το φύλο δεν εγγυώνται δίκαια αποτελέσματα

Η αφαίρεση ενός πεδίου φύλου είναι μια αυτονόητη αντίδραση στις διακρίσεις. Η επισκόπηση του GEPI εξηγεί γιατί αυτό από μόνο του δεν αρκεί: ονόματα, εκπαίδευση, επαγγελματικό ιστορικό και άλλες λεπτομέρειες μπορεί και πάλι να μεταφέρουν ενδείξεις σχετικές με το φύλο. Τα ιστορικά αποτελέσματα μπορεί επίσης να ενσωματώνουν άνιση μεταχείριση, προτού καν τα συναντήσει ένα μοντέλο.

Ένας έλεγχος προσλήψεων που παρατίθεται στην έκθεση, από τους Wilson και Caliskan το 2024, περιλάμβανε περισσότερες από τρία εκατομμύρια προσομοιωμένες συγκρίσεις βιογραφικών σε εννέα επαγγέλματα. Τα μοντέλα διαλογής υποψηφίων που εξετάστηκαν έδειξαν σημαντική προτίμηση σε ονόματα που συνδέονται με άνδρες στο 51,9% των συγκρίσεων και σε ονόματα που συνδέονται με γυναίκες στο 11,1%. Στο υπόλοιπο 37% δεν καταγράφηκε σημαντική προτίμηση. Πρόκειται για αποτελέσματα ελεγχόμενων δοκιμών μοντέλων και όχι για ποσοστά πραγματικών υποψηφίων στους οποίους δεν προσφέρθηκε εργασία.

Τα ευρήματα διαφέρουν επίσης ανάλογα με τον σχεδιασμό της δοκιμής. Η έκθεση περιγράφει έναν ξεχωριστό έλεγχο του 2025, στον οποίο αρκετά γλωσσικά μοντέλα δεν έδειξαν διαφορές ως προς το φύλο όταν οι ερευνητές άλλαξαν μόνο τα ονόματα, ενώ οι αλλαγές στα στοιχεία εκπαίδευσης επηρέασαν τις βαθμολογίες. Μια περιορισμένη δοκιμή μπορεί να παραβλέψει πληροφορίες που έχουν σημασία σε άλλα σημεία της ίδιας διαδικασίας.

Στον δανεισμό, η επισκόπηση παραπέμπει σε έρευνα για περίπου 80.000 ακάλυπτα προσωπικά δάνεια από μεγάλη αμερικανική εταιρεία χρηματοοικονομικής τεχνολογίας. Τα δάνεια προς γυναίκες απέφεραν υψηλότερες αποδόσεις στον δανειστή, εύρημα που η μελέτη συνέδεσε με την υπερεκτίμηση από ένα μοντέλο του κινδύνου αθέτησης των δανείων τους και την ανάλογη τιμολόγησή τους. Το ζήτημα εδώ είναι η σχέση ανάμεσα στον προβλεπόμενο κίνδυνο, την πραγματική αποπληρωμή και το ποσό που πληρώνει ο δανειολήπτης — όχι απλώς το αν αναφέρεται το φύλο στην αίτηση.

Η ιατρική ΤΝ χρειάζεται κάτι περισσότερο από υψηλή συνολική βαθμολογία

Η υγειονομική περίθαλψη προσφέρει ένα ιδιαίτερα σαφές παράδειγμα του πώς οι επιδόσεις στο σύνολο του πληθυσμού μπορεί να αποκρύπτουν σημαντικές διαφορές. Ένα μοντέλο μπορεί να έχει καλές συνολικές επιδόσεις, ενώ κάνει περισσότερα λάθη για άτομα που υποεκπροσωπούνται στα δεδομένα εκπαίδευσης ή επικύρωσής του.

Το GEPI παραθέτει μελέτη του 2024 από τον Zack και τους συνεργάτες του, στην οποία παρουσιάστηκαν στο GPT-4 κατά τα άλλα πανομοιότυπα περιστατικά θωρακικού άλγους, με την περιγραφή να αναφέρει είτε άνδρα είτε γυναίκα. Σε 200 δοκιμές για κάθε περιγραφή, το μοντέλο έκρινε ότι η δοκιμασία καρδιακής κόπωσης ήταν πολύ σημαντική στο 71% των περιστατικών που αφορούσαν άνδρες και στο 58% εκείνων που αφορούσαν γυναίκες — διαφορά 13 ποσοστιαίων μονάδων.

Το εύρημα αφορά τις συστάσεις του μοντέλου σε ελεγχόμενη αξιολόγηση και όχι παρατηρημένες θεραπευτικές αποφάσεις ή εκβάσεις ασθενών. Η διάκριση έχει σημασία, ιδίως επειδή η έκθεση περιλαμβάνει διερευνητικές μελέτες διαφορετικών μοντέλων, ασθενειών και κλινικών εργασιών, οι οποίες διεξήχθησαν σε διαφορετικές χρονικές στιγμές.

Η επισκόπηση επισημαίνει επίσης μια ουσιώδη διευκρίνιση: οι κλινικά σημαντικές διαφορές μεταξύ των φύλων δεν πρέπει απλώς να εξαλείφονται. Η πρόκληση είναι να διαπιστωθεί αν μια διαφορά στις συμβουλές ενός μοντέλου αντανακλά σχετική βιολογία ή μια αβάσιμη παραδοχή. Αυτό απαιτεί αντιπροσωπευτικά δεδομένα αξιολόγησης και προσεκτική εξέταση των σφαλμάτων, όχι την απαίτηση να είναι πανομοιότυπη κάθε σύσταση.

Η μεροληψία μπορεί να διαμορφώνει την αναπαράσταση όσο και τις αποφάσεις

Η έκθεση διακρίνει τη βλάβη που υφίσταται ένα άτομο όταν αποκλείεται από την πρόσβαση σε πόρους —όπως ένα δάνειο ή η ιατρική περίθαλψη— από τη βλάβη που αφορά τον τρόπο με τον οποίο παρουσιάζονται κοινωνικές ομάδες. Επιστολές συστάσεων, ειδησεογραφικά άρθρα και εικόνες επαγγελμάτων που παράγονται από συστήματα ΤΝ μπορούν να ενισχύουν στερεότυπα, ακόμη κι όταν δεν ακολουθεί άμεσα κάποια απόφαση κατανομής πόρων.

Έρευνες που συνοψίζει το GEPI διαπίστωσαν ότι τα γλωσσικά μοντέλα περιέγραφαν τις γυναίκες περισσότερο με βάση διαπροσωπικά χαρακτηριστικά και τους άνδρες περισσότερο με βάση την ηγεσία ή τις ικανότητές τους. Μελέτες γεννητριών εικόνων κατέγραψαν υπερβολικό διαχωρισμό των φύλων ανά επάγγελμα. Τα αποτελέσματα αφορούν τα μοντέλα και τις εκδόσεις που εξετάστηκαν· δεν πρέπει να εκληφθούν ως νέος έλεγχος κάθε συστήματος που είναι διαθέσιμο σήμερα.

Οι καταναλωτικοί ψηφιακοί βοηθοί και οι ψηφιακοί σύντροφοι θέτουν ένα διαφορετικό ερώτημα. Οι φωνές και οι προσωπικότητές τους, καθώς και οι αντιδράσεις τους στην παρενόχληση, αποτελούν συνειδητές επιλογές σχεδιασμού προϊόντος. Η αξιολόγηση μόνο της στατιστικής ισορροπίας των απαντήσεών τους μπορεί να παραβλέψει τις παραδοχές που ενσωματώνονται στον σχεδιασμό του ίδιου του προϊόντος.

Η ανασκόπηση εξετάζει επίσης τις μη συναινετικές συνθετικές σεξουαλικές εικόνες, όπου η ΤΝ μπορεί να διευκολύνει τη δημιουργία και τη διανομή κακοποιητικού περιεχομένου. Πρόκειται για κάτι περισσότερο από μια ανακριβή απεικόνιση: η χρήση της εικόνας ενός υπαρκτού προσώπου χωρίς τη συγκατάθεσή του μπορεί να προκαλέσει άμεση βλάβη. Αυτό απαιτεί διαφορετική αντιμετώπιση από εκείνη που χρειάζεται για τη διόρθωση ενός επαγγελματικού στερεοτύπου σε εικόνες που δημιουργούνται από ΤΝ.

Γιατί έχει σημασία ο ανεξάρτητος έλεγχος

Η GEPI περιγράφει τέσσερις επαναλαμβανόμενους μηχανισμούς: μάθηση από ιστορικά αρχεία που ενσωματώνουν ανισότητες, αναπαραγωγή στερεοτύπων, παρουσίαση κρίσεων ως αντικειμενικών μετρήσεων και δυνατότητα οι μεροληπτικές έξοδοι να επηρεάζουν μεταγενέστερες αποφάσεις ή μοντέλα.

Οι ανεξάρτητοι έλεγχοι συμβάλλουν στην ανάδειξη αυτών των μηχανισμών. Οι ερευνητές μπορούν να μεταβάλλουν ένα χαρακτηριστικό σε κατά τα άλλα συγκρίσιμες εισόδους και να εξετάζουν πώς αλλάζουν οι έξοδοι, ακόμη κι αν δεν έχουν πρόσβαση στην εσωτερική αρχιτεκτονική ενός ιδιόκτητου μοντέλου. Ωστόσο, μια επιτυχής δοκιμή σε ένα μόνο ερώτημα ή σημείο αναφοράς δεν αποδεικνύει ότι η εφαρμογή ενός συστήματος είναι δίκαιη στο σύνολό της.

Για τους οργανισμούς που υιοθετούν την ΤΝ, η πρακτική συνέπεια είναι ότι πρέπει να δοκιμάζουν την εκάστοτε εφαρμογή στην πράξη. Μια ομάδα προσλήψεων χρειάζεται να εξετάσει τη διαδικασία από τις βαθμολογίες αρχικής αξιολόγησης έως την επιλογή υποψηφίων για συνέντευξη. Ένας δανειστής χρειάζεται να συγκρίνει τις εκτιμήσεις κινδύνου με τα αποτελέσματα αποπληρωμής. Ένας οργανισμός υγειονομικής περίθαλψης χρειάζεται να κατανοήσει ποιοι ασθενείς εκπροσωπούνται στα δεδομένα επικύρωσης και σε ποιες περιπτώσεις συγκεντρώνονται τα σφάλματα. Οι έλεγχοι αυτοί απαντούν σε διαφορετικά ερωτήματα από το αν ένα μοντέλο παράγει ρέοντα λόγο ή είναι κατά μέσο όρο ακριβές.

Τι τεκμηριώνει η έκθεση — και τι παραμένει άγνωστο

Η έκθεση βασίζεται κυρίως σε στοιχεία από τις ΗΠΑ, ενώ επισημαίνει σχετικές διεθνείς μελέτες. Οι πηγές της καλύπτουν διαφορετικές τεχνολογίες, χρονικές περιόδους και μεθόδους. Ορισμένες καταγράφουν αποτελέσματα· άλλες αποκαλύπτουν ανησυχητικές συμπεριφορές σε προσομοιώσεις. Η ανασκόπηση δεν τεκμηριώνει ένα ενιαίο, καθολικό ποσοστό διακρίσεων ούτε δείχνει ότι όλα τα συστήματα παράγουν την ίδια μεροληψία.

Επισημαίνει επίσης ένα πρόβλημα μέτρησης: οι ερευνητές συχνά δεν έχουν πρόσβαση στα θεσμικά δεδομένα που χρειάζονται για να συνδέσουν μια έξοδο με τις συνέπειές της. Είναι σημαντικό να εντοπίζονται οι ανισότητες, αλλά για να γίνει κατανοητό το πραγματικό τους κόστος μπορεί να χρειαστούν αρχεία που διαθέτουν εργοδότες, προμηθευτές, δανειστές ή πάροχοι υγειονομικής περίθαλψης.

Η συμβολή της GEPI είναι ότι συνδέει ευρήματα που συχνά εξετάζονται χωριστά και θέτει το ερώτημα αν ο έλεγχος και η λογοδοσία ακολουθούν την ΤΝ στις αποφάσεις που επηρεάζει. Η πλήρης έκθεση, Πώς αποτυγχάνει η ΤΝ απέναντι στις γυναίκες: όταν εντείνεται η μεροληψία, περιλαμβάνει τη μεθοδολογία, τις παραπομπές στις μελέτες και τα στοιχεία ανά τομέα που στηρίζουν αυτό το επιχείρημα.