Η ΤΝ δεν εξαλείφει την ανθρώπινη προκατάληψη. Την ενισχύει.

Συχνά παρουσιάζεται η ΤΝ ως μέσο για τη λήψη πιο αντικειμενικών αποφάσεων: η λογική είναι ότι αν αφαιρέσουμε την ανθρώπινη κρίση, αφαιρούμε και την ανθρώπινη προκατάληψη. Όλο και περισσότερες έρευνες καταρρίπτουν αυτή την αντίληψη.

Τα συστήματα ΤΝ μαθαίνουν από την ανθρώπινη ιστορία. Εκπαιδεύονται με βάση τις αποφάσεις μας, τη γλώσσα μας, τους θεσμούς μας και, αναπόφευκτα, τα τυφλά μας σημεία. Όταν αυτά τα συστήματα αξιολογούν υποψηφίους, κατανέμουν υπηρεσίες υγειονομικής περίθαλψης ή αξιολογούν εργαζομένους, μπορούν να αναπαράγουν αυτές τις προκαταλήψεις σε κλίμακα και με ταχύτητα που κανένας άνθρωπος μεμονωμένα δεν θα μπορούσε να φτάσει.

Το μεγαλύτερο πρόβλημα είναι ότι οι αποφάσεις φαίνονται ουδέτερες. Εμφανίζεται μια βαθμολογία. Προκύπτει μια κατάταξη. Παράγεται μια σύσταση. Δεν διακρίνονται τα ίχνη των παραδοχών που κρύβονται πίσω τους και κανείς στην αίθουσα δεν αισθάνεται απαραίτητα υπεύθυνος για το αποτέλεσμα.

Γι’ αυτό η μεροληψία της ΤΝ δεν είναι πρωτίστως πρόβλημα του μοντέλου, αλλά πρόβλημα διακυβέρνησης. Ένα μοντέλο μπορεί να εκπαιδευτεί ξανά, όμως τα δυσκολότερα ερωτήματα είναι οργανωτικά: ποιος είναι υπεύθυνος για κάθε απόφαση, τι επιδιώκει να βελτιστοποιήσει το σύστημα και ποιος έχει την αρμοδιότητα να το αμφισβητήσει.

Η ανθρώπινη προκατάληψη περνά στην ΤΝ και επιστρέφει με την ταχύτητα της μηχανής

Ο μηχανισμός δεν είναι μυστηριώδης. Τα μοντέλα προσαρμόζονται στα στατιστικά μοτίβα των δεδομένων εκπαίδευσής τους και, όταν τα ιστορικά αποτελέσματα —ποιοι προσλήφθηκαν, ποιοι έλαβαν περίθαλψη— ενσωματώνουν ήδη διακρίσεις, ο στόχος που μαθαίνει να προβλέπει το μοντέλο είναι εξαρχής μεροληπτικός. Πρόσφατες μελέτες δείχνουν πόσο εύκολα συμβαίνει αυτό σε διαφορετικούς παρόχους και εργασίες:

• Προσλήψεις σε μεγάλη κλίμακα. Μια ανάλυση του Stanford, που εξέτασε 4 εκατομμύρια πραγματικές αιτήσεις εργασίας, διαπίστωσε ότι το 26% των Μαύρων υποψηφίων και το 15% των Ασιατών υποψηφίων υπέβαλαν αίτηση για θέσεις στις οποίες το σύστημα ΤΝ έκανε διακρίσεις εις βάρος της φυλετικής τους ομάδας. Τα μοντέλα είχαν εκπαιδευτεί με βάση δεκαετίες ανθρώπινων αποφάσεων πρόσληψης.
• Κατάταξη βιογραφικών. Ερευνητές του University of Washington αξιολόγησαν περισσότερα από 550 πραγματικά βιογραφικά με σύγχρονα γλωσσικά μοντέλα και διαπίστωσαν ότι τα ονόματα που συνδέονται με λευκούς υποψηφίους ευνοούνταν στο 85% των περιπτώσεων, ενώ τα ονόματα μαύρων ανδρών σπάνια προτιμούνταν.
• Επικοινωνία στον χώρο εργασίας. Έρευνα του Johns Hopkins, που δημοσιεύτηκε νωρίτερα φέτος, διαπίστωσε ότι τα GPT-4, Llama, Gemma και Mistral παρήγαγαν λιγότερο σύνθετα και λιγότερο επίσημα επαγγελματικά μηνύματα ηλεκτρονικού ταχυδρομείου όταν οι προτροπές περιείχαν γλωσσικά μοτίβα που συνδέονται συχνότερα με τις γυναίκες.

Μόλις τεθεί σε λειτουργία ένα τέτοιο σύστημα, αυτά τα μοτίβα παύουν να αποτελούν χαρακτηριστικό των δεδομένων εκπαίδευσης και ενσωματώνονται στις καθημερινές αποφάσεις.

Ο πραγματικός κίνδυνος είναι η κλίμακα και η σιωπή

Ένας μεροληπτικός υπεύθυνος προσλήψεων μπορεί να εξετάσει εκατοντάδες βιογραφικά μέσα σε έναν χρόνο. Ένα μεροληπτικό σύστημα διαλογής υποψηφίων μπορεί να επεξεργαστεί εκατομμύρια αιτήσεις μέσα σε μία νύχτα, εφαρμόζοντας την ίδια εσφαλμένη λογική σε καθεμία. Μια μεροληπτική απόφαση ανθρώπου είναι συχνά ένα μεμονωμένο περιστατικό· οι μεροληπτικές αποφάσεις ενός μοντέλου μπορούν γρήγορα να γίνουν πολιτική.

Η υγειονομική περίθαλψη προσφέρει ένα από τα πιο σαφή παραδείγματα. Ένας ευρέως χρησιμοποιούμενος αλγόριθμος, που επηρέασε εκατομμύρια ασθενείς, είχε σχεδιαστεί για να εντοπίζει ανθρώπους που θα ωφελούνταν από πρόσθετη φροντίδα. Βαθμολογούσε τους Μαύρους ασθενείς ως υγιέστερους από λευκούς ασθενείς με εξίσου σοβαρά προβλήματα υγείας. Κανείς δεν είχε γράψει έναν ρατσιστικό κανόνα. Ο αλγόριθμος χρησιμοποιούσε τις δαπάνες υγειονομικής περίθαλψης ως υποκατάστατο της ιατρικής ανάγκης και, επειδή ιστορικά οι Μαύροι ασθενείς λάμβαναν λιγότερη φροντίδα και, συνεπώς, δημιουργούσαν χαμηλότερες δαπάνες, ερμήνευε τις χαμηλότερες δαπάνες ως ένδειξη καλύτερης υγείας. Σύμφωνα με την ανάλυση των ερευνητών στο Science, η διόρθωση αυτής της μίας σχεδιαστικής επιλογής θα είχε αυξήσει το ποσοστό των Μαύρων ασθενών που επισημαίνονταν ως χρήζοντες πρόσθετης βοήθειας από 17,7% σε 46,5%.

Τα συστήματα ΤΝ δεν αντικατοπτρίζουν απλώς τις μετρικές που τους δίνουμε· αντικατοπτρίζουν και τις παραδοχές που κρύβονται πίσω από αυτές. Η ανθρώπινη προκατάληψη είναι εξίσου πραγματική· απλώς είναι δυσκολότερο να εντοπιστεί και να ελεγχθεί. Γι’ αυτό η λύση βρίσκεται στην καλύτερη διακυβέρνηση, όχι στην εγκατάλειψη της αυτοματοποίησης.

Ενσωματώστε τη λογοδοσία στη λήψη αποφάσεων

Η συνήθης προσέγγιση για την υλοποίηση της ΤΝ είναι η επιλογή ενός μοντέλου, η ενσωμάτωσή του στη ροή εργασίας, η παρακολούθηση των επιδόσεών του και η σταδιακή βελτίωσή του. Όταν τα αποτελέσματα του συστήματος επηρεάζουν ανθρώπους, αυτό δεν αρκεί.

Ονομάζω την εναλλακτική προσέγγιση «ενσωμάτωση αντί για ανάπτυξη»: ο υπεύθυνος άνθρωπος συμμετέχει στη διαδικασία λήψης της απόφασης και έχει πραγματική εξουσία να την αλλάξει, αντί να εξετάζει πίνακες ελέγχου μία φορά το τρίμηνο, εκ των υστέρων. Η προσέγγιση ξεκινά με τρία βήματα:

1. Χαρτογραφήστε κάθε απόφαση στην οποία η ΤΝ κάνει πλέον διαλογή, βαθμολογεί ή εγκρίνει, και ορίστε για καθεμία ένα συγκεκριμένο, κατονομασμένο άτομο ως υπεύθυνο.
2. Ελέγξτε το ιστορικό που τροφοδοτεί το μοντέλο, προτού αυτό το ιστορικό μετατραπεί σε πολιτική.
3. Διασφαλίστε ότι είναι ασφαλές να παρακάμπτεται το μοντέλο και παρακολουθήστε τη συχνότητα των παρακάμψεων.

Το τρίτο βήμα έχει τη μεγαλύτερη σημασία. Αν οι εργαζόμενοι μάθουν ότι η διαφωνία με τη μηχανή θα θεωρηθεί λάθος, θα σταματήσουν να διαφωνούν και η ΤΝ θα γίνει στην πράξη ο υπεύθυνος λήψης αποφάσεων, παρόλο που τυπικά εξακολουθεί να υπάρχει άνθρωπος «στον κύκλο». Το ερώτημα δεν είναι αν ο άνθρωπος έχει τον τελευταίο λόγο. Είναι αν διαθέτει την εξουσία, τις πληροφορίες και την ψυχολογική ασφάλεια για να πει: «Η μηχανή κάνει λάθος».

Η επανεκπαίδευση βοηθά, αλλά η προκατάληψη εισχωρεί μέσα από τις αποφάσεις: τι επιδιώκει να βελτιστοποιήσει το μοντέλο, ποια δεδομένα λαμβάνονται υπόψη, ποιος ελέγχει το αποτέλεσμα. Εκεί πρέπει να στρέψουμε την προσοχή μας. Χρειάζονται επίσης ηγέτες στον χώρο της ΤΝ που μπορούν να ρωτήσουν γιατί ένα σύστημα κατέταξε κάτι με τον συγκεκριμένο τρόπο και έχουν την αρμοδιότητα να ενεργήσουν με βάση την απάντηση.

Το ποσοστό παράκαμψης είναι χρήσιμο, επειδή επιδέχεται διαφορετικές ερμηνείες. Αν οι άνθρωποι παρακάμπτουν σχεδόν ποτέ το σύστημα, μπορεί απλώς να είναι ακριβές. Ή μπορεί να έχουν μάθει ότι δεν είναι ασφαλές να διαφωνούν. Αν το παρακάμπτουν μόνο ανώτερα στελέχη, οι εργαζόμενοι σε κατώτερες θέσεις μπορεί να έχουν μάθει να μένουν σιωπηλοί, παρόλο που συχνά βρίσκονται πιο κοντά στα αποτελέσματα και στους ανθρώπους που επηρεάζονται. Ο στόχος δεν είναι να μη γίνονται ποτέ παρακάμψεις. Στόχος είναι να διαμορφωθεί μια κουλτούρα όπου η τεκμηριωμένη παράκαμψη θεωρείται ένδειξη ότι το σύστημα λειτουργεί. Όταν κάποιος παρακάμπτει το μοντέλο και αποδεικνύεται ότι έχει δίκιο, διαδώστε ευρέως αυτή την ιστορία. Μπορεί να είναι το καλύτερο εκπαιδευτικό υλικό για την ΤΝ που θα δημιουργήσει ποτέ η εταιρεία σας.

Ελέγξτε τα αποτελέσματα, όχι τις προθέσεις

Οι οργανισμοί δεν χρειάζεται να περιμένουν μια σοβαρή αποτυχία για να αρχίσουν να εντοπίζουν τις προκαταλήψεις. Μπορούν να κάνουν άμεσα τρεις ελέγχους:

1. Μια ελεγχόμενη σύγκριση. Εκτελέστε την ίδια εργασία, αλλάζοντας μόνο το δημογραφικό χαρακτηριστικό, όπως το όνομα σε ένα βιογραφικό ή τη διάλεκτο μιας προτροπής. Διατηρήστε σταθερά όλα τα υπόλοιπα, συμπεριλαμβανομένου του προτύπου προτροπής και της σειράς των εισόδων. Επειδή τα αποτελέσματα του μοντέλου διαφέρουν από εκτέλεση σε εκτέλεση, επαναλάβετε κάθε ζεύγος αρκετές φορές και χρησιμοποιήστε αρκετά ζεύγη, ώστε να μην μπορεί να αποδοθεί μια διαφορά στον θόρυβο. Με αυτόν τον τρόπο εντόπισαν ουσιαστικά οι ερευνητές τις ανισότητες στην κατάταξη βιογραφικών και στα μηνύματα που δημιουργούνται για τον χώρο εργασίας, ενώ μια εσωτερική ομάδα μπορεί να εκτελέσει μια πρώτη δοκιμή μέσα σε ένα απόγευμα.
2. Ένας έλεγχος των υποκατάστατων δεικτών. Για κάθε δείκτη που βελτιστοποιεί το σύστημα, θέστε δύο ερωτήματα: τι μετρά στην πραγματικότητα αυτός ο αριθμός και ποιους ενδέχεται να υποεκπροσωπεί; Ο αλγόριθμος υγειονομικής περίθαλψης δεν ήταν κακός στην πρόβλεψη του δείκτη που είχε επιλέξει. Ήταν καλός στην πρόβλεψη του κόστους. Το πρόβλημα ήταν ότι το κόστος χρησιμοποιούνταν ως υποκατάστατο της ιατρικής ανάγκης. Ένα σύστημα μπορεί να είναι ακριβές με βάση τον δικό του δείκτη και παρ’ όλα αυτά να κάνει σοβαρό λάθος σε βάρος των ανθρώπων που επηρεάζει.
3. Μια σύγκριση αποτελεσμάτων. Συγκρίνετε τα ποσοστά επιλογής ή έγκρισης μεταξύ ομάδων κατά τη λειτουργία του συστήματος στην πράξη. Ο κανόνας των τεσσάρων πέμπτων, που χρησιμοποιείται στην πρακτική απασχόλησης στις ΗΠΑ και επισημαίνει μια ομάδα της οποίας το ποσοστό είναι χαμηλότερο από το 80% του ποσοστού της ομάδας με το υψηλότερο ποσοστό, αποτελεί ένα συνηθισμένο αρχικό εργαλείο ελέγχου. Συνδυάστε τον με την παρακολούθηση των παρακάμψεων που περιγράφηκε παραπάνω.

Αυτοί οι έλεγχοι έχουν περιορισμούς. Η αλλαγή ονόματος εντοπίζει ρητά δημογραφικά χαρακτηριστικά, αλλά όχι έμμεσους δείκτες, όπως ο ταχυδρομικός κώδικας, το σχολείο ή τα κενά στην εργασιακή εμπειρία· γι’ αυτό έχει σημασία η σύγκριση των αποτελεσμάτων. Τα τεχνικά μέτρα μετριασμού (επαναστάθμιση των δεδομένων εκπαίδευσης, προσθήκη περιορισμών δικαιοσύνης, προσαρμογή των ορίων λήψης αποφάσεων) μπορούν να περιορίσουν τις ανισότητες, αλλά επιβάλλουν μια επιλογή. Έρευνες των Kleinberg, Mullainathan και Raghavan, καθώς και, ανεξάρτητα, της Chouldechova, έδειξαν ότι όταν οι ομάδες έχουν διαφορετικά βασικά ποσοστά, ένα μοντέλο γενικά δεν μπορεί να επιτύχει ταυτόχρονα βαθμονόμηση και ίσα ποσοστά σφάλματος. Το ποιος ορισμός της δικαιοσύνης πρέπει να έχει προτεραιότητα δεν είναι ερώτημα που μπορεί να απαντήσει ένα μοντέλο. Είναι μια απόφαση για την οποία κάποιος πρέπει να αναλάβει την ευθύνη και να καταγράψει το σκεπτικό της, κάτι που επαναφέρει το ζήτημα στη διακυβέρνηση.

Εξετάστε τη δικαιοσύνη παράλληλα με την ακρίβεια

Πολύ συχνά, η δικαιοσύνη αντιμετωπίζεται ως ξεχωριστή πρωτοβουλία, την οποία εξετάζουν τα τμήματα ανθρώπινου δυναμικού ή νομικών υπηρεσιών αφού η τεχνική ομάδα αξιολογήσει την ακρίβεια, την αποδοτικότητα και το κόστος. Αυτός ο διαχωρισμός αποτελεί ο ίδιος μέρος του προβλήματος. Η δικαιοσύνη πρέπει να εξετάζεται στην ίδια συνάντηση με την ακρίβεια και το κόστος, με την ίδια λογοδοσία και με σαφώς ορισμένο υπεύθυνο.

Στη συζήτηση πρέπει να συμμετέχουν τα τμήματα ανθρώπινου δυναμικού και νομικών υπηρεσιών, αλλά και άνθρωποι που έχουν κριθεί εσφαλμένα από τέτοια συστήματα. Όσοι έχουν αντιμετωπιστεί με υποτίμηση συχνά αντιλαμβάνονται πρώτοι τι παραβλέπει ένα σύστημα. Πρόκειται για μια κεντρική ιδέα του βιβλίου μου, The Bias Advantage: οι οπτικές που οι οργανισμοί παραγνώριζαν διαχρονικά γίνονται ισχυρή πηγή γνώσης όταν εντάσσονται στη διαδικασία λήψης αποφάσεων.

Στόχος δεν είναι ένα σύστημα ΤΝ που δεν κάνει ποτέ λάθη, κάτι μη ρεαλιστικό. Στόχος είναι ένας οργανισμός που μπορεί να αναγνωρίζει πότε η ΤΝ κάνει λάθος, να κατανοεί γιατί και να παρεμβαίνει προτού το σφάλμα γίνει πραγματικότητα για κάποιον άλλο.