Καθηγητής Julia Stoyanovich, Διευθυντής του Κέντρου για την Ευθύνη του AI – Σειρά Συνεντεύξεων

Julia Stoyanovich, είναι καθηγητής στο Τμήμα Μηχανικής του NYU και ιδρυτής Διευθυντής του Κέντρου για την Ευθύνη του AI. Πρόσφατα κατέθεσε μαρτυρία στην Επιτροπή Τεχνολογίας του Δημοτικού Συμβουλίου της Νέας Υόρκης σχετικά με ένα προτεινόμενο νομοσχέδιο που θα ρυθμίζει τη χρήση του AI για τις αποφάσεις πρόσληψης και απασχόλησης.

Είστε ο ιδρυτής Διευθυντής του Κέντρου για την Ευθύνη του AI στο NYU. Μπορείτε να μοιραστείτε μαζί μας μερικές από τις πρωτοβουλίες που έχουν αναληφθεί από αυτό το οργανισμό;

Συνδιευθύνω το Κέντρο για την Ευθύνη του AI (R/AI) στο NYU με τον Steven Kuyan. Ο Steven και εγώ έχουμε συμπληρωματικά ενδιαφέροντα και εξειδίκευση. Είμαι ακαδημαϊκός, με υποβάθρου στις επιστήμες των υπολογιστών και με ισχυρό ενδιαφέρον για έργα που εμπνέονται από τη χρήση στο交差 του μηχανικού των δεδομένων, της ευθύνη της επιστήμης των δεδομένων και της πολιτικής. Ο Steven είναι ο διευθυντής του NYU Tandon Future Labs, ενός δικτύου επιταχυντών και κέντρων επιχειρηματικότητας που έχει ήδηएक σημαντική οικονομική επίδραση στη Νέα Υόρκη. Η ορασή μας για το R/AI είναι να κάνουμε την “ευθύνη του AI” συνώνυμο με το “AI”, μέσω μιας συνδυασμού εφαρμοσμένης έρευνας, δημόσιας εκπαίδευσης και εμπλοκής, και βοηθώντας τις εταιρείες μεγάλες και μικρές – ιδιαίτερα τις μικρές – να αναπτύξουν ευθύνη του AI.

Τι είναι κάποια από τα τρέχοντα ή potεντικά προβλήματα με την προκατάληψη του AI για τις αποφάσεις πρόσληψης και απασχόλησης;

Αυτό είναι ένα σύνθετο ερώτημα που απαιτεί να είμαστε πρώτα σαφείς για το τι εννοούμε με “προκατάληψη”. Το κλειδί είναι να σημειωθεί ότι τα αυτόματα συστήματα πρόσληψης είναι “προβλέψεις αναλυτικών” — προβλέπουν το μέλλον με βάση το παρελθόν. Το παρελθόν αντιπροσωπεύεται από ιστορικά δεδομένα για άτομα που προσλήφθηκαν από την εταιρεία, και για το πώς αυτά τα άτομα εκτέλεσαν. Το σύστημα είναι τότε “εκπαιδευμένο” σε αυτά τα δεδομένα, που σημαίνει ότι αναγνωρίζει στατιστικές τάσεις και τις χρησιμοποιεί για να κάνει προβλέψεις. Αυτές οι στατιστικές τάσεις είναι η “μαγική” του AI, που βασίζεται σε προβλεπτικά μοντέλα. Φυσικά, αλλά σημαντικά, τα ιστορικά δεδομένα από τα οποία αυτές οι τάσεις εξήχθησαν είναι σιωπηλά για άτομα που δεν προσλήφθηκαν επειδή απλώς δεν ξέρουμε πώς θα είχαν κάνει στη δουλειά που δεν έλαβαν. Και αυτό είναι όπου η προκατάληψη έρχεται στο παιχνίδι. Αν συστηματικά προσλαμβάνουμε περισσότερα άτομα από συγκεκριμένες δημογραφικές και κοινωνικοοικονομικές ομάδες, τότε η συμμετοχή σε αυτές τις ομάδες και τα χαρακτηριστικά που συνοδεύουν αυτή τη συμμετοχή, θα γίνουν μέρος του προβλεπτικού μοντέλου. Για παράδειγμα, αν βλέπουμε μόνο απόφοιτους των κορυφαίων πανεπιστημίων να προσλαμβάνονται για εκτελεστικές θέσεις, τότε το σύστημα δεν μπορεί να μάθει ότι άτομα που πήγαν σε διαφορετικά σχολεία μπορεί επίσης να κάνουν καλά. Είναι εύκολο να δούμε ένα παρόμοιο πρόβλημα για το φύλο, τη φυλή και την αναπηρία.

Η προκατάληψη στο AI είναι πολύ ευρύτερη από τη προκατάληψη στα δεδομένα. Προκύπτει όταν προσπαθούμε να χρησιμοποιήσουμε τεχνολογία όπου μια τεχνική λύση είναι απλώς ακατάλληλη, ή όταν ορίζουμε λάθος στόχους για το AI – συχνά επειδή δεν έχουμε μια ποικιλία φωνών στο τραπέζι του σχεδιασμού, ή όταν εγκαταλείπουμε την ελευθερία μας στις αλληλεπιδράσεις ανθρώπου-AI μετά την ανάπτυξη του AI. Κάθε ένας από τους λόγους για την προκατάληψη αξίζει τη δική του συζήτηση που θα διαρκέσει πιθανότατα περισσότερο από το χώρο που επιτρέπει αυτό το άρθρο. Και έτσι, για το σκοπό της εστίασης, ας επιστρέψω στην προκατάληψη στα δεδομένα.

Όταν εξηγώ την προκατάληψη στα δεδομένα, μου αρέσει να χρησιμοποιώ τη μεταφορά της αντανάκλασης του καθρέφτη. Τα δεδομένα είναι μια εικόνα του κόσμου, η αντανάκλασή του. Όταν σκεφτόμαστε για την προκατάληψη στα δεδομένα, διερευνούμε αυτή την αντανάκλαση. Μια ερμηνεία της “προκατάληψης στα δεδομένα” είναι ότι η αντανάκλαση είναι παραμορφωμένη – ο καθρέφτης μας υποαντιπροσωπεύει ή υπεραντιπροσωπεύει某 μέρη του κόσμου, ή παραμορφώνει τις αναγνώσεις. Μια άλλη ερμηνεία της “προκατάληψης στα δεδομένα” είναι ότι, ακόμη και αν η αντανάκλαση ήταν 100% πιστή, θα ήταν ακόμα μια αντανάκλαση του κόσμου όπως είναι σήμερα, και όχι όπως θα έπρεπε να είναι. Σημαντικά, δεν είναι δικό μας να πούμε αν η αντανάκλαση είναι μια τέλεια αντανάκλαση ενός κατεστραμμένου κόσμου, ή μια κατεστραμμένη αντανάκλαση ενός τέλειου κόσμου, ή αν αυτές οι παραμορφώσεις συνδυάζονται. Είναι δικό μας να έρθουμε σε συμφωνία για το αν είμαστε εντάξει με τον κόσμο όπως είναι, ή, αν όχι, πώς θα πρέπει να το βελτιώσουμε.

Πίσω στις προβλέψεις αναλυτικών: Η ισχυρότερη η διακύμανση στα δεδομένα, ως αντανάκλαση του παρελθόντος, το più πιθανό ότι θα αναγνωριστούν από τα προβλεπτικά μοντέλα, και να αναπαραχθούν – και ακόμη και να ενισχυθούν – στο μέλλον.

Αν ο στόχος μας είναι να βελτιώσουμε τις πρακτικές πρόσληψης με ένα μάτι στην ισότητα και την ποικιλία, τότε απλώς δεν μπορούμε να αναθέσουμε αυτή τη δουλειά στις μηχανές. πρέπει να κάνουμε τη δυσκολή δουλειά της αναγνώρισης των αληθινών αιτιών της προκατάληψης στην πρόσληψη και την απασχόληση, και να διαπραγματευτούμε μια κοινωνικο-νομική-τεχνική λύση με εισροή από όλους τους ενδιαφερόμενους. Η τεχνολογία έχει σίγουρα ένα ρόλο να παίξει στην βοήθεια μας να βελτιώσουμε την κατάσταση: μπορεί να μας βοηθήσει να μείνουμε ειλικρινείς για τους στόχους και τα αποτελέσματα μας. Αλλά να υποτιμούμε ότι η απαλλαγή από την προκατάληψη στα δεδομένα ή την προβλεπτική ανάλυση θα λύσει τα βαθιά προβλήματα της διάκρισης στην πρόσληψη είναι ανοησία.

Πρόσφατα κατέθετε μαρτυρία στην Επιτροπή Τεχνολογίας του Δημοτικού Συμβουλίου της Νέας Υόρκης, μια εντυπωσιακή παρατήρηση ήταν η ακόλουθη: “Βρίσκουμε ότι τόσο το бюджет του διαφημιζομένου όσο και το περιεχόμενο της διαφήμισης συμβάλλουν σημαντικά στην εκτροπή της παράδοσης της διαφήμισης του Facebook (META ). Κριτικά, παρατηρούμε σημαντική εκτροπή στην παράδοση κατά μήκος των φύλων και των φυλών για ‘πραγματικές’ διαφημίσεις για ευκαιρίες απασχόλησης και στέγασης παρά τις ουδέτερες παραμέτρους στόχευσης.” Ποια είναι κάποια λύσεις για να αποφευχθεί αυτό το είδος προκατάληψης;

Αυτή η παρατήρηση που έκανα βασίζεται σε ένα εξαιρετικό άρθρο από τους Ali κ.ά. που ονομάζεται “Διακρίσεις μέσω βελτιστοποίησης: Πώς η παράδοση της διαφήμισης του Facebook μπορεί να οδηγήσει σε διακριτικές επιπτώσεις.” Οι συγγραφείς βρίσκουν ότι η μηχανισμός παράδοσης της διαφήμισης είναι υπεύθυνος για την εισαγωγή και την ενίσχυση των διακριτικών επιπτώσεων. Φυσικά, αυτό το εύρημα είναι εξαιρετικά προβληματικό, ιδιαίτερα καθώς παίζεται στο πλαίσιο της αδιαφάνειας στο Facebook και σε άλλες πλατφόρμες — Google (GOOGL ) και Twitter. Το βάρος είναι στις πλατφόρμες να αποδείξουν ότι μπορούν να ελέγξουν τις διακριτικές επιπτώσεις όπως αυτές που βρέθηκαν από τους Ali κ.ά.. Αν όχι, δεν μπορώ να βρω μια δικαιολογία για τη συνεχιζόμενη χρήση προσωποποιημένης στόχευσης διαφήμισης σε στέγαση, απασχόληση και άλλα πεδία όπου οι ζωές και οι živelihoods των ανθρώπων είναι στο jeu.

Πώς μπορούν οι επιστήμονες δεδομένων και οι dévelopπερα του AI να αποτρέψουν άλλες μη προθέσεις προκαταλήψεων από το να μπαίνουν στα συστήματά τους;

Δεν είναι απολύτως δικό μας να διασφαλίσουμε ότι τα τεχνικά συστήματα είναι ευθυγραμμισμένα με τις κοινωνικές αξίες. Αλλά οι επιστήμονες δεδομένων είναι, πράγματι, στην πρώτη γραμμή αυτής της μάχης. Ως επιστήμονας υπολογιστών, μπορώ να πω ότι η σκέψη ότι τα συστήματα που σχεδιάζουμε είναι “αντικειμενικά”, “βέλτιστα”, ή “σωστά” είναι μια ευχαρίστηση. Πόσο επιτυχημένη είναι η επιστήμη των υπολογιστών και η επιστήμη των δεδομένων — πόσο επιρρεπείς και πόσο ευρέως χρησιμοποιούνται — είναι και μια ευλογία και μια κατάρα. Δεν έχουμε πλέον τη λουξuria να κρυβόμαστε πίσω από τους ακατόρθωτους στόχους της αντικειμενικότητας και της ορθότητας. Το βάρος είναι σε μας να σκεφτόμαστε προσεκτικά για τη θέση μας στον κόσμο, και να εκπαιδεύουμε τους εαυτούς μας για τις κοινωνικές και πολιτικές διαδικασίες που επηρεάζουμε. Η κοινωνία δεν μπορεί να μας αντέξει να κάνουμε γρήγορα και να σπάμε πράγματα, πρέπει να επιβραδύνουμε και να αναλογιστούμε.

Είναι συμβολικό ότι η φιλοσοφία ήταν κάποτε το κέντρο όλων των επιστημονικών και κοινωνικών συζητήσεων, τότε ήρθε η μαθηματική, τότε η επιστήμη των υπολογιστών. Τώρα, με την επιστήμη των δεδομένων να παίρνει το κεντρικό στάδιο, έχουμε έρθει πλήρως και να συνδεθούμε πίσω με τις φιλοσοφικές μας ρίζες.

Μια άλλη σας σύσταση είναι η δημιουργία ενός ενημερωμένου κοινού. Πώς μπορούμε να ενημερώσουμε ένα κοινό που μπορεί να μην είναι εξοικειωμένο με το AI, ή να κατανοήσει τα προβλήματα που συνδέονται με την προκατάληψη του AI;

Υπάρχει μια επείγουσα ανάγκη να εκπαιδεύσουμε μη τεχνικούς ανθρώπους για την τεχνολογία, και να εκπαιδεύσουμε τεχνικούς ανθρώπους για τις κοινωνικές επιπτώσεις. Η επίτευξη και των δύο αυτών στόχων θα απαιτήσει μια ισχυρή δέσμευση και σημαντική επένδυση από την πλευρά της κυβέρνησής μας. πρέπει να αναπτύξουμε υλικά και μεθόδους εκπαίδευσης για όλους αυτούς τους ομάδες, και να βρούμε τρόπους να ενθαρρύνουμε τη συμμετοχή. Και δεν μπορούμε να αφήσουμε αυτή τη δουλειά στα χέρια εμπορικών οντοτήτων. Η Ευρωπαϊκή Ένωση οδηγεί τον δρόμο, με πολλές κυβερνήσεις που παρέχουν υποστήριξη για βασική εκπαίδευση AI των πολιτών της, και ενσωματώνουν τα προγράμματα AI στα προγράμματα γυμνασίου. Εμείς στο R/AI εργαζόμαστε σε ένα δημόσιο και ευρέως προσιτό πρόγραμμα, με στόχο να δημιουργήσουμε ένα ενημερωμένο κοινό που θα βοηθήσει να κάνει το AI αυτό που θέλουμε να είναι. Είμαστε πολύ ενθουσιασμένοι για αυτή τη δουλειά, παρακαλούμε περιμένετε για περισσότερες πληροφορίες τον επόμενο μήνα.

Ευχαριστώ για τις εξαιρετικές και λεπτομερείς απαντήσεις, οι αναγνώστες που επιθυμούν να μάθουν περισσότερα πρέπει να επισκεφθούν το Κέντρο για την Ευθύνη του AI.