Νόρα Πέτροβα, Μηχανικός Μηχανικής Μάθησης & Συμβούλων ΙΙ στο Prolific – Σειρά Συνεντεύξεων

Η Νόρα Πέτροβα είναι Μηχανικός Μηχανικής Μάθησης & Συμβούλων ΙΙ στο Prolific. Το Prolific ιδρύθηκε το 2014 και ήδη έχει ως πελάτες οργανισμούς όπως η Google (GOOGL ), το Πανεπιστήμιο του Στάνφορντ, το Πανεπιστήμιο της Οξφόρδης, το Κολέγιο του Λονδίνου και η Ευρωπαϊκή Επιτροπή, χρησιμοποιώντας το δίκτυό του για να δοκιμάσει νέα προϊόντα, να εκπαιδεύσει συστήματα ΙΙ σε περιοχές όπως η παρακολούθηση του βλέμματος και να καθορίσει εάν οι εφαρμογές ΙΙ που αφορούν τους ανθρώπους λειτουργούν όπως οι δημιουργοί τους τις προόριζαν.

Μπορείτε να μοιραστείτε κάποιες πληροφορίες σχετικά με το υπόβαθρό σας στο Prolific και την καριέρα σας μέχρι σήμερα; Τι σας ενέπνευσε να ενδιαφερθείτε για την ΙΙ;

Ο ρόλος μου στο Prolific χωρίζεται μεταξύ της συμβουλής σχετικά με τις περιπτώσεις χρήσης της ΙΙ και των ευκαιριών, και της πιο πρακτικής εργασίας ως Μηχανικού Μηχανικής Μάθησης. Ξεκίνησα την καριέρα μου στη Μηχανική Λογισμικού και έχω σταδιακά μετατοπιστεί στην Μηχανική Μάθησης. Έχω περάσει τα περισσότερα από τα τελευταία 5 χρόνια εστιάζοντας σε περιπτώσεις χρήσης της Γλωσσικής Επεξεργασίας και προβλημάτων.

Αυτό που με ενέπνευσε αρχικά να ενδιαφερθώ για την ΙΙ ήταν η ικανότητα να μάθει από δεδομένα και ο σύνδεσμος με το πώς μαθαίνουμε εμείς οι άνθρωποι και πώς είναι δομημένα τα εγκεφαλικά μας. Νομίζω ότι η Μηχανική Μάθηση και η Νευροεπιστήμη μπορούν να συμπληρώσουν η μια την άλλη και να βοηθήσουν στην περαιτέρω κατανόηση του πώς να χτίσουμε συστήματα ΙΙ που είναι ικανά να πλοηγηθούν στον κόσμο, να εκδηλώσουν δημιουργικότητα και να προσθέσουν αξία στην κοινωνία.

Ποια είναι κάποια από τα μεγαλύτερα προβλήματα προκατάληψης της ΙΙ που είστε προσωπικά ενήμερος;

Η προκατάληψη είναι εγγενής στα δεδομένα που ταΐζουμε στα μοντέλα ΙΙ και η απαλοιφή της είναι πολύ δύσκολο. Ωστόσο, είναι απαραίτητο να είμαστε ενήμεροι για τις προκαταλήψεις που υπάρχουν στα δεδομένα και να βρούμε τρόπους να μειώσουμε τις επιζήμιες μορφές προκατάληψης πριν εμπιστευθούμε τα μοντέλα με σημαντικές εργασίες στην κοινωνία. Τα μεγαλύτερα προβλήματα που αντιμετωπίζουμε είναι τα μοντέλα που διαιωνίζουν επιζήμιες στερεότυπα, συστημικές προκαταλήψεις και αδικίες στην κοινωνία. Πρέπει να είμαστε προσεκτικοί με το πώς αυτά τα μοντέλα ΙΙ θα χρησιμοποιηθούν και την επιρροή που θα έχουν στους χρήστες τους, και να διασφαλίσουμε ότι είναι ασφαλή πριν τα εγκρίνουμε για ευαίσθητες περιπτώσεις χρήσης.

Ορισμένες εξέχουσες περιοχές όπου τα μοντέλα ΙΙ έχουν εμφανίσει επιζήμιες προκαταλήψεις περιλαμβάνουν, την διάκριση των υποεκπροσωπούμενων ομάδων στις εισαγωγικές εξετάσεις σχολείων και πανεπιστημίων και τα στερεότυπα φύλου που επηρεάζουν αρνητικά την πρόσληψη γυναικών. Όχι μόνο αυτό, αλλά και ένας αλγόριθμος δικαιοσύνης βρέθηκε να έχει λανθασμένα χαρακτηρίσει Αφροαμερικανούς κατηγορουμένους ως “υψηλού κινδύνου” σε ποσοστό σχεδόν διπλάσιο από ότι των λευκών κατηγορουμένων στις ΗΠΑ, ενώ η τεχνολογία αναγνώρισης προσώπου εξακολουθεί να πλήττεται από υψηλούς ρυθμούς λάθους για μειονότητες λόγω έλλειψης αντιπροσωπευτικών δεδομένων εκπαίδευσης.

Τα παραπάνω παραδείγματα καλύπτουν μια μικρή υποενότητα των προκαταλήψεων που έχουν εμφανιστεί από τα μοντέλα ΙΙ και μπορούμε να προβλέψουμε μεγαλύτερα προβλήματα να αναδυθούν στο μέλλον εάν δεν εστιάσουμε στην μείωση της προκατάληψης τώρα. Είναι σημαντικό να θυμόμαστε ότι τα μοντέλα ΙΙ μαθαίνουν από δεδομένα που περιέχουν αυτές τις προκαταλήψεις λόγω ανθρώπινης λήψης αποφάσεων που επηρεάζεται από ανεξέλεγκτες και ασυνείδητες προκαταλήψεις. Σε πολλές περιπτώσεις, η αναφορά σε ανθρώπινη λήψη αποφάσεων μπορεί να μην εξαλείψει την προκατάληψη. Η πραγματική μείωση των προκαταλήψεων θα απαιτήσει την κατανόηση του πώς είναι παρόντες οι προκαταλήψεις στα δεδομένα που χρησιμοποιούμε για την εκπαίδευση των μοντέλων, την απομόνωση των παραγόντων που συνεισφέρουν σε προκαταλήψεις και την συλλογική απόφαση για το τι θέλουμε να βασίζουμε τις σημαντικές αποφάσεις μας. Η ανάπτυξη eines συνόλου προτύπων, ώστε να μπορούμε να αξιολογήσουμε τα μοντέλα για ασφάλεια πριν τα χρησιμοποιήσουμε για ευαίσθητες περιπτώσεις χρήσης, θα είναι ένα σημαντικό βήμα προς τα εμπρός.

Οι ψευδαισθήσεις της ΙΙ είναι ένα τεράστιο πρόβλημα με οποιοδήποτε είδος γενετικής ΙΙ. Μπορείτε να συζητήσετε πώς η εκπαίδευση με ανθρώπινη συμμετοχή (HITL) μπορεί να μετριάσει αυτά τα ζητήματα;

Οι ψευδαισθήσεις στα μοντέλα ΙΙ είναι προβληματικές σε συγκεκριμένες περιπτώσεις χρήσης της γενετικής ΙΙ, αλλά είναι σημαντικό να σημειωθεί ότι δεν είναι πρόβλημα καθ’ εαυτό. Σε ορισμένες δημιουργικές χρήσεις της γενετικής ΙΙ, οι ψευδαισθήσεις είναι ευπρόσδεκτες και συμβάλλουν σε μια πιο δημιουργική και ενδιαφέρουσα απάντηση.

Μπορούν να είναι προβληματικές σε περιπτώσεις χρήσης όπου η εξάρτηση από фактиτικές πληροφορίες είναι υψηλή. Για παράδειγμα, στην υγεία, όπου η αξιόπιστη λήψη αποφάσεων είναι κρίσιμη, η παροχή στους επαγγελματίες υγείας αξιόπιστων фактиικών πληροφοριών είναι απαραίτητη.

Η HITL αναφέρεται σε συστήματα που επιτρέπουν στους ανθρώπους να παρέχουν άμεση ανάδραση σε ένα μοντέλο για προβλέψεις που είναι κάτω από ένα bestimmμένο επίπεδο εμπιστοσύνης. Στο контέκστ των ψευδαισθήσεων, η HITL μπορεί να χρησιμοποιηθεί για να βοηθήσει τα μοντέλα να μάθουν το επίπεδο βεβαιότητας που πρέπει να έχουν για διαφορετικές περιπτώσεις χρήσης πριν παρέχουν μια απάντηση. Αυτά τα όρια θα ποικίλλουν ανάλογα με την περίπτωση χρήσης και η διδασκαλία των μοντέλων τις διαφορές στις απαιτήσεις για την απάντηση σε ερωτήσεις από διαφορετικές περιπτώσεις χρήσης θα είναι ένα κρίσιμο βήμα προς την μείωση των προβληματικών μορφών ψευδαισθήσεων. Για παράδειγμα, σε μια νομική περίπτωση, οι άνθρωποι μπορούν να δείξουν στα μοντέλα ΙΙ ότι η επαλήθευση των факτών είναι ένα απαραίτητο βήμα όταν απαντούν σε ερωτήσεις που βασίζονται σε σύνθετα νομικά έγγραφα με πολλές ρήτρες και προϋποθέσεις.

Πώς οι εργαζόμενοι της ΙΙ, όπως οι ανανεωτές δεδομένων, βοηθούν να μειώσουν τα πιθανά προβλήματα προκατάληψης;

Οι εργαζόμενοι της ΙΙ μπορούν πρώτα και κύρια να βοηθήσουν στην αναγνώριση των προκαταλήψεων που υπάρχουν στα δεδομένα. Μόλις αναγνωριστεί η προκατάληψη, γίνεται πιο εύκολο να βρεθούν στρατηγικές για την μείωση της. Οι ανανεωτές δεδομένων μπορούν επίσης να βοηθήσουν στην αναζήτηση τρόπων για την μείωση της προκατάληψης. Για παράδειγμα, για εργασίες Γλωσσικής Επεξεργασίας, μπορούν να βοηθήσουν παρέχοντας εναλλακτικούς τρόπους για την αναδιατύπωση προβληματικών τμημάτων κειμένου, ώστε να μειωθεί η προκατάληψη που υπάρχει στη γλώσσα. Επιπλέον, η多様性 των εργαζομένων της ΙΙ μπορεί να βοηθήσει στην μείωση των προβλημάτων με την προκατάληψη στην ετικέτα.

Πώς εξασφαλίζετε ότι οι εργαζόμενοι της ΙΙ δεν τροφοδοτούν ανεπίσημα τις δικές τους ανθρώπινες προκαταλήψεις στο σύστημα ΙΙ;

Είναι σίγουρα ένα σύνθετο ζήτημα που απαιτεί προσεκτική σκέψη. Η εξάλειψη των ανθρώπινων προκαταλήψεων είναι σχεδόν αδύνατη και οι εργαζόμενοι της ΙΙ μπορεί να τροφοδοτούν ανεπίσημα τις προκαταλήψεις τους στα μοντέλα ΙΙ, οπότε είναι κρίσιμο να αναπτύξουμε διαδικασίες που οδηγούν τους εργαζόμενους προς τις mejores πρακτικές.

Ορισμένα βήματα που μπορούν να ληφθούν για να giữ τις ανθρώπινες προκαταλήψεις στο ελάχιστο περιλαμβάνουν:

• Εξαντλητική εκπαίδευση των εργαζομένων της ΙΙ σχετικά με τις ασυνείδητες προκαταλήψεις και την παροχή εργαλείων για την αναγνώριση και διαχείριση των προκαταλήψεών τους κατά τη διάρκεια της ετικέτας.
• Λίστες ελέγχου που υπενθυμίζουν στους εργαζόμενους της ΙΙ να επικυρώσουν τις απαντήσεις τους πριν τις υποβάλουν.
• Εκτέλεση μιας αξιολόγησης που ελέγχει το επίπεδο κατανόησης που έχουν οι εργαζόμενοι της ΙΙ, όπου τους δείχνουμε παραδείγματα απαντήσεων σε διαφορετικά είδη προκαταλήψεων και τους ζητάμε να επιλέξουν την λιγότερο προκατειλημμένη απάντηση.

Οι ρυθμιστές σε όλο τον κόσμο σκοπεύουν να ρυθμίσουν την έξοδο της ΙΙ, τι κατά την γνώμη σας οι ρυθμιστές δεν καταλαβαίνουν και τι έχουν σωστό;

Είναι σημαντικό να αρχίσουμε λέγοντας ότι αυτό είναι ένα πραγματικά δύσκολο πρόβλημα που κανείς δεν έχει βρει την λύση. Η κοινωνία και η ΙΙ θα εξελιχθούν και θα επηρεάσουν η μια την άλλη με τρόπους που είναι πολύ δύσκολο να προβλεφθούν. Ένα μέρος μιας αποτελεσματικής στρατηγικής για την εύρεση ρομπούστων και χρήσιμων πρακτικών ρύθμισης είναι η προσοχή στο τι συμβαίνει στην ΙΙ, πώς οι άνθρωποι αντιδρούν σε αυτή και ποια είναι τα αποτελέσματα που έχει σε διαφορετικές βιομηχανίες.

Νομίζω ότι ένα σημαντικό εμπόδιο στην αποτελεσματική ρύθμιση της ΙΙ είναι η έλλειψη κατανόησης του τι μπορούν και τι δεν μπορούν να κάνουν τα μοντέλα ΙΙ, και πώς λειτουργούν. Αυτό, με τη σειρά του, κάνει πιο δύσκολο να προβλεφθούν ακριβώς οι συνέπειες που θα έχουν αυτά τα μοντέλα σε διαφορετικά τομείς και κοινωνικές ομάδες. Ένα άλλο πεδίο που λείπει είναι η ηγεσία σκέψης σχετικά με το πώς να ευθυγραμμίσει τα μοντέλα ΙΙ με τις ανθρώπινες αξίες και τι σημαίνει ασφάλεια σε πιο συγκεκριμένα όρια.

Οι ρυθμιστές έχουν ζητήσει συνεργασία με εμπειρογνώμονες στον τομέα της ΙΙ, έχουν been προσεκτικοί να μην στερήσουν την καινοτομία με υπερβολικά αυστηρές κανόνες γύρω από την ΙΙ, και έχουν αρχίσει να σκέφτονται τις συνέπειες της ΙΙ στην αντικατάσταση εργασιών, τα οποία είναι όλα πολύ σημαντικά πεδία εστίασης. Είναι σημαντικό να προχωρήσουμε με προσοχή καθώς οι σκέψεις μας για την ρύθμιση της ΙΙ εξευγενίζονται με την πάροδο του χρόνου και να εμπλέξουμε όσο το δυνατόν περισσότερους ανθρώπους για να αντιμετωπίσουμε αυτό το ζήτημα με δημοκρατικό τρόπο.

Πώς οι λύσεις του Prolific μπορούν να βοηθήσουν τις επιχειρήσεις να μειώσουν την προκατάληψη της ΙΙ και άλλα ζητήματα που abbiamo συζητήσει;

Η συλλογή δεδομένων για τα έργα ΙΙ δεν ήταν πάντα μια μελετημένη ή σκόπιμη διαδικασία. Έχουμε προηγουμένως δει την αποκόμιση, την εξαγωγή και άλλα μέσα να κυριαρχούν. Ωστόσο, το πώς εκπαιδεύουμε την ΙΙ είναι κρίσιμο και τα μοντέλα της επόμενης γενιάς θα πρέπει να χτιστούν με σκόπιμα συλλεγμένα, υψηλής ποιότητας δεδομένα, από πραγματικούς ανθρώπους και από αυτούς με τους οποίους έχουμε άμεση επαφή. Αυτό είναι το σημείο όπου το Prolific κάνει μια σαφή διαφορά.

Άλλοι τομείς, όπως η δημοσκόπηση, η έρευνα αγοράς ή η επιστημονική έρευνα, έμαθαν αυτό πριν από πολύ καιρό. Το κοινό που δειγματίζουμε έχει μεγάλη επίδραση στα αποτελέσματα που λαμβάνουμε. Η ΙΙ αρχίζει να ανταποκρίνεται και βρισκόμαστε σε ένα σταυροδρόμι τώρα.

Τώρα είναι η στιγμή να αρχίσουμε να φροντίζουμε για την χρήση καλύτερων δειγμάτων και να εργαζόμαστε με πιο αντιπροσωπευτικές ομάδες για την εκπαίδευση και την επιμέλεια της ΙΙ. Και τα δύο είναι κρίσιμα για την ανάπτυξη ασφαλών, απαλλαγμένων από προκαταλήψεις και ευθυγραμμισμένων μοντέλων.

Το Prolific μπορεί να βοηθήσει στην παροχή των σωστών εργαλείων για τις επιχειρήσεις να διεξάγουν πειράματα ΙΙ με ασφαλή τρόπο και να συλλέγουν δεδομένα από συμμετέχοντες όπου η προκατάληψη ελέγχεται και μειώνεται κατά τη διάρκεια. Μπορούμε να βοηθήσουμε στην παροχή οδηγιών για τις mejores πρακτικές γύρω από τη συλλογή δεδομένων, την επιλογή, την αμοιβή και την δίκαιη μεταχείριση των συμμετεχόντων.

Τι είναι η άποψή σας σχετικά με τη διαφάνεια της ΙΙ; Οι χρήστες πρέπει να μπορούν να δουν ποια δεδομένα χρησιμοποιούνται για την εκπαίδευση ενός αλγορίθμου ΙΙ;

Νομίζω ότι υπάρχουν προ και κατά της διαφάνειας και μια καλή ισορροπία δεν έχει ακόμη βρεθεί. Οι εταιρείες κρατούν κρυφή την πληροφορία σχετικά με τα δεδομένα που έχουν χρησιμοποιηθεί για την εκπαίδευση των μοντέλων ΙΙ λόγω φόβου νομικών επιπτώσεων. Άλλοι έχουν εργαστεί για να κάνουν τα μοντέλα ΙΙ δημοσίως διαθέσιμα και έχουν κυκλοφορήσει όλες τις πληροφορίες σχετικά με τα δεδομένα που έχουν χρησιμοποιηθεί. Η πλήρης διαφάνεια ανοίγει πολλές ευκαιρίες για εκμετάλλευση των ευπαθειών αυτών των μοντέλων. Η πλήρης μυστικότητα δεν βοηθά στην οικοδόμηση εμπιστοσύνης και στην ενσωμάτωση της κοινωνίας στην ανάπτυξη ασφαλών μοντέλων ΙΙ. Ένας καλός μέσος όρος θα παρέχει αρκετή διαφάνεια για να μας εμπνεύσει εμπιστοσύνη ότι τα μοντέλα ΙΙ έχουν εκπαιδευτεί με καλής ποιότητας σχετικά δεδομένα στα οποία έχουμε δώσει τη συγκατάθεσή μας. Πρέπει να προσεχθούμε στο πώς η ΙΙ επηρεάζει διαφορετικές βιομηχανίες και να ανοίξουμε διαλόγους με τις επηρεαζόμενες πλευρές και να διασφαλίσουμε ότι αναπτύσσουμε πρακτικές που λειτουργούν για όλους.

Νομίζω ότι είναι επίσης σημαντικό να λάβουμε υπόψη μας τι θα ήταν ικανοποιητικό για τους χρήστες σε σχέση με την εξηγησιμότητα. Εάν θέλουν να κατανοήσουν γιατί ένα μοντέλο παράγει μια bestimmμένη απάντηση, η παροχή τους των raw δεδομένων στα οποία το μοντέλο έχει εκπαιδευτεί πιθανότατα δεν θα βοηθήσει στην απάντηση του ερωτήματος τους. Έτσι, η κατασκευή καλών εργαλείων εξηγησιμότητας και ερμηνευσιμότητας είναι σημαντική.

Η έρευνα για την ευθυγράμμιση της ΙΙ στοχεύει να κατευθύνει τα συστήματα ΙΙ προς τους προοριζόμενους στόχους, προτιμήσεις ή ηθικές αρχές των ανθρώπων. Μπορείτε να συζητήσετε πώς οι εργαζόμενοι της ΙΙ εκπαιδεύονται και πώς αυτό χρησιμοποιείται για να διασφαλιστεί ότι η ΙΙ είναι ευθυγραμμισμένη όσο το δυνατόν καλύτερα;

Αυτό είναι ένα ενεργό πεδίο έρευνας και δεν υπάρχει ακόμη συναίνεση σχετικά με τις στρατηγικές που πρέπει να χρησιμοποιηθούν για την ευθυγράμμιση των μοντέλων ΙΙ με τις ανθρώπινες αξίες ή ακόμη και ποια σύνολο αξιών πρέπει να στοχεύσουμε να ευθυγραμμίσει.

Οι εργαζόμενοι της ΙΙ ζητούνται να αντιπροσωπεύουν αυθεντικά τις προτιμήσεις τους και να απαντούν σε ερωτήσεις σχετικά με τις προτιμήσεις τους αληθινά, ενώ επίσης τηρούν τις αρχές γύρω από την ασφάλεια, την απουσία προκατάληψης, την αβλαβή και τη χρησιμότητα.

Σχετικά με την ευθυγράμμιση προς τους στόχους, τις ηθικές αρχές ή τις αξίες, υπάρχουν πολλές προσεγγίσεις που φαίνονται υποσχόμενες. Ένα αξιοσημείωτο παράδειγμα είναι το έργο του Ινστιτούτου Ευθυγράμμισης Σημασίας για την Δημοκρατική Λεπτορρύθμιση. Υπάρχει ένα εξαιρετικό άρθρο που εισάγει την ιδέα εδώ.

Ευχαριστούμε για τη μεγάλη συνέντευξη και για το ότι μοιραστήκατε τις απόψεις σας σχετικά με την προκατάληψη της ΙΙ, οι αναγνώστες που επιθυμούν να μάθουν περισσότερα πρέπει να επισκεφθούν Prolific.