Επιστήμονες Υπολογιστών Αντιμετωπίζουν τις Διακρίσεις στο AI

Οι επιστήμονες υπολογιστών από το Πανεπιστήμιο του Πρίνστον και το Πανεπιστήμιο του Στάνφορντ εργάζονται τώρα για την αντιμετώπιση των προβλημάτων των διακρίσεων στο τεχνητό νοήμονα (AI). Εργάζονται σε μεθόδους που οδηγούν σε δίκαιες βάσεις δεδομένων που περιέχουν εικόνες ανθρώπων. Οι ερευνητές συνεργάζονται στενά με το ImageNet, το οποίο είναι μια βάση δεδομένων με περισσότερες από 13 εκατομμύρια εικόνες. καθ’ όλη τη διάρκεια της τελευταίας δεκαετίας, το ImageNet έχει συμβάλλει στην προώθηση της όρασης του υπολογιστή. Με τη χρήση των μεθόδων τους, οι ερευνητές συνέστησαν βελτιώσεις για τη βάση δεδομένων.

ImageNet περιλαμβάνει εικόνες αντικειμένων, τοπίων και ανθρώπων. Οι ερευνητές που δημιουργούν αλγόριθμους μάθησης που ταξινομούν εικόνες χρησιμοποιούν το ImageNet ως πηγή δεδομένων. Λόγω του μεγάλου μεγέθους της βάσης δεδομένων, ήταν αναγκαίο να existει αυτόματη συλλογή εικόνων και crowdsourced αναnotation εικόνων. Τώρα, η ομάδα του ImageNet εργάζεται για την διόρθωση των διακρίσεων και άλλων προβλημάτων. Οι εικόνες συχνά περιέχουν ανθρώπους που είναι απρόσμενες συνέπειες της κατασκευής του ImageNet.

Η Olga Russakovsky είναι συν-συγγραφέας και αναπληρώτρια καθηγήτρια επιστημών υπολογιστών στο Πρίνστον.

«Η όραση του υπολογιστή λειτουργεί πραγματικά καλά, το οποίο σημαίνει ότι εφαρμόζεται παντού σε όλους τους τύπους περιβαλλόντων», είπε. «Αυτό σημαίνει ότι τώρα είναι η ώρα για να μιλήσουμε για το είδος του αντίκτυπου που έχει στον κόσμο και να σκεφτούμε αυτά τα είδη προβλημάτων δίκαιης μεταχείρισης».

Στο νέο έγγραφο, η ομάδα του ImageNet αναγνώρισε συστηματικά μη οπτικές έννοιες και προσβλητικές κατηγορίες. Αυτές οι κατηγορίες περιελάμβαναν φυλετικές και σεξουαλικές χαρακτηριστικές και η ομάδα πρότεινε να τις αφαιρέσει από τη βάση δεδομένων. Η ομάδα έχει επίσης αναπτύξει ένα εργαλείο που επιτρέπει στους χρήστες να ορίσουν και να ανακτήσουν σύνολα εικόνων ανθρώπων και μπορεί να το κάνει ανά ηλικία, φύλο και χρώμα δέρματος. Ο στόχος είναι να δημιουργηθούν αλγόριθμοι που ταξινομούν με δίκαιο τρόπο τα πρόσωπα και τις δραστηριότητες των ανθρώπων στις εικόνες.

Το έργο των ερευνητών παρουσιάστηκε στις 30 Ιανουαρίου στη Διάσκεψη της Association for Computing Machinery για τη Δικαιοσύνη, την Ευθύνη και τη Διαφάνεια στη Βαρκελώνη, Ισπανία.

«Υπάρχει πραγματικά μια ανάγκη για ερευνητές και εργαστήρια με βασικές τεχνικές γνώσεις σε αυτά τα είδη συζητήσεων», είπε η Russakovsky. «Δεδομένης της πραγματικότητας ότι πρέπει να συλλέξουμε τα δεδομένα σε κλίμακα, δεδομένης της πραγματικότητας ότι θα γίνει με crowdsourcing επειδή είναι η πιο αποτελεσματική και καλά καθορισμένη διαδικασία, πώς να το κάνουμε με έναν δίκαιο τρόπο — που δεν πέφτει σε αυτά τα προηγούμενα λάκκοι; Το βασικό μήνυμα αυτού του εγγράφου είναι γύρω από κατασκευαστικές λύσεις».

Το ImageNet εκκινήθηκε το 2009 από μια ομάδα επιστημόνων υπολογιστών στο Πρίνστον και το Στάνφορντ. Σκοπός του ήταν να χρησιμεύσει ως πηγή για ακαδημαϊκούς ερευνητές και εκπαιδευτές. Η δημιουργία του συστήματος ηγήθηκε από τον αποφοίτη και μέλος του διδακτικού προσωπικού του Πρίνστον Fei-Fei Li.

Το ImageNet μπόρεσε να γίνει μια τόσο μεγάλη βάση δεδομένων με ετικετεμένες εικόνες μέσω της χρήσης του crowdsourcing. Một από τις κύριες πλατφόρμες που χρησιμοποιήθηκαν ήταν το Amazon (AMZN ) Mechanical Turk (MTurk) και οι εργαζόμενοι πληρώθηκαν για να επιβεβαιώσουν τις υποψήφιες εικόνες. Αυτό προκάλεσε κάποια προβλήματα και υπήρχαν πολλές διακρίσεις και ακατάλληλες κατηγορίες.

Ο κύριος συγγραφέας Kaiyu Yang είναι φοιτητής μεταπτυχιακού στο τμήμα επιστημών υπολογιστών.

«Όταν ζητάτε από τους ανθρώπους να επιβεβαιώσουν εικόνες επιλέγοντας τις σωστές από ένα μεγάλο σύνολο υποψηφίων, οι άνθρωποι νιώθουν πιεσμένοι να επιλέξουν κάποιες εικόνες και αυτές οι εικόνες τείνουν να είναι αυτές με διακεκριμένα ή στερεοτυπικά χαρακτηριστικά», είπε.

Το πρώτο μέρος της μελέτης αφορούσε τον αποκλεισμό πιθανών προσβλητικών ή ευαίσθητων κατηγοριών προσώπων από το ImageNet. Οι προσβλητικές κατηγορίες ορίστηκαν ως αυτές που περιείχαν βωμολοχίες ή φυλετικές ή φυλετικές ή σεξουαλικές διακρίσεις. Μια τέτοια ευαίσθητη κατηγορία ήταν η ταξινόμηση των ανθρώπων με βάση την σεξουαλική τους προτίμηση ή τη θρησκεία. Δώδεκα μεταπτυχιακοί φοιτητές από διαφορετικά υπόβαθρα κλήθηκαν να αναnotate τις κατηγορίες και τους δόθηκε η εντολή να επισημάνουν μια κατηγορία ως ευαίσθητη αν ήταν αβέβαιοι για αυτή. Περίπου το 54% των κατηγοριών αφαιρέθηκαν, ή 1.593 από τις 2.932 κατηγορίες προσώπων στο ImageNet.

Οι εργαζόμενοι του MTurk αξιολόγησαν την «εικονοποιία» των υπολοιπών κατηγοριών σε κλίμακα από 1 έως 5. 158 κατηγορίες ταξινομήθηκαν ως ασφαλείς και εικονοποιήσιμες, με βαθμό 4 ή υψηλότερο. Αυτό το φιλτράρισμα των κατηγοριών περιελάμβανε περισσότερες από 133.000 εικόνες, οι οποίες μπορούν να είναι πολύ χρήσιμες για την εκπαίδευση αλγορίθμων όρασης υπολογιστή.

Οι ερευνητές μελέτησαν την δημογραφική αντιπροσώπευση των ανθρώπων στις εικόνες και το επίπεδο των διακρίσεων στο ImageNet αξιολογήθηκε. Το περιεχόμενο από τις μηχανές αναζήτησης συχνά παρέχει αποτελέσματα που υπερεκπροσωπούν τους άνδρες, τους ανθρώπους με ανοιχτό δέρμα και τους ενήλικες μεταξύ 18 και 40 ετών.

«Οι άνθρωποι έχουν βρει ότι οι κατανομές δημογραφικών χαρακτηριστικών στις αποτελέσματα αναζήτησης εικόνων είναι εξαιρετικά διακρινόμενα και αυτό είναι το λόγο για τον οποίο η κατανομή στο ImageNet είναι επίσης διακρινόμενη», είπε ο Yang. «Σε αυτό το έγγραφο προσπαθήσαμε να κατανοήσουμε πόσο διακρινόμενη είναι και να προτείνουμε μια μέθοδο για να ισορροπήσουμε την κατανομή».

Οι ερευνητές εξέτασαν τρεις ιδιότητες που προστατεύονται επίσης από τους νόμους αντι-διακρίσεων των ΗΠΑ: το χρώμα του δέρματος, την έκφραση φύλου και την ηλικία. Οι εργαζόμενοι του MTurk αναnotated κάθε ιδιότητα κάθε προσώπου σε μια εικόνα.

Τα αποτελέσματα έδειξαν ότι το περιεχόμενο του ImageNet έχει σημαντική διακρίνωση. Οι λιγότερο αντιπροσωπεύοντες ήταν οι σκουρόδερμοι, οι γυναίκες και οι ενήλικες άνω των 40 ετών.

Ένα εργαλείο διαδικτυακού περιβάλλοντος σχεδιάστηκε που επιτρέπει στους χρήστες να λάβουν ένα σύνολο εικόνων που είναι δημογραφικά ισορροπημένα με τον τρόπο που ο χρήστης επιλέγει.

«Δεν θέλουμε να πούμε ποιο είναι ο σωστός τρόπος για να ισορροπήσουμε τις δημογραφικές», είπε ο Yang. «Η κατανομή θα μπορούσε να είναι διαφορετική σε διαφορετικά μέρη του κόσμου — η κατανομή του χρώματος του δέρματος στις Ηνωμένες Πολιτείες είναι διαφορετική από τις χώρες της Ασίας, για παράδειγμα. Έτσι αφήνουμε αυτή τη Frage στον χρήστη μας και απλώς παρέχουμε ένα εργαλείο για να ανακτήσουμε ένα ισορροπημένο υποσύνολο των εικόνων».

Η ομάδα του ImageNet εργάζεται τώρα για τεχνικές ενημερώσεις του υλικού και της βάσης δεδομένων. Επίσης, προσπαθούν να εφαρμόσουν τον αποκλεισμό των κατηγοριών προσώπων και το εργαλείο επαναισορροπίας που αναπτύχθηκε σε αυτή τη μελέτη. Το ImageNet πρόκειται να επανεκδοθεί με τις ενημερώσεις, μαζί με μια πρόσκληση για σχόλια από την κοινότητα ερευνών όρασης υπολογιστή.

Το έγγραφο συν-συγγραφή επίσης από τον φοιτητή μεταπτυχιακού του Πρίνστον Klint Qinami και τον αναπληρωτή καθηγητή επιστημών υπολογιστών Jia Deng. Η έρευνα υποστηρίχθηκε από το Εθνικό Ίδρυμα Επιστημών.