Οι επιστήμονες υπολογιστών αντιμετωπίζουν την προκατάληψη στην τεχνητή νοημοσύνη

Επιστήμονες υπολογιστών από το Πρίνστον και το Πανεπιστήμιο του Στάνφορντ είναι τώρα αντιμετώπιση προβλημάτων μεροληψίας στην τεχνητή νοημοσύνη (AI). Εργάζονται σε μεθόδους που οδηγούν σε πιο δίκαια σύνολα δεδομένων που περιέχουν εικόνες ανθρώπων. Οι ερευνητές συνεργάζονται στενά με το ImageNet, το οποίο είναι μια βάση δεδομένων με περισσότερες από 13 εκατομμύρια εικόνες. Κατά τη διάρκεια της τελευταίας δεκαετίας, το ImageNet βοήθησε στην προώθηση της όρασης του υπολογιστή. Με τη χρήση των μεθόδων τους, οι ερευνητές συνέστησαν στη συνέχεια βελτιώσεις για τη βάση δεδομένων. 

IMAGEnet περιλαμβάνει εικόνες αντικειμένων, τοπίων και ανθρώπων. Οι ερευνητές που δημιουργούν αλγόριθμους μηχανικής μάθησης που ταξινομούν εικόνες χρησιμοποιούν το ImageNet ως πηγή δεδομένων. Λόγω του τεράστιου μεγέθους της βάσης δεδομένων, ήταν απαραίτητο να υπάρχει αυτοματοποιημένη συλλογή εικόνων και σχολιασμός εικόνων crowdsourced. Τώρα, η ομάδα ImageNet εργάζεται για να διορθώσει προκαταλήψεις και άλλα ζητήματα. Οι εικόνες συχνά περιέχουν άτομα που είναι ακούσιες συνέπειες της κατασκευής του ImageNet.

Η Olga Russakovsky είναι συν-συγγραφέας και επίκουρη καθηγήτρια πληροφορικής στο Princeton. 

«Η όραση υπολογιστή λειτουργεί τώρα πολύ καλά, πράγμα που σημαίνει ότι αναπτύσσεται παντού σε κάθε είδους περιβάλλοντα», είπε. «Αυτό σημαίνει ότι τώρα είναι η ώρα να μιλήσουμε για τον αντίκτυπο που έχει στον κόσμο και να σκεφτούμε τέτοιου είδους ζητήματα δικαιοσύνης».

Στη νέα εργασία, η ομάδα ImageNet εντόπισε συστηματικά μη οπτικές έννοιες και επιθετικές κατηγορίες. Αυτές οι κατηγορίες περιελάμβαναν φυλετικούς και σεξουαλικούς χαρακτηρισμούς και η ομάδα πρότεινε την κατάργησή τους από τη βάση δεδομένων. Η ομάδα έχει επίσης αναπτύξει ένα εργαλείο που επιτρέπει στους χρήστες να προσδιορίζουν και να ανακτούν σύνολα εικόνων ανθρώπων, και μπορεί να το κάνει κατά ηλικία, έκφραση φύλου και χρώμα δέρματος. Ο στόχος είναι να δημιουργηθούν αλγόριθμοι που ταξινομούν πιο δίκαια τα πρόσωπα και τις δραστηριότητες των ανθρώπων σε εικόνες. 

Η εργασία που έγινε από τους ερευνητές παρουσιάστηκε στις 30 Ιανουαρίου στο Συνέδριο της Ένωσης Υπολογιστικών Μηχανημάτων για τη Δικαιοσύνη, τη Λογοδοσία και τη Διαφάνεια στη Βαρκελώνη της Ισπανίας. 

«Υπάρχει μεγάλη ανάγκη για ερευνητές και εργαστήρια με βασική τεχνική εξειδίκευση σε αυτό για να συμμετάσχουν σε αυτού του είδους τις συνομιλίες», είπε ο Russakovsky. «Δεδομένης της πραγματικότητας ότι πρέπει να συλλέξουμε τα δεδομένα σε κλίμακα, δεδομένης της πραγματικότητας ότι θα γίνει με crowdsourcing επειδή αυτός είναι ο πιο αποτελεσματικός και καλά εδραιωμένος αγωγός, πώς μπορούμε να το κάνουμε αυτό με τρόπο που είναι πιο δίκαιο — αυτό δεν είναι Δεν εμπίπτετε σε τέτοιου είδους προηγούμενες παγίδες; Το βασικό μήνυμα αυτού του εγγράφου είναι γύρω από εποικοδομητικές λύσεις».

Το ImageNet κυκλοφόρησε το 2009 από μια ομάδα επιστημόνων υπολογιστών στο Πρίνστον και το Στάνφορντ. Προοριζόταν να χρησιμεύσει ως πηγή για ακαδημαϊκούς ερευνητές και εκπαιδευτικούς. Η δημιουργία του συστήματος έγινε από τους αποφοίτους του Princeton και μέλος του διδακτικού προσωπικού Fei-Fei Li. 

Το ImageNet μπόρεσε να γίνει μια τόσο μεγάλη βάση δεδομένων εικόνων με ετικέτα μέσω της χρήσης του crowdsourcing. Μία από τις κύριες πλατφόρμες που χρησιμοποιήθηκαν ήταν η Amazon Mechanical Turk (MTurk) και οι εργαζόμενοι πληρώνονταν για να επαληθεύσουν τις υποψήφιες εικόνες. Αυτό προκάλεσε ορισμένα προβλήματα και υπήρχαν πολλές προκαταλήψεις και ακατάλληλες κατηγοριοποιήσεις. 

Ο κύριος συγγραφέας Kaiyu Yang είναι μεταπτυχιακός φοιτητής στην επιστήμη των υπολογιστών. 

«Όταν ζητάτε από τους ανθρώπους να επαληθεύσουν εικόνες επιλέγοντας τις σωστές από ένα μεγάλο σύνολο υποψηφίων, οι άνθρωποι αισθάνονται πίεση να επιλέξουν κάποιες εικόνες και αυτές οι εικόνες τείνουν να είναι αυτές με διακριτικά ή στερεότυπα χαρακτηριστικά», είπε. 

Το πρώτο μέρος της μελέτης περιελάμβανε το φιλτράρισμα δυνητικά προσβλητικών ή ευαίσθητων κατηγοριών ατόμων από το ImageNet. Ως προσβλητικές κατηγορίες ορίστηκαν αυτές που περιείχαν βωμολοχίες ή φυλετικές ή έμφυλες προσβολές. Μια τέτοια ευαίσθητη κατηγορία ήταν η ταξινόμηση των ατόμων με βάση τον σεξουαλικό προσανατολισμό ή τη θρησκεία. Δώδεκα μεταπτυχιακοί φοιτητές από διαφορετικά υπόβαθρα προσλήφθηκαν για να σχολιάσουν τις κατηγορίες και τους δόθηκε η οδηγία να χαρακτηρίσουν μια κατηγορία ευαίσθητη εάν δεν ήταν σίγουροι για αυτήν. Περίπου το 54% των κατηγοριών καταργήθηκαν, ή 1,593 από τις 2,932 κατηγορίες ατόμων στο ImageNet. 

Στη συνέχεια, οι εργαζόμενοι του MTurk βαθμολόγησαν την «δυνατότητα εικόνας» των υπόλοιπων κατηγοριών σε μια κλίμακα από το 1 έως το 5. 158 κατηγορίες ταξινομήθηκαν τόσο ως ασφαλείς όσο και ως εικονικές, με βαθμολογία 4 ή υψηλότερη. Αυτό το φιλτραρισμένο σύνολο κατηγοριών περιελάμβανε περισσότερες από 133,000 εικόνες, οι οποίες μπορεί να είναι πολύ χρήσιμες για την εκπαίδευση αλγορίθμων όρασης υπολογιστή. 

Οι ερευνητές μελέτησαν τη δημογραφική αναπαράσταση των ανθρώπων στις εικόνες και αξιολογήθηκε το επίπεδο μεροληψίας στο ImageNet. Το περιεχόμενο που προέρχεται από τις μηχανές αναζήτησης συχνά παρέχει αποτελέσματα που υπερεκπροσωπούν τους άνδρες, τα ανοιχτόχρωμα άτομα και τους ενήλικες μεταξύ 18 και 40 ετών.

«Οι άνθρωποι έχουν διαπιστώσει ότι οι κατανομές των δημογραφικών στοιχείων στα αποτελέσματα αναζήτησης εικόνων είναι πολύ προκατειλημμένες, και αυτός είναι ο λόγος για τον οποίο η διανομή στο ImageNet είναι επίσης προκατειλημμένη», είπε ο Yang. «Σε αυτό το έγγραφο προσπαθήσαμε να κατανοήσουμε πόσο προκατειλημμένο είναι και επίσης να προτείνουμε μια μέθοδο για την εξισορρόπηση της κατανομής».

Οι ερευνητές εξέτασαν τρία χαρακτηριστικά που προστατεύονται επίσης από τους νόμους κατά των διακρίσεων των ΗΠΑ: το χρώμα του δέρματος, την έκφραση του φύλου και την ηλικία. Στη συνέχεια, οι εργαζόμενοι του MTurk σχολίασαν κάθε χαρακτηριστικό κάθε ατόμου σε μια εικόνα. 

Τα αποτελέσματα έδειξαν ότι το περιεχόμενο του ImageNet έχει σημαντική προκατάληψη. Οι πιο υποεκπροσωπούμενοι ήταν οι σκουρόχρωμοι, οι γυναίκες και οι ενήλικες άνω των 40 ετών.

Σχεδιάστηκε ένα εργαλείο διεπαφής ιστού που επιτρέπει στους χρήστες να αποκτούν ένα σύνολο εικόνων που είναι δημογραφικά ισορροπημένες με τρόπο που επιλέγει ο χρήστης. 

«Δεν θέλουμε να πούμε ποιος είναι ο σωστός τρόπος για να εξισορροπήσουμε τα δημογραφικά στοιχεία, γιατί δεν είναι ένα πολύ απλό θέμα», είπε ο Γιανγκ. «Η κατανομή θα μπορούσε να είναι διαφορετική σε διαφορετικά μέρη του κόσμου - η κατανομή των χρωμάτων του δέρματος στις ΗΠΑ είναι διαφορετική από ό,τι σε χώρες της Ασίας, για παράδειγμα. Επομένως, αφήνουμε αυτήν την ερώτηση στον χρήστη μας και απλώς παρέχουμε ένα εργαλείο για την ανάκτηση ενός ισορροπημένου υποσυνόλου των εικόνων."

Η ομάδα ImageNet εργάζεται τώρα για τεχνικές ενημερώσεις στο υλικό και τη βάση δεδομένων της. Προσπαθούν επίσης να εφαρμόσουν το φιλτράρισμα των κατηγοριών ατόμων και το εργαλείο εξισορρόπησης που αναπτύχθηκε σε αυτή την έρευνα. Το ImageNet πρόκειται να επανακυκλοφορήσει με τις ενημερώσεις, μαζί με μια πρόσκληση για σχόλια από την ερευνητική κοινότητα της όρασης υπολογιστών. 

Η εργασία ήταν επίσης συν-συγγραφέας του Princeton Ph.D. φοιτητής Klint Qinami και Επίκουρος Καθηγητής Επιστήμης Υπολογιστών Jia Deng. Η έρευνα υποστηρίχθηκε από το Εθνικό Ίδρυμα Επιστημών.