Το ‘Αόρατο’, Συχνά Ατυχές Εργατικό Δυναμικό που Αποφασίζει το Μέλλον του AI

Δύο νέες εκθέσεις, συμπεριλαμβανομένης μιας μελέτης υπό την ηγεσία της Google Research, εκφράζουν ανησυχίες ότι η τρέχουσα τάση να βασίζεται σε φτηνό και συχνά απενεργοποιημένο πισινό εργατικό δυναμικό για τη δημιουργία ground truth για συστήματα μηχανικής μάθησης μπορεί να έχει σημαντικές επιπτώσεις στο AI.

Μεταξύ μιας σειράς συμπερασμάτων, η μελέτη της Google διαπιστώνει ότι οι προκαταλήψεις των crowdworkers είναι πιθανό να ενσωματωθούν στα συστήματα AI των οποίων η ground truth θα βασίζεται στις απαντήσεις τους· ότι οι ευρέως διαδεδομένες άδικες εργασιακές πρακτικές (συμπεριλαμβανομένων των ΗΠΑ) στις πλατφόρμες crowdworking είναι πιθανό να υποβαθμίσουν την ποιότητα των απαντήσεων· και ότι το σύστημα “συνέλευσης” (εφαρμογή “μικρής εκλογής” για κάποιο κομμάτι ground truth που θα επηρεάσει τα συστήματα AI) που目前 λύνει τις διαμάχες μπορεί να “ρίχνει” τις καλύτερες ή/και τις πιο ενημερωμένες απαντήσεις.

Αυτά είναι τα κακά νέα· τα χειρότερα νέα είναι ότι σχεδόν όλα τα αντίμετρα είναι ακριβά, χρονοβόρα ή και τα δύο.

Ασφάλεια, Τυχαία Απόρριψη και Δυσαρέσκεια

Η πρώτη μελέτη, από πέντε ερευνητές της Google, ονομάζεται Ποια είναι η Αλήθεια; Λογαριασμός για Ατομικές και Συλλογικές Ταυτότητες Κάτω από Σημείωση Δεδομένων· η δεύτερη, από δύο ερευνητές στο Πανεπιστήμιο της Νέας Υόρκης, ονομάζεται Η Προέλευση και η Αξία της Διαφωνίας Μεταξύ Δεδομένων Ετικετών: Μια Μελέτη των Ατομικών Διαφορών στη Σημείωση Μίσους.

Η μελέτη της Google σημειώνει ότι οι crowdworkers – των οποίων οι αξιολογήσεις συχνά αποτελούν τη βασική βάση των συστημάτων μηχανικής μάθησης που μπορεί να επηρεάσουν τη ζωή μας – λειτουργούν συχνά υπό eine σειρά περιορισμών που μπορεί να επηρεάσουν τον τρόπο με τον οποίο απαντούν στις εργασίες.

Για παράδειγμα, οι τρέχουσες πολιτικές του Amazon Mechanical Turk επιτρέπουν στους αιτούντες (αυτούς που δίνουν τις εργασίες) να απορρίπτουν την εργασία ενός annotator χωρίς ευθύνη*:

‘[Μια] μεγάλη πλειοψηφία των crowdworkers (94%) έχουν εργασία που απορρίπτεται ή για την οποία δεν πληρώνονται. Ωστόσο, οι αιτούντες διατηρούν πλήρη δικαιώματα στα δεδομένα που λαμβάνουν ανεξάρτητα από το αν τα αποδέχονται ή τα απορρίπτουν· Roberts (2016) περιγράφει αυτό το σύστημα ως ένα που “ενεργοποιεί την κλοπή μισθού”.

‘Επιπλέον, η απόρριψη εργασίας και η απόρριψη πληρωμής είναι đauερή επειδή οι απορρίψεις συχνά οφείλονται σε ασαφείς οδηγίες και την έλλειψη σημαντικών καναλιών ανατροφοδότησης· πολλοί crowdworkers αναφέρουν ότι η κακή επικοινωνία επηρεάζει αρνητικά τη δουλειά τους.’

Οι ερευνητές συνιστώνουν ότι οι ερευνητές που χρησιμοποιούν εξωτερικές υπηρεσίες για την ανάπτυξη συνόλων δεδομένων πρέπει να λάβουν υπόψη πώς μια πλατφόρμα crowdworking αντιμετωπίζει τους εργαζόμενους. Επιπλέον, σημειώνουν ότι στις Ηνωμένες Πολιτείες, οι crowdworkers ταξινομούνται ως “ανεξάρτητοι εργολάβοι”, με την εργασία να μην ρυθμίζεται και να μην καλύπτεται από τον ελάχιστο μισθό που απαιτεί ο Νόμος για τις Δίκαιες Εργασιακές Προσδοκίες.

Ο Context Matters

Η μελέτη κριτικάρει επίσης τη χρήση ad hoc παγκόσμιου εργατικού δυναμικού για εργασίες σημείωσης, χωρίς να λαμβάνεται υπόψη ο背景 του annotator.

Όταν υπάρχει προϋπολογισμός, είναι συνηθισμένο για ερευνητές που χρησιμοποιούν AMT και παρόμοιες πλατφόρμες crowdwork να δίνουν την ίδια εργασία σε τέσσερις annotators και να ακολουθούν τον “κανόνα της πλειοψηφίας” για τα αποτελέσματα.

Η εμπειρία του περιβάλλοντος, η μελέτη επιχειρηματολογεί, είναι αξιοσημείωτα υποτιμημένη. Για παράδειγμα, εάν μια ερώτηση σχετικά με σεξισμό διανέμεται τυχαία μεταξύ τριών συμφωνούντων ανδρών ηλικίας 18-57 και ενός διαφωνούντος γυναικός ηλικίας 29, η γνώμη των ανδρών κερδίζει, εκτός από τις σχετικά σπάνιες περιπτώσεις όπου οι ερευνητές λαμβάνουν υπόψη τις προϋποθέσεις των annotators τους.

Ομοίως, εάν μια ερώτηση σχετικά με συμπεριφορά συμμορίας στο Σικάγο διανέμεται μεταξύ μιας αγροτικής γυναίκας των ΗΠΑ ηλικίας 36, ενός ανδρός κατοίκου του Σικάγου ηλικίας 42 και δύο annotators από την Μπανγκαλόρ και τη Δανία, ο άνθρωπος που πιθανότατα επηρεάζεται περισσότερο από το ζήτημα (ο άνδρας του Σικάγου) έχει μόνο ένα τέταρτο μερίδιο στο αποτέλεσμα, σε μια τυπική ρύθμιση εξωτερικής ανάθεσης.

Οι ερευνητές δηλώνουν:

‘[Η] έννοια της “μιας αλήθειας” στις απαντήσεις crowdourcing είναι μύθος· η διαφωνία μεταξύ annotators, η οποία συχνά θεωρείται αρνητική, μπορεί να παρέχει một πολύτιμο σήμα. Δεύτερον,既然 πολλά crowdsourced annotator pools είναι κοινωνικο-δημογραφικά στραβωμένα, υπάρχουν επιπτώσεις για ποια πληθυσμιακά ομάδες αντιπροσωπεύονται στα δεδομένα, καθώς και ποια πληθυσμιακά ομάδες αντιμετωπίζουν τις προκλήσεις της [crowdwork].

‘Ο λογαριασμός για τις στρεβλώσεις στις δημογραφικές στατιστικές των annotators είναι κρίσιμος για την τοποθέτηση των δεδομένων και την εξασφάλιση υπεύθυνης χρήσης. Σε σύντομη, υπάρχει αξία στην αναγνώριση και στον λογαριασμό του κοινωνικού-πολιτισμικού υπόβαθρου των εργαζομένων — και από την πλευρά της ποιότητας των δεδομένων και από την πλευρά της κοινωνικής επίδρασης.’

Δεν Υπάρχουν ‘Νεutral’ Γνώμες σε Ζεστά Θέματα

Ακόμη και όπου οι γνώμες τεσσάρων annotators δεν είναι στραβωμένες, είτε δημογραφικά είτε με κάποιο άλλο μέτρο, η μελέτη της Google εκφράζει ανησυχίες ότι οι ερευνητές δεν λαμβάνουν υπόψη τις ζωτικές εμπειρίες ή τη φιλοσοφική διάθεση των annotators:

‘Ενώ κάποιες εργασίες τείνουν να θέτουν αντικειμενικές ερωτήσεις με μια σωστή απάντηση (υπάρχει ένα ανθρώπινο πρόσωπο σε μια εικόνα?), συχνά τα δεδομένα στοχεύουν να καταγράψουν κρίση σε σχετικά υποκειμενικές εργασίες με keine καθολικά σωστή απάντηση (είναι αυτό το κομμάτι κειμένου επιθετικό?). Είναι σημαντικό να είναι προθέσμως να στηρίζονται στις υποκειμενικές κρίσεις των annotators.’

Σχετικά με το συγκεκριμένο πεδίο εφαρμογής για την αντιμετώπιση προβλημάτων στη σημείωση μίσους, η μελέτη του Syracuse σημειώνει ότι πιο κατηγορηματικές ερωτήσεις όπως Υπάρχει μια γάτα σε αυτή τη φωτογραφία? είναι αξιοσημείωτα διαφορετικές από το να ζητήσετε από einen crowdworker αν μια φράση είναι ‘τοξική’:

‘Λαμβάνοντας υπόψη τη δυσκολία της κοινωνικής πραγματικότητας, οι ανθρώπινες αντιλήψεις της τοξικότητας ποικίλλουν σημαντικά. Οι ετικέτες τους για τοξικό περιεχόμενο βασίζονται στις δικές τους αντιλήψεις.’

Βρίσκοντας ότι η προσωπικότητα και η ηλικία έχουν μια ‘ουσιαστική επιρροή’ στη διαστατική σημείωση μίσους, οι ερευνητές του Syracuse καταλήγουν στο συμπέρασμα:

‘Αυτά τα ευρήματα δείχνουν ότι οι προσπάθειες για την απόκτηση συνεκτικότητας μεταξύ ετικετών με διαφορετικά υπόβαθρα και προσωπικότητες για τη σημείωση μίσους μπορεί να μην επιτύχουν ποτέ πλήρως.’

Ο Δικαστής Μπορεί να Είναι Προκατειλημμένος επίσης

Αυτή η έλλειψη αντικειμενικότητας είναι πιθανό να επαναλαμβάνεται και προς τα πάνω, σύμφωνα με τη μελέτη του Syracuse, η οποία επιχειρηματολογεί ότι η χειροκίνητη παρέμβαση (ή αυτόματη πολιτική, επίσης αποφασισμένη από έναν άνθρωπο) που καθορίζει τον ‘νικητή’ των ψηφοφοριών συναίνεσης πρέπει επίσης να υποβληθεί σε σκραπίνι.

Ισοδυναμώντας τη διαδικασία με τη διαχείριση φόρουμ, οι συγγραφείς δηλώνουν*:

‘[Μια] κοινότητα των διαχειριστών μπορεί να αποφασίσει το πεπρωμένο των αναρτήσεων και των χρηστών στην κοινότητά τους, προωθώντας ή κρύβοντας αναρτήσεις, καθώς και τιμώντας, ντροπιάζοντας ή απαγορεύοντας τους χρήστες. Οι αποφάσεις των διαχειριστών επηρεάζουν το περιεχόμενο που παραδίδεται στην κοινότητα και στο κοινό και, κατά επέκταση, επηρεάζουν επίσης την εμπειρία της κοινότητας στη συζήτηση.

‘Υποθέτοντας ότι ένας ανθρώπινος διαχειριστής είναι μέλος της κοινότητας που έχει δημογραφική ομοιογένεια με άλλα μέλη της κοινότητας, φαίνεται πιθανό ότι το νοηματικό σχήμα που χρησιμοποιούν για την αξιολόγηση του περιεχομένου θα ταιριάζει με αυτά των άλλων μελών της κοινότητας.’

Αυτό δίνει κάποια ενδείξη για το γιατί οι ερευνητές του Syracuse έχουν φτάσει σε τέτοιο απαισιόδοξο συμπέρασμα σχετικά με το μέλλον της σημείωσης μίσους· η έννοια είναι ότι οι πολιτικές και οι κρίσεις για τις διαφωνίες στις εργασίες crowdwork δεν μπορούν απλώς να εφαρμοστούν τυχαία σύμφωνα με “αποδεκτά” αρχές που δεν ενσωματώνονται πουθενά (ή δεν μειώνονται σε ένα εφαρμόσιμο σχήμα, ακόμη και αν υπάρχουν).

Οι άνθρωποι που λαμβάνουν τις αποφάσεις (οι crowdworkers) είναι προκατειλημμένοι, και θα ήταν άχρηστοι για τέτοιες εργασίες εάν δεν ήταν δεν προκατειλημμένοι,既然 η εργασία είναι να παρέχουν μια αξιολόγηση· οι άνθρωποι που διευθετούν τις διαμάχες στις εργασίες crowdwork είναι επίσης κάνουν αξιολογήσεις στην καθοδήγηση των πολιτικών για τις διαμάχες.

Μπορεί να υπάρχουν εκατοντάδες πολιτικές σε ένα μόνο πλαίσιο ανίχνευσης μίσους, και εκτός εάν κάθε μία από αυτές τις πολιτικές επιστρέφεται στο Ανώτατο Δικαστήριο, όπου μπορεί να προέλθει η “εξουσιοδοτημένη” συναίνεση;

Οι ερευνητές της Google προτείνουν ότι ‘[οι] διαφωνίες μεταξύ annotators μπορεί να ενσωματώνουν πολύτιμες νюάνς για την εργασία’. Η μελέτη προτείνει τη χρήση μεταδεδομένων στα δεδομένα που αντανακλούν και τοποθετούν τις διαμάχες.

Ωστόσο, είναι δύσκολο να δούμε πώς ένα τέτοιο επίπεδο δεδομένων που εξαρτάται από το контέκστ θα μπορούσε να οδηγήσει σε μετρήσεις like-on-like, να προσαρμοστεί στις απαιτήσεις των καθιερωμένων τυποποιημένων δοκιμών ή να υποστηρίξει οποιοδήποτε αποφασιστικό αποτέλεσμα – εκτός από το μη ρεαλιστικό σενάριο της υιοθέτησης της ίδιας ομάδας ερευνητών σε επόμενο έργο.

Η Επιλογή του Πισινου Αννοτατόρου

Όλα αυτά υποθέτουν ότι υπάρχει ακόμη προϋπολογισμός σε ένα ερευνητικό έργο για πολλές σημειώσεις που θα οδηγήσουν σε ψηφοφορία συναίνεσης. Σε πολλές περιπτώσεις, οι ερευνητές προσπαθούν να “επιλέξουν” το εξωτερικό πισινό annotator πιο φτηνά, καθορίζοντας χαρακτηριστικά που οι εργαζόμενοι πρέπει να έχουν, όπως γεωγραφική τοποθεσία, φύλο ή άλλα πολιτισμικά στοιχεία, ανταλλάσσοντας την πληθώρα με την ε cụθητητα.

Η μελέτη της Google επιχειρηματολογεί ότι ο δρόμος προς τα εμπρός από αυτές τις προκλήσεις θα μπορούσε να είναι η καθιέρωση επεκταμένων πλαισίων επικοινωνίας με τους annotators, παρόμοια με την ελάχιστη επικοινωνία που διευκολύνει η εφαρμογή Uber μεταξύ οδηγού και επιβάτη.

Τέτοια προσεκτική εξέταση των annotators θα ήταν, φυσικά, ένα εμπόδιο στην υπερκλίμακα εξωτερική ανάθεση, οδηγώντας είτε σε πιο περιορισμένα και χαμηλής όγκου δεδομένα που έχουν καλύτερη αιτιολόγηση για τα αποτελέσματά τους, είτε σε μια “βιαστική” αξιολόγηση των annotators που εμπλέκονται, λαμβάνοντας περιορισμένες λεπτομέρειες για αυτούς και χαρακτηρίζοντάς τους ως “ικανοί για την εργασία” με βάση πολύ λίγες πληροφορίες.

Αυτό είναι αν οι annotators είναι ειλικρινείς.

Οι ‘Ανθρωποι που Ευχαριστούν’ στη Σημείωση Δεδομένων

Με ένα διαθέσιμο εργατικό δυναμικό που πληρώνεται λιγότερο, υπό σκληρή ανταγωνισμό για τις διαθέσιμες εργασίες, και καταπιεσμένο από λιγότερες προοπτικές καριέρας, οι annotators είναι κινητοποιημένοι να παρέχουν γρήγορα την “σωστή” απάντηση και να προχωρούν στην επόμενη μικρή εργασία.

Εάν η “σωστή” απάντηση είναι κάτι πιο σύνθετο από Έχει γάτα/Όχι γάτα, η μελέτη του Syracuse επιχειρηματολογεί ότι ο εργαζόμενος θα προσπαθήσει να καταλήξει σε μια “αποδεκτή” απάντηση με βάση το περιεχόμενο και το контέκστ της ερώτησης*:

‘Και η διάδοση εναλλακτικών концепτοποιήσεων και η ευρεία χρήση απλών μεθόδων σημείωσης είναι ορθώς εμποδίζουν την πρόοδο της έρευνας για το μίσος στο διαδίκτυο. Για παράδειγμα, Ross, κ.ά. βρήκαν ότι η εμφάνιση της ορισμένης hateful conduct του Twitter στους annotators τους οδήγησε να συναρμόσουν τις δικές τους απόψεις με την ορισμό. Αυτή η αναπροσαρμογή οδήγησε σε πολύ χαμηλή αξιοπιστία των σημειώσεων.’

* Η μετατροπή μου των εσωτερικών αναφορών της μελέτης σε υπερσυνδέσμους.

Δημοσιεύθηκε 13ης Δεκεμβρίου 2021 – Ενημερώθηκε 18ης Δεκεμβρίου 2021: Προστέθηκαν ετικέτες