Η Adobe και η Meta καταδικάζουν την κακοποίηση των μελετών χρηστών στην έρευνα υπολογιστικής όρασης

Η Adobe και η Meta, μαζί με το Πανεπιστήμιο του Ουάσινγκτον, έχουν δημοσιεύσει μια εκτεταμένη κριτική σχετικά με το τι ισχυρίζονται ότι είναι η αυξανόμενη κακοποίηση και κατάχρηση των μελετών χρηστών στην έρευνα υπολογιστικής όρασης (CV).

Οι μελέτες χρηστών ήταν κάποτε γενικά περιορισμένες σε ντόπιους ή φοιτητές γύρω από το κάμπους ενός ή περισσοτέρων από τα συμμετέχοντα ακαδημαϊκά ιδρύματα, αλλά έχουν μεταναστεύσει σχεδόν ολοσχερώς σε online πλατφόρμες crowdsourcing όπως το Amazon Mechanical Turk (AMT).

Μεταξύ eines ευρέος φάσματος παραπόνων, η νέα εργασία υποστηρίζει ότι τα ερευνητικά προγράμματα πιέζονται να παράγουν μελέτες από τους κριτές των εργασιών· συχνά διαμορφώνουν τις μελέτες κακώς· αναθέτουν μελέτες όπου η λογική του έργου δεν υποστηρίζει αυτήν την προσέγγιση· και συχνά «παίζονται» από κυνηγούς πλήρωμα που «βρίσκουν» τις επιθυμητές απαντήσεις αντί να σκέφτονται πραγματικά το πρόβλημα.

Η δεκαπεντασέλιδη μελέτη (με τίτλο Προς καλύτερες μελέτες χρηστών στην υπολογιστική γραφική και όραση) που αποτελεί το κεντρικό σώμα της νέας εργασίας, επισημαίνει πολλές άλλες κριτικές για τον τρόπο με τον οποίο οι μελέτες χρηστών που έχουν crowdsourced μπορεί να εμποδίζουν στην πραγματικότητα την πρόοδο των υπο-τομέων της υπολογιστικής όρασης, όπως η αναγνώριση εικόνων και η σύνθεση εικόνων.

Αν και η εργασία διευθύνει ένα πολύ ευρύτερο σύνολο θεμάτων που σχετίζονται με τις μελέτες χρηστών, οι ισχυρότερες κριτικές της απευθύνονται στον τρόπο με τον οποίο η αξιολόγηση εξόδου στις μελέτες χρηστών (δηλ. όταν οι crowdsourced άνθρωποι πληρώνονται στις μελέτες χρηστών για να κάνουν αξιολογήσεις αξίας για – για παράδειγμα – την έξοδο νέων αλγορίθμων σύνθεσης εικόνων) μπορεί να επηρεάζει αρνητικά ολόκληρο τον τομέα.

Ας δούμε μια επιλογή από κάποια από τα κεντρικά σημεία.

Εξαιρετικές Ερμηνείες

Μεταξύ των προτάσεων της εργασίας για εκείνους που δημοσιεύουν στον τομέα της υπολογιστικής όρασης, είναι η προειδοποίηση να «ερμηνεύουν τα αποτελέσματα προσεκτικά». Η εργασία αναφέρει ένα παράδειγμα από το 2021, όταν μια νέα ερευνητική εργασία που ισχυρίστηκε ότι «οι άνθρωποι δεν μπορούν να αναγνωρίσουν ακριβώς την τέχνη που παράγεται από τον AI» ήταν ευρέως αναμεμιγμένη στα δημοφιλή μέσα ενημέρωσης.

<img class="wp-image-182219 size-full" src="https://www.unite.ai/wp-content/uploads/2022/06/daily-mail-ai-art-sensation.jpg" alt="Μια από τις πιο δημοφιλείς αναφορές των μέσων ενημέρωσης για το έγγραφο του 2021 'Ο Ρόλος της Γνώσης της Προσάρτησης του AI στην Αξιολόγηση της Τέχνης', από τον Harsha Gangadharbatla, που αναφέρεται ως παράδειγμα στην νέα εργασία. Εδώ, η πηγή του The Daily Mail είναι The Times (paywalled).” width=”735″ height=”628″ /> Μια από τις πιο δημοφιλείς αναφορές των μέσων ενημέρωσης για το έγγραφο του 2021 ‘Ο Ρόλος της Γνώσης της Προσάρτησης του AI στην Αξιολόγηση της Τέχνης’, από τον Harsha Gangadharbatla, που αναφέρεται ως παράδειγμα στην νέα εργασία. Εδώ, η πηγή του The Daily Mail είναι The Times (paywalled). Πηγές: Daily Mail (archive link) / https://www.gwern.net/docs/ai/nn/gan/2021-gangadharbatla.pdf

Οι автор们 αναφέρουν*:

‘[Σε] μια μελέτη σε ένα ψυχολογικό περιοδικό, εικόνες παραδοσιακών έργων τέχνης και εικόνες που δημιουργήθηκαν από τεχνολογίες AI συλλέχθηκαν από το διαδίκτυο, και οι crowdsourced εργάτες ζητήθηκαν να διακρίνουν ποια εικόνες προέρχονταν από ποια πηγή. Από τα αποτελέσματα συναπαγόρευσε ότι “οι άνθρωποι δεν μπορούν να αναγνωρίσουν ακριβώς την τέχνη που παράγεται από τον AI”, ένα πολύ ευρύ συμπέρασμα που δεν ακολουθεί άμεσα από τα πειράματα.

‘Επιπλέον, το έγγραφο δεν αναφέρει λεπτομέρειες σχετικά με ποια συγκεκριμένα σύνολα εικόνων συλλέχθηκαν ή χρησιμοποιήθηκαν, καθιστώντας τις αξιολογήσεις δύσκολες, αν όχι αδύνατες, να επιβεβαιωθούν και να αναπαραχθούν.

‘Περισσότερο ανησυχητικό είναι ότι τα δημοφιλή μέσα ενημέρωσης ανέφεραν αυτά τα αποτελέσματα με ψευδείς αξιολογήσεις ότι τα AI μπορούν να δημιουργήσουν τέχνη ανεξάρτητα όπως οι άνθρωποι.’

Χειρισμός των Εργατών του Πλήρωμα που Νοθεύουν

Οι crowdsourced εργάτες δεν πληρώνονται συνήθως πολύ για τις προσπάθειές τους.既然 οι προοπτικές τους είναι ελάχιστες, και το καλύτερο потенシャル τους είναι μέσω της ολοκλήρωσης ενός υψηλού όγκου εργασιών, πολλοί από αυτούς είναι, ερευνητικές εργασίες δείχνουν, ότι έχουν την τάση να πάρουν οποιοδήποτε «συντόμευση» που θα ταχύνει την τρέχουσα εργασία, ώστε να μπορέσουν να μεταβούν στην επόμενη μικρή «εργασία».

Η εργασία παρατηρεί ότι οι crowdsourced εργάτες, όπως και τα συστήματα μηχανικής μάθησης, θα μάθουν επαναλαμβανόμενους.patterns στις μελέτες χρηστών που οι ερευνητές διαμορφώνουν, και απλώς θα υποθέσουν την «σωστή» ή «επιθυμητή» απάντηση, αντί να παράγουν μια πραγματικά οργανική απάντηση στο υλικό.

Για αυτόν τον σκοπό, η εργασία συνιστά την διεξαγωγή ελέγχων στους crowdsourced εργάτες, επίσης γνωστών ως «δοκιμασίες επικύρωσης» ή «σεντίνελ» – αποτελεσματικά, ψευδείς τμήματα ενός τεστ που σχεδιάζονται για να δουν αν ο εργάτης είναι προσεκτικός, τυχαία κλικάροντας, ή απλώς ακολουθώντας ένα μοτίβο που έχουν οι ίδιοι υποθέσει από τα τεστ, αντί να σκέφτονται τις επιλογές τους.

Οι автор们 αναφέρουν:

‘Για παράδειγμα, στην περίπτωση ζευγών στιλισμένων εικόνων, μια εικόνα του ζευγαριού μπορεί να είναι μια σκόπιμα και αντικειμενικά κακή ποιότητα αποτέλεσμα. Κατά τη διάρκεια της ανάλυσης, τα δεδομένα από τους συμμετέχοντες που απέτυχαν σε κάποιο προκαθορισμένο αριθμό ελέγχων μπορούν να απορριφθούν, υποθέτοντας ότι παράγονται από συμμετέχοντες που ήταν αμελείς ή ασυνεπείς.

‘Αυτοί οι έλεγχοι πρέπει να εισαχθούν τυχαία στην μελέτη, και πρέπει να εμφανίζονται το ίδιο με άλλα δοκιμαστικά· αλλιώς, οι συμμετέχοντες μπορεί να καταλάβουν ποια δοκιμαστικά είναι οι έλεγχοι.’

Χειρισμός των Ερευνητών που Νοθεύουν

Με ή χωρίς πρόθεση, οι ερευνητές μπορούν να είναι συνεργοί σε αυτό το είδος «παίγνιου»· υπάρχουν πολλά τρόποι για αυτούς, ίσως ακόμη και ακούσια, να «σηματοδοτήσουν» τις επιθυμητές τους επιλογές στους crowdsourced εργάτες.

Για παράδειγμα, η εργασία παρατηρεί, επιλέγοντας crowdsourced εργάτες με προφίλ που μπορεί να είναι ευνοϊκά για την απόκτηση των «ιδεατών» απαντήσεων σε μια μελέτη, ονομαστικά αποδεικνύοντας μια υπόθεση που μπορεί να είχε αποτύχει σε μια λιγότερο «επιλεγμένη» και πιο τυχαία ομάδα.

Η φρασεολογία είναι επίσης ένα κρίσιμο ζήτημα:

‘Η φρασεολογία πρέπει να αντανακλά τους υψηλού επιπέδου στόχους, π.χ., “ποια εικόνα περιέχει λιγότερα артеφάκτα;” αντί για “ποια εικόνα περιέχει λιγότερες χρωματικές ελαττώματα στην περιοχή του προσώπου;” Αντίθετα, η ασαφής φρασεολογία της εργασίας αφήνει πολύ να ερμηνευτεί, π.χ., “ποια εικόνα είναι καλύτερη;” μπορεί να κατανοηθεί ως “ποια είναι πιο αισθητικά ευχάριστη;” όπου η πρόθεση μπορεί να ήταν να αξιολογηθεί “ποια είναι πιο ρεαλιστική;”

Ένας άλλος τρόπος για να «ευνοήσει» τους συμμετέχοντες είναι να τους επιτρέψει να γνωρίζουν, σαφώς ή 암υδρά, ποια από τις πιθανές επιλογές μπροστά τους είναι η μέθοδος του ερευνητή, αντί για μια προηγούμενη μέθοδο ή τυχαίο δείγμα.

Η εργασία αναφέρει*:

‘[Οι] συμμετέχοντες μπορεί να απαντήσουν με τις απαντήσεις που πιστεύουν ότι οι ερευνητές θέλουν, συνειδητά ή όχι, που είναι γνωστό ως “αγαθός υποκείμενος αποτέλεσμα”. Μην επισημαίνετε τις εξόδους με ονόματα όπως “η μέθοδος μας” ή “υπάρχουσα μέθοδος”. Οι συμμετέχοντες μπορούν να επηρεαστούν από δυναμικές εξουσίας (δηλ. ο ερευνητής που διεξάγει την έρευνα), ερευνητές που χρησιμοποιούν γλώσσα για να προκαλέσουν τους συμμετέχοντες (π.χ., “πόσο σας αρέσει αυτό το εργαλείο που έχω χτίσει χθες;”), και ερευνητές και συμμετέχοντες’ σχέση (π.χ., αν και οι δύο εργάζονται στο ίδιο εργαστήριο ή εταιρεία).’

Η μορφοποίηση μιας εργασίας σε μια μελέτη χρηστών μπορεί επίσης να επηρεάσει την ουδετερότητα της μελέτης. Οι автор们 σημειώνουν ότι αν, σε μια παρουσίαση πλευρά-πλευρά, η βάση είναι συνεχώς τοποθετημένη στην αριστερή πλευρά (δηλ. «εικόνα Α») και η έξοδος του νέου αλγορίθμου στη δεξιά πλευρά, οι συμμετέχοντες στην μελέτη μπορεί να υποθέσουν ότι η Β είναι η «καλύτερη» επιλογή, με βάση την αυξανόμενη υπόθεση της επιθυμητής έκβασης των ερευνητών.

‘Άλλα στοιχεία της παρουσίασης, όπως το μέγεθος των εικόνων στην οθόνη, η απόσταση τους, κ.λπ. μπορεί να επηρεάσουν τις απαντήσεις των συμμετεχόντων. Η πιλότωση της μελέτης με μερικές διαφορετικές ρυθμίσεις μπορεί να βοηθήσει να εντοπιστούν αυτοί οι πιθανές σύγκρουσης νωρίς.’

Οι Λάθος Άνθρωποι για το Λάθος Προϊόν

Οι автор们 παρατηρούν σε πολλά σημεία της εργασίας ότι οι crowdsourced εργάτες είναι μια πιο «γενική» πηγή από ότι θα αναμενόταν σε προηγούμενες δεκαετίες, όταν οι ερευνητές ήταν αναγκασμένοι να ζητήσουν βοήθεια τοπικά, συχνά από φοιτητές που συμπλήρωναν το εισόδημά τους μέσω της συμμετοχής σε μελέτες.

Η απαίτηση για ενεργό συμμετοχή αφήνει τους εργάτες του πλήρωμα λίγο χώρο να είναι «αδιάφοροι» για ένα προϊόν που το δοκιμάζουν, και οι автор们 της εργασίας συνιστώνται οι ερευνητές να αναγνωρίσουν τους στόχους τους χρήστες πριν αναπτύξουν και μελετήσουν ένα πιθανό προϊόν ή υπηρεσία – αλλιώς κινδυνεύουν να παράγουν κάτι πολύ δύσκολο να δημιουργηθεί, αλλά που κανείς δεν θέλει πραγματικά.

‘Πράγματι, έχουμε συχνά δει ερευνητές υπολογιστικής γραφικής και όρασης να προσπαθούν να πάρουν την έρευνά τους να υιοθετηθεί από την βιομηχανία, μόνο για να ανακαλύψουν ότι η έρευνα δεν αντιμετωπίζει τις ανάγκες των στόχων χρηστών. Ερευνητές που δεν thực hiện ανάπτυξη ανάγκης στην αρχή μπορεί να驚αλθούν να βρουν ότι οι χρήστες δεν έχουν ανάγκη ή ενδιαφέρον για το εργαλείο που έχουν δαπανήσει μήνες ή χρόνια αναπτύσσοντας.

‘Τέτοια εργαλεία μπορεί να έχουν κακή απόδοση σε μελέτες αξιολόγησης, καθώς οι χρήστες μπορεί να βρουν ότι η τεχνολογία παράγει αχρήστα, άσχετα ή απροσδόκητα αποτελέσματα.’

Η εργασία παρατηρεί επίσης ότι οι χρήστες που είναι πραγματικά πιθανό να χρησιμοποιήσουν ένα προϊόν πρέπει να επιλεγούν για τις μελέτες, ακόμη και αν δεν είναι εύκολο να βρεθούν (ή, πιθανότατα, τόσο φθηνά).

Αντί να επιστρέψουν στην προσλήψη στο κάμπους (που θα ήταν ίσως ένα κάπως παλιό βλέμμα), οι автор们 συνιστώνται οι ερευνητές «να προσλάβουν χρήστες στο άγριο», να ασχολούνται με σχετικές κοινότητες.

‘Για παράδειγμα, μπορεί να υπάρχει một σχετική ενεργή διαδικτυακή message board ή κοινότητα στα social media που μπορεί να αξιοποιηθεί. Ακόμη και η συνάντηση με ένα μέλος της κοινότητας μπορεί να οδηγήσει σε snowball sampling, όπου οι σχετικοί χρήστες προσφέρουν συνδέσεις σε παρόμοιους ατόμους στη δική τους δικτύωση.’

Ζήτηση Ανταπόκρισης

Η εργασία συνιστά επίσης να ζητηθεί ποιοτική ανταπόκριση από εκείνους που έχουν συμμετάσχει σε μελέτες χρηστών, όχι τουλάχιστον επειδή αυτό μπορεί να αποκαλύψει ψευδείς υποθέσεις από τους ερευνητές.

‘Αυτές μπορεί να βοηθήσουν να διορθώσουν την μελέτη, αλλά μπορεί επίσης να αποκαλύψουν απροσδόκητα στοιχεία της εξόδου που επηρέασαν τις αξιολογήσεις των χρηστών. Ήταν ο συμμετέχων «πολύ μη ικανοποιημένος» [sic] με την έξοδο επειδή ήταν αρεαλιστική, μη αισθητική, προκατειλημμένη ή για κάποιον άλλο λόγο;

‘Χωρίς ποιοτικές πληροφορίες, ο ερευνητής μπορεί να εργαστεί για την βελτίωση του αλγορίθμου για να είναι πιο ρεαλιστικός, αντί να αντιμετωπίζει το υποκείμενο πρόβλημα του χρήστη.’

Όπως και πολλές από τις προτάσεις καθ’ όλη τη διάρκεια της εργασίας, αυτή η συγκεκριμένη πρόταση απαιτεί περαιτέρω δαπάνη χρόνου και χρημάτων από τους ερευνητές, σε μια κουλτούρα που, η εργασία παρατηρεί, εξελίσσεται ως μια γρήγορη και πρακτικά υποχρεωτική μελέτη χρηστών, η οποία είναι συνήθως αρκετά φθηνή, και η οποία ανταποκρίνεται σε μια μελέτη-κίνητη κουλτούρα που η εργασία κριτικάρει καθ’ όλη τη διάρκεια.

Υπερμελετημένοι

Η εργασία υποστηρίζει ότι οι μελέτες χρηστών γίνονται ένα είδος «ελάχιστης απαίτησης» στην προ-εκτύπωση κοινότητα της υπολογιστικής όρασης, ακόμη και σε περιπτώσεις όπου μια μελέτη δεν μπορεί να διαμορφωθεί εύλογα (για παράδειγμα, με μια ιδέα τόσο καινούρια ή περιθωριακή που δεν υπάρχει «όμοια-για-όμοια» ανάλυση για να διεξαχθεί, και η οποία μπορεί να μην είναι ευάλωτη σε οποιοδήποτε hợp理σιμο μετρικό που θα μπορούσε να παράγει σημαντικά αποτελέσματα σε μια μελέτη χρηστών).

Ως παράδειγμα «μελέτης-βουλίματος» (όχι η φράση των авторών), οι ερευνητές αναφέρουν την περίπτωση ενός εγγράφου ICLR 2022 για το οποίο οι κριτικές είναι διαθέσιμες online (αρχείο-στιγμιότυπο ληφθέν 24ης Ιουνίου 2022· σύνδεσμος ληφθείς trực tiếp από την νέα εργασία)^†:

‘Δύο κριτές έδωσαν πολύ αρνητικές βαθμολογίες λόγω, εν μέρει, της έλλειψης μελετών χρηστών. Το έγγραφο τελικά έγινε δεκτό, συνοδευόμενο από μια περίληψη που επικρίνει τους κριτές για χρήση «μελετών χρηστών» ως πρόφαση για κακή κριτική, και κατηγορώντας τους για gatekeeping. Η πλήρης συζήτηση αξίζει να διαβαστεί.

‘Η τελική απόφαση σημείωσε ότι η υποβολή περιέγραφε μια βιβλιοθήκη λογισμικού που είχε αναπτυχθεί για χρόνια, με χιλιάδες χρήστες (πληροφορίες που δεν αποκαλύφθηκαν στους κριτές για ανώνυμη κριτική). Θα είχε απορριφθεί το έγγραφο – το οποίο περιγράφει ένα υψηλά επηρεσμένο σύστημα – αν η επιτροπή δεν είχε αυτή την πληροφορία;

‘Και, αν οι авторες είχαν περάσει την πρόσθετη προσπάθεια για να διαμορφώσουν και να εκτελέσουν μια μελέτη χρηστών, θα ήταν σημαντική, και θα ήταν αρκετή για να πείσουν τους κριτές;’

Οι автор们 αναφέρουν ότι έχουν δει κριτές και εκδότες να επιβάλλουν «βαρείς απαιτήσεις αξιολόγησης» σε υποβεβλημένα έγγραφα, παρά το αν τέτοιες αξιολογήσεις θα είχαν πραγματικά κάποια σημασία ή αξία.

‘Έχουμε επίσης δει αυτούς και τους κριτές να χρησιμοποιούν αξιολογήσεις MTurk ως κρυσφήγετο για να αποφύγουν να λάβουν σκληρές αποφάσεις. Κριτικές όπως “δεν μπορώ να πω αν οι εικόνες είναι καλύτερες, ίσως μια μελέτη χρηστών θα βοηθούσε” είναι потенτικά βλαβερές, ενθαρρύνοντας τους συγγραφείς να εκτελέσουν πρόσθετη δουλειά που δεν θα βελτιώσει ένα έγγραφο που λείπει.’

Οι автор们 κλείνουν την εργασία με μια κεντρική «κλήση σε δράση», για τις κοινότητες της υπολογιστικής όρασης και της υπολογιστικής γραφικής να σκεφτούν πιο πλήρως τις αιτήσεις τους για μελέτες χρηστών, αντί να αφήσουν μια μελέτη-κίνητη κουλτούρα να αναπτυχθεί ως μια ρουτίνα, παρά το «πériphérique» όπου κάποιο από το πιο ενδιαφέρον έργο μπορεί να μην ταιριάζει σε κάποιο από τα πιο κερδοφόρα ή ευημερούσα ερευνητικά και υποβολή αγωγών.

Οι автор们 συμπεραίνουν:

‘[Εάν] ο πρωταρχικός στόχος της διεξαγωγής μελετών χρηστών είναι να ικανοποιήσουν τους κριτές αντί να παράγουν νέα γνώσεις, η χρησιμότητα και η εγκυρότητα τέτοιων μελετών πρέπει να τεθούν υπό αμφισβήτηση από τους συγγραφείς και τους κριτές. Η ποινή εργασιών που δεν περιέχουν αξιολόγηση χρηστών έχει την ανεπιθύμητη συνέπεια της ενθάρρυνσης γρήγορα και κακώς εκτελεσμένων μελετών χρηστών.

‘Ένα maxim για να κρατήσουμε στο μυαλό μας είναι ότι “κακές μελέτες χρηστών οδηγούν σε κακές εξελίξεις”, και τέτοιες μελέτες θα συνεχίσουν αν οι κριτές συνεχίσουν να τις ζητούν.’

* Η μετατροπή μου των εσωτερικών αναφορών του εγγράφου σε σχετικές υπερσυνδέσμους
^†  Η έντονη μου, όχι των авторών.

Πρώτη δημοσίευση 24ης Ιουνίου 2022.