Η γωνία του Anderson
Η Adobe και η Meta καταδικάζουν την κακοποίηση των μελετών χρηστών στην έρευνα υπολογιστικής όρασης

Βασικά σημείαΟι συμμετοχικές μελέτες χρηστών στην υπολογιστική όραση συχνά παραποιούνται από…
Δείτε περισσότερα
- Οι συμμετοχικές μελέτες χρηστών στην υπολογιστική όραση συχνά παραποιούνται από εργαζόμενους που συμπεραίνουν τις επιθυμητές απαντήσεις αντί να σκέφτονται κριτικά.
- Οι κριτές απαιτούν όλο και περισσότερο μελέτες χρηστών ως υποστήριγμα, πιέζοντας τους συγγραφείς να παράγουν ανούσιες αξιολογήσεις για άτονα άρθρα.
- Οι ερευνητές πρέπει να στρατολογούν πραγματικούς χρήστες στο πεδίο και να αποφεύγουν την επισήμανση των αποτελεσμάτων ως 'η μέθοδός μας' για να αποτρέψουν μεροληψία στα αποτελέσματα των μελετών.
Η Adobe (ADBE ) και η Meta, μαζί με το Πανεπιστήμιο του Ουάσινγκτον, έχουν δημοσιεύσει μια εκτεταμένη κριτική σχετικά με το τι ισχυρίζονται ότι είναι η αυξανόμενη κακοποίηση και κατάχρηση των μελετών χρηστών στην έρευνα υπολογιστικής όρασης (CV).
Οι μελέτες χρηστών ήταν κάποτε γενικά περιορισμένες σε ντόπιους ή φοιτητές γύρω από το κάμπους ενός ή περισσοτέρων από τα συμμετέχοντα ακαδημαϊκά ιδρύματα, αλλά έχουν μεταναστεύσει σχεδόν ολοσχερώς σε online πλατφόρμες crowdsourcing όπως το Amazon Mechanical Turk (AMT).
Μεταξύ ενός ευρέος φάσματος παραπόνων, η νέα εργασία υποστηρίζει ότι τα ερευνητικά προγράμματα πιέζονται να παράγουν μελέτες από τους κριτές των εργασιών· συχνά διαμορφώνουν τις μελέτες κακώς· αναθέτουν μελέτες όπου η λογική του έργου δεν υποστηρίζει αυτήν την προσέγγιση· και συχνά «παίζονται» από κυνικούς εργαζομένους σε πλατφόρμες crowdsourcing που «βρίσκουν» τις επιθυμητές απαντήσεις αντί να σκέφτονται πραγματικά το πρόβλημα.
Η δεκαπεντασέλιδη μελέτη (με τίτλο Προς καλύτερες μελέτες χρηστών στην υπολογιστική γραφική και όραση) που αποτελεί το κεντρικό σώμα της νέας εργασίας, επισημαίνει πολλές άλλες κριτικές για τον τρόπο με τον οποίο οι μελέτες χρηστών που έχουν crowdsourced μπορεί να εμποδίζουν στην πραγματικότητα την πρόοδο των υπο-τομέων της υπολογιστικής όρασης, όπως η αναγνώριση εικόνων και η σύνθεση εικόνων.
Αν και η εργασία διευθύνει ένα πολύ ευρύτερο σύνολο θεμάτων που σχετίζονται με τις μελέτες χρηστών, οι ισχυρότερες κριτικές της απευθύνονται στον τρόπο με τον οποίο η αξιολόγηση εξόδου στις μελέτες χρηστών (δηλ. όταν οι crowdsourced άνθρωποι πληρώνονται στις μελέτες χρηστών για να κάνουν αξιολογήσεις αξίας για – για παράδειγμα – την έξοδο νέων αλγορίθμων σύνθεσης εικόνων) μπορεί να επηρεάζει αρνητικά ολόκληρο τον τομέα.
Ας δούμε μια επιλογή από κάποια από τα κεντρικά σημεία.
Εντυπωσιοθηρικές ερμηνείες
Μεταξύ των προτάσεων της εργασίας για εκείνους που δημοσιεύουν στον τομέα της υπολογιστικής όρασης, είναι η προειδοποίηση να «ερμηνεύουν τα αποτελέσματα προσεκτικά». Η εργασία αναφέρει ένα παράδειγμα από το 2021, όταν μια νέα ερευνητική εργασία που ισχυρίστηκε ότι «οι άνθρωποι δεν μπορούν να αναγνωρίσουν ακριβώς την τέχνη που παράγεται από τον AI» ήταν παρουσιασμένη με παραπλανητική ερμηνεία στα δημοφιλή μέσα ενημέρωσης.

Προβεβλημένο δημοσίευμα για την εργασία του 2021 «The Role of AI Attribution Knowledge in the Evaluation of Artwork», του Harsha Gangadharbatla, που παρατίθεται στη νέα εργασία. Εδώ, η πηγή της Daily Mail είναι οι Times (με συνδρομή). Πηγές: Daily Mail (αρχειοθετημένος σύνδεσμος) / https://www.gwern.net/docs/ai/nn/gan/2021-gangadharbatla.pdf
Οι συγγραφείς αναφέρουν*:
‘[Σε] μια μελέτη σε ένα ψυχολογικό περιοδικό, εικόνες παραδοσιακών έργων τέχνης και εικόνες που δημιουργήθηκαν από τεχνολογίες AI συλλέχθηκαν από το διαδίκτυο, και οι crowdsourced εργάτες ζητήθηκαν να διακρίνουν ποια εικόνες προέρχονταν από ποια πηγή. Από τα αποτελέσματα συνάχθηκε ότι “οι άνθρωποι δεν μπορούν να αναγνωρίσουν ακριβώς την τέχνη που παράγεται από τον AI”, ένα πολύ ευρύ συμπέρασμα που δεν ακολουθεί άμεσα από τα πειράματα.
‘Επιπλέον, το έγγραφο δεν αναφέρει λεπτομέρειες σχετικά με ποια συγκεκριμένα σύνολα εικόνων συλλέχθηκαν ή χρησιμοποιήθηκαν, καθιστώντας τις αξιολογήσεις δύσκολες, αν όχι αδύνατες, να επιβεβαιωθούν και να αναπαραχθούν.
‘Περισσότερο ανησυχητικό είναι ότι τα δημοφιλή μέσα ενημέρωσης ανέφεραν αυτά τα αποτελέσματα με ψευδείς αξιολογήσεις ότι τα AI μπορούν να δημιουργήσουν τέχνη ανεξάρτητα όπως οι άνθρωποι.’
Αντιμετώπιση εργαζομένων crowdsourcing που εξαπατούν
Οι crowdsourced εργάτες δεν πληρώνονται συνήθως πολύ για τις προσπάθειές τους.Εφόσον οι προοπτικές τους είναι ελάχιστες, και το μεγαλύτερο δυναμικό κέρδους τους είναι μέσω της ολοκλήρωσης ενός υψηλού όγκου εργασιών, πολλοί από αυτούς είναι, ερευνητικές εργασίες δείχνουν, ότι έχουν την τάση να πάρουν οποιοδήποτε «συντόμευση» που θα ταχύνει την τρέχουσα εργασία, ώστε να μπορέσουν να μεταβούν στην επόμενη μικρή «εργασία».
Η εργασία παρατηρεί ότι οι crowdsourced εργάτες, όπως και τα συστήματα μηχανικής μάθησης, θα μάθουν επαναλαμβανόμενα μοτίβα στις μελέτες χρηστών που οι ερευνητές διαμορφώνουν, και απλώς θα υποθέσουν την «σωστή» ή «επιθυμητή» απάντηση, αντί να παράγουν μια πραγματικά οργανική απάντηση στο υλικό.
Για αυτόν τον σκοπό, η εργασία συνιστά την διεξαγωγή ελέγχων στους crowdsourced εργάτες, επίσης γνωστών ως «δοκιμασίες επικύρωσης» ή «σεντίνελ» – αποτελεσματικά, ψευδείς τμήματα ενός τεστ που σχεδιάζονται για να δουν αν ο εργάτης είναι προσεκτικός, τυχαία κλικάροντας, ή απλώς ακολουθώντας ένα μοτίβο που έχουν οι ίδιοι υποθέσει από τα τεστ, αντί να σκέφτονται τις επιλογές τους.
Οι συγγραφείς αναφέρουν:
‘Για παράδειγμα, στην περίπτωση ζευγών στιλισμένων εικόνων, μια εικόνα του ζευγαριού μπορεί να είναι μια σκόπιμα και αντικειμενικά κακή ποιότητα αποτέλεσμα. Κατά τη διάρκεια της ανάλυσης, τα δεδομένα από τους συμμετέχοντες που απέτυχαν σε κάποιο προκαθορισμένο αριθμό ελέγχων μπορούν να απορριφθούν, υποθέτοντας ότι παράγονται από συμμετέχοντες που ήταν αμελείς ή ασυνεπείς.
‘Αυτοί οι έλεγχοι πρέπει να εισαχθούν τυχαία στην μελέτη, και πρέπει να εμφανίζονται το ίδιο με άλλα δοκιμαστικά· αλλιώς, οι συμμετέχοντες μπορεί να καταλάβουν ποια δοκιμαστικά είναι οι έλεγχοι.’
Χειρισμός των Ερευνητών που Νοθεύουν
Με ή χωρίς πρόθεση, οι ερευνητές μπορούν να είναι συνεργοί σε αυτό το είδος «παίγνιου»· υπάρχουν πολλά τρόποι για αυτούς, ίσως ακόμη και ακούσια, να «σηματοδοτήσουν» τις επιθυμητές τους επιλογές στους crowdsourced εργάτες.
Για παράδειγμα, η εργασία παρατηρεί, επιλέγοντας crowdsourced εργάτες με προφίλ που μπορεί να είναι ευνοϊκά για την απόκτηση των «ιδεατών» απαντήσεων σε μια μελέτη, ονομαστικά αποδεικνύοντας μια υπόθεση που μπορεί να είχε αποτύχει σε μια λιγότερο «επιλεγμένη» και πιο τυχαία ομάδα.
Η φρασεολογία είναι επίσης ένα κρίσιμο ζήτημα:
‘Η φρασεολογία πρέπει να αντανακλά τους υψηλού επιπέδου στόχους, π.χ., “ποια εικόνα περιέχει λιγότερα οπτικά τεχνουργήματα;” αντί για “ποια εικόνα περιέχει λιγότερες χρωματικές ελαττώματα στην περιοχή του προσώπου;” Αντίθετα, η ασαφής φρασεολογία της εργασίας αφήνει πολύ να ερμηνευτεί, π.χ., “ποια εικόνα είναι καλύτερη;” μπορεί να κατανοηθεί ως “ποια είναι πιο αισθητικά ευχάριστη;” όπου η πρόθεση μπορεί να ήταν να αξιολογηθεί “ποια είναι πιο ρεαλιστική;”
Ένας άλλος τρόπος για να «ευνοήσει» τους συμμετέχοντες είναι να τους επιτρέψει να γνωρίζουν, σαφώς ή έμμεσα, ποια από τις πιθανές επιλογές μπροστά τους είναι η μέθοδος του ερευνητή, αντί για μια προηγούμενη μέθοδο ή τυχαίο δείγμα.
Η εργασία αναφέρει*:
‘[Οι] συμμετέχοντες μπορεί να απαντήσουν με τις απαντήσεις που πιστεύουν ότι οι ερευνητές θέλουν, συνειδητά ή όχι, που είναι γνωστό ως “φαινόμενο του πρόθυμου συμμετέχοντα (good subject effect)”. Μην επισημαίνετε τις εξόδους με ονόματα όπως “η μέθοδος μας” ή “υπάρχουσα μέθοδος”. Οι συμμετέχοντες μπορούν να επηρεαστούν από δυναμικές εξουσίας (δηλ. ο ερευνητής που διεξάγει την έρευνα), ερευνητές που χρησιμοποιούν γλώσσα για να προκαλέσουν τους συμμετέχοντες (π.χ., “πόσο σας αρέσει αυτό το εργαλείο που έχω χτίσει χθες;”), και ερευνητές και συμμετέχοντες’ σχέση (π.χ., αν και οι δύο εργάζονται στο ίδιο εργαστήριο ή εταιρεία).’
Η μορφοποίηση μιας εργασίας σε μια μελέτη χρηστών μπορεί επίσης να επηρεάσει την ουδετερότητα της μελέτης. Οι συγγραφείς σημειώνουν ότι αν, σε μια παρουσίαση πλευρά-πλευρά, η βάση είναι συνεχώς τοποθετημένη στην αριστερή πλευρά (δηλ. «εικόνα Α») και η έξοδος του νέου αλγορίθμου στη δεξιά πλευρά, οι συμμετέχοντες στην μελέτη μπορεί να υποθέσουν ότι η Β είναι η «καλύτερη» επιλογή, με βάση την αυξανόμενη υπόθεση της επιθυμητής έκβασης των ερευνητών.
‘Άλλα στοιχεία της παρουσίασης, όπως το μέγεθος των εικόνων στην οθόνη, η απόσταση τους, κ.λπ. μπορεί να επηρεάσουν τις απαντήσεις των συμμετεχόντων. Η πιλότωση της μελέτης με μερικές διαφορετικές ρυθμίσεις μπορεί να βοηθήσει να εντοπιστούν αυτές οι πιθανές συγχυτικές επιδράσεις νωρίς.’
Οι Λάθος Άνθρωποι για το Λάθος Προϊόν
Οι συγγραφείς παρατηρούν σε πολλά σημεία της εργασίας ότι οι crowdsourced εργάτες είναι μια πιο «γενική» πηγή από ότι θα αναμενόταν σε προηγούμενες δεκαετίες, όταν οι ερευνητές ήταν αναγκασμένοι να ζητήσουν βοήθεια τοπικά, συχνά από φοιτητές που συμπλήρωναν το εισόδημά τους μέσω της συμμετοχής σε μελέτες.
Η απαίτηση για ενεργό συμμετοχή αφήνει τους εργαζομένους crowdsourcing λίγο χώρο να είναι «αδιάφοροι» για ένα προϊόν που το δοκιμάζουν, και οι συγγραφείς της εργασίας συνιστώνται οι ερευνητές να αναγνωρίσουν τους χρήστες-στόχους τους πριν αναπτύξουν και μελετήσουν ένα πιθανό προϊόν ή υπηρεσία – αλλιώς κινδυνεύουν να παράγουν κάτι πολύ δύσκολο να δημιουργηθεί, αλλά που κανείς δεν θέλει πραγματικά.
‘Πράγματι, έχουμε συχνά δει ερευνητές υπολογιστικής γραφικής και όρασης να προσπαθούν να πάρουν την έρευνά τους να υιοθετηθεί από την βιομηχανία, μόνο για να ανακαλύψουν ότι η έρευνα δεν αντιμετωπίζει τις ανάγκες των στόχων χρηστών. Ερευνητές που δεν διερευνούν τις ανάγκες των χρηστών στην αρχή μπορεί να εκπλαγούν να βρουν ότι οι χρήστες δεν έχουν ανάγκη ή ενδιαφέρον για το εργαλείο που έχουν δαπανήσει μήνες ή χρόνια αναπτύσσοντας.
‘Τέτοια εργαλεία μπορεί να έχουν κακή απόδοση σε μελέτες αξιολόγησης, καθώς οι χρήστες μπορεί να βρουν ότι η τεχνολογία παράγει αχρήστα, άσχετα ή απροσδόκητα αποτελέσματα.’
Η εργασία παρατηρεί επίσης ότι οι χρήστες που είναι πραγματικά πιθανό να χρησιμοποιήσουν ένα προϊόν πρέπει να επιλεγούν για τις μελέτες, ακόμη και αν δεν είναι εύκολο να βρεθούν (ή, πιθανότατα, τόσο φθηνά).
Αντί να επιστρέψουν στην προσλήψη στο κάμπους (που θα ήταν ίσως μια κάπως παρωχημένη προσέγγιση), οι συγγραφείς συνιστώνται οι ερευνητές «να προσλάβουν χρήστες στο άγριο», να ασχολούνται με σχετικές κοινότητες.
‘Για παράδειγμα, μπορεί να υπάρχει μια σχετική ενεργή διαδικτυακή message board ή κοινότητα στα social media που μπορεί να αξιοποιηθεί. Ακόμη και η συνάντηση με ένα μέλος της κοινότητας μπορεί να οδηγήσει σε δειγματοληψία χιονοστιβάδας, όπου οι σχετικοί χρήστες προσφέρουν συνδέσεις σε παρόμοιους ατόμους στη δική τους δικτύωση.’
Ζήτηση Ανταπόκρισης
Η εργασία συνιστά επίσης να ζητηθεί ποιοτική ανταπόκριση από εκείνους που έχουν συμμετάσχει σε μελέτες χρηστών, ιδίως επειδή αυτό μπορεί να αποκαλύψει ψευδείς υποθέσεις από τους ερευνητές.
‘Αυτές μπορεί να βοηθήσουν να διορθώσουν την μελέτη, αλλά μπορεί επίσης να αποκαλύψουν απροσδόκητα στοιχεία της εξόδου που επηρέασαν τις αξιολογήσεις των χρηστών. Ήταν ο συμμετέχων «πολύ μη ικανοποιημένος» [sic] με την έξοδο επειδή ήταν αρεαλιστική, μη αισθητική, προκατειλημμένη ή για κάποιον άλλο λόγο;
‘Χωρίς ποιοτικές πληροφορίες, ο ερευνητής μπορεί να εργαστεί για την βελτίωση του αλγορίθμου για να είναι πιο ρεαλιστικός, αντί να αντιμετωπίζει το υποκείμενο πρόβλημα του χρήστη.’
Όπως και πολλές από τις προτάσεις καθ’ όλη τη διάρκεια της εργασίας, αυτή η συγκεκριμένη πρόταση απαιτεί περαιτέρω δαπάνη χρόνου και χρημάτων από τους ερευνητές, σε μια κουλτούρα που, η εργασία παρατηρεί, εξελίσσεται ως μια γρήγορη και πρακτικά υποχρεωτική μελέτη χρηστών, η οποία είναι συνήθως αρκετά φθηνή, και η οποία ανταποκρίνεται σε μια μελέτη-κίνητη κουλτούρα που η εργασία κριτικάρει καθ’ όλη τη διάρκεια.
Υπερμελετημένοι
Η εργασία υποστηρίζει ότι οι μελέτες χρηστών γίνονται ένα είδος «ελάχιστης απαίτησης» στην κοινότητα προδημοσιεύσεων της υπολογιστικής όρασης, ακόμη και σε περιπτώσεις όπου μια μελέτη δεν μπορεί να διαμορφωθεί εύλογα (για παράδειγμα, με μια ιδέα τόσο καινούρια ή περιθωριακή που δεν υπάρχει «όμοια-για-όμοια» ανάλυση για να διεξαχθεί, και η οποία μπορεί να μην είναι ευάλωτη σε οποιοδήποτε εύλογο μετρικό που θα μπορούσε να παράγει σημαντικά αποτελέσματα σε μια μελέτη χρηστών).
Ως παράδειγμα «εκφοβισμού μέσω απαιτήσεων για μελέτες» (όχι η φράση των συγγραφέων), οι ερευνητές αναφέρουν την περίπτωση ενός εγγράφου ICLR 2022 για το οποίο οι κριτικές είναι διαθέσιμες online (αρχείο-στιγμιότυπο ληφθέν 24ης Ιουνίου 2022· σύνδεσμος ληφθείς απευθείας από την νέα εργασία)†:
‘Δύο κριτές έδωσαν πολύ αρνητικές βαθμολογίες λόγω, εν μέρει, της έλλειψης μελετών χρηστών. Το έγγραφο τελικά έγινε δεκτό, συνοδευόμενο από μια περίληψη που επικρίνει τους κριτές για χρήση «μελετών χρηστών» ως πρόφαση για κακή κριτική, και κατηγορώντας τους για gatekeeping. Η πλήρης συζήτηση αξίζει να διαβαστεί.
‘Η τελική απόφαση σημείωσε ότι η υποβολή περιέγραφε μια βιβλιοθήκη λογισμικού που βρισκόταν σε χρήση επί χρόνια, με χιλιάδες χρήστες (πληροφορίες που δεν αποκαλύφθηκαν στους κριτές για ανώνυμη κριτική). Θα είχε απορριφθεί το έγγραφο – το οποίο περιγράφει ένα σύστημα με μεγάλη επιρροή – αν η επιτροπή δεν είχε αυτή την πληροφορία;
‘Και, αν οι συγγραφείς είχαν περάσει την πρόσθετη προσπάθεια για να διαμορφώσουν και να εκτελέσουν μια μελέτη χρηστών, θα ήταν σημαντική, και θα ήταν αρκετή για να πείσουν τους κριτές;’
Οι συγγραφείς αναφέρουν ότι έχουν δει κριτές και εκδότες να επιβάλλουν «βαρείς απαιτήσεις αξιολόγησης» σε υποβεβλημένα έγγραφα, ανεξάρτητα από το αν τέτοιες αξιολογήσεις θα είχαν πραγματικά κάποια σημασία ή αξία.
‘Έχουμε επίσης δει αυτούς και τους κριτές να χρησιμοποιούν αξιολογήσεις MTurk ως δεκανίκι για να αποφύγουν να λάβουν σκληρές αποφάσεις. Κριτικές όπως “δεν μπορώ να πω αν οι εικόνες είναι καλύτερες, ίσως μια μελέτη χρηστών θα βοηθούσε” είναι δυνητικά βλαβερές, ενθαρρύνοντας τους συγγραφείς να εκτελέσουν πρόσθετη δουλειά που δεν θα βελτιώσει μια ανεπαρκή εργασία.’
Οι συγγραφείς κλείνουν την εργασία με μια κεντρική «κλήση σε δράση», για τις κοινότητες της υπολογιστικής όρασης και της υπολογιστικής γραφικής να σκεφτούν πιο πλήρως τις αιτήσεις τους για μελέτες χρηστών, αντί να αφήσουν μια μελέτη-κίνητη κουλτούρα να αναπτυχθεί ως μια ρουτίνα, παρά τις οριακές περιπτώσεις όπου ορισμένες από τις πιο ενδιαφέρουσες εργασίες δεν εντάσσονται στις πιο παραγωγικές διαδρομές έρευνας και υποβολής δημοσιεύσεων.
Οι συγγραφείς συμπεραίνουν:
‘[Εάν] ο πρωταρχικός στόχος της διεξαγωγής μελετών χρηστών είναι να ικανοποιήσουν τους κριτές αντί να παράγουν νέα γνώσεις, η χρησιμότητα και η εγκυρότητα τέτοιων μελετών πρέπει να τεθούν υπό αμφισβήτηση από τους συγγραφείς και τους κριτές. Η ποινή εργασιών που δεν περιέχουν αξιολόγηση χρηστών έχει την ανεπιθύμητη συνέπεια της ενθάρρυνσης γρήγορα και κακώς εκτελεσμένων μελετών χρηστών.
‘Ένα γνωμικό για να κρατήσουμε στο μυαλό μας είναι ότι “κακές μελέτες χρηστών οδηγούν σε κακά αποτελέσματα”, και τέτοιες μελέτες θα συνεχίσουν αν οι κριτές συνεχίσουν να τις ζητούν.’
* Η μετατροπή μου των εσωτερικών αναφορών του εγγράφου σε σχετικές υπερσυνδέσμους
† Η έμφαση δική μου, όχι των συγγραφέων.
Πρώτη δημοσίευση 24ης Ιουνίου 2022.












