Adobe et Meta dénoncent les mauvaises utilisations des études d’utilisateurs dans la recherche en vision par ordinateur

Adobe et Meta, en collaboration avec l’Université de Washington, ont publié une critique extensive sur ce qu’ils estiment être une utilisation abusive croissante des études d’utilisateurs dans la recherche en vision par ordinateur (CV).

Les études d’utilisateurs étaient autrefois généralement limitées aux locaux ou aux étudiants autour du campus d’une ou plusieurs institutions universitaires participantes, mais ont depuis migré presque entièrement vers des plateformes de crowdsourcing en ligne telles que Amazon Mechanical Turk (AMT).

Parmi un large éventail de griefs, le nouveau document soutient que les projets de recherche sont poussés à produire des études par les réviseurs de documents; sont souvent mal formulés; commandent des études où la logique du projet ne soutient pas cette approche; et sont souvent « manipulés » par des crowdworkers cyniques qui « découvrent » les réponses souhaitées au lieu de réfléchir vraiment au problème.

Le traité de 15 pages (treatise) (intitulé Towards Better User Studies in Computer Graphics and Vision) qui constitue le corps central du nouveau document formule de nombreuses autres critiques sur la façon dont les études d’utilisateurs en crowdsourcing peuvent en réalité freiner le progrès des sous-secteurs de la vision par ordinateur, tels que la reconnaissance d’images et la synthèse d’images.

Bien que le document aborde un large éventail de problèmes liés aux études d’utilisateurs, ses critiques les plus sévères sont réservées à la façon dont l’évaluation de la sortie dans les études d’utilisateurs (c’est-à-dire lorsque des humains en crowdsourcing sont payés pour porter des jugements de valeur sur – par exemple – la sortie de nouveaux algorithmes de synthèse d’images) peut affecter négativement l’ensemble du secteur.

Examinons quelques-uns des points centraux.

Interprétations sensationnalistes

Parmi les suggestions du document pour ceux qui publient dans le secteur de la vision par ordinateur, figure l’admonestation d’« interpréter les résultats avec soin ». Le document cite un exemple de 2021, lorsque une nouvelle étude affirmant que « les individus sont incapables d’identifier avec précision les œuvres d’art générées par l’IA » a été largement déformée dans la presse populaire.

Un des articles de presse les plus en vue sur le document de 2021 ‘The Role of AI Attribution Knowledge in the Evaluation of Artwork’, par Harsha Gangadharbatla, cité comme exemple dans le nouveau document. Ici, la source du Daily Mail est The Times (payant). Sources: Daily Mail (lien d’archive) / https://www.gwern.net/docs/ai/nn/gan/2021-gangadharbatla.pdf

Les auteurs déclarent*:

‘[Dans] une étude dans un journal de psychologie, des images d’œuvres d’art traditionnelles et des images créées par des technologies d’IA ont été collectées sur le Web, et des crowdworkers ont été invités à distinguer lesquelles provenaient de quelles sources. À partir des résultats, il a été conclu que “les individus sont incapables d’identifier avec précision les œuvres d’art générées par l’IA”, une conclusion très large qui ne découle pas directement des expériences.

‘De plus, le document ne rapporte pas les détails sur lesquels les jeux d’images spécifiques ont été collectés ou utilisés, ce qui rend les allégations difficiles, voire impossibles, à vérifier et à reproduire.

‘Plus inquiétant encore, la presse populaire a rapporté ces résultats avec des allégations trompeuses selon lesquelles les IA peuvent créer de l’art de manière indépendante, tout comme les humains.’

Gestion des crowdworkers qui trichent

Les travailleurs en crowdsourcing ne sont généralement pas payés beaucoup pour leurs efforts. Puisque leurs perspectives sont minimales, et que leur meilleur potentiel de gain est de compléter un grand volume de tâches, beaucoup d’entre eux sont, suggère la recherche, disposés à prendre tout « raccourci » qui accélérera la tâche en cours afin qu’ils puissent passer à la prochaine petite tâche.

Le document observe que les travailleurs en crowdsourcing, tout comme les systèmes d’apprentissage automatique, apprendront les modèles répétitifs dans les études d’utilisateurs que les chercheurs formulent, et inféreront simplement la « bonne » ou « souhaitée » réponse, plutôt que de produire une véritable réponse organique au matériel.

À cette fin, le document recommande de procéder à des vérifications sur les travailleurs en crowdsourcing, également appelés « essais de validation » ou « sentinelles » – essentiellement, des sections factices d’un test conçu pour voir si le travailleur prête attention, clique aléatoirement ou suit simplement un modèle qu’il a lui-même déduit des tests, plutôt que de réfléchir à ses choix.

Les auteurs déclarent:

‘Par exemple, dans le cas de paires d’images stylisées, l’une des images de la paire peut être un résultat de mauvaise qualité intentionnel et objectif. Lors de l’analyse, les données des participants qui ont échoué à un certain nombre de vérifications peuvent être rejetées, supposées être générées par des participants qui étaient inattentionnels ou incohérents.

‘Ces vérifications devraient être insérées aléatoirement dans l’étude, et devraient apparaître identiques aux autres essais; sinon, les participants peuvent découvrir lesquels sont les vérifications.’

Gestion des chercheurs qui trichent

Avec ou sans intention, les chercheurs peuvent être complices de ce type de « tricherie »; il existe de nombreuses façons pour eux, peut-être même involontairement, de « signaler » leurs choix souhaités aux crowdworkers.

Par exemple, le document observe que, en sélectionnant des crowdworkers avec des profils qui peuvent être propices à obtenir les « réponses idéales » dans une étude, prouvant ainsi une hypothèse qui pourrait avoir échoué sur un groupe moins « sélectionné » et plus arbitraire.

La phraseologie est également une préoccupation clé:

‘La formulation devrait refléter les objectifs de haut niveau, par exemple “laquelle des images contient moins d’artefacts?” au lieu de “laquelle des images contient moins de défauts de couleur dans la région faciale?” À l’inverse, une formulation de tâche imprécise laisse trop de place à l’interprétation, par exemple “laquelle des images est meilleure?” peut être comprise comme “laquelle est plus esthétiquement agréable?” alors que l’intention pourrait avoir été d’évaluer “laquelle est plus réaliste?”

Une autre façon de « benignement influencer » les participants est de leur faire savoir, ouvertement ou implicitement, lequel des choix possibles devant eux est la méthode de l’auteur, plutôt qu’une méthode antérieure ou un échantillon aléatoire.

Le document déclare*:

‘[Les] participants peuvent répondre avec les réponses qu’ils pensent que les chercheurs veulent, consciemment ou non, ce qui est connu sous le nom de “effet de bon sujet”. N’utilisez pas d’étiquettes de sortie comme “notre méthode” ou “méthode existante”. Les participants peuvent être biaisés par la dynamique de pouvoir (c’est-à-dire le chercheur qui détient le pouvoir en dirigeant la session de recherche), les chercheurs utilisant le langage pour amorcer les participants (par exemple “combien aimez-vous cet outil que j’ai construit hier?”), et les relations entre les chercheurs et les participants (par exemple, si tous les deux travaillent dans le même laboratoire ou entreprise).’

La mise en page d’une tâche dans une étude d’utilisateurs peut également affecter la neutralité de l’étude. Les auteurs notent que si, dans une présentation côte à côte, la référence est systématiquement positionnée sur la gauche (c’est-à-dire « image A ») et la sortie du nouvel algorithme sur la droite, les participants à l’étude pourraient en déduire que B est le « meilleur » choix, en fonction de leur présomption croissante du résultat escompté par les chercheurs.

‘D’autres aspects de présentation, tels que la taille des images sur l’écran, leur distance les uns par rapport aux autres, etc. peuvent influencer les réponses des participants. Le pilotage de l’étude avec quelques paramètres différents peut aider à repérer ces éventuelles erreurs de mesure précocement.’

Les mauvaises personnes pour le mauvais produit

Les auteurs observent à plusieurs reprises dans le document que les travailleurs en crowdsourcing sont une ressource plus « générique » que ce qui aurait été attendu dans les décennies précédentes, lorsque les chercheurs étaient contraints de solliciter l’aide localement, souvent auprès d’étudiants de la faculté qui complétaient leur revenu en participant à des études.

L’exigence de participation active laisse au crowdworker embauché peu de place pour être « non impressionné » par un produit qu’il teste, et les auteurs du document recommandent aux chercheurs d’identifier leurs utilisateurs cibles avant de développer et de tester une étude sur un produit ou service potentiel – sinon, ils risquent de produire quelque chose de très difficile à créer, mais que personne ne veut vraiment.

‘En effet, nous avons souvent été témoins de chercheurs en graphiques ou en vision par ordinateur qui tentent d’obtenir que leur recherche soit adoptée par les praticiens de l’industrie, mais qui découvrent que la recherche ne répond pas aux besoins des utilisateurs cibles. Les chercheurs qui ne réalisent pas de recherche de besoins au départ peuvent être surpris de constater que les utilisateurs n’ont pas besoin ou n’ont pas d’intérêt pour l’outil qu’ils ont passé des mois ou des années à développer.

‘De tels outils peuvent se comporter mal dans les études d’évaluation, car les utilisateurs peuvent constater que la technologie produit des résultats inutiles, non pertinents ou inattendus.’

Le document observe en outre que les utilisateurs qui sont réellement susceptibles d’utiliser un produit devraient être sélectionnés pour les études, même s’ils ne sont pas faciles à trouver (ou, sans doute, pas aussi bon marché).

Plutôt que de revenir à la méthode de recrutement sur le campus (ce qui serait peut-être un mouvement un peu rétrograde), les auteurs suggèrent que les chercheurs « recrutent des utilisateurs dans la nature », en engageant des communautés pertinentes.

‘Par exemple, il peut y avoir un tableau de bord en ligne actif ou une communauté de réseaux sociaux qui peut être exploitée. Même rencontrer un membre de la communauté peut conduire à l’échantillonnage par boule de neige, dans lequel les utilisateurs pertinents offrent des connexions à des individus similaires dans leur réseau.’

Sollicitation de commentaires

Le document recommande également de solliciter des commentaires qualitatifs de la part de ceux qui ont participé à des études d’utilisateurs, ne serait-ce que parce que cela peut potentiellement exposer de fausses hypothèses de la part des chercheurs.

‘Ces commentaires peuvent aider à déboguer l’étude, mais ils peuvent également révéler des aspects inattendus de la sortie qui ont influencé les évaluations des utilisateurs. Le participant était-il “très insatisfait” [sic] de la sortie parce qu’elle était irréaliste, non esthétique, biaisée ou pour une autre raison?

‘Sans informations qualitatives, le chercheur peut se concentrer sur l’amélioration de l’algorithme pour le rendre plus réaliste, au lieu de résoudre le problème sous-jacent de l’utilisateur.’

Comme pour de nombreuses recommandations tout au long du document, cette recommandation particulière implique une dépense supplémentaire de temps et d’argent de la part des chercheurs, dans une culture qui, selon le document, se tourne vers des études d’utilisateurs en crowdsourcing rapides et pratiquement obligatoires, qui sont généralement assez bon marché, et qui correspondent à une culture d’études qui est critiquée tout au long du document.

Sur-étudié

Le document suggère que les études d’utilisateurs deviennent une sorte d’« exigence minimale » dans la communauté de pré-impression de la vision par ordinateur, même dans les cas où une étude ne peut pas être raisonnablement formulée (par exemple, avec une idée si nouvelle ou marginale qu’il n’y a pas d’analyse « comme pour comme » à effectuer, et qui peut ne pas être susceptible à une métrique raisonnable qui pourrait produire des résultats significatifs dans une étude d’utilisateurs).

À titre d’exemple de « harcèlement d’étude » (pas l’expression des auteurs), les chercheurs citent le cas d’un document ICLR 2022 pour lequel les révisions par les pairs sont disponibles en ligne (instantané d’archive pris le 24 juin 2022; lien pris directement du nouveau document)^†:

‘Deux réviseurs ont donné des scores très négatifs en partie en raison d’un manque d’études d’utilisateurs. Le document a finalement été accepté, accompagné d’un résumé qui réprimande les réviseurs pour avoir utilisé les “études d’utilisateurs” comme excuse pour une mauvaise révision, et les accusant de contrôle d’accès. La discussion complète vaut la peine d’être lue.

‘La décision finale a noté que la soumission décrivait une bibliothèque de logiciels qui avait été déployée pendant des années, avec des milliers d’utilisateurs (informations qui n’ont pas été révélées aux réviseurs pour une révision anonyme). Le document – qui décrit un système très impactant – aurait-il été rejeté si le comité n’avait pas eu ces informations?’

‘Et, si les auteurs avaient fait l’effort supplémentaire de concevoir et de réaliser une étude d’utilisateurs, aurait-elle été significative, et aurait-elle suffi à convaincre les réviseurs?’

Les auteurs déclarent qu’ils ont vu des réviseurs et des éditeurs imposer des « exigences d’évaluation onéreuses » aux documents soumis, nonobstant si de telles évaluations auraient vraiment une signification ou une valeur.

‘Nous avons également observé des auteurs et des réviseurs utiliser les évaluations MTurk comme un soutien pour éviter de prendre des décisions difficiles. Les commentaires des réviseurs comme “Je ne sais pas si les images sont meilleures, peut-être qu’une étude d’utilisateurs aiderait” sont potentiellement nocifs, encourageant les auteurs à effectuer un travail supplémentaire qui n’améliorera pas un document médiocre.’

Les auteurs concluent le document avec un appel central à l’action, pour que les communautés de vision par ordinateur et de graphiques par ordinateur réfléchissent plus attentivement à leurs demandes d’études d’utilisateurs, plutôt que de laisser une culture d’études se développer comme une option par défaut, nonobstant les « cas limites » où certaines des études les plus intéressantes peuvent ne pas correspondre aux pipelines de recherche et de soumission les plus rentables.

Les auteurs concluent:

‘[Si] l’objectif principal de la réalisation d’études d’utilisateurs est d’apaiser les réviseurs plutôt que de générer de nouvelles connaissances, l’utilité et la validité de telles études d’utilisateurs devraient être remises en question par les auteurs et les réviseurs. Pénaliser les travaux qui ne contiennent pas d’évaluation d’utilisateurs a la conséquence involontaire d’inciter à des études d’utilisateurs réalisées à la hâte, mal exécutées.

‘Un principe à garder à l’esprit est que “la mauvaise recherche d’utilisateurs conduit à de mauvais résultats”, et que de telles recherches se poursuivront si les réviseurs continuent à les demander.’

* Ma conversion des citations en ligne du document en hyperliens pertinents
^† Mon accent, et non celui des auteurs.

Publié pour la première fois le 24 juin 2022.