Les limites d’Amazon Mechanical Turk menacent les systèmes de génération de langage naturel

Une nouvelle étude de l’Université du Massachusetts à Amherst a opposé des enseignants d’anglais à des travailleurs de crowdsourcing sur Amazon Mechanical Turk pour évaluer les sorties de systèmes de génération de langage naturel (NLG), concluant que les normes laxistes et le « jeu » des tâches valorisées parmi les travailleurs d’AMT pourraient entraver le développement du secteur.

L’étude aboutit à un certain nombre de conclusions accablantes concernant la mesure dans laquelle la sous-traitance à grande échelle et bon marché de tâches d’évaluation de NLG ouvertes pourrait conduire à des résultats et des algorithmes inférieurs dans ce secteur.

Les chercheurs ont également compilé une liste de 45 articles sur la génération de texte ouvert où la recherche avait utilisé AMT, et ont constaté que « la grande majorité » n’a pas signalé des détails critiques sur l’utilisation du service de crowd d’Amazon, rendant difficile la reproduction des résultats des articles.

Travail en sweat-shop

Le rapport critique à la fois la nature de sweat-shop d’Amazon Mechanical Turk et les projets universitaires (probablement contraints par le budget) qui prêtent une crédibilité supplémentaire à AMT en l’utilisant (et en le citant) comme une ressource de recherche valable et cohérente. Les auteurs notent:

‘Bien qu’AMT soit une solution pratique et abordable, nous observons que la grande variance entre les travailleurs, la mauvaise calibration et les tâches exigeantes sur le plan cognitif peuvent amener les chercheurs à tirer des conclusions scientifiques trompeuses (par exemple, que le texte écrit par un humain est « pire » que celui de GPT-2). ‘

Le rapport blâme le système plutôt que les joueurs, les chercheurs observant:

‘Les travailleurs sont souvent sous-payés pour leur travail, ce qui nuit à la fois à la qualité de la recherche et, plus important encore, à la capacité de ces travailleurs à gagner un revenu décent.’

L’article publié, intitulé Les périls de l’utilisation de Mechanical Turk pour évaluer la génération de texte ouvert, conclut en outre que des « évaluateurs experts » tels que des enseignants de langues et des linguistes devraient être utilisés pour évaluer le contenu de NLG artificiel ouvert, même si AMT est moins cher.

Tâches de test

En comparant les performances d’AMT à celles de lecteurs experts moins contraints par le temps, les chercheurs ont dépensé 144 $ pour les services AMT utilisés dans les tests de comparaison (bien que beaucoup plus aient été dépensés pour des résultats « non utilisables » – voir ci-dessous), obligeant des « Turks » aléatoires à évaluer l’un des 200 textes, répartis entre contenu textuel créé par l’homme et texte généré artificiellement.

Le fait de confier à des enseignants professionnels le même travail a coûté 187,50 $, et a confirmé leur meilleure performance (par rapport aux travailleurs d’AMT) en embauchant des freelancers Upwork pour reproduire les tâches a coûté 262,50 $ supplémentaires.

Chaque tâche consistait en quatre critères d’évaluation: grammaire (‘Quelle est la correction grammaticale du texte du fragment de l’histoire?’); cohérence (‘Comment les phrases du fragment de l’histoire s’assemblent-elles?’); agréabilité (‘À quel point trouvez-vous le fragment d’histoire agréable?’); et pertinence (‘Quelle est la pertinence du fragment d’histoire par rapport à l’invite?’).

Génération des textes

Pour obtenir du matériel NLG pour les tests, les chercheurs ont utilisé le dataset Génération de récits hiérarchiques de Facebook AI Research de 2018 dataset, qui comprend 303 358 histoires en anglais écrites par des utilisateurs du sous-reddit très populaire (15 millions d’utilisateurs) r/writingprompts, où les histoires des abonnés sont « semées » par des invites sous forme de phrases simples, de manière similaire aux pratiques actuelles de génération d’images de texte – et, bien sûr, dans les systèmes de génération de langage naturel ouverts systèmes.

200 invites ont été sélectionnées aléatoirement à partir du dataset et passées à travers un modèle GPT-2 de taille moyenne en utilisant la bibliothèque Hugging-Face Transformers bibliothèque. Ainsi, deux ensembles de résultats ont été obtenus à partir des mêmes invites: les essais discursifs écrits par des humains provenant d’utilisateurs de Reddit, et des textes générés par GPT-2.

Afin d’éviter que les mêmes travailleurs d’AMT ne jugent le même récit plusieurs fois, trois jugements de travailleurs d’AMT ont été sollicités par exemple. Avec des expériences concernant les capacités linguistiques anglaises des travailleurs (voir la fin de l’article) et en écartant les résultats des travailleurs à faible effort (voir « Court temps » ci-dessous), cela a augmenté le total des dépenses en AMT à environ 1 500 $ USD.

Pour créer un terrain d’entente, tous les tests ont été effectués les jours de semaine entre 11h00 et 11h30 PST.

Résultats et conclusions

L’étude exhaustive couvre beaucoup de terrain, mais les points clés sont les suivants:

Court temps

L’article constate qu’un temps de tâche moyen officiellement rapporté par Amazon de 360 secondes se réduit à un temps de travail réel de seulement 22 secondes, et un temps de travail médian de seulement 13 secondes – un quart du temps pris par le plus rapide enseignant d’anglais reproduisant la tâche.

À partir du jour 2 de l’étude: les travailleurs individuels (en orange) ont passé beaucoup moins de temps à évaluer chaque tâche que les enseignants mieux payés, et (plus tard) les sous-traitants Upwork encore mieux payés. Source: https://arxiv.org/pdf/2109.06835.pdf

Puisque AMT n’impose aucune limite au nombre de tâches que peut effectuer un travailleur individuel, des « gros joueurs » d’AMT sont apparus, avec des réputations lucratives pour terminer un grand nombre de tâches par expérience. Afin de compenser les tâches acceptées par le même travailleur, les chercheurs ont mesuré le temps entre les HITs soumis consécutivement, en comparant le début et la fin de chaque HIT. De cette façon, le déficit entre le WorkTimeInSeconds rapporté par AMT et le temps réellement passé sur la tâche est apparu.

Puisque un tel travail ne peut pas être accompli dans ces délais réduits, les chercheurs ont dû compenser:

‘Comme il est impossible de lire soigneusement un paragraphe et d’évaluer toutes les quatre propriétés en seulement 13 secondes, nous mesurons l’impact sur les notes moyennes lors du filtrage des travailleurs qui passent trop peu de temps par HIT… Plus précisément, nous supprimons les jugements des travailleurs dont le temps médian est inférieur à 40 s (ce qui est une barre basse), et constatons que en moyenne environ 42 % de nos notes sont supprimées (allant de 20 % à 72 % dans tous les expériences).’

L’article soutient que le temps de travail réel mal rapporté dans AMT est « un problème majeur » généralement négligé par les chercheurs utilisant les services.

Accompagnement nécessaire

Les résultats suggèrent en outre que les travailleurs d’AMT ne peuvent pas distinguer de manière fiable entre le texte écrit par un humain et le texte écrit par une machine, à moins de voir les deux textes côte à côte, ce qui compromettrait en fait un scénario d’évaluation typique (où le lecteur devrait être en mesure de porter un jugement basé sur un seul échantillon de texte, « réel » ou généré artificiellement).

Acceptation nonchalante de texte artificiel de mauvaise qualité

Les travailleurs d’AMT ont systématiquement évalué le texte artificiel de mauvaise qualité basé sur GPT sur un pied d’égalité avec du texte de haute qualité et cohérent écrit par des humains, contrairement aux enseignants d’anglais, qui ont pu facilement distinguer la différence de qualité.

Pas de temps de préparation, pas de contexte

Entrer dans la bonne disposition d’esprit pour une tâche abstraite telle que l’évaluation de l’authenticité ne vient pas naturellement; les enseignants d’anglais ont nécessité 20 tâches pour calibrer leur sensibilité à l’environnement d’évaluation, tandis que les travailleurs d’AMT n’ont généralement aucune « période d’orientation » du tout, ce qui diminue la qualité de leur saisie.

Jouer le système

Le rapport soutient que le temps total que les travailleurs d’AMT passent sur les tâches individuelles est gonflé par les travailleurs qui acceptent plusieurs tâches simultanément et les exécutent dans différents onglets de leur navigateur, au lieu de se concentrer sur une tâche pour la durée de tâche enregistrée.

Pays d’origine important

Les paramètres par défaut d’AMT ne filtrent pas les travailleurs par pays d’origine, et le rapport note un travail antérieur indiquant que les travailleurs d’AMT utilisent des VPN pour contourner les restrictions géographiques, permettant aux non-locuteurs natifs de se présenter comme des locuteurs natifs (dans un système qui, peut-être de manière rather naive, équivaut la langue maternelle d’un travailleur à son emplacement géographique basé sur l’IP).

Ainsi, les chercheurs ont réexécuté les tests d’évaluation sur AMT avec des filtres limitant les prétendants potentiels à des non-pays anglophones, constatant que ‘les travailleurs de non-pays anglophones ont évalué la cohérence, la pertinence et la grammaire… nettement plus bas que les travailleurs identiquement qualifiés de pays anglophones’.

Le rapport conclut:

‘[Des évaluateurs experts] tels que des linguistes ou des enseignants de langues devraient être utilisés chaque fois que possible, car ils ont déjà été formés pour évaluer le texte écrit, et ce n’est pas beaucoup plus cher…’.

Publié le 16 septembre 2021 – Mis à jour le 18 décembre 2021: Ajout de balises