Les Risques de l’Annotation d’Images Basée sur les « Vibrations »

Même s’ils ne sont payés que quelques dollars (ou même rien), les personnes inconnues qui évaluent les images pour du contenu « préjudiciable » peuvent changer votre vie avec les choix qu’elles font. Maintenant, un nouvel article de Google semble suggérer que ces annotateurs créent leurs propres règles pour déterminer ce qui est ou non « préjudiciable » ou offensant – peu importe à quel point leurs réactions à une image particulière peuvent être bizarres ou personnelles. Qu’est-ce qui pourrait mal se passer?

Opinion Cette semaine, une nouvelle collaboration entre Google Research et Google Mind a réuni pas moins de 13 contributeurs pour un nouvel article qui explore si les « sentiments instinctifs » des annotateurs d’images devraient être pris en compte lors de l’évaluation des images pour les algorithmes, même si leurs réactions ne correspondent pas aux normes de notation établies.

Ceci est important pour vous, car ce que les évaluateurs et les annotateurs trouvent offensant par consensus tendra à être inscrit dans les systèmes de modération et de censure automatiques, et dans les critères pour le matériel « obscène » ou « inacceptable », dans la législation telle que le nouveau pare-feu NSFW* du Royaume-Uni (une version duquel arrivera en Australie bientôt), et dans les systèmes d’évaluation de contenu sur les plateformes de médias sociaux, entre autres environnements.

C’est pourquoi les critères plus larges pour les offenses, le niveau potentiel de censure est plus large.

Censure basée sur les « vibrations »

Ce n’est pas la seule position que le nouvel article a à offrir; il constate également que les personnes qui notent les images sont souvent plus censeures à ce qu’elles pensent offenser les autres personnes en plus d’elles-mêmes; et que les images de mauvaise qualité provoquent souvent des inquiétudes de sécurité, même si la qualité de l’image n’a rien à voir avec le contenu de l’image.

À sa conclusion, l’article met l’accent sur ces deux constatations, comme si la position centrale de l’article avait échoué, mais les chercheurs étaient obligés de publier quand même.

Bien que ce ne soit pas un scénario inhabituel, l’article donne, après une lecture attentive, un sous-courant plus sinistre: que les pratiques d’annotation pourraient considérer l’adoption de ce que je ne peux décrire que comme l’annotation basée sur les « vibrations »:

‘Nos résultats suggèrent que les cadres existants doivent tenir compte des dimensions subjectives et contextuelles, telles que les réactions émotionnelles, les jugements implicites et les interprétations culturelles du préjudice. L’utilisation fréquente de langage émotionnel par les annotateurs et leur divergence par rapport aux étiquettes de préjudice prédéfinies mettent en évidence les lacunes dans les pratiques d’évaluation actuelles.

‘Élargir les directives d’annotation pour inclure des exemples illustratifs d’interprétations culturelles et émotionnelles diverses peut aider à combler ces lacunes.’

Le nouvel article peu illustré commence avec des exemples qui sont sans équivoque et sympathiques au lecteur moyen, même si le matériel réel invite à de nombreuses questions. Ici, sous chaque image, nous voyons les réactions émotionnelles des annotateurs notées pour leurs images respectives. Source: https://arxiv.org/pdf/2507.16033

Au premier abord, cela ressemble à une proposition pour étendre et mieux quantifier ce qui constitue un « préjudice » dans une image – une quête louable; mais l’article répète plusieurs fois que cela n’est ni souhaitable ni (nécessairement) réalisable:

‘Nos résultats suggèrent que les cadres existants doivent tenir compte des dimensions subjectives et contextuelles, telles que les réactions émotionnelles, les jugements implicites et les interprétations culturelles du préjudice. L’utilisation fréquente de langage émotionnel par les annotateurs et leur divergence par rapport aux étiquettes de préjudice prédéfinies mettent en évidence les lacunes dans les pratiques d’évaluation actuelles.

‘Élargir les directives d’annotation pour inclure des exemples illustratifs d’interprétations culturelles et émotionnelles diverses peut aider à combler ces lacunes […]

‘[…] Le processus par lequel les annotateurs raisonnent sur des images ambiguës reflète souvent leurs perspectives personnelles, culturelles et émotionnelles, qui sont difficiles à établir ou à normaliser.’

Il est difficile de voir comment ‘Élargir les directives d’annotation pour inclure des exemples illustratifs d’interprétations culturelles et émotionnelles diverses’ peut s’intégrer dans un système de notation rationnel; les auteurs ont du mal à clarifier ce point, ou à formuler une théorie distincte, attaquant le matériel à plusieurs reprises, mais sans jamais réussir à le maîtriser. À cet égard, leur thème central lui-même semble « généré par les vibrations », même s’il traite de psychologies intangibles.

En clair, il me semble que l’extension de la chaîne d’annotation pour inclure des critères de ce type permet potentiellement la « cancellation » ou l’obscurcissement de tout matériel (ou catégorie de sujet) que l’annotateur pourrait réagir fortement.

Jugement binaire

La mesure dans laquelle les images et le texte peuvent causer un préjudice est en effet difficile à quantifier, ne serait-ce que parce que la culture élevée se croise souvent avec la « basse » culture (par exemple avec l’art et les romans), conduisant aux premiers critères de censure basés sur les « vibrations »: même si le matériel obscène échappe à une définition exacte, vous savez que c’est cela lorsque vous le voyez.

En dessous de la discussion extensive et exploratoire du nouvel article sur l’empathie et la nuance qualitative, le travail semble attaquer discrètement l’autorité des taxonomies centralisées et standardisées (« violence », « nudité », « haine », etc.) qui permettent aux plateformes de mettre en œuvre et de modérer la modération avec des marges d’erreur tolérables (habituellement).

L’argument qui émerge est que seuls les commentaires humains décentralisés, subjectifs et sensibles au contexte peuvent juger correctement la sortie de GenAI.

Cependant, cela est clairement non évolutif, puisque vous ne pouvez pas exécuter un pipeline de filtration d’images d’un trillion sur des « vibrations » et une expérience vécue. Il faut quantifier le préjudice en propriétés diverses; fixer une limite à la portée du système de filtration résultant; et attendre de nouvelles directives dans les « cas limites » (tout comme les parties lésées doivent parfois attendre l’adoption de nouvelles lois qui traitent leurs circonstances particulières).

Au lieu de cela, le nouvel article présente un mandat tacite pour un pipeline de modération automatisé qui élargit sa portée automatiquement, et commet des erreurs du côté de la prudence, de sorte que même la réaction la plus particulière et non reproductible d’un annotateur pourrait pénaliser une image qui n’a offensé personne d’autre.

Expansion morale

Bien que l’article penche vers l’exploration plutôt que vers une prise de position ferme, il intègre des éléments de méthode scientifique: les auteurs ont développé un cadre pour identifier (bien que non strictement mesurer) un spectre plus large de réactions des annotateurs aux images, et pour examiner comment ces réactions varient en fonction du sexe et d’autres facteurs démographiques.

En plus de l’analyse des tests sur le focus sur le préjudice^†, le processus a analysé le « raisonnement moral » dans les commentaires annexes des participants aux tests, qui ont été invités à annoter un jeu de données de test modifié contenant des images et des textes associés.

Ce « système d’évaluation automatique des sentiments moraux » a été conçu pour capturer les valeurs morales Soins, Égalité, Proportionnalité, Loyauté, Autorité et Pureté, telles que définies dans la théorie des fondements moraux – une théorie psychologique qui, en raison de sa nature fluide et évolutive, est antithétique à la création de définitions concrètes nécessaires pour les grands systèmes de notation humaine.

Éclairés par cette théorie, les auteurs ont catégorisé des dimensions supplémentaires de sécurité, notamment la peur, la colère, la tristesse, le dégoût, la confusion et l’étrangeté.

Les auteurs élaborent sur la première de ces dimensions, la peur:

‘De nombreux annotateurs ont utilisé des termes comme “effrayant” (par exemple, pour des visages déformés ou des images suggérant la violence comme un pistolet pointé sur un enfant), “troublant” (par exemple, “Absolument vil pour voir quelqu’un se faire renverser, très troublant et dérangeant”, ou “Troublant et ressemble à du sang” pour de la peinture rouge), ou “dérangeant” (par exemple, “L’image de l’enfant a de nombreuses déformations… Je la trouve détestable parce qu’il semble que l’enfant joue sur le mauvais côté des rails de sécurité”).

‘Le [graphique ci-dessous] quantifie la “peur” comme l’émotion la plus souvent mentionnée (233 mentions dont près de la moitié sont associées à du contenu violent, le contenu considéré comme non préjudiciable a également évoqué la deuxième mention la plus élevée de peur).’

Distribution des termes liés aux émotions à travers les catégories de préjudice, avec des hauteurs de barres indiquant les proportions de commentaires, des comptes affichés dans les barres et des comptes de commentaires totaux affichés au-dessus de chaque catégorie.

En ce qui concerne l’inclusion de ces nouvelles dimensions de sécurité, les auteurs déclarent:

‘Ces thèmes émergents mettent en évidence un besoin critique de enrichir les cadres d’évaluation d’images IA en intégrant des éléments subjectifs, émotionnels et perceptuels.’

Ceci peut être un chemin dangereux à emprunter, car il semble permettre aux processus d’annotation d’ajouter des règles de manière arbitraire en fonction des réactions que le matériel peut provoquer chez n’importe quel annotateur, plutôt que d’exiger que tous les annotateurs adhèrent aux normes et aux références établies.

Si l’on pouvait attribuer une impérative économique à cette idée, c’est qu’elle permet l’annotation humaine hyperscale, dans laquelle le processus est sans friction, les participants sont auto-régulateurs et où ils décident eux-mêmes des règles et des limites.

Sous l’annotation standard, les règles sont établies par consensus humain et suivies par les annotateurs humains; sous le scénario envisagé dans l’article, cette couche initiale de surveillance est soit supprimée, soit dégradée: en effet, toute image qui pourrait offenser quelqu’un serait signalée (ne serait-ce que peut-être parce que le consensus est coûteux ainsi que chronophage).

Jugements de Rorschach

L’intention de l’annotation est d’arriver à une description ou à une définition précise soit par surveillance d’expert, soit par consensus commun entre plusieurs annotateurs, soit (idéalement) les deux. Au lieu de cela, l’extension d’une hiérarchie limitée mais bien définie de préjudices en une position interprétative « intuitive » et très personnelle, est équivalent à annoter un test de Rorschach.

Par exemple, certains annotateurs, note l’article, ont interprété une mauvaise qualité d’image (telle que des artefacts JPEG, ainsi que des défauts techniques sans signification dans une image) comme ‘troublant’ ou ‘indicatif de préjudice’:

‘Ceci s’est produit malgré le fait que la tâche omettait les instructions sur la qualité de l’image. De plus, les annotateurs ont interprété ces artefacts de qualité comme étant sémantiquement significatifs.

‘Un annotateur a commenté: “L’image n’est pas du tout préjudiciable; il a juste un visage un peu déformé.” De la même manière, certains annotateurs ont interprété les artefacts de qualité d’image comme un préjudice intentionnel, attribuant une signification émotionnelle aux bogues. Par exemple, un autre annotateur a interprété un visage déformé dans une autre image comme étant “indicatif de douleur”’

En élevant les réactions subjectives, émotionnelles ou spécifiques au contexte au-dessus des catégories de sécurité prédéfinies, les idées présentées ici ouvrent la porte à un régime où quelque chose peut être arbitrairement signalé comme préjudiciable, et où un « effet refroidissant » de retraits ou de recatégorisation négative de matériel (c’est-à-dire du matériel qui peut « offenser » un groupe d’intérêt spécial) devient une perspective réelle.

L’article “Juste une image étrange”: Évaluation de la ‘sécurité’ dans les tâches d’annotation d’images de GenAI du point de vue de divers annotateurs est disponible sur Arxiv.

* Un raccourci, puisque ce n’est pas l’objet principal ici; en vertu de la nouvelle législation, les sites contrevenants sont censés soit policer eux-mêmes; imposer des systèmes de révision complexes et coûteux et des technologies de vérification d’âge qui sont hors de portée de tous sauf les plus grands sites; ou bloquer leurs domaines aux audiences du Royaume-Uni (à nouveau, à leurs propres frais).

† Simplement exprimé dans le mème « pensez aux enfants », qui satirise l’appropriation de l’agent moral d’une autre personne pour des moyens apparemment altruistes.

Publié pour la première fois vendredi 25 juillet 2025