Pourquoi la modération de contenu assistée par l’IA a encore besoin du jugement humain

Dans une communauté comptant des millions d’utilisateurs, les comportements nuisibles peuvent se propager plus vite que les modérateurs ne peuvent les repérer et y remédier. Une petite communauté peut largement s’appuyer sur l’observation directe. Les modérateurs connaissent les participants habituels, comprennent la culture de la communauté et peuvent généralement repérer rapidement les comportements perturbateurs. Lorsqu’une communauté atteint plusieurs centaines de milliers, voire des millions d’utilisateurs, il devient beaucoup plus difficile d’évaluer manuellement l’activité. Des sous-groupes se forment, le langage évolue et les comportements nuisibles peuvent se propager sur de nombreux comptes ou dans de nombreuses conversations avant que quiconque ne reconnaisse le schéma.

Augmenter le nombre de modérateurs accroît la capacité de traitement, mais le temps et l’attention de toute équipe de modération restent limités. Les grandes communautés ont besoin d’une infrastructure capable de traiter en continu les activités courantes, de repérer rapidement les comportements inhabituels et de fournir aux modérateurs suffisamment de contexte pour qu’ils puissent se concentrer sur les situations qui nécessitent leur jugement.

La modération relève donc de plus en plus de l’ingénierie des systèmes. La détection, l’escalade, les seuils, l’observabilité et les mécanismes de retour d’information peuvent tous influer sur la capacité d’une communauté à rester saine à mesure qu’elle grandit.

À grande échelle, le changement le plus important est que les cas limites cessent d’être rares. Même si un comportement particulier ne touche qu’une infime fraction des utilisateurs, il peut devenir, à l’échelle de millions de personnes, une situation à laquelle les modérateurs sont constamment confrontés. Il devient aussi impossible de comprendre chaque interaction individuellement ; une modération efficace repose donc de plus en plus sur la détection de schémas, sans perdre de vue le contexte qui les sous-tend.

À grande échelle, la modération exige de reconnaître les schémas

De nombreux outils de modération reposaient à l’origine sur des déclencheurs relativement simples : un terme interdit apparaissait, un utilisateur envoyait un signalement ou un modérateur remarquait une infraction au règlement et intervenait.

Les grandes communautés génèrent des signaux plus complexes. Des dizaines de comptes peuvent envoyer du spam en même temps. Le harcèlement peut se développer progressivement au fil de plusieurs conversations. Des abus coordonnés peuvent impliquer des actions individuelles qui semblent inoffensives lorsqu’on les examine séparément. De nouveaux comptes peuvent se comporter normalement pendant un certain temps avant de publier soudainement des liens ou des messages identiques.

Ces situations sont plus faciles à repérer lorsque les systèmes évaluent les comportements dans la durée.  Les signaux de menace peuvent inclure la fréquence des messages, les contenus dupliqués, l’ancienneté du compte, la répétition des liens, les hausses soudaines de l’activité de publication, les habitudes inhabituelles d’adhésion, les mesures prises lors de précédents incidents et les liens entre les comptes. Un seul signal peut révéler très peu de choses. La présence simultanée de plusieurs signaux peut indiquer qu’une situation mérite un examen plus approfondi.

Le régulateur britannique des communications Ofcom, par exemple, a étudié les systèmes automatisés de classification de contenu dans le cadre d’un processus plus vaste comprenant la collecte de données, le développement de modèles, leur déploiement, leur suivi et leur évaluation.

Le contexte complique le problème. Une rafale de messages peut signaler du spam dans un forum professionnel, mais relever d’un comportement normal lors d’un événement en direct. Le langage peut aussi revêtir des sens très différents selon les relations entre les personnes, leurs références communes et les normes de la communauté.

Une infrastructure de modération efficace doit proposer des règles configurables, des seuils propres à chaque communauté et des indicateurs comportementaux historiques. La fréquence des messages en est un bon exemple. Un utilisateur qui publie très rapidement peut être en train d’envoyer du spam, mais il peut aussi simplement être actif pendant un événement en direct ou une conversation qui évolue rapidement. Si le même compte est également très récent, publie à répétition des contenus identiques et diffuse le même lien sur plusieurs canaux, l’ensemble de ces éléments devient beaucoup plus significatif.

L’automatisation fournit de meilleures informations aux modérateurs

Les équipes de modération consacrent beaucoup de temps à des tâches répétitives. La suppression du spam, les restrictions sur les liens, la détection des messages en double, les limites de fréquence et le filtrage des comptes peuvent souvent être automatisés lorsque le système dispose de signaux suffisamment fiables pour intervenir avec assurance.

Le jugement humain devient précieux lorsque le sens dépend de l’historique, de l’intention, de l’humour, du sarcasme, des relations ou du contexte culturel. Ces situations exigent souvent de comprendre la conversation dans son ensemble. Une automatisation bien conçue peut faciliter ces décisions en organisant les informations qui entourent un incident.

Un modérateur qui examine une activité suspecte devrait pouvoir comprendre pourquoi elle a été signalée. Parmi les informations utiles peuvent figurer les changements récents dans les habitudes de publication, les incidents antérieurs, les signalements associés, les contenus répétés, l’historique du compte ou des activités similaires observées ailleurs dans la communauté.

Les niveaux de confiance peuvent également orienter la réponse. Une activité très prévisible, comme l’envoi répété de messages de spam identiques par des comptes nouvellement créés, peut justifier une intervention immédiate. Les activités plus ambiguës peuvent être soumises à examen, accompagnées des signaux qui ont déclenché l’alerte.

Cette approche est courante dans d’autres grands systèmes techniques. Les infrastructures de surveillance traitent de gros volumes d’activité, détectent les anomalies, regroupent les signaux associés et signalent les situations inhabituelles. Les ingénieurs enquêtent sur les cas qui nécessitent une analyse plus approfondie.

La modération des communautés peut tirer parti de la même architecture. Les systèmes automatisés prennent en charge les volumes et la détection des schémas, tandis que les modérateurs reçoivent un ensemble plus ciblé de situations à évaluer.

Je préfère automatiser de manière poussée lorsque les comportements sont très prévisibles, mais adopter une approche beaucoup plus prudente dès que le contexte commence à compter. Si un système doit déterminer si un contenu est du spam, un message identique répété peut être facile à repérer ; s’il doit déterminer s’il s’agit de harcèlement, d’une plaisanterie ou d’un désaccord entre personnes qui se connaissent, le jugement humain est beaucoup plus probablement nécessaire. L’automatisation devrait réduire le volume de contenus parasites que les modérateurs doivent traiter, et non prétendre que chaque décision délicate peut être ramenée à une règle.

Les systèmes de modération efficaces tirent des enseignements de leurs décisions

Le comportement des communautés évolue aussi en permanence. De nouveaux termes d’argot apparaissent. Les utilisateurs trouvent des moyens de contourner les filtres. Les techniques de spam évoluent. Les normes sociales changent. Une règle de modération efficace aujourd’hui peut le devenir moins à mesure que les comportements évoluent.

Les infrastructures de modération ont besoin de boucles de rétroaction efficaces. Chaque action automatisée produit des informations utiles. Des décisions automatisées fréquemment annulées par les modérateurs peuvent indiquer qu’un seuil est trop sensible. Une forme récurrente de comportement abusif qui échappe régulièrement à la détection peut révéler qu’un signal fait défaut. Un nombre inhabituellement élevé de faux positifs peut montrer qu’une règle donnée fonctionne mal dans certains environnements.

Les équipes devraient pouvoir suivre les règles qui se déclenchent le plus souvent, la rapidité de détection des incidents, la fréquence à laquelle les actions automatisées sont annulées, ainsi que les comportements qui ont tendance à précéder des perturbations plus importantes.

Le Cadre de gestion des risques liés à l’IA du NIST souligne également l’importance de mesurer, de surveiller et de gérer les systèmes automatisés en continu lorsque les organisations les déploient.

L’observabilité permet aux systèmes de modération de s’adapter à l’évolution des communautés. Une communauté de joueurs, un groupe de discussion professionnel et un forum d’entraide peuvent développer des comportements très différents. Leurs seuils de modération devraient pouvoir évoluer en fonction de ces différences, tout en maintenant des garde-fous clairs.

La transparence est également importante. Les utilisateurs ont intérêt à disposer de règles compréhensibles et à ce que leur application soit raisonnablement prévisible. Les modérateurs doivent pouvoir voir comment les systèmes contribuent à leurs décisions, tandis que les ingénieurs ont besoin d’informations suffisantes pour déterminer si ces systèmes fonctionnent comme prévu.

La prochaine génération de communautés en ligne dépendra largement de la collaboration entre automatisation intelligente, jugement humain et mesure continue.

La modération à grande échelle nécessite une infrastructure capable de traiter d’énormes volumes d’activités courantes, de reconnaître des schémas difficiles à repérer pour un individu et de fournir aux modérateurs des informations plus pertinentes lorsque des décisions difficiles s’imposent.

La mise en place de cette infrastructure exige une attention particulière aux signaux comportementaux, aux seuils de confiance, aux procédures d’escalade, au suivi et aux boucles de rétroaction. Les communautés qui développent ces capacités seront mieux à même de croître tout en préservant la sécurité, la confiance et la qualité qui incitent les gens à participer.