Génération et identification de la propagande avec l’apprentissage automatique

De nouvelles recherches menées aux États-Unis et au Qatar offrent une méthode novatrice pour identifier les fausses nouvelles écrites de la manière dont les humains écrivent réellement les fausses nouvelles – en intégrant des déclarations inexactes dans un contexte principalement véridique, et en utilisant des techniques de propagande populaires telles que appels à l’autorité et langage chargé.

Le projet a abouti à la création d’un nouveau jeu de données d’entraînement pour la détection des fausses nouvelles appelé PropaNews, qui intègre ces techniques. Les auteurs de l’étude ont constaté que les détecteurs formés sur le nouveau jeu de données sont 7,3 à 12 % plus précis dans la détection de la désinformation écrite par des humains que les approches antérieures de pointe.

Exemples d’« appels à l’autorité » et de « langage chargé » tirés du nouveau document. Source: https://arxiv.org/pdf/2203.05386.pdf

Les auteurs affirment que, à leur connaissance, le projet est le premier à intégrer des techniques de propagande (plutôt que des inexactitudes factuelles simples) dans des exemples de texte générés par machine destinés à alimenter les détecteurs de fausses nouvelles.

La plupart des travaux récents dans ce domaine, selon eux, ont étudié les préjugés, ou reformulé les données de « propagande » dans le contexte des préjugés (sans doute parce que les préjugés sont devenus un secteur d’apprentissage automatique très financé à l’ère post-Analytica).

Les auteurs déclarent:

‘Contrairement à cela, notre travail génère des fausses nouvelles en intégrant des techniques de propagande et en préservant la majorité des informations correctes. Par conséquent, notre approche est plus adaptée à l’étude de la défense contre les fausses nouvelles écrites par des humains.’

Ils illustrent encore l’urgence croissante de techniques de détection de propagande plus sophistiquées*:

‘La désinformation écrite par des humains, qui est souvent utilisée pour manipuler certaines populations, a eu un impact catastrophique sur de nombreux événements, tels que les élections présidentielles américaines de 2016, le Brexit, la pandémie de COVID-19 et la récente agression de la Russie contre l’Ukraine. Par conséquent, nous avons besoin d’un mécanisme de défense contre la désinformation écrite par des humains.’

Le document s’intitule Faking Fake News for Real Fake News Detection: Propaganda-loaded Training Data Generation, et provient de cinq chercheurs de l’Université de l’Illinois à Urbana-Champaign, de l’Université Columbia, de l’Université Hamad Bin Khalifa au Qatar, de l’Université de Washington et de l’Institut Allen pour l’intelligence artificielle.

Définition de la fausseté

Le défi de quantifier la propagande est en grande partie un problème logistique: il est très coûteux de faire appel à des humains pour reconnaître et annoter des matériaux du monde réel avec des caractéristiques de propagande pour les inclure dans un jeu de données d’entraînement, et potentiellement beaucoup moins coûteux d’extraire et d’utiliser des fonctionnalités de haut niveau susceptibles de fonctionner sur des « données non vues », futures.

Dans le but d’une solution plus évolutives, les chercheurs ont initialement recueilli des articles de désinformation créés par des humains à partir de sources d’information considérées comme peu précises sur le plan factuel, via le site Media Bias Fact Check.

Ils ont constaté que 33 % des articles étudiés utilisaient des techniques de propagande malhonnêtes, notamment des termes déclencheurs d’émotions, des sophismes et des appels à l’autorité. Un supplément de 55 % des articles contenaient des informations inexactes mélangées à des informations exactes.

Génération d’appels à l’autorité

L’approche de l’« appel à l’autorité » a deux utilisations: la citation de déclarations inexactes et la citation de déclarations complètement fictives. La recherche se concentre sur la deuxième utilisation.

Deux exemples supplémentaires d’appels à l’autorité et de langage chargé, identifiés par le cadre d’inférence de langage naturel RoBERTa.

Avec l’objectif de créer de la propagande générée par machine pour le nouveau jeu de données, les chercheurs ont utilisé l’architecture seq2seq préentraînée BART pour identifier les phrases saillantes qui pourraient plus tard être modifiées en propagande. Puisqu’il n’y avait pas de jeu de données public disponible pour cette tâche, les auteurs ont utilisé un modèle de résumé extractif proposé en 2019 pour estimer la saillance des phrases.

Pour un article de chaque média étudié, les chercheurs ont substitué ces phrases « marquées » à de faux arguments d’« autorités » dérivés à la fois du service de requête Wikidata et d’autorités mentionnées dans les articles (c’est-à-dire des personnes et/ou des organisations).

Génération de langage chargé

Le langage chargé comprend des mots, souvent des adverbes et des adjectifs sensationnalistes (comme dans l’exemple illustré ci-dessus), qui contiennent des jugements de valeur implicites enracinés dans le contexte de la fourniture d’un fait.

Pour dériver des données concernant le langage chargé, les auteurs ont utilisé un jeu de données d’une étude de 2019 contenant 2 547 instances de langage chargé. Puisque tous les exemples de la données de 2019 ne contenaient pas d’adverbes ou d’adjectifs déclencheurs d’émotions, les chercheurs ont utilisé SpaCy pour effectuer une analyse de dépendance et un marquage de parties du discours (PoS), ne conservant que les exemples appropriés pour inclusion dans le cadre.

Le processus de filtrage a abouti à 1 017 échantillons de langage chargé valides. Un autre exemple de BART a été utilisé pour masquer et remplacer les phrases saillantes dans les documents sources par du langage chargé.

Jeu de données PropaNews

Après un entraînement intermédiaire effectué sur le jeu de données CNN/DM de 2015 de Google Deep Mind et de l’Université d’Oxford, les chercheurs ont généré le jeu de données PropaNews, en convertissant des articles non triviaux de sources « fiables » telles que The New York Times et The Guardian en « versions modifiées » contenant de la propagande algorithmique élaborée.

L’expérience a été calquée sur une étude de 2013 de Hanover, qui a généré automatiquement des résumés de chronologie d’histoires d’actualité sur 17 événements d’actualité, et un total de 4 535 histoires.

Les informations fausses générées ont été soumises à 400 travailleurs uniques d’Amazon Mechanical Turk (AMT), couvrant 2 000 tâches d’intelligence humaine (HIT). Seuls les articles de propagande considérés comme exactes par les travailleurs ont été inclus dans la version finale de PropaNews. Les décisions sur les désaccords ont été notées par la méthode d’accord des travailleurs avec l’agrégat (WAWA).

La version finale de PropaNews contient 2 256 articles, équilibrés entre sortie factice et réelle, dont 30 % utilisent l’appel à l’autorité, et 30 % utilisent le langage chargé. Le reste contient simplement des informations inexactes du type qui a en grande partie peuplé les jeux de données antérieurs dans ce domaine de recherche.

Les données ont été divisées en 1 256:500:500 sur les distributions d’entraînement, de test et de validation.

Jeu de données HumanNews

Pour évaluer l’efficacité des routines de détection de propagande formées, les chercheurs ont compilé 200 articles de nouvelles écrites par des humains, y compris des articles démentis par Politifact, et publiés entre 2015 et 2020.

Ces données ont été complétées par des articles supplémentaires démentis provenant de médias d’information non fiables, et le total a été vérifié par un étudiant diplômé en informatique.

Le jeu de données final, intitulé HumanNews, comprend également 100 articles du Los Angeles Times.

Tests

Le processus de détection a été opposé à des cadres antérieurs sous deux formes: PN-Argent, qui ignore la validation de l’annotateur AMT, et PN-Or, qui inclut la validation comme critère.

Les cadres concurrents comprenaient l’offre de 2019 Grover-GEN, celui de 2020 Fact-GEN, et FakeEvent, dans lequel les articles de PN-Argent sont substitués à des documents générés par ces anciennes méthodes.

Des variantes de Grover et RoBERTa se sont avérées les plus efficaces lorsqu’elles étaient formées sur le nouveau jeu de données PropaNews, les chercheurs concluant que ‘les détecteurs formés sur PropaNews performe mieux dans la détection de la désinformation écrite par des humains par rapport à la formation sur d’autres jeux de données’.

Les chercheurs observent également que même le jeu de données d’ablation semi-handicapé PN-Argent surperforme les anciennes méthodes sur d’autres jeux de données.

En retard?

Les auteurs réitèrent le manque de recherche à ce jour sur la génération et l’identification automatisées de fausses nouvelles axées sur la propagande, et mettent en garde contre le fait que l’utilisation de modèles formés sur des données antérieures à des événements critiques (tels que le COVID, ou, de manière controversée, la situation actuelle en Europe de l’Est) ne peut pas être censée performer de manière optimale:

‘Environ 48 % des désinformations écrites par des humains mal classées sont causées par l’incapacité à acquérir des connaissances dynamiques à partir de nouvelles sources. Par exemple, les articles liés au COVID sont généralement publiés après 2020, tandis que ROBERTA a été préentraîné sur des articles de presse publiés avant 2019. Il est très difficile pour ROBERTA de détecter la désinformation sur de tels sujets, à moins que le détecteur ne soit équipé de la capacité d’acquérir des connaissances dynamiques à partir d’articles de presse.’

Les auteurs notent en outre que RoBERTa atteint une précision de 69,0 % pour la détection des fausses nouvelles pour lesquelles le matériel est publié avant 2019, mais chute à 51,9 % de précision lorsqu’il est appliqué à des articles de presse publiés après cette date.

Paltération et contexte

Bien que l’étude n’aborde pas directement ce sujet, il est possible que ce type de plongée en profondeur dans l’affect sémantique pourrait éventuellement aborder des armes linguistiques plus subtiles, telles que la paltération – l’utilisation intéressée et sélective de déclarations véridiques dans le but d’obtenir un résultat souhaité qui peut s’opposer à l’esprit et à l’intention perçus des preuves à l’appui utilisées.

Une ligne de recherche connexe et légèrement plus développée en traitement automatique des langues, en vision par ordinateur et en recherche multimodale est l’étude du contexte comme un adjunct de signification, où la réorganisation sélective et la récontextualisation de faits véridiques deviennent équivalentes à une tentative d’évoquer une réaction différente de celle que les faits pourraient ordinairement avoir, s’ils avaient été présentés de manière plus claire et plus linéaire.

* Ma conversion des citations en ligne des auteurs en hyperliens directs.

Publié pour la première fois le 11 mars 2022.