Générer et identifier la propagande avec l'apprentissage automatique

De nouvelles recherches menées aux États-Unis et au Qatar proposent une nouvelle méthode pour identifier les fausses nouvelles écrites de la même manière que les humains. écrire en fait fausses nouvelles - en intégrant des déclarations inexactes dans un contexte largement véridique et en utilisant des techniques de propagande populaires telles que recours à l'autorité et langue chargée.

Le projet a abouti à la création d'un nouvel ensemble de données de formation à la détection des fausses nouvelles appelé PropaActualités, qui intègre ces techniques. Les auteurs de l'étude ont constaté que les détecteurs entraînés sur le nouvel ensemble de données sont 7.3 à 12 % plus précis pour détecter la désinformation écrite par des humains que les approches de pointe précédentes.

Extrait du nouvel article, exemples d'« appel à l'autorité » et de « langage chargé ». Source : https://arxiv.org/pdf/2203.05386.pdf

Les auteurs affirment qu'à leur connaissance, le projet est le premier à incorporer des techniques de propagande (plutôt qu'une simple inexactitude factuelle) dans des exemples de texte générés par des machines destinés à alimenter les détecteurs de fausses nouvelles.

Les travaux les plus récents dans ce domaine, affirment-ils, ont étudié les biais, ou bien ont reformulé les données de « propagande » dans le contexte des biais (sans doute parce que les biais sont devenus un secteur d’apprentissage automatique hautement finançable à l’ère post-Analytica).

Les auteurs déclarent:

« En revanche, notre travail génère de fausses nouvelles en intégrant des techniques de propagande et en préservant la majorité des informations correctes. Notre approche est donc plus adaptée à l'étude des défenses contre les fausses nouvelles d'origine humaine. »

Ils illustrent en outre l'urgence croissante de techniques de détection de propagande plus sophistiquées* :

«La désinformation [écrite par l'homme], qui est souvent utilisée pour manipuler certaines populations, a eu un impact catastrophique sur de multiples événements, tels que le Élection présidentielle américaine de 2016, le Brexit, le Pandémie de COVID-19, et la récente attaque russe contre l'Ukraine. Nous avons donc un besoin urgent d'un mécanisme de défense contre la désinformation écrite par des humains.

Le papier est intitulé Fausser les fausses nouvelles pour détecter les vraies fausses nouvelles : Génération de données de formation chargées de propagande, et vient de cinq chercheurs de l'Université de l'Illinois Urbana-Champaign, de l'Université de Columbia, de l'Université Hamad Bin Khalifa au Qatar, de l'Université de Washington et de l'Allen Institute for AI.

Définir le mensonge

Le défi de la quantification de la propagande est en grande partie d'ordre logistique : il est très coûteux d'embaucher des humains pour reconnaître et annoter du matériel du monde réel avec des caractéristiques de type propagande pour l'inclure dans un ensemble de données de formation, et potentiellement beaucoup moins cher d'extraire et d'utiliser des fonctionnalités de haut niveau susceptibles de fonctionner sur des données futures « invisibles ».

Au service d'une solution plus évolutive, les chercheurs ont d'abord rassemblé des articles de désinformation créés par l'homme à partir de sources d'information jugées peu précises sur le plan factuel, via le site Media Bias Fact Check.

Ils ont constaté que 33 % des articles étudiés utilisaient des techniques de propagande fallacieuses, notamment termes déclencheurs d'émotion, sophismes et appel aux autorités. 55 % supplémentaires des articles contenaient des informations inexactes mélangées à des informations exactes.

Génération d'appels à l'autorité

Le appel à l'autorité L'approche a deux cas d'utilisation : la citation d'énoncés inexacts et la citation d'énoncés complètement fictifs. La recherche se concentre sur le deuxième cas d'utilisation.

À partir du nouveau projet, le cadre d'inférence du langage naturel RoBERTa identifie deux autres exemples d'appel à l'autorité et de langage chargé.

Dans le but de créer une propagande générée par machine pour le nouvel ensemble de données, les chercheurs ont utilisé l'architecture seq2seq pré-entraînée. BART pour identifier les phrases saillantes qui pourraient plus tard être transformées en propagande. Puisqu'il n'y avait pas d'ensemble de données accessible au public lié à cette tâche, les auteurs ont utilisé un modèle de résumé extractif proposée dans 2019 pour estimer la saillance de la phrase.

Pour un article de chaque média étudié, les chercheurs ont remplacé ces phrases « marquées » par de faux arguments provenant d'« autorités » provenant à la fois du service de requête Wikidata et d'autorités mentionnées dans les articles (c'est-à-dire des personnes et/ou des organisations).

Génération de la langue chargée

Langue chargée comprend des mots, souvent des adverbes et des adjectifs sensationnalistes (comme dans l'exemple illustré ci-dessus), qui contiennent des jugements de valeur implicites empêtrés dans le contexte de la livraison d'un fait.

Pour dériver des données concernant le langage chargé, les auteurs ont utilisé un ensemble de données d'un étude de 2019 contenant 2,547 langue chargée instances. Comme tous les exemples des données de 2019 n'incluaient pas des adverbes ou des adjectifs déclenchant des émotions, les chercheurs ont utilisé SpaCy pour effectuer l'analyse des dépendances et le balisage de la partie du discours (PoS), en ne conservant que les exemples pertinents à inclure dans le cadre.

Le processus de filtrage a abouti à 1,017 XNUMX échantillons de langue chargée. Une autre instance de BART a été utilisée pour masquer et remplacer les phrases saillantes dans les documents source par la langue chargée.

Ensemble de données PropaNews

Après une formation modèle intermédiaire menée sur le 2015 Ensemble de données CNN/DM à partir de Google Deep Mind et de l'Université d'Oxford, les chercheurs ont généré l'ensemble de données PropaNews, en convertissant des articles non triviaux provenant de sources « fiables » telles que The New York Times et The Guardian en versions « modifiées » contenant de la propagande algorithmique élaborée.

L’expérience s’est inspirée d’une étude réalisée en 2013 à Hanovre, qui générait automatiquement des résumés chronologiques des actualités de 17 événements d’actualité, pour un total de 4,535 XNUMX actualités.

La désinformation générée a été soumise à 400 employés uniques d'Amazon Mechanical Turk (AMT), couvrant 2000 XNUMX tâches d'intelligence humaine (HIT). Seuls les articles chargés de propagande jugés Avec cette connaissance vient le pouvoir de prendre par les travailleurs ont été inclus dans la version finale de PropaNews. Les arbitrages sur les désaccords ont été notés par l'accord de travail avec l'agrégat (WAWA) méthode.

La version finale de PropaNews contient 2,256 30 articles, équilibrés entre fausses et vraies productions, dont XNUMX % à effet de levier appel à l'autorité, et 30 % supplémentaires utilisent langue chargée. Le reste contient simplement des informations inexactes du type de celles qui ont largement rempli les ensembles de données antérieurs dans ce domaine de recherche.

Les données ont été réparties 1,256 500:500:XNUMX entre les distributions de formation, de test et de validation.

Ensemble de données HumanNews

Pour évaluer l'efficacité des routines de détection de propagande formées, les chercheurs ont compilé 200 articles de presse écrits par des humains, y compris des articles démystifiés par Politifact, et publiés entre 2015 et 2020.

Ces données ont été complétées par des articles démystifiés supplémentaires provenant de médias d'information non fiables, et la somme totale a été vérifiée par un étudiant diplômé en informatique.

L'ensemble de données final, intitulé HumanNews, comprend également 100 articles du Los Angeles Times.

Tests

Le processus de détection a été opposé aux cadres précédents sous deux formes : PN-Argent, qui ne tient pas compte de la validation de l'annotateur AMT, et PN-Or, qui inclut la validation comme critère.

Les cadres concurrents comprenaient l'offre 2019 Grover-GEN, 2020 Fait-GEN et Faux événement, où les articles de PN-Silver sont remplacés par des documents générés par ces anciennes méthodes.

Les variantes de Grover et RoBERTa se sont avérées plus efficaces lorsqu'elles ont été formées sur le nouvel ensemble de données PropaNews, les chercheurs concluant que « Les détecteurs formés sur PROPANEWS sont plus performants dans l'identification de la désinformation écrite par des humains que ceux formés sur d'autres ensembles de données ».

Les chercheurs observent également que même l'ensemble de données d'ablation semi-paralysé PN-Silver surpasse les méthodes plus anciennes sur d'autres ensembles de données.

Périmé?

Les auteurs réitèrent le manque de recherche à ce jour concernant la génération et l'identification automatisées de fausses nouvelles centrées sur la propagande, et avertissent que l'utilisation de modèles formés sur des données avant des événements critiques (tels que COVID, ou, sans doute, la situation actuelle dans l'Est Europe) ne peut pas fonctionner de manière optimale :

Environ 48 % des fausses informations mal classées sont dues à l'incapacité d'acquérir des connaissances dynamiques à partir de nouvelles sources d'information. Par exemple, les articles liés à la COVID-2020 sont généralement publiés après 2019, tandis que ROBERTA a été pré-entraîné sur des articles de presse publiés avant XNUMX. Il est très difficile pour ROBERTA de détecter la désinformation sur de tels sujets, à moins que le détecteur ne soit équipé de la capacité d'acquérir des connaissances dynamiques à partir d'articles de presse.

Les auteurs notent en outre que RoBERTa atteint une précision de 69.0 % pour la détection des faux articles d'actualité lorsque le matériel est publié avant 2019, mais tombe à 51.9 % d'exactitude lorsqu'il est appliqué aux articles d'actualité publiés après cette date.

Palpitation et contexte

Bien que l'étude ne l'aborde pas directement, il est possible que ce type d'analyse approfondie de l'affect sémantique puisse éventuellement aborder une militarisation plus subtile du langage, telle que palabrer – l'utilisation intéressée et sélective de déclarations véridiques afin d'obtenir un résultat souhaité qui peut s'opposer à l'esprit et à l'intention perçus des preuves à l'appui utilisées.

Une ligne de recherche connexe et légèrement plus développée en PNL, en vision par ordinateur et en recherche multimodale est la étude de contexte comme complément de sens, où la réorganisation ou la recontextualisation sélective et intéressée des faits réels devient équivalente à une tentative de manifester une réaction différente de celle que les faits pourraient normalement produire s'ils avaient été présentés de manière plus claire et plus linéaire.

* Ma conversion des citations en ligne des auteurs en hyperliens directs.

Première publication le 11 mars 2022.