L’intelligence artificielle peut aider à identifier les « contenus de mauvaise qualité » dans les actualités

Les usines d’opinion à vocation idéologique, conçues pour influencer l’opinion publique plutôt que de servir le public, pourraient être plus difficiles à détecter si l’intelligence artificielle est utilisée pour les rendre plus originales et rationnelles. La course est donc lancée pour rester en tête dans le jeu de la détection des « contenus de mauvaise qualité ».

Le définancement des médias locaux traditionnels au cours des vingt dernières années, en raison de l’évolution des tendances médiatiques et, récemment, de la politique du gouvernement américain, a laissé un vide dans la couverture régionale qui a été rapidement comblé par des organisations partisanes utilisant l’intelligence artificielle pour faire avancer leurs agendas.

Pour mettre le terme « partisan » en contexte (étant donné que aucune organisation de presse n’est sans tendances politiques), nous parlons d’entreprises pétrolières qui exploitent des sites d’actualités locales à distance, sans ressources locales réelles, mais avec pour mission de défendre la réputation publique de l’entreprise; des sites d’actualités à vocation politique dépourvus de toute source de revenus qui se préparent avant les élections; et de tout un réseau de sites d’actualités pro-républicains qui apparaissent de nulle part, à proximité de la date de vote.

En 2024, il a été estimé que les actualités locales à base d’intelligence artificielle avaient finalement dépassé les véritables sources d’actualités; à cette époque, une enquête australienne a révélé que 41 % des consommateurs préféraient les sources de « contenus de mauvaise qualité » aux sources « réelles ».

Ce type de campagne électorale cachée, on pourrait l’argumenter, est passé d’un simple art sombre à une menace existentielle pour la démocratie (en ce qui concerne les organisations à vocation politique) et pour la confiance du public dans des normes raisonnables d’équité dans la couverture médiatique.

Par conséquent, des méthodes pour distinguer la production caractéristique des éditeurs et des diffuseurs de « contenus de mauvaise qualité » des organisations de presse traditionnelles seraient très utiles, au moins pour comprendre qui sont les acteurs et les forces motrices dans le climat informationnel actuel.

Comme cela se présente, les clichés et les modèles des organisations de presse réelles sont très faciles à imiter, et l’intelligence artificielle rend la publication à grande échelle une réalité actuelle et abordable, en utilisant beaucoup des mêmes astuces adoptées par les éditeurs et les diffuseurs de « vieille presse » aux ressources limitées.

Signal et bruit

Une nouvelle étude américaine aborde ce problème en investiguant l’utilisation croissante de grands modèles de langage pour rendre les sites Web de « contenus de mauvaise qualité » moins génériques et plus difficiles à détecter, et en créant un cadre d’apprentissage conçu pour suivre les changements évolutifs dans la production de « contenus de mauvaise qualité » (PS).

Intitulée Exposer le journalisme de mauvaise qualité : signatures linguistiques et détection robuste contre les menaces générées par les LLM, le nouveau travail provient de cinq chercheurs de l’Université du Texas.

Le nouveau travail examine comment les articles d’actualités locales à grande échelle diffèrent de la couverture médiatique légitime, en se concentrant sur leur dépendance à l’égard de structures courtes et répétitives et de phrases modélisées avec une variation minimale; et les auteurs notent que les articles PS ont tendance à réutiliser des modèles identiques conçus pour manipuler l’opinion publique, avec des appels à l’émotion en tête de contenu:

À partir du nouveau document – de multiples sources publient des articles presque identiques avec seulement des détails de localisation modifiés, révélant une stratégie de copier-coller utilisée pour produire à grande échelle du contenu qui imite les actualités locales légitimes. Source

Les modèles de détection traditionnels formés sur ces traits performent bien contre un tel contenu, mais échouent lorsque les articles sont réécrits en utilisant des chatbots d’intelligence artificielle pour paraître plus naturels ou sophistiqués.

Les tests des auteurs indiquent que même de petits changements stylistiques introduits par les grands modèles de langage peuvent réduire la précision de détection de jusqu’à 40 %. Pour atténuer cela, ils proposent un cadre d’apprentissage continu qui réentraîne les modèles de détection sur les articles originaux et réécrits par l’intelligence artificielle, pour s’adapter aux modèles linguistiques changeants.

Méthode

Pour établir les données du projet, les auteurs ont utilisé l’ensemble de données Pink Slime, qui comporte 7,9 millions d’articles couvrant 1 093 sources pendant la période 2021-2023, à partir duquel ils ont obtenu 9 472 articles de « contenus de mauvaise qualité » après filtrage. Ils ont également utilisé l’ensemble de données LIAR, qui contient des actualités fausses annotées, ainsi que la collection NELA-GT-2021, qui contient uniquement des articles américains*.

Pour préparer leurs ensembles de formation et de test, les auteurs ont d’abord utilisé l’algorithme T-distributed Stochastic Neighbor Embedding (t-SNE) pour réduire les représentations d’articles à deux dimensions. Ils ont ensuite appliqué l’algorithme de regroupement de données DBSCAN pour isoler des groupes d’articles de « contenus de mauvaise qualité » similaires.

Chaque groupe a été traité comme un ensemble d’histoires liées, dont beaucoup suivaient toujours le même modèle, malgré une tentative concertée pour traiter les doublons.

Pour éviter que des articles similaires n’apparaissent à la fois dans les ensembles de formation et de test, des groupes entiers ont été sélectionnés aléatoirement, avec 80 % utilisés pour la formation et 20 % pour les tests. Puisque les articles d’actualités légitimes ne formaient pas de groupes clairs, une séparation aléatoire a été appliquée à la place.

Ce processus a été répété trois fois, pour assurer la cohérence, et pour réduire les biais d’échantillonnage.

Caractéristiques des contenus de mauvaise qualité

En commentant les traits distinctifs des contenus PS par rapport aux actualités régulières, les chercheurs affirment que les articles d’actualités locales de type PS sont nettement plus courts et plus simples que la couverture médiatique légitime, avec une moyenne de moins de neuf phrases par article.

Une proportion plus élevée de phrases simples et une dépendance accrue à l’égard des adjectifs sont des caractéristiques supplémentaires des contenus de mauvaise qualité, selon le document, et indiquent une tendance à un langage répétitif et chargé d’émotion.

La richesse lexicale a été mesurée en utilisant le Root-Type-Token Ratio (RTTR), et s’est avérée nettement plus faible dans les articles PS, qui ont également présenté nettement moins de phrases nominales uniques.

Ces modèles indiquent un vocabulaire limité et un style formulaires, en contraste avec les actualités locales légitimes, qui se caractérisent par des modèles de parties du discours complexes construits autour de verbes auxiliaires, de pronoms et de conjonctions. Au lieu de cela, les articles factices favorisent les structures de base nom-préposition, avec une utilisation fréquente de trigrammes basés sur la ponctuation, suggérant un style d’écriture moins formel et plus fragmenté.

Tests

Pour examiner les associations entre différents types d’articles, en fonction des caractéristiques linguistiques et structurelles, des représentations ont été générées en utilisant le modèle stella_en_400M_v5 à 435 millions de paramètres, et réduites avec l’analyse en composantes principales (ACP) et la t-SNE pour la visualisation.

Lorsqu’ils sont projetés en deux dimensions, les articles d’actualités locales factices forment de petits groupes denses, chacun correspondant à des sujets étroits tels que les statistiques criminelles, les mises à jour boursières ou les dons de charité:

Les modèles de regroupement à partir d’une projection t-SNE révèlent que les articles de contenus de mauvaise qualité forment des groupes répétitifs serrés, tandis que les actualités légitimes affichent des distributions plus larges et plus variées, alignées sur la diversité des sujets et des styles.

Comme on peut le voir, dans une certaine mesure, dans la visualisation ci-dessus, ce modèle suggère un format rigide et basé sur des modèles, avec une variation minimale entre les articles.

Il est intéressant de noter que les articles étiquetés comme « fausses actualités » divergent du contenu local factice, présentant une distribution plus en ligne avec les véritables actualités, indiquant que les actualités locales factices produites à grande échelle peuvent ne pas être simplement moins véridiques, mais également distinctes sur le plan mécanique en termes de forme et de composition.

En revanche, les actualités locales « légitimes » forment moins de groupes et plus espacés, cohérents avec un langage et des sujets plus divers, tandis que les articles d’actualités nationales présentent une dispersion encore plus grande, reflétant une gamme de sujets plus large et une cohérence stylistique plus lâche.

Comparaisons de caractéristiques entre les actualités locales légitimes et les contenus de mauvaise qualité, indiquant que les articles PS sont plus courts, utilisent des structures de phrases plus simples, contiennent plus d’adjectifs, présentent une richesse lexicale plus faible, favorisent les trigrammes de parties du discours de base et contiennent moins de phrases nominales uniques.

Détection

Les chercheurs ont évalué deux approches principales pour détecter les contenus de mauvaise qualité: la classification, basée sur des caractéristiques linguistiques créées manuellement; et la fine-tuning basé sur les transformateurs.

Pour l’approche créée manuellement, les caractéristiques structurelles plutôt que sémantiques ont été mises en avant, en utilisant le nombre de phrases; la richesse lexicale; la profondeur syntaxique; les probabilités de co-occurrence des parties du discours; les probabilités de co-occurrence des balises de dépendance; la lisibilité; et les comptes de parties du discours.

Trois modèles ont été testés sur cet ensemble de caractéristiques: XGBoost; Random Forest; et Support Vector Machine (SVM) – avec Random Forest affichant des résultats légèrement plus solides dans l’ensemble.

Les deux XGBoost et Random Forest ont attribué une grande importance prédictive à des caractéristiques telles que le nombre de phrases et le nombre de phrases nominales uniques. La lisibilité et les mesures de richesse lexicale ont également influencé fortement la classification, même si les modèles ont pondéré ces dernières différemment, XGBoost favorisant Flesch et RTTR, tandis que Random Forest s’est appuyé sur CTTR:

Les scores d’importance des caractéristiques basés sur SHAP (SHapley Additive exPlanations) mettent en évidence la manière dont chaque caractéristique d’entrée influence la sortie du modèle à travers les échantillons. Dans ce cas, les valeurs SHAP révèlent que XGBoost et Random Forest s’appuient principalement sur le nombre de phrases et les phrases nominales uniques pour distinguer les contenus de mauvaise qualité des actualités réelles, tout en attribuant des poids variables aux mesures de richesse lexicale et de lisibilité.

Comme on peut le voir dans les comparaisons de caractéristiques précédentes (ci-dessus), les articles de contenus de mauvaise qualité favorisent le sensationnalisme par rapport au détail, avec une richesse lexicale plus faible et moins de phrases nominales distinctes – renforçant la conclusion que ce type de contenu est hautement formulaires et répétitif.

Les modèles de trigrammes de parties du discours confirment que les actualités locales légitimes ont tendance à utiliser des formes structurellement plus complexes, impliquant des auxiliaires, des pronoms et des conjonctions, tandis que les contenus de mauvaise qualité favorisent une syntaxe fragmentée ou minimale. Ces modèles suggèrent une base fiable pour distinguer le contenu synthétique local des actualités réelles.

Un deuxième tour de tests a impliqué la fine-tuning de modèles de transformateurs sur le texte complet des articles, pour capturer à la fois le contenu sémantique et la structure syntaxique.

BERT, XLNet et Flan-T5 ont été testés, BERT atteignant le score F1 le plus élevé à 89,31 % – même si le document note que les différences de performance n’étaient pas statistiquement significatives. Contrairement aux classificateurs créés manuellement, ces modèles mettent à jour tous les poids pendant l’entraînement, leur permettant d’apprendre des représentations spécifiques à la tâche directement à partir des données.

Une méthode basée sur les représentations supplémentaire a utilisé un classificateur en aval entièrement connecté qui a performé mieux que les modèles créés manuellement, mais n’a pas égalé la précision de la fine-tuning complète.

Ces approches ont bénéficié d’un contexte linguistique plus large – avantageux, étant donné que les articles de contenus de mauvaise qualité réutilisent souvent du contenu à travers les sources. Les caractéristiques créées manuellement, en revanche, s’appuient uniquement sur la syntaxe de surface, limitant leur capacité à généraliser à travers les sources.

Amélioration des contenus de mauvaise qualité avec les LLM

Pour tester si les articles de contenus de mauvaise qualité pouvaient être rendus plus difficiles à détecter, les chercheurs les ont réécrits en utilisant des grands modèles de langage. Les invites ont été conçues pour améliorer le style d’écriture en élargissant le contenu, en ajoutant de la complexité de phrases, en réduisant l’utilisation excessive des adjectifs, en imposant un ton neutre, en utilisant un vocabulaire plus varié et en augmentant le nombre de phrases nominales uniques, dans le but de cacher les traits de surface sur lesquels la plupart des systèmes de détection s’appuient.

Les modèles testés étaient Gemma-2B; Mistral-7B; Llama-1B; Llama-3B; Llama-8B; Qwen-7B; GPT-4o mini; et Claude-3.5-Haiku.

Performances de détection (F1) d’un classificateur BERT affiné lorsqu’il est confronté à des articles de contenus de mauvaise qualité réécrits par différents LLM. Des scores plus bas indiquent une obstruction plus réussie.

Sur ces résultats, les auteurs commentent:

‘[Parmi] les modèles open source, Qwen s’est avéré le plus efficace pour éviter la détection: lorsqu’il a été testé contre un classificateur BERT affiné (score F1 de base: 89 %), il a entraîné une baisse de 28,34 % des performances de détection.

‘Les modèles à accès fermé étaient nettement plus puissants, avec à la fois GPT-4o-mini et Claude-3.5-Haiku réduisant le score F1 d’un pourcentage moyen de 40 %, mettant en évidence le défi posé par l’obfuscation de haute qualité générée par les LLM.’

Ces résultats, selon les auteurs, montrent à quel point il est facile pour les LLM de dissimuler les contenus de mauvaise qualité, rendant ainsi beaucoup plus difficile pour les outils actuels de les détecter**.

Conclusion

Opinion Cette ligne de recherche contient certaines questions intéressantes, pas la moindre étant que tant de personnes (selon au moins une enquête mentionnée plus tôt) soutiennent les contenus de mauvaise qualité, sachant ce qu’ils sont, ce qui remet en question le contexte péjoratif. C’est comme si les gens savaient que « Soylent Green est fait de personnes », mais qu’ils haussent les épaules et continuaient à manger; ou du moins, c’est ainsi que cela peut apparaître, d’un point de vue libéral.

Cette indifférence du public à l’égard des actualités algorithmiques peut évoluer et même reculer – mais pour l’instant, elle semble s’approfondir.

Une autre chose qui m’a frappé en lisant le document, c’est la façon dont la prose plus simple et la réductionnisme de la production de contenus de mauvaise qualité étaient traités comme un défaut avec une solution technologique potentielle, alors que le minimalisme, l’émotionnalisme et le vocabulaire limité sont sans doute tous intentionnels.

Si les différents groupes d’intérêts derrière les contenus de mauvaise qualité veulent étendre leur portée à un public plus intellectuel ou libéral (bien que cela ne joue peut-être pas à leurs forces), il semble plus probable qu’ils s’installent plus près de leur public cible démographique, plutôt que de changer un style de langage et un ton qui semblent déjà atteindre leurs objectifs sur les plateformes existantes.

* En raison d’une mise en page malheureuse dans le document, la source supplémentaire d’articles d’actualités locales ne comporte pas d’attribution claire. Veuillez vous référer au document source et deviner lequel des références « Horne » s’applique.

** Nous renvoyons le lecteur au document source pour plus de détails sur les expériences secondaires et supplémentaires qui clôturent la section des résultats du nouveau document.

Publié pour la première fois le vendredi 12 décembre 2025