Ce que l’IA peut nous dire sur les agendas cachés dans les actualités

Les modèles de type ChatGPT sont formés pour détecter ce qu’un article de presse réellement pense d’une question – même lorsque ce point de vue est enfoui sous des citations, des cadres ou une (parfois fausse) ‘neutralité’. En divisant les articles en segments tels que les titres, les introductions et les citations, un nouveau système apprend à repérer les préjugés même dans le journalisme professionnel de longue forme.

La capacité de comprendre le véritable point de vue d’un écrivain ou d’un orateur – une quête connue dans la littérature sous le nom de détection de point de vue – répond à l’un des problèmes interprétatifs les plus difficiles du langage : extraire l’intention d’un contenu qui peut être conçu pour la cacher ou la déformer.

De la Modeste Proposition de Jonathan Swift à des performances récentes d’acteurs politiques empruntant les polémiques de leurs opposants idéologiques, la surface d’une déclaration n’est plus un indicateur fiable de son intention ; l’essor de l’ironie, du trolling, de la désinformation et de l’ambiguïté stratégique a rendu plus difficile que jamais de déterminer de quel côté se situe réellement un texte, ou s’il se situe du tout.

Souvent, ce qui n’est pas dit a autant de poids que ce qui est énoncé, et le simple fait de couvrir un sujet peut signaler la position de l’auteur.

Cela rend la tâche de détection automatique de point de vue inhabituellement difficile, car un système de détection efficace doit faire plus que d’étiqueter des phrases isolées comme « favorables » ou « opposées » : il doit plutôt parcourir les couches de sens, en pesant les petits indices contre la forme et la tendance de l’article entier ; et cela est plus difficile dans le journalisme de longue forme, où le ton peut changer et où l’opinion est rarement exprimée ouvertement.

Agents de changement

Pour répondre à certains de ces problèmes, des chercheurs en Corée du Sud ont développé un nouveau système appelé JOA-ICL (Journalism-guided Agentic In-Context Learning) pour détecter le point de vue des articles de presse de longue forme.

L’idée principale derrière JoA-ICL est que le point de vue au niveau de l’article est inféré en agrégeant les prédictions au niveau des segments produites par un agent de modèle de langage distinct. Source: https://arxiv.org/pdf/2507.11049

Plutôt que de juger un article dans son ensemble, JOA-ICL le divise en parties structurelles (titre, introduction, citations et conclusion) et attribue à chacune d’elles un modèle de langage plus petit, qui étiquette le segment comme favorable, opposé ou neutre.

Ces prédictions locales sont ensuite transmises à un modèle plus grand, qui utilise ces prédictions pour déterminer le point de vue global de l’article.

La méthode a été testée sur un nouveau jeu de données coréen compilé, contenant 2 000 articles de presse annotés pour le point de vue au niveau de l’article et au niveau des segments. Chaque article a été étiqueté avec l’input d’un expert en journalisme, reflétant la façon dont le point de vue est réparti dans la structure de la rédaction professionnelle.

Selon l’article, JOA-ICL surpasse à la fois les méthodes basées sur les invites et les méthodes affinées, en démontrant une force particulière dans la détection des points de vue favorables (que les modèles avec une ambition similaire ont tendance à manquer). La méthode s’est également avérée efficace lorsqu’elle a été appliquée à un jeu de données allemand dans des conditions équivalentes, indiquant que ses principes sont potentiellement résistants aux formes de langage.

Les auteurs déclarent:

‘Les expériences montrent que JOA-ICL surpasse les méthodes de détection de point de vue existantes, mettant en évidence les avantages de l’agence au niveau des segments pour capturer la position globale des articles de presse de longue forme.”

Le nouvel article est intitulé Journalism-Guided Agentic In-Context Learning for News Stance Detection, et provient de diverses facultés de l’Université Soongsil de Séoul, ainsi que de l’École des études supérieures en stratégie future de KAIST.

Méthode

Une partie du défi de la détection de point de vue assistée par l’IA est logistique, et liée à la quantité de signal que peut retenir et collationner un système d’apprentissage automatique à un moment donné, à l’état actuel de l’art.

Les articles de presse ont tendance à éviter les déclarations directes d’opinion, en se reposant plutôt sur un point de vue implicite ou supposé, signalé à travers les choix des sources à citer, la façon dont la narration est encadrée, et quels détails sont omis, parmi de nombreuses autres considérations.

Même lorsque l’article prend clairement position, le signal est souvent dispersé dans le texte, avec différents segments pointant dans différentes directions. Puisque les modèles de langage (LM) ont encore des difficultés avec des fenêtres de contexte limitées, cela peut rendre difficile pour les modèles d’évaluer le point de vue de la même manière qu’ils le font avec des contenus plus courts (comme les tweets et d’autres médias sociaux courts), où la relation entre le texte et la cible est plus explicite.

Par conséquent, les approches standard sont souvent insuffisantes lorsqu’elles sont appliquées à la presse de longue forme ; un cas où l’ambiguïté est une caractéristique plutôt qu’un défaut.

L’article déclare:

‘Pour répondre à ces défis, nous proposons une approche de modélisation hiérarchique qui infère d’abord le point de vue au niveau des unités de discours plus petites (par exemple, des paragraphes ou des sections), et intègre ensuite ces prédictions locales pour déterminer le point de vue global de l’article.

‘Ce cadre est conçu pour conserver le contexte local et capturer les indices de point de vue dispersés dans l’évaluation de la façon dont les différentes parties d’une histoire de presse contribuent à sa position globale sur une question.’

Pour cela, les auteurs ont compilé un nouveau jeu de données intitulé K-NEWS-STANCE, tiré de la couverture médiatique coréenne entre juin 2022 et juin 2024. Les articles ont été identifiés à l’aide de BigKinds, un service de métadonnées soutenu par le gouvernement et exploité par la Fondation de la presse coréenne, et les textes intégraux ont été récupérés à l’aide de l’API d’agrégation de nouvelles Naver. Le jeu de données final comprenait 2 000 articles de 31 sources, couvrant 47 questions d’importance nationale.

Chaque article a été annoté deux fois : une fois pour son point de vue global sur une question donnée, et à nouveau pour les segments individuels ; en particulier le titre, l’introduction, la conclusion et les citations directes.

L’annotation a été dirigée par l’expert en journalisme Jiyoung Han, également le troisième auteur de l’article, qui a guidé le processus en utilisant des indices établis issus des études des médias, tels que la sélection des sources, le cadrage lexical et les modèles de citation. Par ces moyens, un total de 19 650 étiquettes de point de vue au niveau des segments ont été obtenues.

Pour s’assurer que les articles contiennent des signaux de point de vue significatifs, chaque article a été classé par genre, et seuls ceux étiquetés comme analyse ou opinion (où le cadrage subjectif est plus susceptible d’être trouvé) ont été utilisés pour l’annotation du point de vue.

Deux annotateurs formés ont étiqueté tous les articles, et ont été invités à consulter des articles liés en cas de point de vue peu clair, avec des désaccords résolus par discussion et examen supplémentaire.

Exemples d’entrées du jeu de données K-NEWS-STANCE, traduits en anglais. Seuls le titre, l’introduction et les citations sont affichés ; le texte complet du corps est omis. La mise en évidence indique les étiquettes de point de vue pour les citations, avec le bleu pour les étiquettes favorables et le rouge pour les étiquettes opposées. Veuillez vous référer au PDF source cité pour une version plus claire.

JoA-ICL

Plutôt que de traiter un article comme un bloc de texte unique, le système proposé par les auteurs le divise en parties structurelles clés : titre, introduction, citations et conclusion, en attribuant à chacune d’elles un agent de modèle de langage, qui étiquette le segment comme favorable, opposé ou neutre.

Ces prédictions locales sont ensuite transmises à un deuxième agent qui décide du point de vue global de l’article, avec les deux agents coordonnés par un contrôleur qui prépare les invites et rassemble les résultats.

Ainsi, JoA-ICL adapte l’apprentissage en contexte (où le modèle apprend à partir d’exemples dans l’invite) pour correspondre à la façon dont les histoires de presse professionnelles sont écrites, en utilisant des invites sensibles aux segments au lieu d’une invite générique unique.

(Veuillez noter que la plupart des exemples et des illustrations de l’article sont longs et difficiles à reproduire de manière lisible dans un article en ligne. Nous vous invitons donc à examiner le PDF source original)

Données et tests

Lors des tests, les chercheurs ont utilisé la macro F1 et la précision pour évaluer les performances, en moyennant les résultats sur dix exécutions avec des graines aléatoires de 42 à 51 et en signalant l’erreur standard. Les données d’entraînement ont été utilisées pour affiner les modèles de base et les agents de niveau de segment, avec des exemples à quelques coups sélectionnés à l’aide d’une recherche de similarité en utilisant KLUE-RoBERTa-large.

Les tests ont été exécutés sur trois GPU RTX A6000 (chacun avec 48 Go de VRAM), en utilisant Python 3.9.19, PyTorch 2.5.1, Transformers 4.52.0 et vLLM 0.8.5.

GPT-4o-mini, Claude 3 Haiku et Gemini 2 Flash ont été utilisés via l’API, à une température de 1,0 et avec des jetons maximum définis à 1000 pour les invites de réflexion en chaîne, et 100 pour les autres.

Pour l’affinage complet de Exaone-3.5-2.4B, l’optimiseur AdamW a été utilisé à un taux d’apprentissage de 5e-5, avec une décroissance de poids de 0,01, 100 étapes de réchauffement, et avec les données formées pendant 10 époques à une taille de lot de 6.

Pour les modèles de base, les auteurs ont utilisé RoBERTa, affiné pour la détection de point de vue au niveau de l’article ; Chain-of-Thought (CoT) Embeddings, un réglage alternatif de RoBERTa pour la tâche assignée ; LKI-BART, un modèle encodeur-décodeur qui ajoute des connaissances contextuelles à partir d’un grand modèle de langage en le sollicitant avec le texte d’entrée et l’étiquette de point de vue prévue ; et PT-HCL, une méthode qui utilise l’apprentissage contrastif pour séparer les fonctionnalités générales de celles spécifiques à la question ciblée :

Performances de chaque modèle sur le jeu de données de test K-NEWS-STANCE pour la prédiction de point de vue global. Les résultats sont présentés sous forme de macro F1 et de précision, avec le score le plus élevé de chaque groupe en gras.

JOA-ICL a obtenu les meilleures performances globales en termes de précision et de macro F1, un avantage évident dans tous les trois modèles de base testés : GPT-4o-mini, Claude 3 Haiku et Gemini 2 Flash.

La méthode basée sur les segments a constamment surpassé toutes les autres approches, avec, observe les auteurs, un avantage notable dans la détection des points de vue favorables, une faiblesse commune dans les modèles similaires.

Les modèles de base ont obtenu de moins bons résultats globalement. RoBERTa et les variantes de Chain-of-Thought ont eu du mal avec les cas nuancés, tandis que PT-HCL et LKI-BART ont obtenu de meilleurs résultats, tout en restant derrière JOA-ICL dans la plupart des catégories. Le résultat le plus précis provenait de JOA-ICL (Claude), avec 64,8 % de macro F1 et 66,1 % de précision.

L’image ci-dessous montre combien de fois les modèles ont obtenu chaque étiquette correcte ou incorrecte :

Matrices de confusion comparant les modèles de base et JoA-ICL, montrant que les deux méthodes ont le plus de mal à détecter les points de vue ‘favorables’.

JoA-ICL a obtenu de meilleurs résultats globalement que le modèle de base, en obtenant plus d’étiquettes correctes dans chaque catégorie. Cependant, les deux modèles ont eu le plus de mal avec les articles favorables, et le modèle de base a mal classifié près de la moitié, les confondant souvent avec des étiquettes neutres.

JoA-ICL a fait moins d’erreurs, mais a montré le même schéma, renforçant que les points de vue ‘positifs’ sont plus difficiles pour les modèles à détecter.

Pour tester si JoA-ICL fonctionne au-delà des limites de la langue coréenne, les auteurs l’ont exécuté sur CheeSE, un jeu de données allemand pour la détection de point de vue au niveau de l’article. Puisque CheeSE ne contient pas d’étiquettes au niveau des segments, les chercheurs ont utilisé la supervision distante, dans laquelle chaque segment a reçu la même étiquette de point de vue que l’article complet.

Résultats de détection de point de vue sur le jeu de données allemand CheeSE. JoA-ICL améliore constamment les invites à zéro tir et surpasse les modèles de base affinés, avec Gemini-2.0-flash qui donne les meilleures performances globales.

Même dans ces conditions ‘bruyantes’, JoA-ICL a surpassé à la fois les modèles de base affinés et les invites à zéro tir. Parmi les trois modèles de base testés, Gemini-2.0-flash a donné les meilleurs résultats.

Conclusion

Peu de tâches en apprentissage automatique sont plus chargées politiquement que la prédiction de point de vue ; pourtant, elle est souvent traitée de manière froide et mécanique, tandis que plus d’attention est accordée à des problèmes moins complexes dans l’IA générative, tels que la création de vidéos et d’images, qui déclenchent des titres plus bruyants.

Le développement le plus encourageant dans le nouveau travail coréen est qu’il offre une contribution significative à l’analyse de contenus de longue forme, plutôt que de tweets et de médias sociaux courts, dont les effets incendiaires sont plus rapidement oubliés qu’un traité, un essai ou une autre œuvre importante.

Une omission notable dans le nouveau travail et (autant que je puisse le constater) dans le corpus de prédiction de point de vue en général est le manque de considération accordé aux hyperliens, qui se substituent souvent aux citations en tant que ressources facultatives pour les lecteurs pour en savoir plus sur un sujet ; pourtant, il doit être clair que le choix de ces URL est potentiellement très subjectif et même politique.

Cela étant dit, plus la publication est prestigieuse, moins il est probable qu’elle inclura des liens qui guident le lecteur loin du domaine hôte ; cela, combiné à d’autres utilisations et abus SEO des hyperliens, les rend plus difficiles à quantifier que les citations explicites, les titres ou d’autres parties d’un article qui peuvent chercher, consciemment ou non, à influencer l’opinion du lecteur.

Premièrement publié mercredi 16 juillet 2025