Wat AI ons kan vertellen over verborgen agenda’s in het nieuws

ChatGPT-achtige modellen worden getraind om te detecteren wat een nieuwsartikel echt denkt over een onderwerp – zelfs als die standpunt verborgen ligt onder citaten, framing of (soms oneerlijke) ‘neutraliteit’. Door artikelen te breken in segmenten zoals koppen, inleidingen en citaten, leert een nieuw systeem om vooroordelen te herkennen, zelfs in langere professionele journalistiek.

De mogelijkheid om de echte mening van een schrijver of spreker te begrijpen – een onderwerp dat in de literatuur bekend staat als stance detection – adresseert een van de moeilijkste interpretatieve problemen in taal: het begrijpen van de intentie achter inhoud die ontworpen kan zijn om deze te verhullen of te verduisteren.

Van Jonathan Swifts A Modest Proposal tot recente optredens van politieke actoren die de polemiek lenen van hun ideologische tegenstanders, is de oppervlakte van een verklaring geen betrouwbare indicator van zijn intentie; de opkomst van ironie, trolling, desinformatie en strategische ambiguïteit heeft het moeilijker gemaakt dan ooit om te bepalen aan welke kant een tekst werkelijk staat, of of het überhaupt een standpunt inneemt.

Vaak heeft wat onuitgesproken wordt evenveel gewicht als wat wel wordt uitgesproken, en kan de keuze om een onderwerp te behandelen al een signaal zijn van de positie van de auteur.

Dat maakt de taak van automatische stance detection ongewoon uitdagend, omdat een effectief detectiesysteem meer moet doen dan geïsoleerde zinnen als ‘ondersteunend’ of ‘tegen’ labelen: in plaats daarvan moet het door lagen van betekenis heen itereren, kleine signalen tegen de vorm en richting van het hele artikel afwegen; en dit is moeilijker in langere journalistiek, waar de toon kan veranderen en waar meningen zelden rechtstreeks worden uitgesproken.

Agents voor verandering

Om enkele van deze problemen aan te pakken, hebben onderzoekers in Zuid-Korea een nieuw systeem ontwikkeld genaamd JOA-ICL (Journalistiek-gestuurd Agentic In-Context Learning) voor het detecteren van de standpunten van langere nieuwsartikelen.

Het kernidee achter JoA-ICL is dat artikel-niveau-standpunt wordt afgeleid door segment-niveau-predicties te aggregeren die worden gegenereerd door een aparte taalmodelagent. Source: https://arxiv.org/pdf/2507.11049

In plaats van een artikel als een geheel te beoordelen, breekt JOA-ICL het op in structurele delen (kop, inleiding, citaten en conclusie) en wijst elk deel toe aan een kleinere model, die elk deel labelt als ondersteunend, tegen of neutraal.

Deze lokale predicties worden vervolgens doorgegeven aan een groter model, dat ze gebruikt om het artikel-niveau-standpunt te bepalen.

Volgens het artikel presteert JOA-ICL beter dan zowel prompt-gebaseerde als fijngestemde baselines, en toont het bijzondere sterkte in het detecteren van ondersteunende standpunten (die modellen met een soortgelijke ambitie vaak missen). De methode bleek ook effectief toen deze werd toegepast op een Duitse dataset onder gelijke omstandigheden, wat aangeeft dat de principes potentieel resistent zijn tegen taalvormen.

De auteurs verklaren:

‘Experimenten laten zien dat JOA-ICL bestaande stance detection-methoden overtreft, en benadrukt de voordelen van segment-niveau-agency bij het vaststellen van de algehele positie van langere nieuwsartikelen.”

Het nieuwe artikel heet Journalistiek-gestuurd Agentic In-Context Learning voor News Stance Detection, en komt van diverse faculteiten aan de Soongsil University in Seoel, evenals de Graduate School of Future Strategy van KAIST.

Methode

Een deel van de uitdaging van AI-geassisteerde stance detection is logistiek, en gerelateerd aan hoeveel signaal een machine learning-systeem kan behouden en combineren op een bepaald moment, op het huidige state-of-the-art-niveau.

Nieuwsartikelen vermijden vaak directe uitspraken van mening, en vertrouwen in plaats daarvan op een impliciete of veronderstelde standpunt, geseind door keuzes over welke bronnen te citeren, hoe de narratief wordt geframed, en welke details worden weggelaten, onder andere overwegingen.

Selfs als een artikel een duidelijke positie inneemt, is het signaal vaak verspreid over de tekst, met verschillende segmenten die in verschillende richtingen wijzen. Aangezien taalmodellen (LM’s) nog steeds worstelen met beperkte contextwindows, kan dit het moeilijk maken voor modellen om standpunt te beoordelen op de manier waarop ze dat doen met kortere inhoud (zoals tweets en andere korte sociale media), waar de relatie tussen de tekst en het doel meer expliciet is.

Daarom vallen standaardbenaderingen vaak tekort wanneer ze worden toegepast op volledige journalistiek; een geval waarin ambiguïteit een functie is in plaats van een fout.

Het artikel vermeldt:

‘Om deze uitdagingen aan te pakken, stellen we een hiërarchische modelleringbenadering voor die eerst de standpunt op het niveau van kleinere discours-eenheden (bijv. alinea’s of secties) afleidt, en deze lokale predicties vervolgens integreert om de algehele standpunt van het artikel te bepalen.

‘Dit kader is ontworpen om lokale context te behouden en verspreide standpunt-signalen te detecteren bij het beoordelen van hoe verschillende delen van een nieuwsverhaal bijdragen aan de algehele positie op een onderwerp.’

Om dit doel te bereiken, hebben de auteurs een nieuw dataset samengesteld genaamd K-NEWS-STANCE, afkomstig uit Koreaanse nieuwsberichtgeving tussen juni 2022 en juni 2024. Artikelen werden eerst geïdentificeerd via BigKinds, een door de overheid gesteund metadata-dienst beheerd door de Korea Press Foundation, en volledige teksten werden opgehaald met behulp van de Naver News-aggregator-API. De definitieve dataset bestond uit 2.000 artikelen van 31 uitgevers, met 47 nationaal-relevante onderwerpen.

Elk artikel werd twee keer geannoteerd: een keer voor de algehele standpunt ten opzichte van een bepaald onderwerp, en nogmaals voor individuele segmenten; specifiek de kop, inleiding, conclusie, en directe citaten.

De annotatie werd geleid door journalistiek-expert Jiyoung Han, ook de derde auteur van het artikel, die het proces leidde met behulp van gevestigde signalen uit media-studies, zoals bronselectie, lexicale framing, en patronen van citaten. Door deze middelen werden in totaal 19.650 segment-niveau-standpuntlabels verkregen.

Om ervoor te zorgen dat de artikelen betekenisvolle standpunt-signalen bevatten, werd elk artikel eerst geclassificeerd naar genre, en werden alleen die gelabeld als analyse of mening (waar subjectieve framing meer waarschijnlijk wordt aangetroffen) gebruikt voor standpunt-annotatie.

Twee getrainde annotators labelden alle artikelen, en werden geïnstrueerd om gerelateerde artikelen te raadplegen in geval van onduidelijkheid, met meningsverschillen opgelost door discussie en verdere beoordeling.

Voorbeelden van de K-NEWS-STANCE-dataset, vertaald naar het Engels. Alleen de kop, inleiding en citaten worden getoond; de volledige tekst van het artikel is weggelaten. Markeringen geven standpuntlabels voor citaten aan, met blauw voor ondersteunend en rood voor tegen. Raadpleeg het genoemde bron-PDF voor een duidelijker weergave.

JoA-ICL

In plaats van een artikel als een enkel blok tekst te behandelen, deelt het voorgestelde systeem van de auteurs het op in sleutelstructurele delen: kop, inleiding, citaten en conclusie, en wijst elk deel toe aan een taalmodelagent, die elk deel labelt als ondersteunend, tegen of neutraal.

Deze lokale predicties worden doorgegeven aan een tweede agent die het artikel-niveau-standpunt bepaalt, met de twee agenten gecoördineerd door een controller die de prompts voorbereidt en de resultaten verzamelt.

JoA-ICL past in-context learning (waar het model leert van voorbeelden in de prompt) aan om te matchen met de manier waarop professionele nieuwsverhalen worden geschreven, met segment-aware prompts in plaats van een enkele generieke invoer.

(Let op dat de meeste voorbeelden en illustraties in het artikel lang zijn en moeilijk zijn om legibel te reproduceren in een online artikel. We vragen de lezer om het originele bron-PDF te bekijken)

Gegevens en tests

In tests gebruikten de onderzoekers macro F1 en nauwkeurigheid om de prestaties te evalueren, en gemiddelde resultaten over tien runs met willekeurige seeds van 42 tot 51, en rapporteerden standaardfout. Trainingsgegevens werden gebruikt om fijne basismodellen en segment-niveau-agenten aan te passen, met weinig-shot monsters geselecteerd via overeenkomstige zoekopdracht met KLUE-RoBERTa-large.

Tests werden uitgevoerd op drie RTX A6000 GPU’s (elk met 48 GB VRAM), met Python 3.9.19, PyTorch 2.5.1, Transformers 4.52.0, en vLLM 0.8.5.

GPT-4o-mini, Claude 3 Haiku, en Gemini 2 Flash werden gebruikt via API, bij een temperatuur van 1,0 en met max tokens ingesteld op 1000 voor chain-of-thought-prompts, en 100 voor anderen.

Om Exaone-3.5-2.4B volledig aan te passen, werd de AdamW-optimizer gebruikt bij een leersnelheid van 5e-5, met 0,01 gewichtsverval, 100 warmup-stappen, en met de gegevens getraind voor 10 epochs bij een batchgrootte van 6.

Om basismodellen te gebruiken, gebruikten de auteurs RoBERTa, aangepast voor artikel-niveau-standpuntdetectie; Chain-of-Thought (CoT) Embeddings, een alternatieve afstelling van RoBERTa voor de toegewezen taak; LKI-BART, een encoder-decoder-model dat contextuele kennis van een groot taalmodel toevoegt door het te laten zien met zowel de invoerTekst als het bedoelde standpuntlabel; en PT-HCL, een methode die contrastief leren gebruikt om algemene kenmerken te scheiden van die specifiek voor het doelonderwerp:

Prestaties van elk model op de K-NEWS-STANCE-testset voor algehele standpuntvoorspelling. Resultaten worden getoond als macro F1 en nauwkeurigheid, met de hoogste score in elke groep in het vet.

JOA-ICL behaalde de beste algehele prestatie voor zowel nauwkeurigheid als macro F1, een voordeel dat zichtbaar was over alle drie geteste model-backbones: GPT-4o-mini, Claude 3 Haiku en Gemini 2 Flash.

De segment-gebaseerde methode presteerde consistent beter dan alle andere benaderingen, met, zoals de auteurs opmerken, een opvallende voorsprong in het detecteren van ondersteunende standpunten, een veel voorkomende zwakte in soortgelijke modellen.

Basismodellen presteerden over het algemeen slechter. RoBERTa en Chain-of-Thought-varianten worstelden met nuances, terwijl PT-HCL en LKI-BART beter presteerden, maar nog steeds achterbleven bij JOA-ICL in de meeste categorieën. De meest accurate enkele resultaat kwam van JOA-ICL (Claude), met 64,8% macro F1 en 66,1% nauwkeurigheid.

De onderstaande afbeelding toont hoe vaak de modellen elke label correct of incorrect hadden:

Confusiematrices die de basismodellen en JOA-ICL vergelijken, en laten zien dat beide methoden het meest worstelen met het detecteren van ‘ondersteunende’ standpunten.

JOA-ICL deed het over het algemeen beter dan de basismodellen, en kreeg meer labels correct in elke categorie. Echter, beide modellen worstelden het meest met ondersteunende artikelen, en de basismodellen misclassificeerden bijna de helft, en verwisselden deze vaak met neutrale.

JOA-ICL maakte minder fouten, maar toonde hetzelfde patroon, en bevestigde dat ‘positieve’ standpunten moeilijker zijn voor modellen om te detecteren.

Om te testen of JOA-ICL werkt buiten de grenzen van de Koreaanse taal, hebben de auteurs het uitgevoerd op CheeSE, een Duitse dataset voor artikel-niveau-standpuntdetectie. Aangezien CheeSE geen segment-niveau-labels heeft, hebben de onderzoekers verre supervisie gebruikt, waarbij elk segment hetzelfde standpuntlabel kreeg toegewezen als het volledige artikel.

Stance-detectieresultaten op de Duitse CheeSE-dataset. JOA-ICL verbetert consistent boven nul-shot-prompts over alle drie LLM’s en overtreft fijngestemde basismodellen, met Gemini-2.0-flash die de sterkste algehele prestatie levert.

Conclusie

Weinig taken in machine learning zijn zo politiek geladen als standpuntvoorspelling; en toch wordt het vaak behandeld in koude, mechanische termen, terwijl meer aandacht wordt besteed aan minder complexe onderwerpen in generatieve AI, zoals video- en afbeeldingscreatie, die luider worden geadverteerd.

De meest bemoedigende ontwikkeling in het nieuwe Koreaanse werk is dat het een significante bijdrage levert aan de analyse van langere inhoud, in plaats van tweets en korte sociale media, waarvan de ontvlambare effecten sneller worden vergeten dan een verhandeling, essay of ander belangrijk werk.

Een opvallende omissie in het nieuwe werk en (voor zover ik kan zien) in de standpuntvoorspellingscorpus in het algemeen is het gebrek aan aandacht voor hyperlinks, die vaak dienen als opties voor lezers om meer te leren over een onderwerp; maar het moet duidelijk zijn dat de keuze van dergelijke URL’s potentieel zeer subjectief en zelfs politiek kan zijn.

Dat gezegd hebbende, is het minder waarschijnlijk dat een prestigieus publicatie enige links bevat die de kijker weg leiden van het hostdomein; dit, samen met diverse andere SEO-gebruiken en -misbruiken van hyperlinks, maakt het moeilijker om ze te kwantificeren dan expliciete citaten, titels of andere delen van een artikel die, bewust of onbewust, de mening van de lezer kunnen beïnvloeden. Eerst gepubliceerd op woensdag 16 juli 2025