Mitä AI voi kertoa meille uutisten piilotetuista agendoista

ChatGPT-tyyppiset mallit ovat koulutettu havaitsemaan, mitä uutisartikkeli oikeasti ajattelee jonkin asian suhteen – jopa silloin, kun se kannanpiiri on haudattu sitaattien, kehysrakenteen tai (joskus epärehellisen) ‘puolueettomuuden’ alle. Jakamalla artikkeleita osiin, kuten otsikoihin, johtoihin ja sitaatteihin, uusi järjestelmä oppii tunnistamaan vinoutuneisuuden jopa pitkän ammattimaisen journalistiikan tapauksissa.

Kyky ymmärtää kirjoittajan tai puhujan todellinen näkökulma – tutkimuksessa tunnettu nimellä asennetunnistus – koskee yhtä kieliopin tulkinnan vaikeimmista ongelmista: ymmärtäminen aineiston todellista tarkoitusta, joka voi olla suunniteltu piilotettavaksi tai häivyttämään.

Jonathan Swiftin Vaatimaton ehdotus -teoksesta viimeaikaisiin poliittisten toimijoiden esityksiin, jotka lainaavat vastustajansa polemiikkaa , lausuman pinnalla ei ole enää luotettava osoitus sen todellisesta tarkoituksesta; ironian, trollein, virheellisen tiedon ja strategisen epäselvyyden nousu on tehnyt siitä vaikeamman kuin koskaan ennen määritellä, mille puolelle teksti todella asettuu, tai onko se asettuu lainkaan.

Usein, mitä ei sanota, on yhtä merkittävää kuin mitä sanotaan, ja yksinkertainen valinta kattaa aihe voi osoittaa kirjoittajan kannan.

Tämä tekee automaattisen asennetunnistuksen tehtävästä poikkeuksellisen haasteellisen, koska tehokas tunnistusjärjestelmä tarvitsee tehdä enemmän kuin vain merkitä erillisiä lauseita ‘tukevaksi’ tai ‘vastustavaksi’: se on iterateerattava merkityksen kerroksien läpi, punnitsee pieniä vihjeitä koko artikkelin muodon ja suunnan vastaan; ja tämä on vaikeampaa pitkän journalistiikan tapauksissa, jossa sävy voi vaihdella ja mielipide voi harvoin olla ilmaistu suoraan.

Muutosvoimat

Ongelmien ratkaisemiseksi Etelä-Korean tutkijat ovat kehittäneet uuden järjestelmän nimeltä JOA-ICL (Journalism-gohdattu Agentic In-Context Learning) pitkän uutisartikkeleiden asennetunnistamiseksi.

JOA-ICL:n perusidea on, että artikkelin asenne johtuu segmenttien ennusteiden yhdistämisestä, jotka tuottaa erillinen kielen malliagentti. Lähde: https://arxiv.org/pdf/2507.11049

Sen sijaan, että koko artikkelia arvioidaan yhtenä kokonaisuutena, JOA-ICL jakaa sen rakenteellisiin osiin (otsikko, johto, sitaatit ja johtopäätös) ja määrittää kullekin niistä pienemmän mallin, joka merkitsee kunkin osan tukevaksi, vastustavaksi tai puolueettomaksi.

Nämä paikalliset ennusteet siirretään suuremmalle mallille, joka käyttää niitä määrittämään artikkelin yleisen asenteen, ja kaksi agenttia koordinoi ohjain, joka valmistaa syötteet ja kerää tulokset.

Tutkimuksen mukaan JOA-ICL suoriutui paremmin kuin olemassa olevat asennetunnistusmenetelmät, korostaa segmenttitasolla olevan toiminnan hyötyjä pitkän uutisartikkeleiden yleisen asenteen havaitsemisessa.

Uusi tutkimus on nimeltään Journalism-Guided Agentic In-Context Learning for News Stance Detection, ja se on tehty useiden Etelä-Korean Soongsilin yliopiston ja KAISTin tulevaisuuden strategian graduate schoolin tiedekunnista.

Menetelmä

Osa haasteista, jotka liittyvät AI-vahvistettuun asennetunnistukseen, on logistista, ja liittyy siihen, kuinka paljon signaalia koneoppimisjärjestelmä voi pitää yllä ja koota kerran, nykyisessä tilassa.

Uutisartikkeleissa vältetään usein suoria mielipiteiden ilmaisuja, ja sen sijaan käytetään implisiittistä tai oletettua asennetta, joka ilmaistaan sitaattien valinnan, kerrontatavan ja jätetyn tietojen kautta.

Even kun artikkeli ottaa selkeän kannan, signaali on usein hajallaan tekstin ympärillä, ja eri osat osoittavat eri suuntiin. Koska kielen mallit (LM) edelleen kamppailevat rajoitettujen kontekstien ikkunoiden kanssa, tämä voi tehdä siitä vaikeaksi malleille arvioida asennetta samalla tavalla kuin lyhyemmissä sisällöissä (kuten twiiteissä ja muissa lyhyissä sosiaalisen median sisällöissä), joissa suhde tekstin ja kohdekohteen välillä on selvempi.

Tämän vuoksi perinteiset lähestymistavat usein epäonnistuvat, kun ne sovelletaan täysimittaiseen journalismiin; tapauksessa, jossa epäselvyys on ominaisuus, ei vika.

Tutkimuksen mukaan:

‘To address these challenges, we propose a hierarchical modeling approach that first infers the stance at the level of smaller discourse units (e.g., paragraphs or sections), and subsequently integrates these local predictions to determine the overall stance of the article.

‘This framework is designed to retain local context and capture dispersed stance cues in assessing how different parts of a news story contribute to its overall position on an issue.’

Tutkijat kokosivat uuden aineiston nimeltä K-NEWS-STANCE, joka koostui Korean uutisoinnista kesäkuusta 2022 kesäkuuhun 2024. Artikkeleita tunnistettiin BigKinds -metatietopalvelun avulla, ja täydelliset tekstit haettiin Naver News -uutisaggregaattorin API: n avulla. Lopullinen aineisto koostui 2000 artikkelista 31 julkaisijalta, ja se kattoi 47 kansallista asiaa.

Kunkin artikkelin annotointi tehtiin kahdesti: kerran koko artikkelin asenteen suhteen, ja toisen kerran yksittäisten osien suhteen; erityisesti otsikkoa, johtoa, johtopäätöstä ja sitaatteja.

Annotointi johti journalismiasiantuntija Jiyoung Han, joka myös oli tutkimuksen kolmas kirjoittaja, johdatti prosessin vakiintuneiden vihjeiden avulla medialääketieteestä, kuten lähdevalinnasta, sanastollisesta kehysrakenteesta ja sitaattien kuviosta. Näin saatiin yhteensä 19 650 segmenttikohtaisia asenteen merkintöjä.

Jotta artikkeleissa olisi merkityksellisiä näkökulmia, ne luokiteltiin ensin genreksi, ja vain ne, jotka luokiteltiin analyysiksi tai mielipideksi (jossa subjektiivinen kehys on todennäköisemmin löytyvä), käytettiin asenteen annotointiin.

Kaksi koulutettua annotaattoria merkitsi kaikki artikkeleita, ja heidät ohjeistettiin konsultoimaan liittyviä artikkeleita, jos asenne oli epäselvä, ja erimielisyydet ratkaistiin keskustelun ja lisäarvion kautta.

K-NEWS-STANCE-aineiston esimerkkiartikkeleita, käännetty englanniksi. Vain otsikko, johto ja sitaatit on näytettynä; koko runko on jätetty pois. Korostus osoittaa asenteen merkitsemistä sitaateissa, joissa sininen on tuki ja punainen on vastustus. Katso viitatun lähde-PDF:stä selkeämpi esitys.

JoA-ICL

Sen sijaan, että koko artikkelia kohdeltiin yhtenä kokonaisuutena, tutkijoiden ehdottama järjestelmä jakaa sen tärkeisiin rakenteellisiin osiin: otsikko, johto, sitaatit ja johtopäätös, ja määrittää kullekin niistä kielen malliagentin, joka merkitsee kunkin osan tukevaksi, vastustavaksi tai puolueettomaksi.

Nämä paikalliset ennusteet siirretään toiseen agenttiin, joka päättää artikkelin yleisen asenteen, ja kaksi agenttia koordinoi ohjain, joka valmistaa syötteet ja kerää tulokset.

Näin JoA-ICL sovittaa kontekstissä oppimisen (jossa malli oppii esimerkeistä syötteen mukana) vastaamaan sitä, miten ammattimaiset uutisartikkeleita kirjoitetaan, käyttäen segmenttien tietoista syötteitä yleisen syötteen sijaan.

(Huomaa, että useimmat esimerkit ja kuvat tutkimuksessa ovat pitkiä ja vaikeita reproduktiota verkkotekstissä. Pyydämme lukijaa tarkastamaan alkuperäisen lähde-PDF:n)

Data ja testit

Testeissä tutkijat käyttivät makro F1 ja tarkkuutta arvioidakseen suorituskykyä, keskiarvoa tuloksia kymmenen suorituksen ajan satunnaisilla siemenillä 42:sta 51:een ja ilmoittaen standardivirhettä. Koulutusdataa käytettiin hienosäätöä perusmallien ja segmenttikohtaisen agenttien koulutukseen, ja vähän otoksen näytteitä valittiin samankaltaisuuden hakemisen kautta KLUE-RoBERTa-large:n avulla.

Testit suoritettiin kolmella RTX A6000 -näytönohjaimella (kullakin 48 Gt:n VRAM), Python 3.9.19, PyTorch 2.5.1, Transformers 4.52.0 ja vLLM 0.8.5: n avulla.

GPT-4o-mini, Claude 3 Haiku ja Gemini 2 Flash käytettiin API: n kautta, 1,0 asteen lämpötilassa ja enintään 1000 merkkiä ketjun ajattelumallin syötteille, ja 100 muille.

Exaone-3.5-2.4B:n AdamW -optimointi käytettiin 5e-5 oppien nopeuden kanssa, 0,01 painoarvon häviämisen kanssa, 100 lämmittelyaskelten kanssa ja aineiston koulutus 10 epookan ajan, 6 erän koossa.

Perusmallien vertailuun tutkijat käyttivät RoBERTa:a, joka on hienosäätöinen artikkelin asenteen tunnistamiseksi; Chain-of-Thought (CoT) -upotukset, RoBERTan vaihtoehtoinen säätö tehtävään; LKI-BART, joka on koodari-malli, joka lisää kontekstuaalista tietoa suurelta kielen mallilta syötteen ja tarkoitetun asenteen merkin avulla; ja PT-HCL, joka on menetelmä, joka käyttää vastakkaisuuden oppimista yleisten ja kohdekohtaisen asian erottamiseksi:

Kunkin mallin suorituskyky K-NEWS-STANCE-testijoukossa yleisen asenteen ennustamisessa. Tulokset on esitetty makro F1: nä ja tarkkuuden avulla, ja kunkin ryhmän paras tulos on lihavoitu.

JOA-ICL saavutti parhaimman yleissuorituskyvyn sekä tarkkuuden että makro F1: n suhteen, ja se osoitti erityistä vahvuuksia tukevien asenteiden tunnistamisessa, joka on yleinen heikkous vastaavissa malleissa.

Perusmallit suorittivat huonommin yleensä. RoBERTa ja Chain-of-Thought -variantit kamppailivat hienostuneiden tapausten kanssa, kun taas PT-HCL ja LKI-BART suoriutuivat paremmin, mutta edelleen jäävät JOA-ICL: n jälkeen. Paras yksittäinen tulos tuli JOA-ICL: ltä (Claude), joka saavutti 64,8 prosentin makro F1: n ja 66,1 prosentin tarkkuuden.

Kuva alla osoittaa, kuinka usein mallit tulkitsevat kunkin merkin oikein tai väärin:

Sekaannusmatriset, jotka vertaavat perus- ja JOA-ICL-malleja, osoittavat, että molemmat mallit kamppailevat eniten tukevien asenteiden tunnistamisessa.

JOA-ICL suoriutui yleensä paremmin kuin perusmalli, ja se sai enemmän merkkejä oikein jokaisessa luokassa. Kuitenkin molemmat mallit kamppailivat eniten tukevien asenteiden kanssa, ja perusmalli luokitteli lähes puolet väärin, usein sekoittaen ne puolueettomiin.

JOA-ICL teki vähemmän virheitä, mutta se osoitti saman kaavan, vahvistaen, että ‘myönteiset’ asenteet ovat vaikeampia malleille havaita.

Tutkijat testasivat JOA-ICL:ää myös saksankielisellä CheeSE-aineistolla, joka on tarkoitettu artikkelin asenteen tunnistamiseen. Koska CheeSE: llä ei ole segmenttikohtaisia merkkejä, tutkijat käyttivät etäinen valvonta, jossa jokainen segmentti sai saman asenteen merkin kuin koko artikkeli.

Asenteen tunnistustulokset saksankielisellä CheeSE-aineistolla. JOA-ICL paransi jatkuvasti nollasyötön ohjauksen yli kaikissa kolmessa LLM-mallissa ja ylitti hienosäätöiset perusmallit, ja Gemini-2.0-flash antoi vahvimman yleissuorituskyvyn.

Johtopäätös

Harvat tehtävät koneoppimisessa ovat yhtä poliittisesti latautuneita kuin asenteen ennustaminen; kuitenkin se usein käsitellään kylmässä, mekaanisessa muodossa, kun taas enemmän huomiota kiinnitetään vähemmän monimutkaisiin aiheisiin generatiivisessa älykkyydessä, kuten videon ja kuvan luomisessa, jotka laukaisevat äänekkäämpiä otsikoita.

Uuden Korean tutkimuksen kannalta rohkaisevin kehitys on, että se tarjoaa merkittävän panoksen pitkän sisällön analyysiin, eikä vain twiitteihin ja lyhyisiin sosiaalisen median sisällöihin, joiden sytyttävät vaikutukset ovat nopeammin unohdettavissa kuin tutkielma, esseet tai muut merkittävät työt.

Yksi merkittävä puute uudessa tutkimuksessa ja (niin kuin voin nähdä) asenteen ennustamisaineistossa on puuttuva huomio hyperlinkeille, jotka usein korvaavat sitaatit valinnaisina resursseina lukijoille, jotka haluavat oppia aiheesta lisää; mutta on selvää, että tällaisen URL: n valinta on potentiaalisesti hyvin subjektiivinen ja jopa poliittinen.

Sen sijaan, mitä arvokkaampi julkaisu on, sitä vähemmän todennäköistä on, että se sisältää minkäänlaisia linkkejä, jotka ohjaavat lukijan pois isäntäverkkoalueelta; tämä, yhdessä muiden erilaisten hakukoneoptimointikäytöntapojen ja hyperlinkkien väärinkäytön kanssa, tekee niistä vaikeampia mittaamisen kannalta kuin eksplisiittiset sitaatit, otsikot tai muut artikkelin osat, jotka voivat tavoitella, tietoisesti tai ei, vaikuttaa lukijan mielipiteeseen.

Julkaistu ensimmäisen kerran keskiviikkona, 16. heinäkuuta 2025