Mitä tekoäly voi kertoa meille uutisten piilotetuista päämääristä

ChatGPT-tyylisiä malleja koulutetaan tunnistamaan, mitä uutisartikkeli sisältää ihan oikeesti ajattelee asiaa – jopa silloin, kun tuo kanta on hautautunut lainausten, kehystyksen tai (joskus epärehellisen) "neutraaliuden" taakse. Jakamalla artikkelit segmentteihin, kuten otsikoihin, johtolankoihin ja lainauksiin, uusi järjestelmä oppii havaitsemaan puolueellisuuden jopa pitkissä ammattijournalismissa.

Kyky ymmärtää kirjoittajan tai puhujan todellinen näkökulma – pyrkimys, joka tunnetaan kirjallisuudessa nimellä asennon tunnistus – käsittelee yhtä kielen vaikeimmista tulkintaongelmista: tarkoituksen erottamista sisällöstä, joka saattaa olla suunniteltu piilottamaan tai hämärtämään sitä.

Jonathan Swiftin teoksesta Vaatimaton ehdotus, poliittisten toimijoiden viimeaikaisiin esityksiin lainaten polemiikkia ideologisista vastustajiensa väitteiden pinta ei ole enää luotettava osoitus niiden tarkoituksesta; ironian, trollauksen, disinformaation ja strateginen epäselvyys on tehnyt tekstin oikean puolen paikantamisesta vaikeampaa kuin koskaan, tai laskeutuuko se ollenkaan.

Usein sanomatta jätetyllä on yhtä paljon painoarvoa kuin sillä, mitä sanotaan, ja pelkkä aiheen käsittely voi viestiä kirjoittajan kannasta.

Tämä tekee automaattisen asenteiden tunnistuksen tehtävästä epätavallisen haastavan, koska tehokkaan tunnistusjärjestelmän tarvitsee tehdä enemmän kuin merkitä yksittäisiä lauseita "tukeviksi" tai "vastakkaisiksi": sen sijaan sen on iteroitava merkityskerroksia punnitsemalla pieniä vihjeitä koko artikkelin muotoa ja suuntaa vasten; ja tämä on vaikeampaa pitkissä journalismissa, jossa sävy voi vaihdella ja jossa mielipiteitä harvoin ilmaistaan ​​suoraan.

Muutoksentekijät

Näiden ongelmien ratkaisemiseksi eteläkorealaiset tutkijat ovat kehittäneet uuden järjestelmän nimeltä JOA-ICL (Journalismin ohjaama agenttinen kontekstissa oppiminen) pitkien uutisartikkeleiden kannan havaitsemiseksi.

JoA-ICL:n ydinajatuksena on, että artikkelitason asenne päätellään yhdistämällä erillisen kielimalliagentin tuottamia segmenttitason ennusteita. Lähde: https://arxiv.org/pdf/2507.11049

Sen sijaan, että JOA-ICL arvioisi artikkelia kokonaisuutena, se jakaa sen rakenteellisiin osiin (otsikko, johdanto, lainaukset ja lopetus) ja määrittää pienemmän mallin kunkin osan nimeämiseksi. Nämä paikalliset ennusteet välitetään sitten suuremmalle mallille, joka käyttää niitä artikkelin yleisen kannan määrittämiseen.

Menetelmää testattiin äskettäin kootulla korealaisaineistolla, joka sisälsi 2,000 XNUMX uutisartikkelia, joihin oli merkitty sekä artikkeli- että segmenttitason kannanotto. Jokainen artikkeli oli merkitty journalismin asiantuntijan antamalla merkinnällä, joka heijastaa sitä, miten kanta jakautuu ammattimaisen uutisoinnin rakenteessa.

Artikkelin mukaan JOA-ICL suoriutuu paremmin kuin sekä kehotteisiin perustuvat että hienosäädetyt lähtötasot, ja se osoittaa erityistä vahvuutta tukevien asentojen havaitsemisessa (jotka samankaltaisen laajuuden omaavat mallit usein ohittavat). Menetelmä osoittautui tehokkaaksi myös saksalaiseen tietojoukkoon sovellettuna vastaavissa olosuhteissa, mikä osoittaa, että sen periaatteet ovat mahdollisesti joustavia kielimuodoille.

Kirjoittajat toteavat:

Kokeet osoittavat, että JOA-ICL suoriutuu nykyisistä asennontunnistusmenetelmistä paremmin, mikä korostaa segmenttitason toimijuuden etuja pitkien uutisartikkeleiden kokonaisaseman havaitsemisessa.

- uusi paperi on otsikko Journalismin ohjaama agenttinen kontekstissa tapahtuva oppiminen uutisasenteiden havaitsemiseksi, ja hän tulee Soulin Soongsil-yliopiston useista tiedekunnista sekä KAIST:n tulevaisuuden strategian jatko-opinnoista.

Menetelmä

Osa tekoälyllä täydennetyn asennontunnistuksen haasteesta on logistinen ja liittyy siihen, kuinka paljon signaalia koneoppimisjärjestelmä pystyy säilyttämään ja keräämään kerrallaan nykyisellä huipputasolla.

Uutisartikkeleissa vältetään usein suoria mielipiteiden lausuntoja ja sen sijaan nojataan johonkin asiaan. implisiittinen or oletettu kanta, joka näkyy muun muassa valinnoissa, jotka koskevat lainattavia lähteitä, kerronnan muotoa ja mitä yksityiskohtia jätetään pois.

Vaikka artikkeli ottaisikin selkeän kannan, signaali on usein hajallaan tekstissä, ja eri segmentit osoittavat eri suuntiin. Koska kielimallit (LM) kamppailevat edelleen rajoitetut konteksti-ikkunat, tämä voi vaikeuttaa mallien kykyä arvioida asennetta samalla tavalla kuin lyhyemmän sisällön kohdalla (kuten twiittejä ja muut lyhyet sosiaalisen median julkaisut), joissa tekstin ja kohteen välinen suhde on selvempi.

Siksi vakiolähestymistavat ovat usein puutteellisia, kun niitä sovelletaan kokoillan journalismiin; tässä tapauksessa epäselvyys on pikemminkin ominaisuus kuin vika.

Paperissa todetaan:

Näihin haasteisiin vastaamiseksi ehdotamme hierarkkista mallinnusmenetelmää, joka ensin päättelee kannan pienempien diskurssiyksiköiden (esim. kappaleiden tai osioiden) tasolla ja sitten integroi nämä paikalliset ennusteet määrittääkseen artikkelin kokonaiskannan.

"Tämä viitekehys on suunniteltu säilyttämään paikallinen konteksti ja tallentamaan hajanaisia ​​​​asennevihjeitä arvioitaessa, miten uutisen eri osat vaikuttavat sen yleiseen kantaan asiaan."

Tätä varten kirjoittajat kokosivat uuden aineiston nimeltä K-NEWS-STANCE, joka on koottu Korean uutisoinnista kesäkuun 2022 ja kesäkuun 2024 välisenä aikana. Artikkelit tunnistettiin ensimmäisen kerran BigKinds, Korea Press Foundationin ylläpitämä hallituksen tukema metatietopalvelu, ja kokotekstit haettiin Naver News -aggregaattorin API:n avulla. Lopullinen aineisto sisälsi 2,000 31 artikkelia 47 julkaisusta, jotka kattoivat XNUMX kansallisesti relevanttia aihetta.

Jokainen artikkeli annotoitiin kahdesti: kerran sen yleisen kannanoton osalta tiettyyn asiaan ja uudelleen yksittäisten osien osalta; erityisesti otsikko, johtaa, johtopäätösja suorat lainaukset.

Annotaatioiden tekemistä johti journalismin asiantuntija Jiyoung Han, joka on myös artikkelin kolmas kirjoittaja. Hän ohjasi prosessia käyttämällä mediatutkimuksesta tuttuja vihjeitä, kuten lähteiden valintaa, leksikaalinen kehystysja lainausmallit. Näillä keinoin saatiin yhteensä 19,650 XNUMX segmenttitason asennetunnistetta.

Jotta artikkelit sisälsivät varmasti merkityksellisiä näkökulmia, jokainen niistä luokiteltiin ensin tyylilajin mukaan, ja vain analyysiksi tai mielipiteeksi luokitellut artikkelit (joissa subjektiivinen rajaus on todennäköisempää) käytettiin kannanottojen annotointiin.

Kaksi koulutettua kommentoijaa merkitsi kaikki artikkelit ja heitä ohjeistettiin tutustumaan asiaan liittyviin artikkeleihin, jos kanta oli epäselvä. Erimielisyydet ratkaistiin keskustelun ja lisäarvioinnin avulla.

Näytemerkintöjä K-NEWS-STANCE-aineistosta, käännettynä englanniksi. Näytetään vain otsikko, johdanto ja lainaukset; koko leipäteksti on jätetty pois. Korostus osoittaa lainausten kantatunnisteet, sinisellä tukevat ja punaisella vastakkaiset. Katso selkeämpi esitys lähdetiedostosta, joka on mainittu.

JoA-ICL

Sen sijaan, että artikkelia käsiteltäisiin yhtenä tekstilohkona, kirjoittajien ehdottama järjestelmä jakaa sen keskeisiin rakenteellisiin osiin: otsikkoon, johdantoon, lainauksiin ja lopetukseen, ja osoittaa kullekin näistä kielimalliagentille, joka nimeää segmentin seuraavasti: tukeva, oppositiivinentai neutraali.

Nämä paikalliset ennusteet välitetään toiselle agentille, joka päättää artikkelin yleisestä kannanotosta. Kahta agenttia koordinoi ohjain, joka valmistelee kehotteet ja kerää tulokset.

Näin ollen JoA-ICL mukauttaa kontekstisidonnaista oppimista (jossa malli oppii kehotteen esimerkeistä) vastaamaan ammattimaisten uutisten kirjoitustapaa käyttämällä segmenttitietoisia kehotteita yhden yleisen syötteen sijaan.

(Huomaa, että useimmat artikkelin esimerkit ja kuvitukset ovat pitkiä ja vaikeasti toistettavia luettavassa muodossa verkkoartikkelissa. Siksi pyydämme lukijaa tutustumaan alkuperäiseen PDF-lähdetiedostoon.)

Tiedot ja testit

Testeissä tutkijat käyttivät makro F1 ja tarkkuutta suorituskyvyn arvioimiseksi, keskiarvoistamalla tulokset kymmenellä ajolla satunnaisilla siemenillä 42–51 ja raportoimalla keskivirhe. Harjoitusdataa käytettiin hienosäätö perusmallit ja segmenttitason agentit, joissa muutama laukaus samankaltaisuushaun avulla valitut näytteet KLUE-RoBERTa-large.

Testit suoritettiin kolmella RTX A6000 -näytönohjaimella (jokaisessa oli 48 Gt VRAM-muistia) käyttäen Python 3.9.19:ää, PyTorch 2.5.1:tä, Transformers 4.52.0:aa ja vLLM 0.8.5.

GPT-4o-mini, Claude 3 Haikuja Gemini 2 Flash käytettiin API:n kautta lämpötila 1.0 ja enimmäistokenien määrä on asetettu arvoon 1000 ajatusketjukehotteitaja 100 muille.

Täydellistä hienosäätöä varten Exaone-3.5-2.4B, The AdamW optimoijaa käytettiin 5e-5:ssä oppimisnopeus, painon hajoamisella 0.01, 100 lämmittelyvaiheetja 10:lle koulutetun datan avulla aikakausia klo erän koko ja 6.

Lähtötasojen osalta kirjoittajat käyttivät Roberta, hienosäädetty artikkelitason asentojen tunnistusta varten; Ajatusketjun (CoT) upotukset, RoBERTa:n vaihtoehtoinen viritys määrätylle tehtävälle; LKI-BART, kooderi-dekooderimalli, joka lisää kontekstuaalista tietoa laajasta kielimallista kehottamalla sitä sekä syötetekstillä että aiotulla asentotunnisteella; ja PT-HCL, menetelmä, joka käyttää kontrastiivinen oppiminen erottaa yleiset ominaisuudet kohdeongelmalle ominaisista:

Kunkin mallin suorituskyky K-NEWS-STANCE-testijoukossa kokonaisvaltaista asenteen ennustamista varten. Tulokset on esitetty makro F1:nä ja tarkkuutena, ja kunkin ryhmän paras pistemäärä on lihavoitu.

JOA-ICL saavutti parhaan kokonaissuorituskyvyn sekä tarkkuuden että makro F1:n osalta, mikä oli ilmeinen etu kaikissa kolmessa testatussa mallirunkoverkossa: GPT-4o-mini, Claude 3 Haiku ja Gemini 2 Flash.

Segmenttipohjainen menetelmä suoriutui johdonmukaisesti paremmin kuin kaikki muut lähestymistavat, ja kirjoittajat havaitsevat huomattavan edun tukevien asentojen havaitsemisessa, mikä on yleinen heikkous samankaltaisissa malleissa.

Lähtötilanteen mallit suoriutuivat kokonaisuudessaan huonommin. RoBERTa- ja Chain-of-Thought-variantit kamppailivat vivahteikkaiden tapausten kanssa, kun taas PT-HCL ja LKI-BART pärjäsivät paremmin, mutta jäivät silti JOA-ICL:n jälkeen useimmissa kategorioissa. Tarkin yksittäinen tulos tuli JOA-ICL:ltä (Claude), jonka makro F64.8 -arvo oli 1 % ja tarkkuus 66.1 %.

Alla oleva kuva näyttää, kuinka usein mallit saivat kunkin merkinnän oikein tai väärin:

Lähtötilannetta ja JoA-ICL:ää vertaavat sekaannusmatriisit osoittavat, että molemmat menetelmät kamppailevat eniten "tukevien" asenteiden havaitsemisen kanssa.

JoA-ICL pärjäsi kokonaisuudessaan lähtötasoa paremmin, ja sai enemmän oikein olevia merkintöjä jokaisessa kategoriassa. Molemmat mallit kamppailivat kuitenkin eniten tukevien artikkelien kanssa, ja lähtötaso luokitteli lähes puolet niistä väärin, usein luullen niitä neutraaleiksi.

JoA-ICL teki vähemmän virheitä, mutta osoitti saman kaavan, mikä vahvistaa sitä, että mallien on vaikeampi havaita "positiivisia" asenteita.

Jotta testattaisiin, toimiiko JoA-ICL korean kielen rajojen ulkopuolella, kirjoittajat ajoivat sen Juusto, saksalainen artikkelitason asennontunnistukseen tarkoitettu aineisto. Koska CheeSE:stä puuttuvat segmenttitason tunnisteet, tutkijat käyttivät etävalvonta, jossa jokaiselle segmentille annettiin sama kanta-asiakirja kuin koko artikkelille.

Asenteen tunnistustulokset saksankielisessä CheeSE-aineistossa. JoA-ICL parantaa jatkuvasti nollaheittokehotteita kaikissa kolmessa LLM:ssä ja ylittää hienosäädetyt lähtötasot, Gemini-2.0-flashin tuottaessa vahvimman kokonaissuorituskyvyn.

Näissäkin "kohinaisissa" olosuhteissa JoA-ICL suoriutui paremmin kuin sekä hienosäädetyt mallit että nollapistekehotteet. Kolmesta testatusta runkoverkosta Gemini-2.0-flash antoi parhaat tulokset.

Yhteenveto

Koneoppimisessa harvat tehtävät ovat poliittisesti latautuneempia kuin asentoennustaminen; silti sitä käsitellään usein kylmästi, mekaanisesti, kun taas generatiivisessa tekoälyssä kiinnitetään enemmän huomiota vähemmän monimutkaisiin ongelmiin, kuten videoiden ja kuvien luomiseen, jotka herättävät paljon voimakkaampia otsikoita.

Rohkaisevin kehitysaskel uudessa korealaisessa teoksessa on se, että se tarjoaa merkittävän panoksen analyysiin täyspitkä sisältöä pikemminkin kuin twiittejä ja lyhyitä sosiaalisen median päivityksiä, joiden tulenarka vaikutus unohtuu nopeammin kuin tutkielman, esseen tai muun merkittävän teoksen.

Yksi huomattava puute uudessa työssä ja (sikäli kuin voin arvioida) koko asentoennusteiden korpuksessa on se, ettei ole otettu huomioon seuraavia seikkoja: hyperlinkit, jotka usein korvaavat lainauksia ja tarjoavat lukijoille valinnaisia resursseja aiheen tutkimiseen; on kuitenkin oltava selvää, että tällaisten URL-osoitteiden valinta on mahdollisesti hyvin subjektiivista ja jopa poliittista.

Tosin mitä arvostetumpi julkaisu, sitä epätodennäköisempää että se tulee sisältämään yhtään mitään linkkejä jotka ohjaavat katsojan pois isäntäverkkotunnukselta; tämä yhdessä monien muiden hakukoneoptimoinnin käyttötapojen ja hyperlinkkien väärinkäytön kanssa tekee niistä vaikeampia mitata kuin eksplisiittisistä lainauksista, otsikoista tai muista artikkelin osista, jotka saattavat tietoisesti tai tiedostamattaan pyrkiä vaikuttamaan lukijan mielipiteeseen.

Julkaistu ensimmäisen kerran keskiviikkona 16. heinäkuuta 2025