Co může umělá inteligence říci o skrytých agendách v novinách

Modely typu ChatGPT jsou trénovány na detekci toho, co článek o novinách skutečně myslí o problému – i když tento postoj je skryt pod citáty, rámcováním nebo (někdy neupřímnou) „neutralitou“. Rozdělením článků na segmenty, jako jsou nadpisy, úvodní části a citáty, se nový systém učí rozpoznávat předpojatost i v dlouhých odborných článcích.

Schopnost pochopit skutečný názor spisovatele nebo řečníka – známý v literatuře jako detekce postoje – řeší jednu z nejobtížnějších interpretačních problémů v jazyce: získání záměru z obsahu, který může být navržen tak, aby ho skryl nebo zamlžil.

Od Jonathana Swifta Skromná nabídka po nedávné vystoupení politických aktérů používajících rétoriku svých ideologických oponentů, povrch prohlášení již není spolehlivým ukazatelem jeho záměru; vzestup ironie, trollování, dezinformací a strategické nejednoznačnosti činí obtížnějším než kdykoli dříve určit, na které straně text skutečně stojí, nebo zda vůbec stojí.

Často je to, co se nevyjadřuje, stejně důležité jako to, co se říká, a jednoduchá volba pokrytí tématu může signalizovat postoj autora.

To činí úkol automatické detekce postoje neobvykle náročným, protože efektivní systém detekce musí dělat více než pouze označovat izolované věty jako „podporující“ nebo „opozitní“: místo toho musí procházet vrstvami významu, vážit malé signály proti tvaru a směru celého článku; a to je obtížnější v dlouhých článcích, kde tón může měnit a kde názor se zřídka vyjadřuje přímo.

Agenti změny

Aby se řešily některé z těchto problémů, výzkumníci v Jižní Koreji vyvinuli nový systém nazvaný JOA-ICL (Journalism-guided Agentic In-Context Learning) pro detekci postoje dlouhých článků.

Jádro myšlenky za JoA-ICL spočívá v tom, že postoj článku se odvozuje agregací segmentových předpovědí vytvořených samostatným jazykovým modelem. Zdroj: https://arxiv.org/pdf/2507.11049

Místo toho, aby článek hodnotil jako celek, JOA-ICL ho rozděluje na strukturální části (nadpis, úvodní část, citáty a závěr) a přiřazuje každou z nich menšímu modelu, který označuje segment jako podporující, opozitní nebo nezaujatý.

Tato místní předpovědi se poté předávají většímu modelu, který pomocí nich určuje celkový postoj článku.

Metoda byla testována na nově sestavené korejské datové sadě obsahující 2 000 novinových článků anotovaných pro článek a segmentový postoj. Každý článek byl označen s pomocí odborníka na žurnalistiku, který odrážel, jak je postoj rozložen napříč strukturou odborného novinářského psaní.

Podle článku JOA-ICL překonává jak promptingové, tak fine-tuned baseline, prokazuje zvláštní sílu v detekci podporujících postojů (které modely se stejným rozsahem často přehlížejí). Metoda se také ukázala jako účinná, když byla aplikována na německou datovou sadu za shodných podmínek, což naznačuje, že její principy jsou potenciálně odolné vůči jazykovým formám.

Autoři uvádějí:

‘Experimenty ukazují, že JOA-ICL překonává stávající metody detekce postoje, zdůrazňující výhody segmentové agentury při zachycení celkového postoje dlouhých článků.”

Nový článek se jmenuje Journalism-Guided Agentic In-Context Learning for News Stance Detection a pochází z různých fakult na univerzitě Soongsil v Soulu a z Graduate School of Future Strategy na KAIST.

Metoda

Část výzvy umělé inteligence při detekci postoje je logistická a související s tím, kolik signálu může systém strojového učení zachovat a shlukovat najednou, v současném stavu techniky.

Novinové články se obvykle vyhýbají přímým prohlášením o názoru, spoléhají místo toho na implicitní nebo předpokládaný postoj, signalizovaný prostřednictvím výběru zdrojů, rámcování narace a toho, které detaily jsou vynechány, mezi mnoha dalšími úvahami.

Even když článek zaujme jasný postoj, signál je často rozptýlený napříč textem, s různými segmenty, které směřují do různých směrů. Jelikož jazykové modely (LM) stále zápasí s omezenými kontextovými okny, může to učinit obtížným pro modely, aby zhodnotily postoj způsobem, jakým to dělají s kratším obsahem (jako tweety a jiná krátká forma sociálních médií), kde je vztah mezi textem a cílem více explicitní.

Tudíž standardní přístupy často selhávají, když jsou aplikovány na plnohodnotné žurnalistice; případ, kdy je nejednoznačnost funkcí spíše než vadou.

Článek uvádí:

‘Abychom řešili tyto výzvy, navrhujeme hierarchický modelovací přístup, který nejprve odvozuje postoj na úrovni menších diskurzivních jednotek (například odstavců nebo sekcí) a poté integruje tyto místní předpovědi, aby určily celkový postoj článku.

‘Tento rámec je navržen tak, aby uchovával lokální kontext a zachycoval rozptýlené signály postoje při hodnocení, jak různé části novinového příběhu přispívají k jeho celkovému postoji k problému.’

K tomuto účelu autoři sestavili novou datovou sadu nazvanou K-NEWS-STANCE, která pochází z korejské zpravodajské coverage mezi červnem 2022 a červnem 2024. Články byly nejprve identifikovány pomocí BigKinds, vládního metadata služby provozovaného Korejskou tiskovou nadací, a plné texty byly získány pomocí Naver News aggregator API. Konečná datová sada se skládala z 2 000 článků z 31 médií, pokrývajících 47 národně relevantních problémů.

Každý článek byl anotován dvakrát: jednou pro jeho celkový postoj k danému problému a znovu pro jednotlivé segmenty; konkrétně nadpis, úvodní část, závěr a přímé citáty.

Anotace byla vedena odborníkem na žurnalistiku Jiyoung Han, který také vedl proces pomocí zavedených signálů z médií, jako je výběr zdrojů, lexikální rámcování a vzorce citací. Touto cestou bylo získáno celkem 19 650 segmentových značek postoje.

Aby se zajistilo, že články obsahují významné signály postoje, byly nejprve klasifikovány podle žánru a pouze ty, které byly označeny jako analýza nebo názor (kde je subjektivní rámcování pravděpodobnější), byly použity pro anotaci postoje.

Dva trénovaní anotátoři označili všechny články a byli instruováni, aby konzultovali související články, pokud postoj nebyl jasný, a nesrovnalosti byly vyřešeny prostřednictvím diskuse a dalšího přezkumu.

Vzorky záznamů z datové sady K-NEWS-STANCE, přeložené do angličtiny. Zobrazeny jsou pouze nadpis, úvodní část a citáty; plný text je vynechán. Zvýraznění označuje značky postoje pro citáty, s modrou barvou pro podporující a červenou pro opoziční. Prosím, odkážete se na citovaný zdroj PDF pro jasnější provedení.

JoA-ICL

Místo toho, aby článek byl považován za jeden blok textu, navrhovaný systém autorů rozděluje článek na klíčové strukturální části: nadpis, úvodní část, citáty a závěr, a přiřazuje každou z nich jazykovému modelu, který označuje segment jako podporující, opoziční nebo nezaujatý.

Tyto místní předpovědi se poté předávají druhému agentovi, který rozhoduje o celkovém postoje článku, s oběma agenty koordinovanými kontrolérem, který připravuje výzvy a shromažďuje výsledky.

Tak JoA-ICL přizpůsobuje kontextové učení (kde se model učí z příkladů ve výzvě) způsobu, jakým jsou psány profesionální novinové články, pomocí segmentově vědomých výzev místo jedné obecné vstupní hodnoty.

(Poznámka: většina příkladů a ilustrací v článku je dlouhá a obtížně reprodukovatelná v online článku. Proto žádáme čtenáře, aby prozkoumali původní zdroj PDF)

Data a testy

Ve testech výzkumníci použili makro F1 a přesnost k hodnocení výkonu, průměrované výsledky přes deset běhů s náhodnými semeny z 42 na 51 a hlášené standardní chyby. Trénovací data se použila k fine-tuningu základních modelů a segmentových agentů, s few-shot vzorky vybranými pomocí vyhledávání podobnosti pomocí KLUE-RoBERTa-large.

Testy byly spuštěny na třech RTX A6000 GPU (každý s 48GB VRAM), pomocí Pythonu 3.9.19, PyTorch 2.5.1, Transformers 4.52.0 a vLLM 0.8.5.

GPT-4o-mini, Claude 3 Haiku a Gemini 2 Flash byly použity prostřednictvím API, při teplotě 1,0 a s maximálním počtem tokenů 1000 pro řetězové myšlenkové výzvy, a 100 pro ostatní.

Pro plné fine-tunování Exaone-3.5-2.4B byl použit optimalizátor AdamW při rychlosti učení 5e-5, s 0,01 váhovým útlumem, 100 teplých kroků a s daty trénovanými po dobu 10 epoch při velikosti dávky 6.

Pro základny autoři použili RoBERTa, fine-tunovanou pro detekci postoje na úrovni článku; Chain-of-Thought (CoT) Embeddings, alternativní ladění RoBERTa pro přidělený úkol; LKI-BART, encoder-decoder model, který přidává kontextuální znalosti z velkého jazykového modelu pomocí výzev s vstupním textem a zamýšleným značkou postoje; a PT-HCL, metoda, která používá kontrastivní učení k oddělení obecných funkcí od těch specifických pro cíl:

Výkon každého modelu na testovací sadě K-NEWS-STANCE pro předpověď celkového postoje. Výsledky jsou zobrazeny jako makro F1 a přesnost, s nejvyšší skóre v každé skupině tučně.

JOA-ICL dosáhl nejlepšího celkového výkonu napříč oběma přesností a makro F1, výhoda patrná napříč všemi třemi testovanými modelovými základy: GPT-4o-mini, Claude 3 Haiku a Gemini 2 Flash.

Segmentově založený přístup konzistentně překonal všechny ostatní přístupy, s, jak autoři poznamenávají, pozoruhodnou výhodou v detekci podporujících postojů, společnou slabostí podobných modelů.

Základní modely vykazovaly horší celkový výkon. RoBERTa a varianty Chain-of-Thought měly potíže s nuancovanými případy, zatímco PT-HCL a LKI-BART dosáhly lepších výsledků, ale stále zaostávaly za JOA-ICL napříč většinou kategorií. Nejpreciznější jednotlivý výsledek pocházel z JOA-ICL (Claude), s 64,8% makro F1 a 66,1% přesností.

Obrázek níže ukazuje, jak často modely správně nebo nesprávně označily každou značku:

Matice záměny srovnávající základní a JoA-ICL, ukazující, že obě metody nejvíce zápasí s detekcí „podporujících“ postojů.

JOA-ICL vykazoval celkově lepší výsledky než základní model, správně označil více značek ve všech kategoriích. Nicméně obě metody měly potíže s podporujícími články a základní model je často označoval nesprávně, často je považoval za neutrální.

JOA-ICL udělal méně chyb, ale ukázal stejný vzorec, potvrzující, že „pozitivní“ postoje jsou pro modely obtížněji rozpoznatelné.

Aby se otestovalo, zda JOA-ICL funguje i mimo korejský jazyk, autoři jej spustili na CheeSE, německé datové sadě pro detekci postoje na úrovni článku. Jelikož CheeSE postrádá segmentové značky, výzkumníci použili vzdálenou supervizi, kde každá sekce obdržela stejnou značku postoje jako celý článek.

Výsledky detekce postoje na německé datové sadě CheeSE. JOA-ICL konzistentně zlepšuje výsledek oproti zero-shot promptingu napříč všemi třemi LLM a překonává fine-tuned základní modely, s Gemini-2.0-flash, který poskytuje nejlepší celkový výkon.