Ce ne poate spune inteligența artificială despre agendele ascunse din știri

Modelele de tip ChatGPT sunt antrenate pentru a detecta ce crede cu adevărat un articol de știri despre o problemă – chiar și atunci când poziția este ascunsă sub citate, cadru sau (uneori înșelătoare) “neutralitate”. Prin împărțirea articolelor în segmente, cum ar fi titluri, introduceri și citate, un nou sistem învață să detecteze prejudecățile chiar și în jurnalismul profesional de lungă durată.

Capacitatea de a înțelege adevărata poziție a unui scriitor sau vorbitor – o căutare cunoscută în literatură sub numele de detectare a poziției – abordează una dintre cele mai dificile probleme de interpretare a limbajului: extragerea intenției din conținut care poate fi proiectat pentru a o ascunde sau o face neclară.

De la O propunere modestă a lui Jonathan Swift, la spectacole recente ale unor actori politici care împrumută polemicile oponenților lor ideologici, suprafața unei declarații nu mai este un indicator fiabil al intenției sale; apariția ironiei, a trollării, a dezinformării și a ambiguității strategice a făcut ca este mai greu ca oricând să determini ce parte ia un text sau dacă ia parte deloc.

Adesea, ceea ce nu se spune are aceeași greutate ca și ceea ce se spune, și simpla alegere de a acoperi un subiect poate semnala poziția autorului.

Acest lucru face ca sarcina detectării automate a poziției să fie neobișnuit de dificilă, deoarece un sistem eficient de detectare trebuie să facă mai mult decât să eticheteze propoziții izolate ca “susținătoare” sau “opozante”: în schimb, trebuie să parcurgă straturi de sens, cântărind indicii mici împotriva formei și direcției întregului articol; și acest lucru este mai greu în jurnalismul de lungă durată, unde tonul poate varia și opinia poate fi rareori exprimată în mod direct.

Agenți pentru schimbare

Pentru a aborda unele dintre aceste probleme, cercetătorii din Coreea de Sud au dezvoltat un nou sistem numit JOA-ICL (Învățare contextuală agentică ghidată de jurnalism) pentru detectarea poziției articolelor de știri de lungă durată.

Ideea de bază a JOA-ICL este că poziția la nivel de articol este inferată prin agregarea predicțiilor la nivel de segment produse de un agent de model de limbaj separat. Sursă: https://arxiv.org/pdf/2507.11049

În loc de a judeca un articol ca un întreg, JOA-ICL îl împarte în părți structurale (titlu, introducere, citate și concluzie) și atribuie fiecăruia un model mai mic pentru a eticheta segmentul ca susținător, opozant sau neutru.

Predicțiile locale sunt apoi transmise unui model mai mare, care le folosește pentru a determina poziția generală a articolului.

Metoda a fost testată pe un nou set de date compilat, conținând 2.000 de articole de știri coreene annotate atât la nivel de articol, cât și la nivel de segment. Fiecare articol a fost etichetat cu intrări de la un expert în jurnalism, reflectând modul în care poziția este distribuită în structura scrierii profesionale de știri.

Conform articolului, JOA-ICL depășește atât metodele bazate pe prompturi, cât și cele fine-tunate, demonstrând o putere deosebită în detectarea pozițiilor susținătoare (care modelele cu un scop similar tind să le rateze). Metoda a fost, de asemenea, eficientă atunci când a fost aplicată unui set de date german, sub condiții similare, ceea ce indică faptul că principiile sale sunt potențial rezistente la formele de limbă.

Autorii afirmă:

‘Experimentele arată că JOA-ICL depășește metodele existente de detectare a poziției, subliniind beneficiile agenției la nivel de segment în capturarea poziției generale a articolelor de știri de lungă durată.”

Noul articol se intitulează Învățare contextuală agentică ghidată de jurnalism pentru detectarea poziției în știri și provine de la diverse facultăți de la Universitatea Soongsil din Seul, precum și de la Școala de Studii Avansate a Strategiei Viitorului KAIST.

Metodă

O parte a provocării detectării poziției cu ajutorul inteligenței artificiale este legată de cantitatea de semnal pe care un sistem de învățare automată îl poate reține și corela la un moment dat, la stadiul actual al tehnologiei.

Articolele de știri tind să evite declarații directe de opinie, bazându-se în schimb pe o implică sau presupusă poziție, semnalată prin alegerea surselor citate, modul în care este structurat narativul și ce detalii sunt omise, printre multe alte considerații.

Chiar și atunci când un articol ia o poziție clară, semnalul este adesea dispersat în întregul text, cu segmente diferite care indică direcții diferite. Deoarece modelele de limbaj (LM) încă se luptă cu ferestre de context limitate, acest lucru poate face dificilă evaluarea poziției de către modele, așa cum o fac cu conținutul mai scurt (cum ar fi tweet-urile și alte forme de media socială scurtă), unde relația dintre text și țintă este mai explicită.

Prin urmare, abordările standard adesea nu reușesc atunci când sunt aplicate jurnalismului de lungă durată; un caz în care ambiguitatea este o caracteristică, nu o eroare.

Articolul afirmă:

‘Pentru a aborda aceste provocări, propunem o abordare de modelare ierarhică care, în primul rând, inferă poziția la nivelul unităților de discurs mai mici (de exemplu, paragrafe sau secțiuni), și ulterior integrează aceste predicții locale pentru a determina poziția generală a articolului.

‘Acest cadru este proiectat pentru a păstra contextul local și a capta indicii de poziție dispersate în evaluarea modului în care diferitele părți ale unei știri contribuie la poziția sa generală pe o problemă.’

Pentru aceasta, autorii au compilat un set de date nou, intitulat K-NEWS-STANCE, extras din articole de știri coreene între iunie 2022 și iunie 2024. Articolele au fost identificate în primul rând prin BigKinds, un serviciu de metadate guvernamental, operat de Fundația Coreeană a Presei, și textele complete au fost recuperate folosind API-ul Naver News. Setul final de date a cuprins 2.000 de articole din 31 de publicații, care acoperă 47 de probleme naționale.

Fiecare articol a fost etichetat de două ori: o dată pentru poziția sa generală față de o anumită problemă și din nou pentru segmente individuale; în special titlul, introducerea, concluzia și citatele directe.

Etichetarea a fost condusă de expertul în jurnalism Jiyoung Han, care a ghidat procesul prin utilizarea unor indici stabiliți din studii de media, cum ar fi selectarea surselor, cadrarea lexicală și modelele de citare. Prin aceste mijloace, s-au obținut un total de 19.650 de etichete de poziție la nivel de segment.

Pentru a asigura că articolele conțin semnale semnificative de poziție, fiecare a fost clasificat în funcție de gen și numai cele etichetate ca analiză sau opinie (unde cadrarea subiectivă este mai probabilă să fie găsită) au fost utilizate pentru etichetarea poziției.

Doi annotatori instruiți au etichetat toate articolele și au fost instruiți să consulte articolele conexe în cazul în care poziția nu era clară, cu neînțelegeri rezolvate prin discuții și revizuiri suplimentare.

Înregistrări de exemplu din setul de date K-NEWS-STANCE, traduse în engleză. Se arată doar titlul, introducerea și citatele; textul complet al corpului este omis. Evidențierea indică etichete de poziție pentru citate, cu albastru pentru susținător și roșu pentru opozant. Vă rugăm să consultați PDF-ul sursă pentru o reprezentare mai clară.

JoA-ICL

În loc de a trata un articol ca un bloc de text unic, sistemul propus de autori îl împarte în părți structurale cheie: titlu, introducere, citate și concluzie, atribuind fiecăruia un agent de model de limbaj, care etichetează segmentul ca susținător, opozant sau neutru.

Aceste predicții locale sunt apoi transmise unui al doilea agent, care decide poziția generală a articolului, cu cei doi agenți coordonați de un controlor care pregătește prompturile și adună rezultatele.

Astfel, JoA-ICL adaptează învățarea contextuală (unde modelul învață din exemplele din prompt) pentru a se potrivi cu modul în care sunt scrise știrile profesionale, utilizând prompturi conștiente de segmente în loc de un singur input generic.

(Vă rugăm să consultați PDF-ul original pentru a examina exemplele și ilustrațiile din articol, deoarece majoritatea lor sunt lungi și dificil de reprodus într-un articol online)

Date și teste

În teste, cercetătorii au utilizat macro F1 și acuratețe pentru a evalua performanța, medie pe rezultatele a zece rulări cu semințe aleatoare de la 42 la 51 și raportând eroarea standard. Datele de antrenare au fost utilizate pentru a fine-tune modelele de bază și agenții la nivel de segment, cu mostre cu puține exemple selectate prin căutare de similaritate utilizând KLUE-RoBERTa-large.

Testele au fost rulate pe trei plăci grafice RTX A6000 (fiecare cu 48 GB de VRAM), utilizând Python 3.9.19, PyTorch 2.5.1, Transformers 4.52.0 și vLLM 0.8.5.

GPT-4o-mini, Claude 3 Haiku și Gemini 2 Flash au fost utilizate prin API, la o temperatură de 1,0 și cu tokeni maximați la 1000 pentru prompturi în lanț, și 100 pentru altele.

Pentru fine-tuning complet al Exaone-3.5-2.4B, s-a utilizat optimizerul AdamW la o rată de învățare de 5e-5, cu decădere de greutate de 0,01, 100 pași de încălzire și cu datele antrenate timp de 10 epoci la o dimensiune a lotului de 6.

Pentru modelele de bază, autorii au utilizat RoBERTa, fine-tune pentru detectarea poziției la nivel de articol; Încorporarea lanțului de gândire (CoT), o reglare alternativă a RoBERTa pentru sarcina asignată; LKI-BART, un model codator-decodor care adaugă cunoștințe contextuale de la un model de limbaj mare prin promptarea lui cu textul de intrare și eticheta de poziție intenționată; și PT-HCL, o metodă care utilizează învățarea contrastivă pentru a separa caracteristicile generale de cele specifice problemei țintă:

Performanța fiecărui model pe setul de test K-NEWS-STANCE pentru predicția poziției generale. Rezultatele sunt prezentate sub formă de macro F1 și acuratețe, cu cel mai bun scor din fiecare grup în aldine.

JOA-ICL a obținut cea mai bună performanță generală, atât în ceea ce privește acuratețea, cât și macro F1, un avantaj evident în toate cele trei back-end-uri testate: GPT-4o-mini, Claude 3 Haiku și Gemini 2 Flash.

Metoda bazată pe segmente a performant mai bine decât toate celelalte abordări, cu, după cum observă autorii, un avantaj notabil în detectarea pozițiilor susținătoare, o slăbiciune comună în modelele similare.

Modelele de bază au performant mai prost în general. RoBERTa și variantele de lanț de gândire au avut dificultăți cu cazurile nuanțate, în timp ce PT-HCL și LKI-BART au performant mai bine, dar totuși au rămas în urma JOA-ICL în majoritatea categoriilor. Cel mai precis rezultat individual a provenit de la JOA-ICL (Claude), cu 64,8% macro F1 și 66,1% acuratețe.

Imaginea de mai jos arată cu ce frecvență modelele au obținut fiecare etichetă corect sau incorect:

Matrice de confuzie comparând modelul de bază și JOA-ICL, arătând că ambele metode au dificultăți în detectarea pozițiilor susținătoare.

JOA-ICL a performant mai bine în general decât modelul de bază, obținând mai multe etichete corecte în fiecare categorie. Cu toate acestea, ambele metode au avut dificultăți în special cu articolele susținătoare, iar modelul de bază a greșit aproape jumătate, confundându-le adesea cu cele neutre.

JOA-ICL a făcut mai puține greșeli, dar a arătat același model, consolidând faptul că pozițiile “pozitive” sunt mai greu de detectat pentru modele.

Pentru a testa dacă JOA-ICL funcționează dincolo de limitele limbii coreene, autorii l-au rulat pe CheeSE, un set de date german pentru detectarea poziției la nivel de articol. Deoarece CheeSE nu are etichete la nivel de segment, cercetătorii au utilizat supervizare la distanță, în care fiecare segment a primit aceeași etichetă de poziție ca și articolul complet.

Rezultate de detectare a poziției pe setul de date CheeSE în limba germană. JOA-ICL îmbunătățește constant promptarea zero-shot pe toate cele trei LLM și depășește modelele de bază fine-tunate, Gemini-2.0-flash oferind cea mai bună performanță generală.

Chiar și în aceste condiții “zgomotoase”, JOA-ICL a depășit atât modelele fine-tunate, cât și promptarea zero-shot. Dintre cele trei back-end-uri testate, Gemini-2.0-flash a oferit cele mai bune rezultate.

Concluzie

Puține sarcini în învățarea automată sunt mai încărcate politic decât predicția poziției; și, totuși, este adesea abordată în termeni reci și mecanici, în timp ce se acordă mai multă atenție unor probleme mai puțin complexe în inteligența artificială generativă, cum ar fi crearea de videoclipuri și imagini, care declanșează titluri mult mai puternice.

Cea mai încurajatoare evoluție în noul studiu coreean este că oferă o contribuție semnificativă la analiza conținutului de lungă durată, și nu doar a tweet-urilor și a media sociale de scurtă durată, ale căror efecte incendiare sunt mai rapid uitate decât un tratat, eseu sau o altă operă semnificativă.

O notabilă omisiune în noul studiu și, după cum pot să văd, în corpusul de detectare a poziției în general, este lipsa de considerare a hyperlink-urilor, care adesea stau în loc de citate ca resurse opționale pentru cititori pentru a afla mai multe despre un subiect; și totuși, trebuie să fie clar că alegerea unor astfel de URL-uri este potențial foarte subiectivă și chiar politică.

În același timp, cu cât o publicație este mai prestigioasă, cu atât este mai puțin probabil să includă orice legături care să îndepărteze cititorul de domeniul gazdă; acest lucru, împreună cu diverse alte utilizări și abuzuri SEO ale hyperlink-urilor, le face mai dificil de cuantificat decât citatele explicite, titlurile sau alte părți ale unui articol care pot căuta, conștient sau nu, să influențeze opinia cititorului.

Publicat pentru prima dată miercuri, 16 iulie 2025