AI, Gizli Ajandaları Haberlerde Ne Anlatıyor?

ChatGPT benzeri modeller, bir haber makalesinin gerçekten bir konuda ne düşündüğünü tespit etmek için eğitiliyorlar – hatta bu görüş gizliQuotes, framing veya bazen samimi olmayan ‘tarafsızlık’ altında gizli olduğunda bile. Makaleleri başlıklar, girişler ve alıntılara gibi segmentlere ayırarak, yeni bir sistem, profesyonel gazetecilikte bile önyargıları tespit etmeyi öğrenir.

Yazarın veya konuşmacının gerçek görüşünü anlamak yeteneği – literatürde tavır tespiti olarak bilinen bir şey – dilin en zor yorumlama sorunlarından birini ele alır: içeriğin niyetini anlamak, bu içerik niyetini gizlemek veya bulandırmak için tasarlanmış olabilir.

Jonathan Swift’in Mütevazı Bir Öneri adlı eserinden, siyasi aktörlerin ideolojik karşıtlarının polemiklerini ödünç aldığı recent performanslarına kadar, bir ifadenin yüzeyi artık niyetinin güvenilir bir göstergesi değildir; ironi, trolleme, yanlış bilgi ve stratejik belirsizliğin yükselişi, bir metnin gerçekten hangi tarafı temsil ettiğini veya hiçbir tarafı temsil edip etmediğini belirlemek her zamankinden daha zor hale getirdi.

Söylenmeyen şeyler bazen söylenen şeyler kadar önemli olabilir ve bir konuyu ele almak bile yazarın konumunu sinyal verebilir.

Bu, otomatik tavır tespitinin olağanüstü zorlu bir görev olmasının nedenlerinden biridir, çünkü etkili bir tespit sistemi yalnızca izole cümleleri ‘destekleyici’ veya ‘karşıt’ olarak etiketlemekle kalmaz: bunun yerine, küçük ipuçlarını tüm makalenin şekli ve akışıyla karşılaştırmalı ve bu daha da zor, çünkü dil modelleri (LM’ler) hala sınırlı bağlam pencereleriyle mücadele etmektedir.

Değişim Ajanları

Bu sorunların bazılarını ele almak için, Güney Koreli araştırmacılar, uzun metrajlı haber makalelerinin tutumunu tespit etmek için JOA-ICL (Gazetecilik Kılavuzlu Ajanslı Bağlamda Öğrenme) adlı bir sistem geliştirdiler.

JOA-ICL’nin temel fikri, makale düzeyindeki tutumun, ayrı bir dil modeli ajanı tarafından üretilen segment düzeyindeki tahminlerin birleştirilmesiyle çıkarıldığıdır. Kaynak: https://arxiv.org/pdf/2507.11049

Bir makaleyi bir bütün olarak değerlendirmek yerine, JOA-ICL onu yapısal parçalara ayırır (başlık, giriş, alıntılar ve sonuç) ve her birini bir dil modeli ajanına atar, bu da segmenti ‘destekleyici’, ‘karşıt’ veya ‘tarafsız’ olarak etiketler. Bu yerel tahminler daha sonra makalenin genel tutumunu belirlemek için daha büyük bir modele geçirilir.

Yöntem, 2022 Haziran ile 2024 Haziran arasında Koreli haber kapsamından derlenen ve hem makale düzeyinde hem de segment düzeyinde tutum için etiketlenmiş 2.000 haber makalesini içeren yeni bir Kore verisetinde test edildi. Her makale, gazetecilik uzmanı Jiyoung Han tarafından, profesyonel haber yazımının yapısında tutumun nasıl dağıldığını yansıtan bir girişle, genel tutumuna ve bireysel segmentlerine göre iki kez etiketlendi.

Yazarlar şöyle diyor:

‘Deneyimler, JOA-ICL’nin mevcut tavır tespiti yöntemlerini geride bıraktığını, uzun metrajlı haber makalelerinin genel konumunu yakalamadaki segment düzeyindeki ajanın faydalarını vurguladığını gösteriyor.”

Yeni makale, Gazetecilik Kılavuzlu Ajanslı Bağlamda Öğrenme için Haber Tutum Tespiti başlığını taşır ve Seoul’un Soongsil Üniversitesi ile KAIST’in Gelecek Strateji Yüksek Okulu’ndan çeşitli fakültelerden geliyor.

Yöntem

AI destekli tavır tespitinin zorluğu, kısmen lojistikle ilgili ve bir makine öğrenimi sisteminin aynı anda ne kadar sinyal tutabileceği ve birleştirebileceği ile ilgilidir.

Haber makaleleri genellikle doğrudan görüş beyanlarından kaçınır ve bunun yerine, alıntı yapılacak kaynaklar, anlatının nasıl çerçevelendiği ve hangi ayrıntıların çıkarıldığı gibi faktörler yoluyla ima edilen veya varsayılan bir tutum kullanır.

Even when an article does take a clear position, the signal is often scattered across the text, with different segments pointing in different directions. Since language models (LMs) still struggle with limited context windows, this can make it difficult for models to assess stance in the way they do with shorter content (such as tweets and other short-form social media), where the relationship between the text and the target is more explicit.

Therefore standard approaches often fall short when applied to full-length journalism; a case where ambiguity is a feature rather than a flaw.

The paper states:

‘To address these challenges, we propose a hierarchical modeling approach that first infers the stance at the level of smaller discourse units (e.g., paragraphs or sections), and subsequently integrates these local predictions to determine the overall stance of the article.

‘This framework is designed to retain local context and capture dispersed stance cues in assessing how different parts of a news story contribute to its overall position on an issue.’

To this end, the authors compiled a novel dataset titled K-NEWS-STANCE, drawn from Korean news coverage between Haziran 2022 and Haziran 2024. Articles were first identified through BigKinds, a government-backed metadata service operated by the Korea Press Foundation, and full texts were retrieved using the Naver News aggregator API. The final dataset comprised 2,000 articles from 31 outlets, covering 47 nationally-relevant issues.

Each article was annotated twice: once for its overall stance toward a given issue, and again for individual segments; specifically the headline, lead, conclusion, and direct quotations.

The annotation was led by journalism expert Jiyoung Han, also the paper’s third author, who guided the process through the use of established cues from media studies, such as source selection, lexical framing, and patterns of quotation. By these means a total of 19,650 segment-level stance labels were obtained.

To ensure the articles contained meaningful viewpoint signals, each was first classified by genre, and only those labeled as analysis or opinion (where subjective framing is more likely to be found) were used for stance annotation.

Two trained annotators labeled all articles, and were instructed to consult related articles in case the stance was unclear, with disagreements resolved through discussion and additional review.

K-NEWS-STANCE verisetinden örnek girişler, İngilizce’ye çevrilmiştir. Sadece başlık, giriş ve alıntılar gösterilmektedir; tam metin atlanmıştır. Vurgulama, alıntılar için tutum etiketlerini gösterir, mavi destekleyici ve kırmızı karşıt için.

JoA-ICL

Bir makaleyi tek bir metin bloğu olarak ele almak yerine, yazarların önerdiği sistem onu yapısal parçalara ayırır: başlık, giriş, alıntılar ve sonuç, her birini bir dil modeli ajanına atar, bu da segmenti ‘destekleyici’, ‘karşıt’ veya ‘tarafsız’ olarak etiketler.

Bu yerel tahminler daha sonra makalenin genel tutumunu belirlemek için daha büyük bir modele geçirilir, iki ajan bir kontrolör tarafından koordine edilir, bu da promt’ları hazırlar ve sonuçları toplar.

Thus JoA-ICL, bağlamda öğrenmeyi, profesyonel haber hikayelerinin yazıldığı şekilde, genel bir girişin yerine segment-bilinçli promt’ları kullanarak uyarlar.

(Lütfen makaledeki çoğu örnek ve illüstrasyonun uzun ve çevrimiçi makalede okunabilir bir şekilde yeniden üretmesinin zor olduğunu unutmayın. Bu nedenle, orijinal kaynak PDF’sini incelemenizi rica ederiz)

Veri ve Testler

Testlerde, araştırmacılar makro F1 ve doğruluğu kullanarak performansı değerlendirdiler, 42’den 51’e kadar rastgele tohumlarla 10 çalışmanın sonuçlarını ortalamayı ve standart hatayı bildirdiler. Eğitim verisi, temel modelleri ve segment düzeyindeki ajanları ince ayarlamak için kullanıldı, az örnek seçimleri KLUE-RoBERTa-large kullanarak benzerlik aramasıyla seçildi.

Testler, her biri 48GB VRAM ile üç RTX A6000 GPU’sunda, Python 3.9.19, PyTorch 2.5.1, Transformers 4.52.0 ve vLLM 0.8.5 kullanılarak gerçekleştirildi.

GPT-4o-mini, Claude 3 Haiku ve Gemini 2 Flash API aracılığıyla, 1.0 sıcaklıkta ve zincir-düşünce promt’ları için 1000’e kadar token ile kullanıldı, diğerleri için 100 token ile.

Exaone-3.5-2.4B’nin tam AdamW optimizatörü 5e-5 öğrenme oranı ile, 0.01 ağırlık çürümesi, 100 ısınma adımları ile ve 10 dönem için 6’lık bir toplu işleme boyutu ile eğitildi.

Temel modeller için yazarlar, RoBERTa kullandılar, makale düzeyinde tutum tespiti için ince ayarlandı; Zincir-Düşünce (CoT) Gömme, RoBERTa’nın görev için alternatif bir ayarlaması; LKI-BART, büyük bir dil modelinden bağlamsal bilgi ekleyen bir kodlayıcı-dekoder modeli; ve PT-HCL, hedef meseleye özgü özelliklerden genel özellikleri ayırmak için karşıt öğrenme kullanan bir yöntem:

Her modelin K-NEWS-STANCE test kümesindeki genel tutum tahmini performansı. Sonuçlar makro F1 ve doğruluk olarak gösterilir, her gruptaki en yüksek puan kalın olarak belirtilir.

JOA-ICL, her üç model omurgası test edildiğinde, doğruluk ve makro F1’de en iyi genel performansı elde etti.

Segment-tabanlı yöntem, her zaman diğer tüm yaklaşımları geride bıraktı, yazarlar da destekleyici tutumları tespit etmede özellikle bir avantaj olduğunu gözlemledi, bu da benzer modellerde ortak bir zayıflıktır.

Temel modeller genel olarak daha kötü performans gösterdi. RoBERTa ve Zincir-Düşünce varyantları, nüanslı durumlarda mücadele etti, PT-HCL ve LKI-BART daha iyi performans gösterdi, ancak JOA-ICL’yi çoğu kategoride takip etti. En doğru tek sonuç, JOA-ICL (Claude) ile elde edildi, %64,8 makro F1 ve %66,1 doğruluk.

Aşağıdaki görüntü, modellerin her etiketi ne sıklıkla doğru veya yanlış sınıflandırdığını gösterir:

Temel ve JoA-ICL’yi karşılaştıran karışıklık matrisleri, her iki yöntemin de ‘destekleyici’ tutumları tespit etmekte en çok zorlandığını gösterir.

JOA-ICL genel olarak temel modelden daha iyi performans gösterdi, her kategoride daha fazla etiketi doğru olarak sınıflandırdı. Ancak her iki model de en çok destekleyici makalelerle mücadele etti ve temel model neredeyse yarısını yanlış sınıflandırdı, thường bunları tarafsız olarak yanlış tanımladı.

JOA-ICL daha az hata yaptı, ancak aynı modèle gösterdi, ‘pozitif’ tutumların modeller için daha zor olduğunu teyit etti.

JOA-ICL’nin Kore dili sınırlarının ötesinde çalışıp çalışmadığını test etmek için, yazarlar onu CheeSE adlı bir Alman verisetinde çalıştırdı, bu, makale düzeyinde tutum tespiti için kullanılır. CheeSE segment düzeyinde etiketler içermediğinden, araştırmacılar her segmenti aynı tutum etiketini atadı, bu da tam makaleye atanır.

Almanca CheeSE verisetindeki tutum tespiti sonuçları. JOA-ICL, üç LLM ve fine-tuned temel modellerde tutarlı olarak gelişme gösterir ve Gemini-2.0-flash en güçlü genel performansı sağlar.

Hatta bu ‘gürültülü’ koşullarda bile, JOA-ICL, hem fine-tuned modelleri hem de sıfır-örnek promt’larını geride bıraktı. Test edilen üç omurga arasında, Gemini-2.0-flash en iyi sonucu verdi.

Sonuç

Makine öğreniminin en politik olarak yüklenen görevlerinden biri olan tutum tahmini, genellikle soğuk, mekanik terimlerle ele alınır, daha az karmaşık konulara, video ve görüntü oluşturma gibi, daha fazla dikkat çekilir.

Yeni Koreli çalışmanın en cesaret verici gelişmesi, uzun metrajlı içerik analizi açısından önemli bir katkı sağlamasıdır, bu da tweet’ler ve kısa形式 sosyal medya gibi kısa içeriklerden farklıdır.

Yeni çalışmada ve genel olarak tutum tespiti korpusunda dikkat çekici bir eksiklik, hyperlink’lerin dikkate alınmamasıdır, bunlar genellikle okuyucuların bir konuyu daha fazla öğrenmesi için isteğe bağlı kaynaklar olarak kullanılır; ancak bu URL’lerin seçimi potansiyel olarak çok öznel ve hatta politik olabilir.

Bu, daha prestijli yayınlarda, hiçbir bağlantı içermediği anlamına gelir, bu da okuyucu host domaine yönlendirmek için SEO kullanımını ve hyperlink’lerin suiistimalini daha zor hale getirir; bu, alıntılar, başlıklar veya bir makalenin okuyucunun görüşünü etkilemeye çalışabileceği diğer kısımlarından daha zor量lanır.

İlk olarak 16 Temmuz 2025 Çarşamba günü yayınlandı