Yapay Zeka Haberlerdeki Gizli Gündemler Hakkında Bize Neler Söyleyebilir?

ChatGPT tarzı modeller, bir haber makalesinin ne anlama geldiğini tespit etmek için eğitiliyor Gerçekten mi Bir konu hakkında düşünür – bu duruş alıntılar, çerçeveleme veya (bazen samimiyetsiz) "tarafsızlık" altında gömülü olsa bile. Makaleleri başlıklar, girişler ve alıntılar gibi bölümlere ayırarak, yeni bir sistem uzun formatlı profesyonel gazetecilikte bile önyargıları tespit etmeyi öğreniyor.

Bir yazarın veya konuşmacının gerçek bakış açısını anlama yeteneği - literatürde bilinen bir uğraş duruş algılama – dildeki en zor yorumlama sorunlarından birini ele alır: İçeriğin amacını gizlemek veya belirsizleştirmek için tasarlanmış olabilecek içerikten çıkarmak.

Jonathan Swift'in Mütevazi bir teklif, siyasi aktörlerin son performanslarına polemikleri ödünç alarak ideolojik muhaliflerinin, bir ifadenin yüzeyi artık niyetinin güvenilir bir göstergesi değil; ironi, trolleme, dezenformasyon ve stratejik belirsizlik bir metnin aslında hangi tarafta yer aldığını saptamayı her zamankinden daha zor hale getirdi veya hiç inip inmeyeceğini.

Çoğu zaman, söylenmeyenler söylenenler kadar önem taşır ve yalnızca bir konuyu ele almayı seçmek bile yazarın pozisyonunu gösterebilir.

Bu, otomatik duruş tespiti görevini alışılmadık derecede zorlu hale getirir, çünkü etkili bir tespit sisteminin izole cümleleri 'destekleyici' veya 'karşıt' olarak etiketlemekten daha fazlasını yapması gerekir: bunun yerine, anlam katmanları arasında yinelemeli, küçük ipuçlarını tüm makalenin biçimi ve gidişatına göre tartmalıdır; ve bu, tonun değişebileceği ve fikrin nadiren açıkça belirtilebileceği uzun biçimli gazetecilikte daha zordur.

Değişim İçin Temsilciler

Bu sorunların bazılarını ele almak için Güney Kore'deki araştırmacılar JOA-ICL (Gazetecilik rehberliğinde Etken Bağlam İçi Öğrenme) uzun biçimli haber makalelerinin duruşunu tespit etmek için.

JoA-ICL'nin arkasındaki temel fikir, makale düzeyindeki duruşun, ayrı bir dil modeli aracısı tarafından üretilen segment düzeyindeki tahminlerin toplanmasıyla çıkarılmasıdır. Kaynak: https://arxiv.org/pdf/2507.11049

JOA-ICL, bir makaleyi bir bütün olarak değerlendirmek yerine, onu yapısal parçalara (başlık, giriş, alıntılar ve sonuç) ayırır ve her birini etiketlemek için daha küçük bir model atar. Bu yerel tahminler daha sonra, makalenin genel duruşunu belirlemek için bunları kullanan daha büyük bir modele aktarılır.

Yöntem, hem makale düzeyinde hem de bölüm düzeyinde duruşa göre açıklamalı 2,000 haber makalesi içeren yeni derlenmiş bir Kore veri kümesi üzerinde test edildi. Her makale, bir gazetecilik uzmanının girdileriyle etiketlendi ve duruşun profesyonel haber yazım yapısı genelinde nasıl dağıldığını yansıttı.

Makaleye göre, JOA-ICL hem yönlendirmeye dayalı hem de ince ayarlı temel çizgilerden daha iyi performans göstererek, destekleyici duruşları tespit etmede özellikle güçlü bir performans sergiliyor (benzer bir kapsama sahip modellerin genellikle gözden kaçırdığı bir durum). Yöntem, eşleştirilmiş koşullar altında bir Alman veri kümesine uygulandığında da etkili olduğunu kanıtlayarak, ilkelerinin dil biçimlerine karşı potansiyel olarak dirençli olduğunu gösteriyor.

Yazarlar şunları belirtiyor:

'Deneyler, JOA-ICL'nin mevcut duruş tespit yöntemlerinden daha iyi performans gösterdiğini ve uzun biçimli haber makalelerinin genel konumunu yakalamada segment düzeyindeki ajansın faydalarını vurguladığını gösteriyor.'

The yeni kağıt başlıklı Haber Duruşu Algılama için Gazetecilik Rehberliğinde Etken Bağlam İçi Öğrenmeve Seul'deki Soongsil Üniversitesi'nin çeşitli fakültelerinden ve KAIST'in Gelecek Stratejisi Lisansüstü Okulu'ndan geliyor.

Yöntem

Yapay zeka destekli duruş tespitinin zorluklarından biri lojistiktir ve bir makine öğrenme sisteminin mevcut teknoloji düzeyinde aynı anda ne kadar sinyali tutabileceği ve bir araya getirebileceğiyle ilgilidir.

Haber makaleleri doğrudan görüş bildirme eğiliminden kaçınır, bunun yerine bir dolaylı olarak or varsayılır Hangi kaynakların alıntılanacağı, anlatının nasıl çerçeveleneceği ve hangi ayrıntıların atlanacağı gibi birçok hususla ilgili seçimlerle işaret edilen duruş.

Bir makale net bir tavır sergilese bile, sinyal genellikle metnin her yerine dağılmış durumdadır ve farklı bölümler farklı yönlere işaret eder. Dil modelleri (LM'ler) hala sınırlı bağlam pencereleriBu, modellerin daha kısa içerikle yaptıkları gibi duruşu değerlendirmesini zorlaştırabilir (tweetler gibi (ve diğer kısa biçimli sosyal medya) metin ile hedef kitle arasındaki ilişkinin daha belirgin olduğu platformlardır.

Bu nedenle standart yaklaşımlar tam uzunlukta gazeteciliğe uygulandığında çoğu zaman yetersiz kalmaktadır; bu durumda belirsizlik bir kusurdan ziyade bir özelliktir.

Kağıt şöyle diyor:

'Bu zorlukların üstesinden gelmek için, öncelikle duruşu daha küçük söylem birimleri (örneğin paragraflar veya bölümler) düzeyinde çıkaran ve daha sonra bu yerel tahminleri makalenin genel duruşunu belirlemek için entegre eden hiyerarşik bir modelleme yaklaşımı öneriyoruz.

'Bu çerçeve, yerel bağlamı korumak ve bir haber hikayesinin farklı bölümlerinin bir konu hakkındaki genel pozisyonuna nasıl katkıda bulunduğunu değerlendirmede dağınık duruş ipuçlarını yakalamak için tasarlanmıştır.'

Bu amaçla yazarlar, başlıklı yeni bir veri seti derlediler. K-HABER-DURUŞUHaziran 2022 ile Haziran 2024 arasındaki Kore haberlerinden alınmıştır. Makaleler ilk olarak şu şekilde tanımlanmıştır: BüyükKindsKore Basın Vakfı tarafından işletilen, hükümet destekli bir meta veri hizmeti olan 'dan alınan veriler, tam metinler Naver Haber toplayıcı API'si kullanılarak toplandı. Son veri seti, 2,000 yayın kuruluşundan 31 ulusal konuyu kapsayan 47 makaleden oluşuyordu.

Her makale iki kez açıklanmıştı: bir kez belirli bir konuya yönelik genel duruşu için ve bir kez de ayrı bölümler için; özellikle başlık, öncülük etmek, sonuç, ve doğrudan alıntılar.

Açıklama, aynı zamanda makalenin üçüncü yazarı olan gazetecilik uzmanı Jiyoung Han tarafından yönetildi ve kaynak seçimi gibi medya çalışmalarından edinilen yerleşik ipuçlarının kullanımı yoluyla sürece rehberlik etti. sözcüksel çerçevelemeve alıntı kalıpları. Bu sayede toplam 19,650 segment düzeyinde duruş etiketi elde edildi.

Makalelerin anlamlı bakış açısı sinyalleri içerdiğinden emin olmak için, her biri önce türe göre sınıflandırıldı ve yalnızca analiz veya görüş olarak etiketlenenler (öznel çerçevelemenin bulunma olasılığının daha yüksek olduğu) duruş açıklaması için kullanıldı.

Eğitimli iki yorumcu tüm makaleleri etiketledi ve duruşun belirsiz olması durumunda ilgili makalelere başvurmaları talimatı verildi; anlaşmazlıklar ise tartışma ve ek inceleme yoluyla çözüldü.

K-NEWS-STANCE veri setinden örnek girdiler İngilizceye çevrilmiştir. Yalnızca başlık, giriş ve alıntılar gösterilmiştir; metnin tamamı çıkarılmıştır. Vurgulama, alıntıların duruş etiketlerini gösterir; destekleyici olanlar için mavi, karşı olanlar için kırmızı. Daha net bir çeviri için lütfen kaynak PDF'sine bakın.

JoA-ICL

Yazarların önerdiği sistem, bir makaleyi tek bir metin bloğu olarak ele almak yerine, onu temel yapısal parçalara bölüyor: başlık, giriş, alıntılar ve sonuç; bunların her birini, segmenti etiketleyen bir dil modeli aracısına atıyor. destekleyici, muhalifya da nötr.

Bu yerel tahminler, makalenin genel duruşunu belirleyen ikinci bir ajana iletilir ve bu iki ajan, istemleri hazırlayan ve sonuçları toplayan bir kontrolör tarafından koordine edilir.

Böylece JoA-ICL, profesyonel haber hikayelerinin yazılma biçimine uyum sağlamak için bağlam içi öğrenmeyi (modelin komut istemindeki örneklerden öğrendiği) tek bir genel girdi yerine segment farkında komut istemlerini kullanarak uyarlar.

(Lütfen makaledeki örneklerin ve çizimlerin çoğunun uzun olduğunu ve çevrimiçi bir makalede okunaklı bir şekilde yeniden üretilmesinin zor olduğunu unutmayın. Bu nedenle okuyucunun orijinal kaynak PDF'sini incelemesini rica ediyoruz.)

Veriler ve Testler

Araştırmacılar testlerde şunları kullandılar: makro F1 ve performansı değerlendirmek için doğruluk, 42'den 51'e kadar rastgele tohumlarla on çalışma üzerinden sonuçların ortalaması alınarak ve standart hatanın raporlanması. Eğitim verileri, ince ayar temel modeller ve segment düzeyindeki aracılar ile az vuruş benzerlik araması yoluyla seçilen örnekler KLUE-RoBERTa-large.

Testler, Python 6000, PyTorch 48, Transformers 3.9.19 ve 2.5.1 GB VRAM'li üç RTX A4.52.0 GPU üzerinde çalıştırıldı. vLLM 0.8.5

GPT-4o-mini, Claude 3 Haiku, ve İkizler 2 Flaş API aracılığıyla kullanıldı sıcaklık 1.0'ın ve maksimum jeton sayısının 1000'e ayarlanmasıyla düşünce zinciri istemlerive diğerleri için 100.

Tam ince ayar için Exaone-3.5-2.4B, AdamW 5e-5'te optimize edici kullanıldı öğrenme oranı, 0.01 ağırlık azalmasıyla, 100 ısınma adımlarıve 10 için eğitilen verilerle devirler Bir de Parti boyutu 6 evi.

Yazarlar, temel değerler için şunları kullandı: roBERTa, makale düzeyinde duruş tespiti için ince ayar yapıldı; Düşünce Zinciri (CoT) Yerleştirmeleri, atanan görev için RoBERTa'nın alternatif bir ayarı; LKI-BART, büyük bir dil modelinden hem girdi metnini hem de amaçlanan duruş etiketini istemde bulunarak bağlamsal bilgi ekleyen bir kodlayıcı-kod çözücü modeli; ve PT-HCL, kullanan bir yöntem karşılaştırmalı öğrenme Genel özellikleri hedef konuya özgü olanlardan ayırmak için:

Her modelin genel duruş tahmini için K-NEWS-STANCE test setindeki performansı. Sonuçlar, makro F1 ve doğruluk olarak gösterilirken, her gruptaki en yüksek puan koyu renkle gösterilmiştir.

JOA-ICL, hem doğruluk hem de makro F1'de en iyi genel performansı elde etti; bu avantaj, test edilen üç model omurgasının hepsinde görüldü: GPT-4o-mini, Claude 3 Haiku ve Gemini 2 Flash.

Yazarların gözlemlediği üzere, segment tabanlı yöntem, diğer tüm yaklaşımlardan sürekli olarak daha iyi performans gösterdi ve benzer modellerde yaygın bir zayıflık olan destekleyici duruşları tespit etmede önemli bir üstünlük sağladı.

Temel modeller genel olarak daha kötü performans gösterdi. RoBERTa ve Düşünce Zinciri varyantları nüanslı vakalarda zorlanırken, PT-HCL ve LKI-BART daha iyi performans gösterdi ve çoğu kategoride JOA-ICL'nin gerisinde kaldı. En doğru tekil sonuç, %64.8 makro F1 ve %66.1 doğruluk oranıyla JOA-ICL'den (Claude) geldi.

Aşağıdaki görsel, modellerin her etiketi ne sıklıkla doğru veya yanlış tahmin ettiğini göstermektedir:

Başlangıç ve JoA-ICL'yi karşılaştıran karışıklık matrisleri, her iki yöntemin de en çok 'destekleyici' duruşları tespit etmede zorlandığını göstermektedir.

JoA-ICL, her kategoride daha fazla doğru etiket elde ederek genel olarak temel modelden daha iyi bir performans gösterdi. Ancak, her iki model de destekleyici makalelerde en çok zorlandı ve temel model, bunların neredeyse yarısını yanlış sınıflandırdı; bunları genellikle nötr sanıyordu.

JoA-ICL daha az hata yaptı ancak aynı modeli gösterdi; bu da modellerin 'olumlu' duruşları fark etmesinin daha zor olduğunu gösterdi.

JoA-ICL'nin Kore dilinin sınırlarının ötesinde çalışıp çalışmadığını test etmek için yazarlar bunu şu şekilde çalıştırdılar: Peynir, makale düzeyinde duruş tespiti için bir Alman veri kümesi. CheeSE'de segment düzeyinde etiketler bulunmadığından, araştırmacılar uzaktan denetim, her bölüme tam makaleyle aynı duruş etiketi atanmıştır.

Almanca CheeSE veri kümesinde duruş tespiti sonuçları. JoA-ICL, üç LLM programında da sıfır atışlı yönlendirmeye göre sürekli olarak iyileşme gösteriyor ve ince ayarlı temel çizgileri geride bırakıyor; Gemini-2.0-flash en güçlü genel performansı sağlıyor.

Bu 'gürültülü' koşullar altında bile, JoA-ICL hem ince ayarlı modellerden hem de sıfır atışlı yönlendirmeden daha iyi performans gösterdi. Test edilen üç omurga arasında Gemini-2.0 flaş en iyi sonuçları verdi.

Sonuç

Makine öğrenimindeki birkaç görev, duruş tahmininden daha politik içeriklidir; ancak bu genellikle soğuk, mekanik terimlerle ele alınırken, üretken yapay zekada video ve görüntü oluşturma gibi çok daha yüksek sesli manşetlere neden olan daha az karmaşık konulara daha fazla dikkat edilir.

Yeni Kore çalışmasındaki en cesaret verici gelişme, analize önemli bir katkı sunmasıdır. tam uzunluk Bir inceleme, deneme veya diğer önemli bir çalışmadan daha çabuk unutulan kışkırtıcı etkileri olan tweetler ve kısa biçimli sosyal medya yerine içerik.

Yeni çalışmada ve (anladığım kadarıyla) genel olarak duruş tahmin gövdesinde dikkat çeken bir eksiklik, verilen dikkate alınmamasıdır. köprülerOkuyucuların bir konu hakkında daha fazla bilgi edinmelerini sağlamak için sıklıkla alıntıların yerine geçen URL'ler; ancak bu tür URL'lerin seçiminin potansiyel olarak çok öznel ve hatta politik olduğu açık olmalıdır.

Bununla birlikte, yayın ne kadar prestijli olursa, daha az bunun içereceğini herhangi bir bağlantı İzleyiciyi ana alan adından uzaklaştıran; bu, hiper bağlantıların çeşitli diğer SEO kullanımları ve kötüye kullanımlarıyla birlikte, bunları, okuyucunun fikrini bilinçli veya bilinçsiz olarak etkilemeye çalışan açık alıntılar, başlıklar veya makalenin diğer bölümlerinden daha zor ölçülebilir hale getirir.

İlk yayınlanma tarihi: Çarşamba, 16 Temmuz 2025