Makine Öğrenimi ile Propaganda Oluşturma ve Tanıma

ABD ve Katar’dan yeni bir araştırma, insanların gerçekte sahte haberler nasıl yazdığını taklit eden bir yöntem sunuyor – yani, büyük ölçüde doğru bir bağlamda yanlış ifadeleri gömmek ve otoriteye başvurmak ve yüklemeli dil gibi popüler propaganda tekniklerini kullanmak.

Projenin sonucu, bu teknikleri içeren yeni bir sahte haber algılama eğitim veri kümesi olan PropaNews‘in oluşturulmasıdır. Çalışmanın yazarları, bu yeni veri kümesiyle eğitilen dedektörlerin, önceki en iyi yöntemlere kıyasla insan tarafından yazılmış yanlış bilgilendirmeyi 7,3-12% daha doğru bir şekilde tespit ettiğini bulmuşlardır.

Yeni çalışmadan, ‘otoriteye başvurmak’ ve ‘yüklemeli dil’ örnekleri. Kaynak: https://arxiv.org/pdf/2203.05386.pdf

Yazarlar, bu çalışmanın, makine öğrenimi tarafından oluşturulan metin örneklerinde propaganda tekniklerini (basitçe yanlış gerçekleri değil) birleştiren ilk çalışma olduğunu iddia ediyorlar.

Alanındaki çoğu çalışma, yazarlara göre, önyargıları incelemiş veya ‘propaganda’ verilerini önyargı bağlamında yeniden çerçevelemiştir (muhtemelen post-Analytica döneminde makine öğrenimi sektörünün yüksek finanse edilebilirliği nedeniyle).

Yazarlar şöyle diyor:

‘Çalışmamız, propaganda tekniklerini birleştiren sahte haberler oluşturur ve doğru bilgilerin çoğunu korur. Bu nedenle, yaklaşımımız, insan tarafından yazılmış sahte haberlere karşı savunma çalışması için daha uygundur.’

Ayrıca, daha sofistike propaganda algılama tekniklerine duyulan artan aciliyeti şöyle vurguluyorlar:

‘İnsan tarafından yazılmış yanlış bilgilendirme, souvent belirli nüfusları manipüle etmek için kullanılır ve 2016 ABD Başkanlık Seçimleri, Brexit, COVID-19 salgını ve Rusya’nın Ukrayna’ya saldırısı gibi olaylarda felaketler yarattı. Bu nedenle, insan tarafından yazılmış yanlış bilgilendirmeye karşı savunma mekanizmasına acilen ihtiyacımız var.’

Çalışma, Gerçek Sahte Haber Algılama için Sahte Haber Oluşturma: Propaganda Yüklenmiş Eğitim Veri Oluşturma başlığını taşıyor ve Illinois Urbana-Champaign Üniversitesi, Columbia Üniversitesi, Katar’daki Hamad Bin Khalifa Üniversitesi, Washington Üniversitesi ve Allen Institute for AI’den beş araştırmacı tarafından gerçekleştirildi.

Yalanın Tanımı

Propagandanın nicelendirilmesinin temel challengeı büyük ölçüde lojistik bir challenge: propaganda benzeri özelliklere sahip gerçek dünya materyallerini tanımlamak ve eğitim veri kümesine dahil etmek için insanları istihdam etmek çok pahalı ve gelecekteki, görülmemiş verilerde çalışacak yüksek düzeyli özellikleri çıkarmak ve kullanmak potansiyel olarak daha ucuz olabilir.

Araştırmacılar, daha ölçeklenebilir bir çözüm için, önce Medya Yanlılık Gerçek Kontrol sitesinden düşük gerçeklik doğruluğuna sahip haber kaynaklarından insan tarafından oluşturulan yanlış bilgilendirme makalelerini topladılar.

Çalışılan makalelerin %33’ünün dürüst olmayan propaganda tekniklerini kullandığını, bunların arasında duyguyu tetikleyen terimler, mantıksal hatalar ve otoriteye başvurmak olduğunu buldular. Makalelerin %55’inde ise yanlış bilgiler doğru bilgilerle karıştırılmıştı.

Otoriteye Başvurmanın Oluşturulması

Otoriteye başvurmak yaklaşımı iki kullanım durumuna sahiptir: yanlış ifadelerin alıntılanması ve tamamen uydurma ifadelerin alıntılanması. Araştırma, ikinci kullanım durumunu ele alıyor.

Yeni çalışmadan, otoriteye başvurmak ve yüklemeli dil için iki örnek daha.

Makine tarafından oluşturulan propaganda için yeni veri kümesini oluşturmak amacıyla, araştırmacılar, ön-eğitimli seq2seq mimarisi BART‘ı, daha sonra propaganda haline getirilebilecek önemli cümleleri tanımlamak için kullandılar. Bu görevle ilgili hiçbir kamu veri kümesi olmadığından, yazarlar cümle önemini tahmin etmek için 2019’da önerilen bir çıkarıcı özetleme modeli kullandılar.

Her haber kaynağından bir makale için, araştırmacılar bu ‘işaretli’ cümleleri, Wikidata Sorgu Hizmeti’nden ve makalelerde bahsedilen otoritelerden (yani kişiler ve/veya organizasyonlar) türetilen ‘otorite’lerden sahte argümanlarla değiştirdiler.

Yüklemeli Dilin Oluşturulması

Yüklemeli dil, genellikle sansasyonel bir şekilde abartılmış sıfatlar ve zarflar (yukarıda gösterilen örnekte olduğu gibi) içeren kelimeleri içerir ve bunlar, bir gerçeği iletmek bağlamında içlerinde örtük değer yargıları barındırır.

Yüklemeli dil hakkında veri türetmek için yazarlar, 2.547 yüklemeli dil örneği içeren 2019 çalışmasından bir veri kümesi kullandılar. 2019 verisindeki tüm örneklerin duyguyu tetikleyen sıfatlar veya zarflar içermediğinden, araştırmacılar SpaCy‘i kullanarak bağımlılık çözümleme ve PoS etiketleme gerçekleştirdiler ve yalnızca uygun örnekleri çerçeve için dahil etmek üzere sakladılar.

Filtreleme süreci, 1.017 geçerli yüklemeli dil örneğiyle sonuçlandı. Kaynak belgelerdeki önemli cümleleri maskelenmiş ve yüklemeli dil ile değiştirilmiş bir BART örneği daha kullanıldı.

PropaNews Veri Kümesi

Google Deep Mind ve Oxford Üniversitesi’nin 2015 CNN/DM veri kümesi üzerinde ara model eğitimi之后, araştırmacılar PropaNews veri kümesini oluşturdular ve ‘güvenilir’ kaynaklardan gelen önemli olmayan makaleleri, algoritmik propaganda içeren ‘değiştirilmiş’ sürümlerine dönüştürdüler.

Deney, 17 haber olayı ve toplam 4.535 hikaye üzerinden otomatik olarak zaman çizelgesi özetleri oluşturan 2013 Hanover çalışmasına dayanıyordu.

Oluşturulan yanlış bilgiler, 400 benzersiz çalışana Amazon Mechanical Turk’ta (AMT) sunuldu ve 2000 İnsan Zekası Görevi (HIT) kapsamında değerlendirildi. Sadece çalışanlar tarafından doğru olarak kabul edilen propaganda dolu makaleler, PropaNews’in nihai sürümüne dahil edildi. Anlaşmazlıkların tahkimi, Worker Agreement With Aggregate (WAWA) yöntemiyle yapıldı.

PropaNews’in nihai sürümü, 2.256 makale içeriyor ve sahte ve gerçek çıktılar arasında dengelenmiştir; %30’u otoriteye başvurmak kullanıyor ve %30’u yüklemeli dil kullanıyor. Geriye kalanlar, büyük ölçüde önceki veri kümelerinde bulunan yanlış bilgilerin türünü içeriyor.

Veri, 1.256:500:500 olarak eğitim, test ve doğrulama dağıtımlarına bölündü.

HumanNews Veri Kümesi

Eğitilen propaganda algılama rutinlerinin etkinliğini değerlendirmek için araştırmacılar, 2015-2020 arasında yayımlanmış ve Politifact tarafından çürütülmüş 200 insan tarafından yazılmış haber makalesini derledi.

Veri, güvensiz haber medya kaynaklarından çürütülmüş ek makalelerle zenginleştirildi ve toplam veri kümesi, bir bilgisayar bilimi yüksek lisans öğrencisi tarafından fact-check edildi.

Nihai veri kümesi, HumanNews olarak adlandırıldı ve Los Angeles Times dergisinden 100 makale içeriyor.

Testler

Algılama süreci, iki forma sahip önceki çerçevelerle karşılaştırıldı: PN-Silver, AMT anotatör doğrulamasını görmezden gelir ve PN-Gold, doğrulamayı bir kriter olarak içerir.

Rekabetçi çerçeveler, 2019 Grover-GEN, 2020 Fact-GEN ve FakeEvent içeriyordu; burada makaleler PN-Silver’dan daha eski yöntemlerle üretilen belgelerle değiştirildi.

Grover ve RoBERTa’nın varyantları, yeni PropaNews veri kümesiyle eğitildiğinde en etkili olduğunu kanıtladı ve araştırmacılar, ‘PROPANEWS üzerinde eğitilen dedektörler, diğer veri kümeleriyle eğitilenlere kıyasla insan tarafından yazılmış yanlış bilgilendirmeyi daha iyi bir şekilde tespit eder’ sonucuna vardılar.

Araştırmacılar ayrıca, yarı engelli PN-Silver veri kümesinin, diğer veri kümeleriyle eğitilen daha eski yöntemleri aştığını gözlemlediler.

Eskimiş mi?

Yazarlar, propaganda merkezli sahte haberlerin otomatik oluşturulması ve tanımlamasına ilişkin araştırmaların eksikliğini yeniden vurguluyor ve kritik olaylardan (örneğin COVID veya doğu Avrupa’daki güncel durum) önce yayınlanan veri kümeleriyle eğitilen modellerin optimal performans göstermesini beklenmemesi gerektiğini uyarıyor:

‘Yaklaşık %48’i insan tarafından yazılmış yanlış bilgilendirmenin yanlış sınıflandırılması, yeni haber kaynaklarından dinamik bilgi edinme yeteneğinin eksikliğinden kaynaklanmaktadır. Örneğin, COVID ile ilgili makaleler genellikle 2020’den sonra yayımlanırken, ROBERTA 2019’dan önce yayımlanan haber makaleleriyle ön-eğitimliydi. ROBERTA’nın, dedektörün haber makalelerinden dinamik bilgi edinme yeteneği olmadan bu konulardaki yanlış bilgilendirmeyi tespit etmesi çok zor.’

Yazarlar ayrıca, ROBERTA’nın 2019’dan önce yayımlanan haber makaleleri için %69,0’lık bir doğruluk oranı sağlarken, bu tarihten sonra yayımlanan makaleler için %51,9’a düşen bir doğruluk oranı sağladığını belirtiyorlar.

Paltersizlik ve Bağlam

Çalışma, bu konuya doğrudan değinmese de, bu tür bir anlamsal etkiye derinlemesine dalmanın, dilin daha ince silahlaştırılmasını ele alabileceğini mümkün kılar, örneğin paltersizlik – gerçeğe aykırı bir sonucu elde etmek için gerçeğe aykırı olmayan ifadelerin kendi çıkarına ve seçilen kanıtların ruhuna ve niyetine aykırı olarak kullanılması.

Doğru gerçeklerin seçici ve kendi çıkarına göre yeniden sıralanması veya yeniden bağlamsallaştırılması, bu gerçeklerin sunulduğu daha açık ve lineer bir şekilde sunulduklarında oluşturabileceğinden farklı bir tepki oluşturma girişimiyle eşdeğer hale gelir.

* Yazarların satır içi alıntılarını doğrudan hyperlinklere dönüştürdüm.

İlk olarak 11 Mart 2022’de yayımlanmıştır.