NLP Yaklaşımı ile Bilim Gazeteciliğinde Abartı Tespiti

Danimarka’dan araştırmacılar, gazetecilerin yeni bilimsel araştırma makalelerini özetlerken ve raporlarken sonuçların etkilerini abartmalarının etkilerini azaltmaya yönelik bir ‘abartı tespiti’ sistemi geliştirdiler. Çalışma, COVID-19 ile ilgili yeni yayınlanan araştırmaların raporlama kanallarında nasıl çarpıtıldığına dair kapsamla teşvik edildi, ancak yazarlar bunun genel bilim raporlama sektörünün geniş bir bölümü için geçerli olduğunu kabul ediyor.

Makale, Kopenhag Üniversitesi’nden geliyor ve sorunların, yayınlarda orijinal araştırmaya kaynak bağlantıları içermemesi eğiliminden kaynaklandığını belirtiyor – bu, orijinal makaleyi değiştirmeye çalışan ve yeniden raporlanan özetleri ‘kaynak bilgi’ olarak sunmaya çalışan giderek daha yaygın bir gazetecilik uygulaması – makale kamuoyuna açık olsa bile.

Makaleden, bilimsel makalelerin tipik bir abartımanifestasyonu. Kaynak: https://arxiv.org/pdf/2108.13493.pdf

Sorun, yeni makalelere dışsal gazetecilik tepkileriyle sınırlı değil, ayrıca üniversite ve araştırma kurumlarının iç PR çabaları, haber ajanslarının dikkatini çekmeye yönelik tanıtım materyalleri ve gazetecilerin ‘ısırmaya’ yol açan faydalı referans bağlantıları gibi diğer türdeki özetlere de uzanabilir.

Çalışma, Natural Language Processing (NLP) kullanarak, basın açıklamaları ve özetlerle oluşan yeni bir veri kümesini kullanıyor ve araştırmacılar, bilimsel abartı tespiti için ‘[yeni, daha gerçekçi bir görev formülasyonu]’ geliştirdiklerini iddia ediyor. Yazarlar, çalışmanın kodunu ve verilerini GitHub‘da yakın zamanda yayınlamayı vaat ediyor.

Sanasyonizmi Ele Alma

Bir dizi çalışma, son otuz yıl içinde bilimsel sansasyonizmin sorununa dikkat çekti ve buna yol açan yanlış bilgilendirmeye dikkat çekti. Geçmişteki Amerikalı bilim sosyoloğu Dorothy Nelkin, 1987 kitabında Bilimi Satmak: Basın Bilim ve Teknolojiyi Nasıl Raporluyor bu konuya dikkat çekti; 2006 Embo raporu Başlıklarda Kötü Bilim, daha fazla bilimsel eğitimli gazetecilere ihtiyaç olduğunu vurguladı, tıpkı internetin geleneksel medyaya kritik bütçe baskısı getirdiği gibi.

Ek olarak, 2014 yılında British Medical Journal, bu sorunu bir rapor ile vurguladı; ve 2019’dan bir Wellcome Open Research çalışması, bilimsel makalelerin abartmasının hiçbir faydası olmadığını (erişim veya trafik açısından) bu uygulamayı gerçekleştiren haber ajansları ve diğer raporlama sistemleri için belirledi.

Ancak salgın, bu abartının olumsuz etkilerini kritik bir odak noktasına getirdi, Google Arama motoru sonuç sayfası ve Cornell Üniversitesi’nin Arxiv bilimsel makale endeksi gibi çeşitli bilgi platformları artık COVID ile ilgili görünen içeriğe otomatik olarak açıklamalar ekliyor.

COVID ile ilgili aramalar ve içerik için değiştirilen arayüzler, Google arama sonuçları sayfasından ve Cornell Üniversitesi’nin etkili Arxiv bilimsel makale deposundan.

Önceki projeler, bilimsel makaleler için abartı tespiti sistemleri oluşturmak için NLP’yi kullanmaya çalıştı, bunlar arasında 2019 işbirliği ve Danimarka’dan başka bir çalışma yer alıyor.

Yeni araştırmanın yazarları, bu önceki çabaların PubMed ve EurekAlert’ten abstract’ler ve özetlerden oluşan veri kümelerini geliştirdiğini, bunları ‘güç’ için etiketlediğini ve ardından makine öğrenimi modellerini eğitim verdiğini ve ‘iddia gücü’ için görünmeyen verilerde tahminlerde bulunduğunu belirtiyorlar.

MT-PET

Yeni araştırma, bir basın açıklaması ve özetin birleşik bir veri varlığı olarak birleştirilmesini sağlar ve ortaya çıkan veri kümesini MT-PET’de kullanır, bu, 2020’de sunulan Pattern Exploiting Training araştırmasının çok görevli bir versiyonudur. Cloze Sorularını Az Şeyli Metin Sınıflandırma ve Doğal Dil Çıkarımı için Kullanma adlı birleşik bir araştırma çalışması olarak iki Alman araştırma kurumundan geldi.

Görev için uygun hiçbir mevcut veri kümesi bulunmadı ve bu nedenle ekip, uzmanlar tarafından abartma eğilimlerine göre değerlendirilen basın açıklamaları ve ilgili abstract’lerden oluşan cümlelerin yeni bir veri kümesini oluşturdu.

Araştırmacılar, few-shot metin sınıflandırma çerçevesi PETAL‘i, desen-sözelleyici çiftlerini otomatik olarak oluşturmak için bir boru hattın bir parçası olarak kullandı, daha sonra iki özellik için yaklaşık eşit çiftler bulunana kadar veri aracılığıyla yineledi: abartı tespiti ve iddia gücü.

‘Altın’ test verileri, önceki araştırma projelerinden yeniden kullanıldı, 823 basın açıklaması ve özet çiftlerinden oluşuyordu. Araştırmacılar, 2014 BMJ verilerini kullanma olasılığını reddetti, çünkü bunlar yeniden yazılmıştı.

Bu işlem, abartı ve iddia gücü için etiketlenmiş 663 abstract/çıkış çiftinden oluşan bir veri kümesini elde etti. Araştırmacılar, 100’ünü few-shot öğrenme eğitim verisi olarak rastgele örnekledi, 553 örneği test için ayırdı. Ek olarak, bir küçük eğitim kümesi oluşturuldu, bu küme 1.138 cümleden oluşuyordu ve bu cümleler, özetin veya basın açıklamasının ana sonucunu temsil edip etmedikleri açısından sınıflandırıldı. Bunlar, etiketsiz çiftlerde ‘sonuç cümleleri’ni tanımlamak için kullanıldı.

Test

Araştırmacılar, yaklaşımı üç yapılandırmada test etti: yalnızca etiketli verilerle tam olarak denetimli bir ortam; tek görevli bir PET senaryosu; ve yeni MT-PET, bu, ikincil bir görev ipliğini yardımcı bir görev olarak ekler (çünkü projenin amacı, çift veri yapılarından oluşan bir veri kümesinden iki ayrı özelliği incelemektir).

Araştırmacılar, MT-PET’nin test ortamları genelinde temel PET sonuçlarını iyileştirdiğini ve iddia gücünün tanımlamanın abartı tespiti için yumuşak etiketli eğitim verisi üretmeye yardımcı olduğunu buldu. Ancak makale, özellikle iddia gücü ile ilgili belirli yapılandırmalar arasında, profesyoneller tarafından etiketlenmiş verilerin varlığının gelişmiş sonuçlarda bir faktör olabileceğini belirtiyor (daha önceki araştırmayla karşılaştırıldığında). Bu, görevin veri vurgusuna bağlı olarak pipeline’nin ne ölçüde otomatikleştirilebileceği konusunda etkileri olabilir.

Bununla birlikte, araştırmacılar, MT-PET’nin ‘doğrudan neden-sonuç iddialarını daha zayıf iddialardan ayırt etme ve kaynak ve hedef belgelerden gelen ifadelerin bireysel iddia gücünü sınıflandırma ve karşılaştırmanın en iyi yaklaşımı‘ olduğunu belirtiyorlar.

Sonuç olarak, çalışma, MT-PET’nin yalnızca sağlık sektörünün dışında daha geniş bir bilimsel makale yelpazesine uygulanabileceğini, aynı zamanda gazetecilerin bilimsel makalelerin daha iyi bir genel görünümünü üretmesine yardımcı olacak yeni araçların temelini oluşturabileceğini ve araştırma topluluğunun karmaşık fikirleri açıklamak için daha net bir dil kullanmasına yardımcı olabileceğini öne sürüyor (bu, belki de naif bir şekilde, gazetecilerin iddia gücünü cehalet nedeniyle abarttıklarını varsayar). Ayrıca, makale, şunları gözlemliyor:

‘[bu] öngörülen performans sonuçlarının basın açıklamaları bilim gazetecileri tarafından yazıldığı için – bilim makalelerini daha güçlü şekilde basitleştiren basın açıklamaları için daha kötü sonuçlar bekleyebilirsiniz.’