Otomatik Bilim Yazımına Doğru

Bu sabah, genellikle yaptığım gibi, Arxiv’in Bilgisayar Bilimi bölümlerini tararken, Brezilya’daki Federal Üniversitesi’nden yeni bir makale ile karşılaştım. Bu makale, bilimsel makalelerin özetlenmesini ve temel verilerin çıkarılmasını otomatikleştirmek için yeni bir Doğal Dil İşleme çerçevesi sunuyor.

Bu, daha veya menos, her gün yaptığım şey, bu nedenle makale, bu yılın başlarında bir Reddit yazarları thread’inde yapılan bir yorumu anımsattı – bilim yazısının, makine öğrenimi tarafından en erken devralınacak gazetecilik işlerinden biri olacağına dair bir kehanet.

Açık olmak istiyorum – bilim yazarı otomatik olarak geleceğine kesinlikle inanıyorum ve bu makalede açıkladığım tüm zorlukların ya şimdi çözülebileceğini ya da sonunda çözülebileceğini düşünüyorum. Mümkün olduğunda örnekler veriyorum. Ayrıca, mevcut veya yakın gelecekteki bilim yazma AI’lerinin yazabileceklerini yoksa yoksa tartışmıyorum; bu sektördeki NLP’de ilgi düzeyine dayanarak, bu zorluğun sonunda çözüleceğini varsayıyorum.

Ancak, bir bilim yazarı AI’nin, yayıncıların (oldukça çeşitli) istenen sonuçlarına uygun olarak ilgili bilim hikayelerini tanıyıp tanımadığını soruyorum.

Bunun yakın zamanda olacağını düşünmüyorum; her hafta yaklaşık 2000 yeni bilimsel makaleyi tararken, akademik gönderilerin algoritmik olarak nasıl kırılabileceğini veya bilimsel gazetecilik için nasıl çıkarılabileceğini konusunda oldukça daha karamsar bir görüşe sahibim. Her zamanki gibi, insanlar işi zorlaştırıyor.

Otomatik Bilim Yazarı için Gereksinimler

Bilimsel araştırma üzerine otomatik bilim raporlamasının zorluğunu düşünelim. Adil olmak için, bunu çoğunlukla Cornell Üniversitesi’nden popüler ve ücretsiz Arxiv domaine‘sine sınırlayacağız. Bu, en azından veri çıkarma pipeline’ına takılabilecek bazı sistematik ve şablonlu özelliklere sahiptir.

Yeni Brezilya makalesi gibi, görevin, yeni bilimsel makalelerin başlıklarını, özetlerini, meta verilerini ve (gerekliyse) vücut içeriğini sabitler, güvenilir parametreler, token’lar ve eyleme geçirilebilir, azaltılabilir alan bilgisi için aramak olduğunu varsayalım.

Bu, aslında, yeni çerçevelerin deprem raporlaması, spor yazısı, finansal gazetecilik ve sağlık kapsamı alanlarında yer kazanmasını sağlayan ilkeye dayanmaktadır. Bu, AI destekli bilim muhabirine makul bir başlangıç noktasıdır.

Yeni Brezilya teklifinin iş akışı. PDF bilim makalesi UTF-8 düz metne dönüştürülür (ancak bu, anlamsal anlam taşıyabilecek italik vurguları kaldıracaktır) ve makale bölümleri etiketlenir ve çıkarılır, daha sonra metin süzme için geçirilir. Parçalanmış metin, veri çerçevelerine bölünür ve veri çerçeveleri birleştirilir, daha sonra token tanımlaması ve iki belge-token matrisi oluşturulması yapılır. Kaynak: https://arxiv.org/ftp/arxiv/papers/2107/2107.14638.pdf

Şablonu Karmaşıklaştırmak

Uygunluk ve düzenlemenin cesaret verici bir katmanı, Arxiv’in göndermeler için oldukça iyi uygulanmış bir şablonu vardır ve gönderen yazarlar için ayrıntılı rehberlik sağlar. Bu nedenle, makaleler genellikle tanımlanan protokolün ilgili kısımlarına uyar.

Bu nedenle, putatif otomatik bilim yazarı için AI ön işleme sistemi, bu tür bölümleri alt alanlar olarak tedavi edebilir: özet, giriş, ilgili/önceki çalışma, yöntem/data, sonuçlar/bulgular, azaltma çalışmaları, tartışma, sonuç.

Ancak, uygulamada, bu bölümlerin bazıları eksik olabilir, yeniden adlandırılabilir veya başka bir bölüme ait içerik içerebilir. Ayrıca, yazarlar şablonu uyumlu olmayan başlıklar ve alt başlıklar içerebilir. Bu nedenle, NLP/NLU, bağlamdan ilgili bölümle ilgili içeriği tanımlamakla görevlendirilir.

Sorunlara Götürmek

Bir başlık hiyerarşisi, NLP sistemleri için içeriğin bloklarını ilk olarak kategorilere ayırmak için kolay bir yoldur. Arxiv gönderilerinin çoğu Microsoft Word’den ihracatı yapılmıştır (Arxiv PDF’lerinde ‘Microsoft Word’ başlık bilgilerini bırakmasıyla kanıtlanmıştır – aşağıdaki resme bakınız). Eğer Word’de uygun bölüm başlıkları kullanılırsa, PDF’ye aktarıldığında bunlar hiyerarşik başlıklar olarak yeniden oluşturulur ve makine raporlama süreçleri için faydalıdır.

Ancak, bu, yazarların gerçekten Word’de veya diğer belge oluşturma çerçevelerinde (örneğin TeX ve türevleri) bu özellikleri kullandıklarını varsayar. Arxiv gönderilerinin çoğunda, herhangi bir yorumlanabilir yapısal meta verisi bulunmaz, okuyucu (yani bir web tarayıcısı veya bir PDF okuyucu) tarafından belgenin kendisinin tam başlığı (uzantı dahil) olarak bildirilir.

Bu durumda, makalenin anlamsal yorumlanabilirliği sınırlıdır ve bir AI tabanlı bilim yazarı sistemi, Arxiv domaine ait ilişkili meta verilerine programlı olarak yeniden bağlanmalıdır. Arxiv kuralları, temel meta verilerin de büyük gri yazı ile 1. sayfada yan yana girilmesi gerektiğini belirtir (aşağıdaki resme bakınız). Ne yazık ki – en azından yayın tarihi veya sürüm numarasını bulabileceğiniz tek güvenilir yer burası – genellikle hariç tutulur.

Çoğu yazar ya hiç stil kullanmaz ya da sadece en yüksek başlık (H1) stilini kullanır, bu da NLU’nun ya bağlamdan (muhtemelen çok zor değil) ya da belgenin başlığını oluşturan referans numarasını (yani https://arxiv.org/pdf/2110.00168.pdf) parse ederek ve net tabanlı (yerel değil) meta verileri kullanarak çıkarılması gereken başlıkları çıkarmakla görevlendirilir.

Sonuncusu, en azından hangi bilgisayar bilimi bölümüne ait olduğunu ve tarih ve sürüm bilgilerini sağlayacaktır.

Paragraf Dönüşlerinde Yapışkan Metin

PDF ve postscript en yaygın kullanılan Arxiv formatlarından olduğu için, NLP sistemi, PDF formatının talihsiz varsayılan optimizasyon yöntemleri altında birleştirilen son-satır kelimelerinden baş-satır kelimelerini ayırmak için bir rutine ihtiyaç duyacaktır.

Kelime birleştirmeyi (ve çift tireyi kaldırmayı) gerçekleştirmek, Perl ve diğer basit yinelemeli rutinlerde gerçekleştirilebilir, ancak Python tabanlı bir yaklaşım daha az zaman alıcı ve bir ML çerçevesine daha uygun olabilir. PDF formatının mucidi Adobe, metni ‘akışkanlaştırabilen’ bir AI destekli dönüştürme sistemi olan Liquid Mode geliştirdi, ancak mobil alanın ötesinde dağıtımı yavaş ilerledi.

Kötü İngilizce

İngilizce, bilimsel makalelerin gönderilmesi için küresel standart olmaya devam etmektedir, bu da tartışmalıdır. Bu nedenle, ilginç ve haber değeri yüksek makaleler bazen kötü İngilizce içerebilir, non-İngilizce araştırmacılardan. Bir makine sistemi, iyi İngilizce kullanımını bir değer ölçütü olarak dahil ederse, iyi hikayeler sık sık kaybolacak ve pedantik, düşük değerli çıktılar, çok az şey söyleyerek daha yüksek değerlendirilecektir.

Esnek olmayan NLP sistemleri, özellikle grafik ve çizelgelerin daha uniform olarak uyumlu olduğu kimya ve teorik fizik gibi en katı ve parametreli bilimlerde, veri çıkarmada ek bir engel yaşayacaktır.

Seçim: Hedef Kitle Gereksinimlerini Belirleme

Hedef kitlemizi ve amaçlarımızı düşünmeliyiz, çünkü bunlar, bilim yazarı AI’nin binlerce makaleyi haftada süzerek geçebilmesi için çok önemlidir. Potansiyel haber hikayelerinin başarısını öngörme, zaten etkin bir alan olan makine öğreniminde yer almaktadır.

Örneğin, bir web sitesinde bilim yazımı sadece daha geniş bir gazetecilik teklifinin bir parçasıysa (örneğin, Daily Mail bilim bölümü gibi) ve yüksek hacimli ‘bilim trafiği’ tek hedefse, bir AI, en yüksek geliri getiren konuları belirlemek ve seçimini buna göre optimize etmek zorunda kalacaktır. Bu süreç, robotlar, insansız hava araçları, derin sahtecilik, gizlilik ve güvenlik açıkları gibi konuları önceliklendirecektir.

Mevcut öneri sistemlerinin mevcut durumuna uygun olarak, bu yüksek düzeyde hasat, ‘filtre balonu’ sorunlarına yol açacaktır, çünkü algoritma, bu konularda ‘arzulanan’ yüksek sıklıkta anahtar kelimeleri ve ifadeleri içeren bir dizi daha şüpheli bilim makalesine daha fazla dikkat çekecektir (çünkü onlarda para vardır, hem trafik için haber ajansları hem de akademik bölümler için fon), daha az ziyaret edilen Arxiv’in birçok köşesinde bulunan bazı daha yazılabilir ‘Paskalya yumurtaları’nı görmezden gelecektir.

Tek ve Bitti!

İyi bilim haber malzemesi, beklenmedik yerlerden ve daha önce verimsiz olan sektörlerden ve konulardan gelebilir. AI bilim yazarımızı daha da karıştırmak için, bir ‘vurucu’ hitin (örneğin, bir Discord sunucusu, bir akademik araştırma bölümü veya bir teknoloji şirketi) kaynağı, bir daha asla eyleme geçirilebilir materyal üretmeyecektir, ancak düşük değerli bir bilgi akışı üretecektir.

Bir yinelemeli makine öğrenimi mimarisinin bundan ne çıkardığını düşünebiliriz? Bir zamanlar tanımladığı ve dışladığı binlerce ‘aykırı’ haber kaynağının şimdi önceliklendirilmesi gerekiyor mu? Konu kendisinin, geldiği haber kaynağından daha değerli olduğu için bir aktivasyon katmanına değer mi?

Daha kullanışlı bir şekilde, sistem, ‘haber değeri’ olarak tanımlanan soyut bir niteliğin, kökenine dayanarak doğru bir şekilde öngörülemeyeceğini ve günlük olarak değişebileceğini öğrenebilir.

Hipotez Başarısızlığını Tanıma

Kota baskısı nedeniyle, akademik bölümler bazen, merkezi hipotezinde tamamen (veya neredeyse tamamen) başarısız olan çalışmaları yayınlarlar, ancak projenin yöntemleri ve bulguları kendi başlarına ilginç olabilir.

Böyle bir başarısızlık genellikle özetlerde belirtilmez; en kötü durumlarda, çürütülmüş hipotezler, yalnızca sonuç grafiklerini okuyarak anlaşılabilir. Bu, yalnızca makale tarafından sağlanan sınırlı bilgilere dayanarak metodolojinin ayrıntılı bir anlayışını çıkarmak anlamına gelir, ancak aynı zamanda bağlamda anlamlı bir şekilde yorumlayabilen grafik ve tablo yorumlama algoritmalarına ihtiyaç duyar.

Bir NLP tabanlı sistem, özetlere güveniyor ancak grafik ve tabloları yorumlayamıyorsa, ilk okumada yeni bir makaleye karşı çok heyecanlanabilir. Ne yazık ki, akademik makalelerde ‘gizli başarısızlık’ önceki örnekleri, bu ‘akademik suç’un esas olarak ihmal veya vurgulamama suçu olması ve bu nedenle zorlu olması nedeniyle, genel kalıplara dönüştürmek için zor olacaktır.

AI yazar, sonuçların ne anlama geldiğini anlamak için depo verilerini (örneğin, GitHub’dan) bulmak ve mevcut ek malzemeleri parse etmek zorunda kalabilir.

‘Beyaz Kutu’ Senaryoları

AI merkezli güvenlik makalelerinde yapılan bazı iddialar, kaynak kodu veya kaynak altyapısına olağanüstü ve çok muhtemel olmayan düzeyde erişim gerektirir – ‘beyaz kutu’ saldırıları. Bu, AI sistemlerinin mimarilerindeki bilinmeyen tuhaflıkları çıkarsamak için faydalıdır, ancak gerçekçi bir şekilde uygulanabilir bir saldırı yüzeyi almost nunca temsil eder. Bu nedenle, AI bilim yazarı, güvenlik iddialarını olasılıklara göre etkili bir şekilde dağıtmak için iddiaları ‘beyaz kutu’ mention’larını anlamlı bir bağlama ayırabilen ve ‘beyaz kutu’ metodolojisini, söz konusu cümle nunca görünmeyen durumlarda çıkarabilen bir NLU rutinine ihtiyaç duyacaktır.

Diğer ‘Tuzaklar’

Hipotez başarısızlığı ve uygulanamazlığın başka yerlerde de gömülü olabileceği diğer yerler, azaltma çalışmalarıdır. Bu, yeni bir formül veya yöntemin temel unsurlarını sistematik olarak çıkarmak ve sonuçların olumsuz etkilenip etkilenmediğini veya ‘core’ keşfin dayanıklı olup olmadığını görmek için yapılır. Uygulamada, azaltma çalışmaları içeren makaleler genellikle bulgularından emin olur, ancak dikkatli bir okuma, bazen bir ‘bluff’ ortaya çıkarabilir. AI araştırmalarında, bu ‘bluff’ genellikle overfitting</i} anlamına gelir, burada bir makine öğrenimi sistemi orijinal araştırma verilerine mükemmel bir şekilde performans gösterir, ancak yeni verilere genelleyemez veya diğer tekrarlanamayan kısıtlamalar altında çalışır.

Diğer bir faydalı bölüm başlığı, potansiyel sistematik çıkarma için Sınırlamalardır. Bu, herhangi bir bilim yazarının (AI veya insan) atlayacağı ilk bölümdür, çünkü makalenin tüm hipotezini geçersiz kılan bilgiler içerebilir ve buraya sıçramak, saatlerce çalışmayı kurtarabilir (en azından, insanlar için).

Kötü bir senaryoda, bir makale gerçekten bir Sınırlamalar bölümüne sahiptir, ancak ‘uzlaştırıcı’ gerçekler başka yerde çalışmada yer alır ve burada değil (veya burada küçümsenir).

Sonraki bölüm, Önceki Çalışmadır. Bu, Arxiv şablonunun başlangıcında gerçekleşir ve genellikle, mevcut makalenin, önceki 12-18 aydan daha yenilikçi bir projenin sadece küçük bir ilerlemesi olduğunu ortaya koyar. Bu aşamada, AI yazarı, önceki çalışmanın ivme kazanıp kazanmadığını belirleme yeteneğine sahip olmalıdır; hala bir hikaye var mı? Daha önceki çalışma, yayınlandığı sırada kamuoyunun dikkatini hak etmedi mi? Yoksa yeni makale, iyi kapsanmış önceki bir projeye sadece bir formalite midir?

Yeniden Yazma ve ‘Tazelik’ Değerlendirmesi

V.2 bir makale, genellikle yazarların ilk sürümün yayınlandığı sırada alamadıkları ilgiyi talep etmeleri anlamına gelir. Sık sık, bir makale gerçekten ikinci bir şansa layıktır, çünkü medyanın dikkati o sırada başka yere yönlendirilmiş olabilir veya çalışma, kalabalık ‘sempozyum’ ve konferans dönemlerinde (örneğin sonbahar ve geç kış) gömülmüş olabilir.

Arxiv’de bir makaleyi yeniden çalışmayı ayırt etmenin faydalı bir özelliği, [GÜNCELLENDİ] etiketinin makale başlıklarına eklenmesidir. AI yazarımızın dahili ‘öneri sistemi’, [GÜNCELLENDİ] == ‘Oynandı’ olup olmadığını dikkatlice değerlendirmelidir, özellikle de bunu, bir insan bilim muhabirinden daha hızlı değerlendirebileceği için.

Arxiv ayrıca, bir makalenin başka bir makale (sık sık aynı yazarlar tarafından) ile metin örtüşmesi olup olmadığını gösteren bir [ÇAKIŞMA] etiketi sağlar ve AI yazarı sistemi, [GÜNCELLENDİ] etiketi yoksa, bu bilgiyi ‘tekrar/tekrar’ durumuna dönüştürebilir.

Dağılımı Belirleme

Bir gazeteci gibi, projeksiyonlu AI bilim yazarı, ek değer katabilmek için haber edilmeyen veya yeterince bildirilmeyen haberleri aramaktadır. Çoğu büyük platform, içeriklerini kapsamlı tanıtım makineleriyle desteklediğinden, TechCrunch, The Verge ve EurekaAlert gibi büyük platformlarda ilk olarak yer alan bilim buluşlarını yeniden raporlamak anlamsızdır.

Bu nedenle, AI yazarımız, hikayenin takip etmeye değer olup olmadığını belirlemek zorundadır.

En kolay yol, teoride, recent gelen bağlantıları, temel araştırma sayfalarına (özet, PDF, akademik bölüm haberleri bölümü, vb.) tanımlamaktır. Genel olarak, gelen bağlantı bilgilerini sağlayabilen çerçeveler, açık kaynaklı veya düşük maliyetli değildir, ancak büyük yayıncılar, bir haber değerlendirmesi çerçevesinin bir parçası olarak SaaS masrafını karşılayabilir.

Böyle bir erişime sahip olmakla birlikte, AI yazarımız, birçok bilim raporlama ajansının, yazdıkları makaleleri atıfta bulunmadığını karşılaştığında bir sorunla karşılaşacaktır, hatta bu bilgiler ücretsiz olarak mevcut olduğunda bile.

Bu ajanslar, ikincil raporlamanın onlara, kaynağa değil, bağlantı kurmasını istedikleri için, aslında makalelere erişim elde etmiş olsalar bile, bu tür bir önyargıya sahip olabilirler. AI yazarımız, bu nedenle, bir makaledeki eyleme geçirilebilir anahtar kelimeleri çıkarmak ve zaman sınırlı aramalar yapmak zorunda kalacaktır, böylece hikayenin nerede ve nasıl already broke olduğunu belirleyerek, herhangi bir önceki difüzyonun göz ardı edilip edilemeyeceğini veya hikayenin bitip bitmediğini değerlendirecektir.

Bazen makaleler, YouTube’da ek video materyali sağlar ve ‘görüntüleme sayısı’, difüzyon için bir ölçek olarak hizmet edebilir. Ayrıca, AI, makaleden resimleri çıkarmak ve sistematik resim tabanlı aramalar yapmak zorunda kalabilir, böylece resimlerin nerede ve ne zaman yeniden yayınlandığını belirleyebilir.

Paskalya Yumurtaları

Bazen bir ‘kuru’ makale, önemli ve haber değeri yüksek sonuçlar ortaya koyar, ancak yazarlar tarafından küçümsenir veya görmezden gelinir. Bu, makaleyi tamamen okuyarak ve matematiği yaparak ortaya çıkar.

Nadiren, yazarlar, kamuoyundan çok akademideki alıcılarla ilgileniyor olabilir, çünkü temel kavramların, kurumlarının PR departmanlarının sıklıkla abartılı çabalarına rağmen, genel tüketim için yeterince basitleştirilemeyeceğini hissedebilirler.

Ancak, yazarlar da çalışmanın sonuçlarını görmezden gelebilir veya tanımazlar, resmi olarak ‘bilimsel uzaklık’ altında çalışırlar. Bazen bu ‘Paskalya yumurtaları’, olumlu göstergeler değildir ve karmaşık tabloların içinde gizlenebilir.

Arxiv Ötesi

Düşünülmesi gereken bir diğer nokta, bilgisayar bilimi makalelerini Arxiv gibi bir domaine parametreleştirmenin, analiz için tutarlı ve şablonlu ‘hooks’ sağlayan bir alan olması nedeniyle daha kolay olacağıdır. Ayrıca, çoğu işlev için oturum açma gerektirmez.

Tüm bilim yayını erişimi açık kaynak değildir ve AI bilim yazarının, Sci-Hub gibi siteleri kullanarak paywall’leri atlatıp atlatamayacağı veya arşiv sitelerini kullanarak paywall’leri aşıp aşamayacağı belirsizdir. Ayrıca, AI yazarının, birçokının sistematik araştırmaya karşı yapısal olarak dirençli olduğu diğer çeşitli bilim yayınlama platformları için benzer bir alan madencilik mimarisi oluşturup oluşturamayacağı da belirsizdir.

Ayrıca, Arxiv’in hız sınırlamaları olduğu düşünülmelidir, bu da AI yazarının haber değerlendirme rutinlerini daha ‘insan’ hızına düşürebilir.

‘Sosyal’ AI Bilim Yazarı

Arxiv ve benzeri ‘açık’ bilim yayınlama platformlarının açık ve erişilebilir alanının ötesinde, bir makaleye erişim elde etmek bile bir zorluk olabilir. Bu, bir yazarı bulmak ve çalışmayı okumak için onlara ulaşmak ve alıntılar istemek (zaman baskısı yoksa) anlamına gelebilir.

Bu, bilim alanlarını ve hesaplar oluşturmayı (bir makalenin yazarının e-posta adresini görmek için, hatta Arxiv’de bile, oturum açmanız gerekir) içerebilir. Çoğu zaman, LinkedIn en hızlı şekilde yanıt alınabilecek yerdir, ancak AI sistemleri, üyelerle iletişim kurmaktan men edilmiştir.

AI bilim yazarından bir Wired gibi bir yayın adına bir bilim yazarı AI’sinin bir yazarla iletişime geçmesi durumunda, makaleyi yayınlamak isteyen bir yazarın bunu düşmanca karşılamayacağı makul bir varsayımdır.

Çoğu durumda, yazarın, bu yarı otomatik değişimlerin sonunda bir insanı döndürmesini umduğu varsayılabilir, ancak AI tarafından kolaylaştırılan VOIP görüşmeleri, makalenin viability’sinin belirli bir eşiğin altında olduğu ve yayının insan katılımını çekmek için yeterli itibara sahip olduğu durumlarda da mümkündür.

Haberleri AI ile Tanıma

Burada açıklanan ilkeler ve zorluklar, gazeteciliğin diğer sektörleri için otomasyon potansiyeline de uygulanır ve aslında hikayeyi tanımlamak, haber oyununun birçok gizli zorluğunu ve büyük bir platform yelpazesini, insan veya başka türlü, sorgulamaya ve veri çıkarmaya karşı already dayanıklı olan platformları gezerek, ana zorluktur.

Bilim raporlamasında, yeni makalelerin yazarları, diğer herhangi bir haber hikayesinin potansiyel birincil kaynağından daha derin bir self-serving gündeme sahiptir ve çıktılarını deşifre etmek, yazarların sociolojik, psikolojik ve ekonomik motivasyonları hakkında önceden bilgiyi içerecek bir AI sistemine ihtiyaç duyacaktır. Bu nedenle, bir AI bilim yazarı, haberin nerede olduğunu belirlemek için salt indirgeyici NLP rutinlerine ihtiyaç duyacaktır, trừ ki haber alanı, hisse senetleri, salgın verileri, spor sonuçları, sismik aktivite ve diğer istatistiksel haber kaynakları gibi özellikle stratifye edilmiş olsun.