‘Anket Kağıdı DDos Saldırısı’ Bilimsel Araştırma Araştırmasını Aşersiz Kılıyor

ChatGPT gibi üretken AI modelleri, akademik yayıncılık platformlarını AI tarafından oluşturulan anket kağıtlarıyla sel gibi dolduruyor ve bu durum sinyal-gürültü oranını kritik bir seviyeye getiriyor. Yeni bir çalışma, bu selin araştırmacıları bunalttığını, alıntıları bozduğunu ve bilimsel kayıtlara güveni erozyona uğrattığını, AI destekli kağıtların selini bilim itselfe bir ‘DDoS saldırısı’ olarak nitelendirdi.

(Kısmen) görüş  Geçen hafta, yedi yıldır AI ile ilgili bilimsel literatür akışını takip etmekte olduğum için, ilk kez, en azından zirve zamanlarda, yeni yayınları takip etmek veya bazılarını hakkında yazmak arasında seçim yapmak zorunda kaldım.

Birkaç ilgili kategori (Bilgisayarlı Görme, Makine Öğrenimi, Dil Modelleri ve birkaç diğer az abone olan bölüm) için girişlerin toplam sayısı, sadece bir gün için, önemli ölçüde binin üzerindeydi.

Böyle bir hacimde, tüm yeni başlıkları gözden geçirmek ve sadece bazılarının özeti ile ilgilenmek, verimsiz bir gün olurdu.

Bu, 7 Ekim Salı’sı idi. Karşılaştırıldığında, Makine Öğrenimi kategorisi, bu Salı’da (14 Ekim) önceki haftanın Salı’sına (7 Ekim) göre biraz daha az yoğundu; sadece 354 girişi vardı:

Makine Öğrenimi kategorisi için bir günde 354 girişi. Kaynak: https://arxiv.org/

Bunları gerçekleştirmek için, Arxiv’i her gün, birkaç yıldır takip ediyor olmanız gerekir.

İtiraf ediyorum, Salı, Arxiv’in ‘yoğun saatleri’ için bir gündür, belki de etkili insanların ulaşmak istediği uzun hafta sonralarından sonra gelen ilk çalışma günü olması nedeniyle; ve Makine Öğrenimi kategorisi, diğer kategorilere göre daha az benzersiz kağıtlara (diğer kanallarda aynı anda yayınlanmayan kağıtlara) sahip olan bir ‘toplama’ bölümüdür.

Bununla birlikte, makale girişlerindeki artış, already akademide ve medyada noted bir fenomendir.

Belki de bu artışın en şaşırtıcı yönü, diğer tüm komşu kategorilerin son üç yıl içinde sıklıklarında önemli bir değişiklik olmaması, Bilgisayar Bilimi kategorisinin ise ciddi bir yükseliş eğiliminde olmasıdır:

Bilgisayar Bilimi (CS) makalelerinin son üç yıldaki artışı. Kaynak: https://info.arxiv.org/about/reports/submission_category_by_year.html

Üç yıl önce, Arxiv’in AI makale girişlerinin sayısı birkaç yılda bir ikiye katlanıyordu; ve 2025’in sonunda Arxiv’in kendi yıllık trend raporunu okumak ilginç olacaktır.

Hacim 11’de

Bu durumun meydana gelmesinin iki açık nedeni vardır: a) üretken AI’ye önemli finansal taahhüt, araştırma yatırımını özel ve akademik sektörlerde çekiyor, ki bu sektörler genellikle işbirliği yapıyor; ve b) AI dil modelleri sistemleri gibi ChatGPT, araştırma makalelerini (AI hakkında olanlar dahil) neredeyse endüstriyel bir süreç haline getirdi.

Ancak, araştırma girişlerindeki kalite, hacimle aynı oranda artmıyor (AI’nin hatalı çıktısı, akademik alanda değil, yasal sektörde daha fazla dikkat çekiyor, çünkü burada sonuçları daha belirgin);

AI’nin araştırma makale girişlerindeki kullanımı genellikle tanınması zor, ayrıca AI, araştırma makale girişlerinde kaliteyi artırmıyor.

Bu problemi çözmek için sıfır tolerans politikası uygulamak zor, çünkü AI, araştırma makale girişlerinde tanınması zor; ayrıca AI, araştırma makale girişlerinde kaliteyi artırmıyor, ancak non-İngilizce konuşan araştırmacılara fayda sağlıyor.

Ancak, dil engelini bu şekilde aşmak, aynı zamanda global girişlerin sayısını artırıyor, ancak insan denetiminin seviyesini artırmıyor.

Eğer girişlerin seviyesi böyle devam ederse, sinyal-gürültü oranı o kadar kötüleşecek ki, sadece AI kendisi bu yeni seli ve AI makalelerini gezerek yolunu bulabilecek.

Ironik olarak, bilimsel araştırma, yoğun bir şekilde insan faaliyetidir.

Araştırmaya Saldırı

Bu yansımanın nedeni, Çin’den gelen yeni bir çalışmadır: Araştırma Topluluğuna AI Oluşturulan Anket Kağıtları ile DDoS Saldırısını Durdurun.

Yeni pozisyon kağıdı, özellikle anket girişlerine odaklanıyor – belirli araştırma alanlarında yüksek çaba gerektiren derlemeler, geleneksel olarak listelemiş ve bağlamsallaştırmış, eğilimleri yorumlamış ve bilgili tahminlerde bulunmuştur:

Makine öğrenimi ve AI ile ilgili bölümlerdeki anketlerin küçük bir kısmı, arxiv.org’da

Anketler, orijinalleri değil, derlemeler olduğu için, AI ile otomatik hale getirilmeleri kolaydır ve çalışmanın yazarları, AI tarafından oluşturulan anketlerin artışını güvenlik tehdidi olarak nitelendirdiler:

‘[Son] AI tarafından oluşturulan anketlerin patlaması, özellikle büyük dil modellerinin (LLM’ler) ortaya çıkmasıyla birlikte, bu geleneksel olarak emek yoğun olan türü, düşük çaba gerektiren, yüksek hacimli bir çıktıya dönüştürdü.

‘Bu, “anket kağıdı DDoS saldırısı” olarak adlandırdığımız olguya yol açar: yüzeyel olarak kapsamlı ancak genellikle düşük kaliteli veya hatta hayali anket makalelerinin research topluluğunu sel altında bırakan, araştırmacıları bunaltan ve bilimsel kayda güveni erozyona uğratan bir olgu.’

‘[Biz] AI tarafından oluşturulan anket kağıtlarının (yani anket kağıdı DDoS saldırısı) araştırma topluluğasına yüklenmesini durdurmak için güçlü normlar koymak gerektiğini savunuyoruz.’

Çalışmanın yazarları, bu kontrolsüz anket üretiminin, kritik derinlikten yoksun, ancak iyi hazırlanmış raporlar üreterek araştırma ekosistemini tehdit ettiğini ve olgusal hataları ve/veya hayali alıntıları yayabileceğini iddia ediyorlar.

Çalışma, AI tarafından oluşturulan anketlerin, literatür incelemelerinin güvenilirliğini azaltabileceğini, önemli analizleri gizleyebileceğini ve yeni araştırmaların yanlış önkoşullarla başlangıç yapabileceğini uyarıyor:

‘Araştırma kalitesi ve güven için sonuçlar derin. İlk olarak, gerçek ilerlemeler, algoritmik olarak oluşturulan önceki çalışmaların yeniden düzenlenmesiyle gizlenebilir.

‘Yeni gelenler ve disiplinler arası bilim insanları, güvenilir özetleri bulmakta zorlanabilir. Ayrıca, otomatik taslaklardan kaynaklanan hatalar veya önyargılar, sonraki araştırmalara yanlış önkoşullar ekleyerek yayılabilir.

‘Kısacası, inceleme olmayan AI tarafından oluşturulan anketlerin seli, literatür incelemelerinin titizliğini ve bilimsel kaydın güvenilirliğini tehdit ediyor.’

‘Anormal’ Yazarlar

Araştırmacılar, anket girişlerindeki evrim hakkında bazı ilginç analizler sunuyor:

Sol: 2020’den 2024’e bilgisayar bilimi anket makalelerinin yıllık sayısı. Orta: Aynı dönemde bu makaleler için AI oluşturma puanlarının ortalaması. Sağ: Her yıl anormal olarak işaretlenen yazarların sayısı (anormal olarak işaretlenen yazarlar, olağanüstü yüksek anket çıkışı, sınırlı işbirliği çeşitliliği ve tekrarlanan kurumsal kalıpları olanlardır). Tüm üç eğilim, 2023’te, ChatGPT ve diğer büyük dil modellerinin ortaya çıkmasıyla birlikte keskin bir artış gösteriyor.

İlk sütunda büyüme eğilimlerini görüyoruz: eğri, 2022 civarında keskinleşiyor, ChatGPT ortaya çıkıyor ve büyük dil modelleri ana akıma giriyor ve takip eden modeller gibi Claude, PaLM ve Gemini 2023 boyunca bu momentumu sürdürüyor.

Orta grafik, 2022’den sonra bir AI oluşturma puanlarındaki keskin bir artış gösteriyor. Bir araştırma ekibi, 2024’te, bilimsel özetlerin %10’unun bir LLM’den geçirildiğini buldu. Bir ayrı rapor, ChatGPT’den sonra arXiv’de AI yardımıyla yazılmış makalelerin %72’lik bir sıçramasını bildirdi. AI oluşturma puanları yüksek olan makalelerin sayısı, bir yılda iki katına çıktı, %3,6’dan %6,2’ye.

Sağdaki üçüncü grafik, ‘anormal’ yazar kalıplarının (araştırmacılar, bir ay içinde üç veya daha fazla anket yayınlarken, iki veya daha az işbirlikçi ile çalışanlar) sayısında keskin bir artış gösteriyor.

Yazarlar, bu anket makalelerinin birçoğunun, çeşitli nedenlerle AI tarafından yazılmış olabileceğini iddia ediyor: bazıları tek başına yazarlar veya küçük gruplar tarafından kısa bir süre içinde birden fazla anket yayınlıyor; birçokları ilgili olmayan konuları kapsıyor; ve bazı durumlarda, yazarlar, özetledikleri alanlarda önceki bir kayda sahip değil.

Ayrıca, bazıları, rõ ràng kurumsal bağları olmayan anonim kolektifler altında yayımlanıyor – bu kalıplar, alanın hızlı anketlerle sel altında kalması, alıntı kazanmak veya akademik profillerini iyileştirmek için gerçek bir katkıda bulunmak yerine, bir tür koordineli bir saldırı olduğunu gösteriyor.

Sorunlar

Bu yeni çalışmanın tüm içeriğini kapsayamayız, ancak bazı önemli noktaları ve yazarların önerdiği çözümlere eleştirel bir gözle bakalım.

Kalite ve Orijinallik

Sorun sadece hacim değil: birçok AI tarafından yazılmış anketler, iyi bir anketin faydalı olmasının nedenlerini atlıyor: net yapı, derin analiz, doğru ve özenli kredi, ve gerçek içgörüler. Bunun yerine, makale, AI tarafından oluşturulan/yardım alınan anketlerin genellikle dikte edilmiş özetler gibi okunduğunu, ancak gereken özen veya kürasyon olmadan olduğunu öne sürüyor.

Yazarlar, ayrıca, AI tarafından yazılmış anketlerin genellikle yapıdan yoksun olduğunu, ancak sadece kağıtları listelemek ve ana bölümleri atlamak ve bağlam yaratmamak için olduğunu gözlemliyor. İnsan tarafından yazılmış anketler, ngược olarak, uygun kategoriler kurmaya ve daha tutarlı bir hikaye anlatmaya eğilimlidir.

Ayrıca, birçok potansiyel AI tarafından yardım alınan anket, mevcut konuları doğrudan kopyalamakta, bazen doğrudan Wikipedia’dan – Örneğin, çalışmada, Görme Dönüştürücüler üzerine birçok anketin ortak bölüm başlıkları ve yapısı olduğunu, bu da AI tarafından oluşturulan şablonlara işaret ettiğini belirtiyor:

‘Karşılaştırıldığında, iyi yazılmış bir insan tarafından yazılmış anket, yeni bir taksonomi tanıtabilir, örneğin, ViT’yi verimlilik stratejilerine göre kategorilere ayırabilir. Bu tür orijinal yapıların birçok recent anket ön yayınında eksik olması, bunların AI tarafından sınırlı insan içgörüsü ile oluşturulabileceğini gösteriyor.’

Alıntıları Yanlış

Belki de en çok utanç verici olan, AI tarafından yazılmış anketlerin genellikle alıntıları yanlış yapması, önemli kağıtları kaçırması, ilgili olmayan kağıtları dahil etmesi ve bazen var olmayan kağıtları listelemesidir – bu hatalar, referansların gerçekten uzmanlıktan ziyade yüzeyel kalıplama eşleştirmesinden kaynaklandığını gösteriyor.

Yazarlar, ayrıca, bazı recent anket makalelerinin, tamamen farklı ekiplerden olmasına rağmen, referans listelerinin %70’ini paylaştığını belirtiyorlar – bu kadar yüksek bir örtüşme düzeyi, yazarlar, LLM’lerin aynı dar kaynak materyal havuzundan çekildiğini gösteriyor.

Aslında, ChatGPT’nin casual kullanıcıları, konunun ne kadar az bilinirse, modelin genellemesi için o kadar az çeşitli kaynaklar olduğunu bilir; genellikle, modelin kendi sınırlı kaynaklarını belirli bir alanda web’de bulmaya çalışmak, bu bilgileri model aracılığıyla etkileşime girmekten daha faydalıdır.

Homojen Bir Stil

Yazarlar, ayrıca, birçok AI tarafından yazılmış anketlerin, aynı konuya sahip olanlar, LLM’lerin cümleleri ve yapıları yeniden kullanması nedeniyle neredeyse aynı görünümde ve ses tonunda olduğunu gözlemliyor:

‘Birden fazla yazar, bir LLM’ye “X hakkında literatürü yaz” dediğinde, model genellikle çok benzer yanıtlar üretir, özellikle ortak tanımlar veya iyi bilinen gerçekler için. Recent bir araştırma, LLM’lerle bağlantılı belirli yazma kalıplarında keskin bir artış gösterdi, birçok makalenin aynı stile sahip olduğunu gösteriyor.’

ChatGPT’nizi Göster

Çalışma, AI tarafından yazılmış anketleri hızlı bir şekilde tespit etmenin bir yolu, ‘AI dil modeli olarak‘ veya ‘bilgi kesimim‘ gibi cümlelerin varlığıdır – bu, dil modellerinin çıktısının, minimal veya hiç kürasyon olmadan makalelere dahil edildiğini gösteriyor (yazma zamanında, bu tür ipuçlarını Google Search’te dizine eklenmediğini gördük).

Çalışma, ayrıca, birçok ‘şüpheli’ anketin, kelime çeşitliliği düşük ve tekrar eden cümleler içerdiğini, örneğin, birçok paragrafı ‘Furthermore‘ ile başlattığını belirtiyor – bu tür kalıplar, GPT tarzı yazım için tipik olarak gösteriyor ve otomatik metin tespiti için faydalı bir işaret olabilir.

(Kişisel yorumum, bu konuda, online gazeteciliğin kısıtlamalarının, yazarları, sınırlı sayıda leksikal alternatifle, liste benzeri, stillendirilmemiş bir formatta birçok öğe listelemeye zorlayabileceğidir. Dolayısıyla, ChatGPT ve benzerleri, bu kötü huyu insan yazarlardan öğrenmiş olabilir.)

Araştırmacılar, AI anketlerinin araştırma kültürü ve güven üzerindeki olumsuz etkileri hakkında fascinasyona yol açan bir tartışmaya devam ediyor, ancak bu konudaki daha derin bir analiz için kaynak makaleye başvurmanızı öneriyoruz.

Çözümler?

Makalenin çözümü, ilginç, radikal ve aynı zamanda tuhaf bir şekilde orijinal değil: anket kağıtlarının faydası, bir Canlı Anket ile değiştirilmelidir – yorum olarak, bir Wiki ve bir GitHub sayfası arasındaki bir melez, sürekli olarak LLM ve diğer AI sistemlerinden yeni verilerle beslenen, ancak AI tarafından ‘oto-yayımlama’ güncellemeleri yapılmayan, ancak yalnızca insanlar tarafından yapılan güncellemelerle.

‘Bu çerçeve altında, bir topluluk üyesi, ilk olarak, bir anket konusunu belirler, ana araştırma sorularını ve temel referansları belirterek, net bir tematik sınır ve ilk yapı oluşturur.

‘Daha sonra, bir LLM tabanlı alıntı ajanı, ön yayınlara, konferans bildirilerine ve benchmark liderlik panellerine sürekli olarak bakar. Soyutlamaları, şekilleri ve ana performans ölçümlerini otomatik olarak çıkarır; yeni sonuçların kısa özetlerini sentezler; alıntı grafiğini, kağıtlar arasındaki ilişkileri yansıtmak için günceller ve ortaya çıkan araştırma eğilimlerini daha fazla inceleme için işaretler.

‘Tasarım olarak, bu otomatik güncellemeler, yayınlandıktan saatler içinde gerçekleşir, böylece depo, araştırma alanının en son gelişmelerini takip eder.’

‘İnsan katkıda bulunanlar, sonra, makinelerin tek başına sunamadığı yorum derinliğini sağlar. Gelişen taksonomileri, metodolojik farklılıkları yakalamak için rafine eder; farklı alt alanlar arasındaki algoritmik yeniliklerin çelişkili yorumlarını koordine eder ve daha derin eleştirel karşılaştırmalar sağlar.’

Değişim Kitabı

Yazarlar, bu önerilerini coşkulu ve uzun bir şekilde açıklıyorlar ve temelde, yüksek çaba gerektiren insan tarafından yazılmış anketlerin, özellikle değişken konularda, çok hızlı bir şekilde eskiyor olabileceğini savunuyorlar:

‘Yıl yıl, topluluklar, tekrar eden veya yüzeysel genel bakışlarla sel altında kalıyor, bu da uygulayıcıların ve yeni gelenlerin, anlamlı içgörüler bulmakta zorlanmasına neden oluyor. Geleneksel yayıncılık döngüsü (yani, taslak, gönder, incele, yayımla) several ayları kapsayabilir, bu sırada kritik ilerlemeler, manzarayı değiştirebilir.

‘Artan durgun anketlerin hacmi, ayrıca, okuyucuların, anlamlı içgörüler bulmak için, birçok örtüşen belgeyi aramaya zorlayarak bilişsel aşırı yükleme yaratır.’

Maalesef, önerilen sistemin paylaştığı en kötü nitelik, Discord’un en kötü ve en çok eleştirilen özelliklerini paylaşıyor: özellikle, sürekli değişen ve değişen bir kaynak olacağı.

Herhangi bir Dynamic Live Anket’in bir parçası, herhangi bir zamanda değiştirilebilir veya silinebilir, bu nedenle, yalnızca ‘önceki commit’e’ bağlantı yaparak, archive.is ve Wayback Machine gibi arşiv siteleri tarafından sağlanan web sayfası içeriğinin dondurulmuş görüntülerine benzer şekilde, alıntılabilecek,稳il bir kaynak olarak kullanılamayacak.

Ayrıca, sürekli değişen tanımları ve içeriği olan bir platform/Wiki, geleneksel arama motorları veya LLM’ler tarafından indekslenmesi zor olacaktır.

Önerilen sistemin en zayıf yönü, LLM ajanlarından gelen güncellemelerin, gerçek insanların denetimi altında olması gerektiğidir; çünkü gerçek insanlar pahalıdır. Önerilen şey, bir müze ve bir kütüphane arasında bir şey – her ikisi de, kapsanan veri hacmine ve konulara bağlı olarak orantılı bir ‘et’ kaynağı gerektirecektir.

Eğer ‘kullanın gerçek insanlar‘ AI geliştirme sorununa karşı tek cevap ise, sorun hala açık ve çözülmemiştir.

Sonuç

Şu anda, AI üzerine anket kağıtlarının kısa ömürlü olması can sıkıcı; eğer yüksek ölçekli otomatik yazma ve gönderme eğilimi devam ederse, sinyal-gürültü oranı kronikleşecek ve literatür yönetilemez hale gelecektir.

Bu durumda, küçük, FAANG olmayan seslerin fırtınada duyulması daha da zor olacak ve büyük pazar liderleri muhtemelen daha da büyük bir ön plana çıkacaktır.

Canlı anketlerin yanı sıra, yeni çalışma, yazarların, AI’nin herhangi bir bölümde kullanıldığını beyan etmelerini ve AI destekli bölümlerin makale içinde açıkça etiketlenmesini öneriyor (belki bir yan JSON dosyasıyla…?).

Bu, zor bir prospektüs, ve çalışmanın alternatif olarak önerdiği şey, ancak ‘AI gettosu’ olarak nitelendirebileceğim bir şey – makaledeki AI katkıları için ayrı bir bölüm.

Kısa sürede, yeni çalışma, en azından benim görüşüme göre, gerçekçi çözümler sunmuyor; ancak, yazarlar, önümüzdeki zorlukları çerçeveleme konusunda faydalı bir hizmet sunuyor.

AI tarafından Oluşturulan Anket Kağıtları ile Araştırma Topluluğuna DDoS Saldırısını Durdurun makalesi https://arxiv.org/abs/2510.09686 adresinde bulunabilir ve Shanghai Jiao Tong Üniversitesi’ndeki çeşitli bölümlerde altı yazar tarafından yazılmıştır.

___________________________________

* Herkesin aynı fikirde olmadığı belirtilmelidir.

^†Yazarların vurgusu, benim değil. Ayrıca, yazarların satır içi alıntılarını, ilgili olduğunda, hyperlinklere dönüştürmem de.

İlk olarak 17 Ekim 2025 Cuma günü yayımlandı.