Kendinden Emin Bilimsel Makaleler, Niteliklerinden Bağımsız Olarak Yapay Zekâ Değerlendiricilerini Etkiliyor

Güven, evrimde belirgin bir avantajdır; Almanya’da yapılan yeni bir araştırmaya göre, bilimsel bir makale yazarın meslektaşları yerine Büyük Dil Modelleri (LLM’ler) tarafından değerlendirildiğinde de avantaj sağlar. Yapay zekânın getirdiği verimlilik artışları sayesinde bilimsel makale sayısının hızla artması, bu durumu giderek daha sık karşılaşılan bir zorunluluk hâline getiriyor.

Yeni araştırma, yapay zekâ (yani insan olmayan) değerlendiricilerin, temelindeki araştırma daha az kendinden emin bir üslupla yazılmış makalelerle aynı olsa bile, kendinden emin ve iddialı bir dille kaleme alınan bilimsel makalelere sürekli olarak daha yüksek puan verdiğini ortaya koyuyor. Bazı durumlarda, yalnızca ifadeleri değiştirmek, bir makalenin reddedilmekten kabul edilmeye geçmesi için yeterli oluyor.

Yazarlar şöyle diyor:

‘Deneylerimiz, LLM değerlendiricilerinin [papers] yüksek güven ifade eden bir dil kullanmaya yönelik belirgin tercihleri olduğunu ortaya koyuyor. Önemli olan şu ki bu tercihler, kabul<>ret sınırında kararların sık sık tersine dönmesine yol açarak değerlendirme sonuçlarını doğrudan etkiliyor.

‘İncelemelerde dile getirilen hususların sıklığının ve duygu tonunun, makalenin dil özelliklerine bağlı olarak değiştiğini de görüyoruz; bu durum nihai kararları etkileyebilir.’

Yazarların tespit ettiği sendromun, yapay zekânın sorularımıza ve istemlerimize yanıt verirken sık sık nasıl ‘kendinden emin bir şekilde yanılabildiğine çok benzemesi ironik. Ancak burada karar insana ait ve bu kararın bireysel ve kolektif sorumluluğu gerçek; makalelerin ardındaki bilim insanları iddialarına gerçekten inanıyor olsun ya da olmasın.

Yapay zekâ hangi bilimsel makalelerin yayımlanacağına giderek daha fazla karar verirse, bilim insanları özellikle başvuruları kusurlu olduğunda, rekabetçi bir taktik olarak ‘daha kendinden emin bir üslupla yazmayı’ öğrenebilir. Bu da zayıf bilimin, giderek daralan mevcut ilgi alanında hak etmediği bir yer edinmesine yol açabilir.

Kendinden Emin Bir Üslupla Zafere Doğru

Araştırmaya*, yapay zekâ değerlendiricileri, yöntemleri, kuramları ve bilimsel katkıları kendinden emin bir dille kaleme alınmış makaleleri övme eğilimini daha sık gösterdi; üstelik bunlar, daha az iddialı sürümlerdekilerle aynı olsa bile. Yazarların testlerinde 504 bilimsel makale farklı üsluplarda yeniden yazıldı ve GPT-5.5, Claude Sonnet 4.6 ve Gemini 3.5 Flash dâhil altı yapay zekâ modeli tarafından değerlendirildi. Gerçek başvuruların kendine özgü yanlarının ve tuhaflıklarının sonuçları çarpıtmaması için makalelerin yapay/değiştirilmiş sürümlerini oluşturmak gerekiyordu:

Aynı bilimsel metin parçasının dört farklı üslupla yeniden yazılmış örnekleri. Renkli vurgular, yazının daha fazla ya da daha az kendinden emin duyulmasını veya ana dili İngilizce olan ya da olmayan kişilerce yazılmış akademik İngilizceye daha çok benzemesini amaçlayan değişiklikleri gösteriyor. Ancak temel bulgular ve rakamlar değişmeden kalıyor. Kaynak

Makaleler, 2026 ICLR konferansına yapılan başvurulardan seçildi; örneklemde kabul edilmiş ve reddedilmiş makalelerin sayısı eşitti. Ardından Claude Opus 5, bilimsel içeriği değiştirmeden her başvuruyu daha fazla ya da daha az güven ifade edecek biçimde yeniden yazdı^†. Böylece yapay zekâ değerlendirmelerindeki farklılıkların, ifade edilen güven düzeyindeki değişiklikler de dâhil olmak üzere, yazım üslubuna bağlanması mümkün oldu.

Sonuçlarda, kanıtlar aynı olsa bile yapay zekâ değerlendiricileri kendinden emin bir dille yazılmış bilimsel makalelere daha yüksek puanlar verdi. Claude Sonnet 4.6 en güçlü önyargıyı gösterdi; temkinli sürümlere kıyasla kendinden emin sürümleri yedi kat daha sık tercih etti. Vakaların %21’inde, kendinden emin bir dille yazılmış makalenin kabul edilmesini önerirken aynı makalenin daha temkinli bir dille ifade edilmiş sürümünün reddedilmesini önerdi.

Yeni araştırmada şöyle deniyor:

‘Bulgularımız, hakem değerlendirmesinde LLM kullanımına ilişkin önemli kaygılara işaret ediyor. İçerikleri eşdeğer makaleler yalnızca dil özellikleri nedeniyle farklı puanlar ve değerlendirme gerekçeleri alıyorsa, hakemlerin yargıları yalnızca bilimsel niteliği yansıtmıyor demektir.

‘Bu nedenle LLM değerlendiricileri, dildeki değişikliklerin değerlendirmelerini sistematik olarak etkileyip etkilemediğini belirlemek amacıyla, içeriği koruyan yeniden yazımlar karşısında dayanıklılık testine tabi tutulmalıdır.’

Yazarlar ayrıca bu testlerde, kendinden emin bir dilin daha güçlü bilimsel kanıtlarla karıştırılıp karıştırılmadığını belirlemek için hem makalelere verilen puanların hem de yazılı değerlendirmelerin açıkça incelenmesi gerektiğini öne sürüyor.

Yöntem

2026 International Conference on Learning Representations (ICLR) konferansına yapılan başvurulardan toplam 504 bilimsel makale seçildi. Örneklem, konferansın 21 araştırma kategorisinin her birinden 24 başvuru alınarak, kabul edilen ve reddedilen makaleler arasında eşit olarak bölündü:

Üç aşamalı test yöntemi. Bilimsel makaleler, bulguları korunarak, İngilizce dil yeterliliği veya ifade edilen güven düzeyi farklı görünecek biçimde yeniden yazıldı; yeniden yazımlar, aynı koşullarda yapay zekâ hakemleri tarafından değerlendirilmeden önce üslup ve anlam değişiklikleri açısından kontrol edildi; ardından değerlendirme puanlarındaki farklılıklar karşılaştırıldı.

Her makale anonimleştirildi ve Claude Opus 5 kullanılarak yeniden yazıldı. Böylece hem iddiaların ne ölçüde güvenle ifade edildiğini hem de yazarın İngilizce yeterliliğinin görünürdeki düzeyini sınamak üzere alternatif sürümler oluşturuldu. Güven düzeyini sınayan testlerde ifadeler ya daha iddialı ya da daha temkinli hâle getirildi. ‘Açıkça’ ve ‘kesinlikle’ gibi kesinlik bildiren sözcükler ‘kendinden emin’ sürümlerde daha sık kullanılırken, ‘olabilir’ ve ‘göstermektedir’ gibi ihtiyat payı bırakan ifadeler daha temkinli taslaklarda tercih edildi.

Her durumda bilimsel iddialar, kanıtlar, sonuçlar, teknik terminoloji ve genel yapı değişmeden kaldı. Yazarlar, yeniden yazma yönergelerinin belirli yazım üsluplarını taklit etmeye yönelik genel taleplere değil, yerleşik dilbilim araştırmalarına dayandığını belirtiyor.

Yeniden Yazımların Kontrol Edilmesi

Kontrol amacıyla her yeniden yazım, metinlerin anlamını koruyup korumadığını değerlendiren anlamsal benzerlik ve sözcük dağarcığı ile terminolojinin ne ölçüde korunduğunu ölçen TF-IDF benzerlik yöntemi kullanılarak özgün metniyle karşılaştırıldı. Her iki puan da 1’e yaklaştı; bu da özgün metinlerle yüksek düzeyde benzerlik olduğunu doğruladı:

Yeniden yazılan makalelerin kontrolleri. Kendinden emin sürümlerde daha iddialı bir dil kullanılırken, ihtiyatlı sürümlerde daha fazla belirsizlik ifade edildi. 1’e yakın puanlar özgün metinlerle yüksek düzeyde benzerlik olduğunu doğruluyor; renkli vurgular, ölçülen her bir özellikteki daha yüksek değerleri gösteriyor.

Altı yapay zekâ hakemi test edildi: tescilli modeller GPT-5.5, Claude Sonnet 4.6 ve Gemini 3.5 Flash; açık ağırlıklı modeller ise Gemma 3, Qwen3 VL ve GLM 4.7 idi. Bu modeller kısmen, 2026 öncesine ait bilgi kesim tarihlerine sahip oldukları için seçildi; böylece makalelerin kabul kararlarına ilişkin önceden bilgi sahibi olma riski azaltıldı.

Her yeniden yazılmış makale, konferans değerlendirme yönergeleri kullanılarak bağımsız biçimde incelendi. Tekrarlanan değerlendirmelerde puanların ne ölçüde değişebileceğini belirlemek için rastgele seçilen on makale, her model tarafından on kez incelendi.

Sonuçlar

Yapılan testlerde, seçilen altı yapay zekâ hakeminin belirli yazım üsluplarını sürekli olarak tercih edip etmediği incelendi; ayrıca “kendinden emin” ya da “ihtiyatlı” bir dilde yazılmış makaleler ile ana dili İngilizce olan veya olmayan kişilerin yazdığı akademik İngilizceye benzeyen makaleler karşılaştırıldı^†.

Farklı üsluplarda yeniden yazılan 504 bilimsel makaleye verilen yapay zekâ değerlendirme puanlarının karşılaştırmalı sonuçları. Tercih yüzdeleri, hangi sürümün daha yüksek puan aldığını (eşitlikler parantez içinde) gösteriyor; oranlar, bir sürümün ne sıklıkla daha çok tercih edildiğini belirtiyor; karar değişimleri ise ifadelerin değiştirilmesinin kabul veya ret kararını ne sıklıkla tersine çevirdiğini gösteriyor. Kalın yazılmış istatistiksel değerler, anlamlı farklılıklara işaret ediyor. Bu makalede üstteki hipotez ele alınmadığı için ilgili bölüm alttakidir (dipnotlara bakın).

Altı yapay zekâ hakeminin tümü, kendinden emin bir dille yazılmış metinleri tutarlı biçimde tercih etti. En güçlü tercih Claude Sonnet 4.6 tarafından gösterildi; daha önce belirtildiği gibi bu model, “kendinden emin” taslaklara “ihtiyatlı” taslaklardan yedi kat daha sık yüksek puan verdi.

Bir makale, puanı 10 üzerinden 4,5’e ulaştığında kabul edilmiş sayıldı. Ancak yazım üslubundaki değişiklikler bazen aynı makalenin puanını bu eşiğin üstüne ya da altına taşıyarak kararı değiştirdi ve bu tür değişiklikler genellikle kendinden emin bir yazım üslubunu destekledi.

Claude Sonnet 4.6 özellikle kötü performans gösterdi: vakaların %21’inde “kendinden emin” sürümü kabul ederken “ihtiyatlı” sürümü reddetti. Tersi durum vakaların yalnızca %2,8’inde görüldü.

Bu etki yazılı değerlendirmelerde de görüldü: Yapay zekâ hakemleri, iddiaları kendinden emin bir dille ifade edildiğinde bir makalenin yöntemlerini, kuramlarını ve bilimsel katkılarını övme eğilimini daha sık gösterdi. Araştırmanın kendisi değişmediğine göre, bu daha olumlu değerlendirmeler yalnızca sunum ve üslup farklılıklarına bağlanabilir.

Sonuç

İnsanlar sinyal-gürültü oranını (istemeden de olsa) artırmak için yapay zekâdan her yararlandığında, yapay zekâ çözüm olarak deneniyor. Burada amaç, yapay zekâ araştırma makalesi başvurularındaki büyük artışla başa çıkmak; bu başvuru yoğunluğu son dönemde Arxiv’in eleme gücünü ve ölçütlerini artırdı. Ancak artık açıkça görülmeli ki öncü LLM’ler ve onların altındaki tüm sınıflar, en katı biçimde parametrelendirilmiş koşullar dışında, genel olarak yargıçlık görevini üstlenemeyecek kadar çok tuhaflığa sahip.

Bu tür durumlarda, daha küçük ölçekli LLM’leri ince ayar veya LoRA’lar aracılığıyla özel yargılama araçlarına dönüştürmek muhtemelen daha iyi bir fikir olur. Ancak bu, en azından biraz daha fazla çaba, hatta belki biraz daha fazla yatırım gerektirir; buna karşılık yerel kurulumları olduğu gibi kullanmak ya da API çağrıları yapmak daha hızlı ve görece ucuzdur.

Oldukça kısa yazılmış bu makale, yine de LLM’lerin son kullanıcıları için ortalamadan daha fazla ilgi çekebilir; çünkü bu kullanıcılar, yapay zekâyla etkili biçimde çalışabilmek için etrafından dolaşmaları gereken bir baş belası olarak “aşırı heves”e zaten aşinadır. Bu ve benzeri LLM sorunları henüz çözülemiyorsa bile, en azından hesaba katılabilirler.

Yapay zekâyı değerlendirirken bu tür kolaycı eşdeğerlik yargılarına karşı fazla alaycı bir tavır takınmadan önce, epistemoloji—kesin ve nihai bir otorite arayışı—söz konusu olduğunda bu sistemlerin de hepimiz kadar yolunu kaybettiğini hatırlamakta fayda var. Tarih boyunca biz de sinyali şeyin kendisiyle karıştırmaya fazlasıyla yatkın olduk.

* “Üslup İçeriğin Önüne mi Geçiyor? LLM Tabanlı Hakem Değerlendirmesinde Dilsel Önyargı” başlıklı

^† Ya da ana dili İngilizce olan veya olmayan kişilerce yazılmış akademik İngilizceye benzemek. Bu, makalenin aynı ölçüde etkili biçimde kanıtlayamadığı ve bu yazıda ele alınmayan paralel bir hipotezdir.

İlk yayımlanma tarihi: 27 Ekim 2026 Salı