Anderson’un Açısı
Yapay Zekâ Odaklı Bilimsel İlerleme Tuhaf Bir Takıntının Tehdidi Altında

Öne çıkan noktalarYeni yapay zeka hakemleri ekler üzerine takılıp kalırken, insan hakemler bir makalenin…
Daha fazla göster
- Yeni yapay zeka hakemleri ekler üzerine takılıp kalırken, insan hakemler bir makalenin ana bulgularına odaklanır.
- Dil modelleri her pasajı eşit derecede önemli sayar, bu yüzden hangi bölümlerin gerçekten önemli olduğunu kaçırırlar.
- Ek yanlılığı farklı erişim yöntemlerinde de sürer ve yazarların gelişmesine neredeyse hiç yardımcı olmayan yüzeysel geri bildirim üretir.
ABD’de yürütülen yeni bir araştırma, bilimsel makaleleri inceleyen yapay zekâ modellerinin, ana metin yerine makalelerin eklerine tuhaf bir takıntı geliştirdiğini ve çoğu zaman temel bulgulardan çok, destekleyici nitelikteki önemsiz ayrıntılara dikkat ettiğini gösteriyor. Dil modelleri insan hakemlere yardımcı olmak, hatta onların yerini almak için giderek daha fazla kullanılırken, yeni saptanan bu eğilim insan hakem değerlendirmelerine de yayılıyor gibi görünüyor ve yapay zekâ araştırmalarındaki ilerlemeyi muhtemelen sekteye uğratıyor:

Yeni makaleden alınan bu görsel, bilimsel makalelerin insan hakem değerlendirmelerinde eklerle ilgili eleştirilerin artışını gösteriyor. Oran, yıllarca %11’in altında kaldıktan sonra, eleştirilerinin yarıdan fazlasını eklerden kaynaklandırdığı belirlenen yapay zekâ modellerinin piyasaya sürülmesinin ardından, en yeni değerlendirmelerde %27,6’ya ulaştı. Kesikli çizgiler, önemli model sürümlerinin yayımlanma zamanlarını gösteriyor. Kaynak
Araştırmacılar, dört popüler konferanstan alınan 2000 bilimsel makaleyi inceleyerek, daha yeni modellerin eleştirilerinin yaklaşık %50-70’ini eklerden kaynaklandırdığını; eski GPT-5’te ise bu oranın %30’un altında kaldığını buldu.
İnsan hakemleri bile daha önemli ana sonuçlardan uzaklaşıp eklere yönelten en dikkat çekici yeni yapay zekâ modellerinden ikisi, 2026’da piyasaya sürülen OpenAI’ın GPT-6.1-Sol ve GPT-6-Astra modelleri.
Makalede şöyle deniyor*:
‘Nesiller arasındaki fark büyük. GPT-5’te eksikliklerin yalnızca küçük bir bölümü eklerle ilgili. Daha yeni iki model olan GPT-6.1-Sol ve GPT-6-Astra ise eklere çok daha fazla ağırlık veriyor ve bu durum her konferansta görülüyor.
‘Bu, eklere yönelik yanlılığın esas olarak yeni modellerin bir özelliği olduğunu düşündürüyor. Yeni modeller daha iyi olsa da ekleme yönelik yanlılıkları artmış durumda. Bir makaleyi ayrıntılı biçimde okuyabilmeleri, onlara hangi bölümlerin daha önemli olduğunu öğretmemiş.’
Araştırma, eklerle ilgili bu takıntının, yapay zekânın makaleyi alma yöntemine göre de değiştiğini ortaya koydu; API, codex ve web arayüzleri PDF’leri aynı şekilde değerlendirmiyor. Codex, ortalama uzunluktaki PDF’nin orta bölümünü hiç okumuyor; gerekirse daha sonra yalnızca ‘küçük parçalar’ halinde örnekliyor. Bununla birlikte, tüm yöntemlerin ek materyallere öncelik verdiği görüldü.
Yakın zamana kadar insan hakem değerlendirmeleriyle yapay zekâ değerlendirmeleri bu takıntıyı paylaşmıyordu:
‘[Human] hakemler, ana metni ve ek materyalleri LLM’lerden çok farklı biçimde ele alıyor. LLM’ler eksikliklerinin %50’den fazlasını eklerle ilgili materyallere bağlarken, insanlar %10’dan azını eklerle ilişkilendiriyor.
‘Fark, tek tek hakem değerlendirmelerinde de görülüyor. 2021’den 2024’e kadar her yıl örnekleme alınan 200 makaleden toplamda yalnızca 159’u, eklerle ilgili herhangi bir eksiklik içeren bir insan hakem değerlendirmesi aldı. Buna karşılık, ICLR 2027 için LLM’lerin oluşturduğu 200 değerlendirmenin tamamında en az bir ek eleştirisi vardı.’

İnsan hakem değerlendirmeleriyle yapay zekâ tarafından oluşturulan hakem değerlendirmelerinde eklerle ilgili eleştirilerin karşılaştırması. İnsan hakemler, belirlenen eksikliklerin yalnızca %8,4’ünü ek materyallere bağlarken, yapay zekâ modellerinde bu oran %62’ydi. İkinci sütun, ana makalede buna karşılık gelen bir sorun bulunmaksızın yalnızca eklerle ilgili eleştirileri gösteriyor.
Yukarıdaki test tablosunda görüldüğü üzere, yapay zekâ hakemlerin eklerdeki eksiklikleri belirleme olasılığı insan hakemlere kıyasla yedi kattan fazlaydı; yalnızca ek materyallerle ilgili eleştiriler dile getirme olasılıklarıysa üç kattan fazlaydı. Bu da en yeni öncü yapay zekâ modellerinden bazılarının, insan hakemlerin geleneksel olarak bir makalenin temel bilimsel katkısına kıyasla ikincil sayacağı ayrıntılara artık öncelik verdiğini gösteriyor.
Neden?
Bildiğimiz kadarıyla (bu sendromu saptayan ilk araştırma bu), sorunun bir bölümü, yapay zekâların bir makalenin asıl içeriğinin normalde ekte yer almadığını fark etmemesi ya da kapsamlı eğitim materyallerinden bu bilgiyi edinememesi. Her metni eşit derecede önemli görme eğilimleri, ek materyallerin bağlamını göz ardı ediyor; oysa bu materyaller çoğu zaman düzenlenmemiş ve ana metne kıyasla çok daha özensiz biçimde sunulmuş oluyor:
‘LLM’ler, makalenin sorunu ortaya koyduğu ve bu sorunun neden önemli olduğunu açıkladığı giriş sayfalarını neredeyse hiç eleştirmiyor. İnsanlar çoğu zaman tam da bu çerçeveye itiraz ederken, LLM’ler bunu olduğu gibi kabul edip sayılara geçiyor.
‘[Humans and LLMs] Ek bölümü çok farklı değerlendiriyorlar. Ek bölüm ilerledikçe insanların eleştirileri hızla azalıyor ve son sayfalarda neredeyse tamamen ortadan kalkıyor. LLM’lerin zayıflıkları ise hiç azalmıyor. Hatta LLM’lerin zayıflıkları ek bölümün başında değil, epey ilerleyen sayfalarında zirveye çıkıyor ve insan hakemlerin neredeyse hiçbir kaygı dile getirmediği 30. sayfanın ötesinde de sürüyor.
‘Bir LLM için 25. sayfadaki bir ayrıntı da ana sonuçlar tablosu kadar eleştiriye açık bir hedeftir.’
Yazarlar, LLM’lerin metne yönelik eşitlikçi yaklaşımının onları ek bölümdeki içeriğe daha fazla odaklanmaya doğal olarak yöneltmiş olabileceğini belirtiyor; çünkü yukarıda da ifade edildiği gibi, ek bölümlerde genellikle daha fazla hata bulunuyor.
Dolayısıyla bu yeni çalışmadan çıkardığım genel sonuç şu: LLM’ler zaman içinde yeni bilimsel makalelerin, çoğu zaman çok sayıda hata veya kavram karışıklığı içeren bir bölümüne odaklandı; bunun nedeni, insan yazarların bu bölümü ikincil kanıt ve bulguların derli toplu olmayan bir yığını olarak çok sık kullanması.
Bu nedenle yapay zekâ, özenle düzenlenmiş ana metne kıyasla ek bölümleri giderek daha ilgi çekici buluyor; çünkü orada inceleyip düzeltebileceği daha çok şey var. Makalede belirtildiğine göre, LLM’ler bu yüzden makalenin giriş bölümünü olguları aktaran bir metin olarak görme ve olduğu gibi kabul etme eğiliminde:
‘İnsanlar ana metnin tek başına yeterli olmasını bekler; bu nedenle temel bölümler ek bölüme taşındığında buna itiraz ederler. LLM’ler ise bu kaygıyı neredeyse hiç dile getirmez.
‘Bu, aradaki temel bir farkı ortaya koyuyor: İnsanlar ana metnin ek bölümden daha fazla önem taşıdığını bilir, LLM’ler ise bunu bilmez. ‘
Sonuçlar ve çözüm önerileri
Önemsiz ayrıntılara gösterilen bu beklenmedik ilgi, özellikle makalenin temel bulgularının öneminin göz ardı edilmesi hâlinde, yapay zekâ destekli bilimsel araştırmalar açısından ciddi sonuçlar doğurabilir. Bu eğilim yalnızca en yeni modellerle ortaya çıkmış gibi göründüğünden, uzun vadeli etkileri henüz bilinmiyor.
Makale, ek bölümün derinliklerine gömülmüş olsalar bile yapay zekâ hakemlerinin değerli hataları yakalayabildiğini kabul ediyor. Ancak makalenin temel bulguları pahasına önemsiz ayrıntılara gereğinden fazla odaklanılabileceği ve bunun pratik değeri düşük, uzun değerlendirmelere yol açabileceği konusunda uyarıyor:
‘LLM hakemler makalenin hiçbir bölümünü incelemeden bırakmadıkları için çıtayı yükseltiyor. Ancak etkili bir değerlendirme yapmak, neyin daha önemli olduğuna dair muhakeme de gerektiriyor. Bir değerlendirmenin eksiklerinin çoğu, makalenin temel katkısıyla ilgisi olmayan ek bölüm içeriğinden kaynaklanıyorsa, geri bildirim yüzeysel kalıyor. Makalenin özüne inmiyor ve yazarların makaleyi geliştirmesine pek yardımcı olmuyor. ‘
Yeni çalışmanın yazarları, AI Reviews Are Biased Towards the Appendix başlıklı bu araştırmayı yürütmeye, LLM destekli veya LLM’ler tarafından oluşturulan değerlendirmelerin kendi başvurularını incelerken sergilediği bazı tuhaf örüntüleri fark ettikten sonra karar verdi. Çalışmanın koduna GitHub’dan ulaşılabilir.
Yöntem ve testler
Testler için OpenAI ve Anthropic’in önde gelen dört yapay zekâ modeli seçildi: GPT-6-Astra, GPT-6.1-Sol, Claude-Opus-5.5 ve Claude-Sonnet-5.5. Modeller için Codex ve Claude Code üzerinden erişim sağlandı; modellerin değerlendirme davranışları API ve web arayüzü üzerinden erişimle karşılaştırıldı.
Araştırma makaleleri, yapay zekâ ve doğal dil işleme alanındaki dört büyük konferanstan toplandı: ACL 2026, EMNLP 2026, COLM 2026 ve ICLR 2027. Bu konferanslar, benzer başvuru ve değerlendirme biçimlerine sahip oldukları, ana makale için katı sayfa sınırları uyguladıkları, ancak kaynakçadan sonra yer alan ek bölümler için genellikle herhangi bir sınır koymadıkları için seçildi.
Toplam 2.000 makale incelendi: 1.200’ü ICLR 2021–2026 döneminden, 800’ü ise dört yakın tarihli konferanstan alındı (her birinden 200 makale seçildi). Yakın tarihli konferanslardan alınan 800 makalenin tümünde en az 15 sayfalık ek bölümler bulunuyordu. ICLR 2027 başvuruları zaten anonimleştirilmişti. Yapay zekâ hakemlerinin yazarları tanımasını önlemek için ACL, EMNLP ve COLM makalelerinden yazar adları, kurum bilgileri, e-posta adresleri ve kimlik belirleyici bağlantılar çıkarıldı.
Modellerin internet erişimi kapatılarak değerlendirmelerin tamamen kendilerine verilen PDF’lere dayanması sağlandı.
İlk olarak yapay zekâdan, makalenin güçlü ve zayıf yönlerini ele alan ve genel bir puan veren, ilgili konferansın biçemine uygun bir değerlendirme yazması istendi. Talimatlar, yapay zekânın gerçek bir hakem tarafından nasıl kullanılabileceğini yansıtmak amacıyla özellikle basit tutuldu. Ardından makale ve tamamlanmış değerlendirme aynı yapay zekâ modeline yeniden verildi ve her eleştirinin makalenin hangi bölümüne yönelik olduğunu belirlemesi istendi. Bu, eleştiriler özgün makaleyle birlikte incelenerek belirlendi:

Çalışmada kullanılan üç aşamalı inceleme süreci. En az 15 sayfalık ekleri bulunan makaleler dört konferanstan seçildi ve yapay zekâ modelleri tarafından incelenmeden önce anonimleştirildi. Ardından her inceleme, özgün makaleyle birlikte değerlendirildi ve eleştiriler, ilgili oldukları bölümlere atandı.
Bu görevlerin birbirinden ayrılmasıyla, makalelerin eleştiri alan bölümleri, özgün incelemelerin ek talimatlardan etkilenmesi önlenerek değerlendirilebildi.
Şimdiye dek değinmediğimiz sonuçlar arasında, yazarların LLM’lerin oluşturduğu incelemelerdeki zayıflıkların nereden kaynaklandığını sınaması da yer alıyor:

Yapay zekâ tarafından oluşturulan incelemelerin dört konferansta zayıflıkları nerede tespit ettiğinin karşılaştırması. Yeşil, ana makaleye yönelik eleştirileri; kırmızı, eklerle ilgili eleştirileri; taralı alanlar ise yalnızca ekleri ilgilendiren eleştirileri gösteriyor. Neredeyse her testte eleştirilerin yarısından fazlası eklerdeki içeriğe yönelikti; en belirgin yanlılık GPT-6-Astra’da kaydedildi.
Yukarıda görüldüğü üzere, dört yapay zekâ modelinin tümünün yönelttiği eleştirilerin yaklaşık yarısı veya daha fazlası eklerdeki içeriğe dayanıyordu; bu örüntü dört konferansın tamamında görüldü. Eleştirilerin bir bölümü ana makaleyle hiçbir bağlantısı olmayan, yalnızca ekleri hedef alıyordu. Bu tür eleştiriler, GPT modellerinin belirlediği zayıflıkların %17,33’ünü, Claude’un belirlediklerinin ise %10,16’sını oluşturuyordu.
Makalenin öne sürdüğüne göre sonuçlar, eklere orantısız ölçüde fazla önem verildiğini ve görece küçük ayrıntıların kimi zaman makalenin bütünü için eleştiri gerekçesi sayıldığını gösteriyor.
Ek yanlılığının, yapay zekâya nasıl erişildiğine bağlı olup olmadığını belirlemek için farklı yöntemler karşılaştırıldı. GPT-6-Astra kullanılarak ICLR 2027’ye sunulan yüz makale Codex, ChatGPT’nin web arayüzü ve API üzerinden incelendi; API’ye ya özgün PDF ya da PDF’den çıkarılan metin verildi.
Codex’te metin komutlarla çıkarılıp incelendi; API üzerinden ya PDF’nin tamamı ya da çıkarılan metin doğrudan sağlandı; yüklenen belgeler ise web arayüzünün kendi (kapalı) sistemi üzerinden işlendi:

Yapay zekâ modelleri ve erişim yöntemleri genelinde eklerle ilgili eleştirilerin karşılaştırması. Solda, dört konferansta GPT-5’in eklerdeki içeriğe yeni GPT modellerine kıyasla çok daha seyrek atıfta bulunduğu görülüyor. Sağda ise yanlılığın GPT-6-Astra’ya erişmenin dört farklı yolunda da sürdüğü ve eklerle ilgili eleştirilerin toplamın %62,2 ila %73,7’sini oluşturduğu görülüyor. Taralı alanlar, yalnızca ekleri hedef alan eleştirileri gösteriyor.
Yukarıda görüldüğü gibi, dört yöntemin tümünde eleştirilerin %62,2 ila %73,7’sinde eklerle ilgili içeriğe atıfta bulunuldu; en yüksek oran, çıkarılan metnin API üzerinden doğrudan verildiği yöntemde kaydedildi. Dolayısıyla yanlılığın, modele nasıl erişildiğinden bağımsız olarak sürdüğü görüldü.
Diğer testlerin büyük bölümü makalenin önceki kısımlarında zaten aktarılmıştı; daha fazla bilgi için okuru kaynak materyale yönlendiriyoruz.
Makale Gönderimindeki Oyunlar
Bu konu, yeni çalışmanın yazarları için ne kadar kişiselse benim için de o kadar kişisel. Bilimsel makaleleri sık sık okuyor, makalelerin nasıl yazılıp sunulacağını belirleyen gizli kuralları ve bu kuralların nasıl aşıldığını yaşayarak öğrenmiş bulunuyorum.
Ekler konusuna gösterdiği ilgi, yanlış nedenlerden kaynaklansa bile, genel olarak yapay zekânın kusuru değil; çünkü yazarlar çoğu zaman makalenin gözden kaçabilecek kritik noktalarını oraya saklıyor. Bunlar, makalenin ana metninde öne sürülen iddiaları neredeyse tümüyle geçersiz kılabilecek ya da önemli ölçüde sınırlayabilecek etkenler veya sonuçlar olabiliyor.
Yazarları önemli bilgileri eklere taşımakla suçlamak da doğru olmayabilir; zira yeni çalışmada veri kaynağı olarak kullanılanlar gibi, yaygın yayınların şablonları makalenin ana metni için azami sayfa veya kelime sınırları koyuyor.
Karmaşık çalışma sonuçlarını aktarırken birçok yazar bu kısıtlamayı ciddi bir engel olarak görüyor. Benim “en kötü örnekler” olarak nitelendireceğim durumlarda† makalenin ana metni, yönergelerden kaçınmak için sona taşınan içeriğin yalnızca bir dizinine dönüşüyor (gerçi yönergeler de bu “hileyi” yakalayıp yasaklamaya başladı).
Bu senaryoda giderek artan gerilim, kurumların yazarlardan sunumlarını disipline edip sınırlamalarını istemesi ile araştırmacıların, emeklerinin hak ettiğini düşündükleri ölçüde eksiksiz ve kapsamlı bir bağlam içinde, güçlükle elde ettikleri çalışmalarının sonuçlarını sunma arzusundan kaynaklanan belirgin hayal kırıklığı arasında yaşanıyor. Bu talep, sunulan makalelerin sayısı arttıkça daha da önem kazanıyor.
* Vurgular yazarlara ait, bana değil.
†Çünkü incelenecek makaleler önceliklendirilirken, konuyu ekler bölümüne bırakma tercihini yapay zekânın bile fark etmesi zor olabilir; ancak on sayfalık bir değerlendirme için zaman ayırmış olan bir hakem, şimdi aynı süre içinde 30 sayfalık materyali incelemek zorunda kaldığında bu durum onu ciddi biçimde zorlayabilir.
İlk kez 16 Kasım 2026 Pazartesi günü yayımlandı












