Anderson’un Açısı
Claude Fable’dan daha düşük sürümlere geçiş, yasak sırasında geliştirici verimliliğini neredeyse hiç etkilemedi

Öne çıkan noktalarDaha yüksek puan alan Claude Fable 5'e erişim, birleştirme oranını yalnızca 1,4 yüzde…
Daha fazla göster
- Daha yüksek puan alan Claude Fable 5'e erişim, birleştirme oranını yalnızca 1,4 yüzde puan artırdı.
- Beş Claude yükseltmesi, birleştirilen pull request'lerde veya haftalık tamamlanan değişikliklerde anlamlı bir kazanç sağlamadı.
- Geliştiricilerin verdiği görevler zaten eski modellerin yetenekleri dahilinde kaldığında, kıyaslama puanları pek bir anlam ifade etmiyor.
Yeni yapay zekâ modellerinin öncekilere kıyasla performanslarını gerçekten iyileştirip iyileştirmediğini doğru biçimde değerlendirmek, hatta verimlilik artışının tam olarak ne anlama geldiğini tanımlamak bile oldukça zordur. Yeni sürümler bir alanda iyileşme gösterirken başka bir alandaki performansı düşürebilir; bu durum, geleneksel yazılım ve çerçevelerde de görülebilir. Bazen bunlar insanların isteyerek seçtiği ödünleşimlerdir, bazen de “yan hasar”dır.
Bu, adil davranıldığını varsayıyor. Geliştiricilerin yazılımları kıyaslama testlerinde daha iyi sonuç verecek şekilde manipüle ettiği, hatta bazen yazılımın test edildiğini anlamasını sağlayıp daha yüksek puan almak için çalışma biçimini geçici olarak değiştirdiği pek çok örnek var. Yapay zekâ modelleri de değerlendirildiklerini anlayabilir ve bunu yapmaları özellikle tasarlanmamış olsa bile farklı davranabilir.
Daha anlamlı ve dürüst ölçütler arayan geliştiriciler, çoğu zaman kendi gündelik kıstaslarını belirliyor. Bunlardan biri, Simon Wilson’ın niteliksel bisiklete binen pelikan sınaması: burada Görsel-Dil Modellerinden (VLM’ler), eğitim verilerinde bulunmayan* bir şey oluşturmaları isteniyor ve modeller genellikle başarısız oluyor. Yine de 2026 boyunca bir miktar ilerleme kaydedildi:

Simon Wilson’ın ölçütünde bir VLM’den bisiklete binen bir pelikanı gözünde canlandırması isteniyor. Yapay zekâ son zamanlarda bu konuda, yaklaşık 18 ay önceki komik denemelere kıyasla çok daha başarılı hâle geldi. Ancak bazıları, bunun nedeninin artık bu sınamanın eğitim verilerine dâhil edilmiş olması olabileceğini öne sürüyor. Kaynak
Ancak bir kıyaslama testi yalnızca ölçmek üzere tasarlandığı belirli becerileri değerlendirebilir. Sonuçlar güvenilir olsa bile bu becerilerin günlük kullanımda ne kadar önem taşıdığı ya da daha yüksek bir puanın daha fazla işin tamamlanmasını sağlayıp sağlamayacağı belirsizliğini korur.
Kodlama modelleri söz konusu olduğunda, geliştiricilerin bir modelden diğerine geçtiklerinde ürettikleri işte neler olduğunu inceleyerek bu soruyu araştırmak mümkün.
İş yapmak [the Same] Daha azıyla
Bu yılın haziran ayında, Beyaz Saray’ın 19 günlük yasağı nedeniyle Claude Fable kullanımı yasaklanınca, GitHub’a birleştirme istekleri (PR) gönderen geliştiriciler Claude’un daha az güçlü sürümlerine geçti ve araştırmacılar alışılmadık ölçüde elverişli bir test ortamına kavuştu. Claude’un tüm sürümleri PR’ları birlikte imzaladığından ve bu bilgi GitHub API’si üzerinden aranabildiğinden, veriler herkesin erişimine açıktı.
Harvard University’den gelen yeni bir araştırma, bu fırsatı değerlendirdi. Araştırmada, 297 Fable 5 kullanıcısının yasak öncesinde, yasak sırasında ve sonrasında yaptığı çalışmalar izlendi ve daha eski Opus 4.8 modelini kullanmaya devam eden 8.908 geliştiricinin çalışmalarıyla karşılaştırıldı.
Fable 5, SWE-Bench Pro kodlama kıyaslama testinde daha önce Opus 4.8’den neredeyse 11 puan daha yüksek bir puan almıştı. Ancak Harvard araştırmasında Fable 5’e erişim, gönderilen kod değişikliklerinin yedi gün içinde GitHub projelerine kabul edilme oranında yalnızca 1,4 yüzde puanlık bir artışla ilişkiliydi. Makaleye göre bu fark, pratikte yuvarlama hatası sayılabilecek kadar küçüktü. Daha kapsamlı bir analizde de başka yeni yapay zekâ modellerine geçişin verimlilikte kayda değer bir artış sağlamadığı görüldü:
‘Sonuçlar, Fable 5’e erişimin birleştirme oranını yalnızca 1,4 yüzde puan değiştirdiğini ve bu değişikliğin istatistiksel olarak anlamlı [significant] olmadığını gösteriyor. Ayrıca 2026’daki sekiz model yükseltmesinden beşini inceledik ve bu yükseltmelerin ardından birleştirme oranının artmadığını gördük[either].
‘Benzer şekilde, geliştiricilerin haftada birleştirdiği birleştirme isteği sayısı da artmadı. Bu sonuçlar, mevcut kodlama kıyaslama testlerindeki kazanımların tamamlanan iş miktarını gerçekten artırmadığını gösteriyor.’
2026’daki beş model yükseltmesinde, 1.208 geliştiriciyi ve önerilen 15.000’den fazla kod değişikliğini kapsayan analizde, gönderilen kodların birleştirilme oranında veya her hafta başarıyla tamamlanan değişiklik sayısında istatistiksel olarak anlamlı bir iyileşme bulunmadı.
Makale, GitHub birleştirmelerinin verimliliği ölçmek için kusurlu bir gösterge olduğunu kabul etse de yasak, gerçek çalışma koşullarında modeller arasında geçiş yapmanın etkilerini değerlendirmek için son derece nadir bir fırsat sundu. Bu, dünya çapında büyük ilgi gören ancak mümkün olan en yüksek kurumsal kapalılık içinde faaliyet gösteren bir sektörün bağlamında gerçekleşti.
Bu tür durumlarda ampirik ölçütler belirlemenin güçlüğünü kabul eden yeni çalışma† şöyle diyor:
‘Yeni modelleri ilk kullanan kişiler daha deneyimli olabilir. Bu nedenle geliştiricilerin verimliliğini karşılaştırdığımızda, farkın modelden mi yoksa modeli kullanan kişilerden mi kaynaklandığını anlayamayız. Aynı kişileri gözlemlesek bile, farklı modellere aynı görevleri verip vermediklerini bilemeyiz.
‘Örneğin, bazı kişiler en zor görevlerde Fable 5’i kullanıp daha kolay görevlerde daha alt düzey modellere geçebilir. Zor görevleri en güçlü modele verirlerse, zor görevlerin tamamlanması daha uzun sürdüğü ve birleştirilme olasılığı daha düşük olduğu için, seçtiğimiz hemen her ölçüte göre en güçlü model daha az üretken görünebilir.’
Makale ayrıca, önceki çalışmaların çoğu kod değişikliğinin, katkıları kabul etmek için kendine özgü kuralları olan az sayıdaki projeden gelmesi nedeniyle çarpıtıldığını ileri sürüyor. Bu farklılıklar, verimlilik kazanımlarının gerçekten daha yeni modellere geçişten kaynaklanıp kaynaklanmadığını belirlemeyi zorlaştırdı.
Yöntem
Ana deneyde††, çalışmada Fable 5 kullanıcısı olarak belirlenen 297 geliştiricinin GitHub çekme istekleri dört döneme ayrıldı: modelin 9 Haziran’daki çıkışından önceki dönem; modelin üç gün boyunca kullanılabildiği dönem; 19 günlük askıya alma süresinin tamamı; ve erişimin 1 Temmuz’da yeniden sağlanmasının ardından başlayan dönem.
Askıya alma dönemiyle ilişkili değişiklikleri GitHub etkinliğindeki daha genel dalgalanmalardan ayırt edebilmek için, bu geliştiricilerin birleştirilme oranları, eski Opus 4.8 modelini kullandığı belirlenen 8.908 geliştiricinin oranlarıyla karşılaştırıldı.
Karşılaştırmada, yasak olmasaydı her iki grubun birleştirilme oranlarında benzer değişiklikler yaşayacağı varsayıldı. İki grubun birleştirilme oranlarındaki değişiklikler karşılaştırılırken, istatistiksel analizde geliştiriciler arasındaki farklılıklar ve günlük dalgalanmalar da hesaba katıldı:

Claude model yükseltmeleri ile Fable 5’in askıya alınma sürecinin zaman çizelgesi. Üst panelde Opus ve Sonnet için yapılan sekiz yükseltme gösteriliyor; dolu daireler, daha kapsamlı çalışmada incelenen beş yükseltmeyi işaret ediyor. Alt panelde, askıya alma döneminin PR birleştirme oranlarını nasıl etkilediğini değerlendirmek için kullanılan dört dönem gösteriliyor; yasak, referans dönemi olarak alınıyor. Mor çizgiler Fable 5’in ne zaman kullanılabildiğini veya erişimin ne zaman askıya alındığını, gri gölgelendirme yasak dönemini gösteriyor; taralı bölümler ise erişimin askıya alınmasının veya yeniden sağlanmasının hemen ardından hariç tutulan günleri belirtiyor. Kaynak
Veriler için, Claude Code ile oluşturulan herkese açık GitHub PR’leri, açıklamalarına otomatik olarak eklenen ‘Generated with Claude Code’ bildirimi kullanılarak GitHub Search API üzerinden belirlendi. Belirli model adı, kodun commit geçmişinden PR açıklamasına da kopyalanmışsa kullanılan Claude sürümünü saptamak mümkün oldu.
Fable 5’in askıya alınması ve ardından gelen Claude model yükseltmeleri döneminde gönderilen PR’ler, en son gönderilenlerin birleştirilmesi için en az dört hafta tanınarak Kasım 2025 ile Ekim 2026 arasında toplandı.
Ana çalışma grubu, Fable 5’in kısa süre kullanılabildiği dönemde bu modeli kullanan 297 geliştiriciden oluşturuldu. Fable 5 kullandığına dair kaydı bulunmayan ve Opus 4.8 kullanan 8.908 geliştirici ise kontrol grubunu oluşturdu.
Temel üretkenlik ölçütü, gönderilen kod değişikliklerinin yedi gün içinde GitHub projelerine kabul edilen oranıydı; bu sayede askıya alma öncesindeki, sırasındaki ve sonrasındaki dönemlerde başarılı gönderimlerin oranı karşılaştırılabildi. Ek kontrollerde, bir saat içinde birleştirilen PR’ler; birleştirilmeden kapatılan PR’ler; alınan yorum sayısı; daha sonra geri alınan değişiklikler ve GitHub’ın otomatik kontrollerindeki başarısızlıklar incelendi.
Testler
Fable 5’e erişimin kesilmesinin ve daha sonra yeniden sağlanmasının geliştirici üretkenliği üzerinde ölçülebilir etkisi çok az oldu. Daha yeni modele erişim, yedi gün içinde birleştirilen PR’lerin oranında yalnızca 1,4 yüzde puanlık bir artışla ilişkiliydi; bu farkın “istatistiksel olarak anlamlı olmadığı” değerlendirildi:

Yasak öncesinde, sırasında ve sonrasında Fable 5 kullanımı ile PR birleştirme oranlarının karşılaştırması. Sol: Fable 5 kullanılarak oluşturulan PR’lerin yüzdesi. Sağ: 22–28 Haziran dönemine kıyasla yedi günlük birleştirme oranındaki değişiklikler; noktalar tahminleri, yatay çizgiler ise %95 güven aralıklarını gösteriyor. Gölgeli satırlar, Fable 5’in kullanılabildiği dönemleri işaretliyor. Model kullanımında büyük değişiklikler olmasına rağmen birleştirme oranlarında çok az değişiklik gözlendi.
Ayrıca, 1.208 geliştiriciyi ve 15.000’den fazla kod gönderimini kapsayan beş Claude model yükseltmesinde, GitHub projelerine kabul edilen kod oranında herhangi bir artış bulunmadı. Oran, tahmini 0,9 yüzde puanlık küçük bir düşüş gösterdi.
Daha yeni modelleri kullanan geliştiricilerin haftada tamamladığı kabul edilmiş gönderim sayısının da yalnızca %2,4 daha fazla olduğu görüldü; bu fark, güvenilir bir iyileşme olduğu sonucuna varmak için çok küçüktü. Kıyaslama puanlarının 5 ila 18 puan arttığı durumlarda bile verimlilikte kayda değer bir artış gözlemlenmedi.
Daha yeni modellerin GitHub’ın otomatik kod denetimlerinde de daha iyi performans göstermediği, başarısızlık oranlarının esasen değişmediği görüldü.
Makale şu sonuca varıyor:
“Fable 5’in kıyaslamalardaki kazanımlarının gerçek iş verimliliğine yansımamasının temel nedeninin, geliştiricilerin ajanlara verdiği görevlerin eski modelin zaten yapabildiği işler olduğunu varsayıyoruz.”
Makale şöyle devam ediyor:
“Bulgularımız, önceki çalışmaların uyarılarına gerçek işlerden elde edilen kanıtlar ekliyor: Bir modeli seçenler açısından, kullanılan işi ölçtüğüne dair kanıt yoksa kıyaslama puanının pek az anlamı vardır[describe].
“Düzenleyiciler ve alıcılar bir modelin ne kadar güçlü olduğunu kıyaslama puanına[score] göre değerlendirirse, dayandıkları farkın kullanıcı verimliliğine yansıması pek olası değildir.”
Sonuç
Yıldan yıla tutarlı ölçütler, endüstriyel sistemlerin ticari boyutu için uzun zamandır bir ön koşul; ancak yapay zekâ alanında bunları gerçekçi ve doğru biçimde tekrarlamak özellikle zor. Bunun nedenlerinden biri, bir kıyaslamayı tanımlayan “test verilerinin” bir sonraki modelin eğitim verilerine girecek kadar hızlı biçimde güncelliğini yitirmesi ve test amacıyla kullanılamaz hâle gelmesidir. Bu durum, kurumsal kıyaslamaların ve tutarlı bilimsel testlerin temelini büyük ölçüde sarsıyor; çünkü araştırmacılar, artık anlamını yitirmiş olabilecek, daha önce yerleşik olan ölçütleri sorgulamaya dayanıyor.
Nitekim, kökeni çok eskilere dayandığı için hâlâ ImageNet gibi artık çoktan geçerliliğini yitirmiş standartlara bağlı kalan Bilgisayarlı Görü araştırma makalelerinin sayısını son on yılda izlemek şaşırtıcıydı.
Bu makalenin sonuçları, hangi sistem kullanılabilir durumdaysa ona uyum sağlayan ve onu esnek biçimde benimseyen kişiler olarak geliştiricileri oldukça olumlu bir ışıkta gösteriyor; en yeni ya da önceki yapay zekâ modeliyle hemen hemen aynı hızda çalışmaları, ellerindeki araçlardan bağımsız olarak süreleri ve teslim tarihlerini gözeterek işlerini en iyi şekilde düzenlediklerini gösteriyor.
* Hacker News’te yakın zamanda yorum yapan bir kişinin belirttiği gibi, “Bisikletli Pelikan” verileri artık eğitim verilerinde yer aldığından test muhtemelen artık geçerli değil.
† Başlığı: “Daha Yüksek Puan Alan Kodlama Modelleri Daha Fazla İş Yapmadı”.
††Çalışmada iki soru daha ele alınıyor; ancak bunların konuyla özellikle ilgili olduğunu ya da temel soruyla benzer ölçüde önem taşıdığını düşünmediğim için burada bunlara yer vermedim. Daha fazla bilgi için kaynak PDF’ye bakabilirsiniz.
İlk yayımlanma tarihi: 18 Kasım 2026 Çarşamba












