2020’den İnsan Kodu, Vibe-Coded Ajansları Ajanslı Testlerde Yendi

ChatGPT ve diğer vibe-coding araçları neredeyse 40.000 maçta test edildi ve Büyük Dil Modelleri’nin icadından önce yazılmış bir yüksek lisans öğrencisi koduna karşı kaybetti.

İngiltere’den yeni bir çalışmada, araştırmacılar insan tarafından yazılmış ajanları, en son Büyük Dil Modelleri (LLM’ler) ile geliştirilen vibe-coding ajanlarına karşı karşıya getirdiler ve LLM’ler olmadan oluşturulan ajanların, AI destekli sürümlerini kolayca yendiğini buldular.

Her iki ajan seti de İsviçre Federal Teknoloji Enstitüsü’nün Yapay Zeka Laboratuvarı’ndan farklı öğrenci nesilleri tarafından oluşturuldu. İnsan tarafından yazılmış ajanlar, 2020’de ders çalışması olarak geliştirildi, ChatGPT ve LLM devriminin başlangıcından iki yıl önce, mientras yeni ajanlar, en son ve en iyi LLM’ler kullanılarak mevcut öğrenciler tarafından oluşturuldu.

Hatta oyunu rigged olarak oynasalar da, vibe-coding çözümleri kazanamadı ve ilk beş sırayı tutarlı bir şekilde “ham” ajanlar aldı, çoğunluğu LLM ajanları (40’tan 33’ü) “çok basit” temel ajanlar tarafından kolayca yenildi, 38.304 meydan okuma boyunca, birçok değişken ve durum boyunca 12 turnuva boyunca.

Makale şöyle diyor:

‘Çalışmamız, durumun, state-of-the-art LLM’lerin çalıştırılabilir kod (yani, sözdizimi hataları olmadan) üretebileceğini, ancak üretilen çözümün, stratejik planlama, optimizasyon veya çoklu ajan rekabeti gibi boyutlarda insan tarafından tasarlanan çözümlerle rekabetçi olmadığını gösteriyor.

‘Bu nedenle, bu çalışma, yeni bir kod oluşturma sınırını ortaya koyuyor ve benchmarks, veri setleri ve açık kaynaklı temel noktaların geliştirilmesini kolaylaştırmayı amaçlıyor.’

Çıkarılan meydan okuma, çeşitli stratejiler boyunca kreatif bir şekilde ihalelere katılmak ve kazanılan öğelerin teslimatının lojistiğini organize etmekti.

Yazarlar, LLM’lere beberapa avantaj sağladıklarını, Örneğin, performansını iyileştirmek için kodlarına müdahale etmelerine izin verdiklerini, ancak buna rağmen, LLM’lerin, kesin olarak sonuçlarını iyileştirecek düzeltme kodunu kabul edemediklerini veya kullanamadıklarını belirtiyorlar:

‘[Çalışmamızda] LLM, iyi bir çözümü bağlamda ortaya koyduğumuzda bile, LLM bunu kullanamıyor.

‘Bu sonuç, karmaşık senaryolarda in-context öğrenme ve retrieval-augmented problem çözme sınırları hakkında ilginç gelecekteki araştırma sorularını da ortaya koyuyor.’

Test edilen LLM’ler, GPT-5 Thinking, Gemini 2.5 Pro, Claude Opus 4.1 ve DeepSeek R1* idi.

Yeni makale, Vibe Kodlama Yüksek Lisans CS Öğrencilerini Yenebilir mi? Bir LLM vs. İnsan Kodlama Turnuvası Pazar Odaklı Stratejik Planlama Üzerine başlığını taşıyor ve Southampton Üniversitesi’nden bir yazar ve Oxford Üniversitesi ile Alan Turing Enstitüsü’nden bir yazar tarafından yazılmıştır. Yazarlar, benchmark’ın yakında yayınlanacağını belirtiyorlar.

Yöntem

Yazarlar, geleneksel testlerin bu alanda genellikle ikili çözümlerle (doğru veya yanlış) net bir şekilde tanımlanmış meydan okumalara odaklandığını, bunlar da birim testleri ile doğrulandığını belirtiyorlar. LLM’lerle destekli kodun sınırlarını keşfetmenin ideal yolu olmadığını iddia ediyorlar ve bunun yerine, birden fazla dahili benchmark ve kilometre taşı içeren, zaferin mümkün ancak basit olmayan daha karmaşık bir meydan okuma senaryosu tasarladılar:

Standart, birim testi tabanlı yaklaşımların (yukarıda) ve yazarların tasarladığı daha açık uçlu meydan okuma senaryosunun (mavi, aşağıda) karşılaştırması. Kaynak

Auction, Pickup and Delivery Problem (APDP), kısmen İsviçre üniversitesinden 2020 öğrenci çalışmasının mevcut olması nedeniyle seçildi; bu çalışma, AI’yi geliştirme yoluyla destekleme yeteneğinden önce APDP görevi için otomatik ajanlar oluşturmayı amaçlıyordu. Bu nedenle, modern öğrencilere aynı görevi verip güncel araçlarla donatmak nispeten kolaydı.

Yazarlar, popüler test çerçevelerinden kaçınmaya çalıştılar, Örneğin, HumanEval, BigCodeBench ve WebDev Arena (ve diğerleri), çünkü bu sınıf test prosedürleri genellikle veri kirlenmesinden (yani, sistem test verilerini eğittiği yerine bölme saygı göstermediği) mustarip olur.

APDP, ters ihaleler ve araç rotalama temelinde iki aşamalı bir lojistik sorunudur. İlk aşamada, ajanlar her birini tamamlamak için ödenecek kadar fazla ödemeyeceklerini teklif ederek teslimat görevlerini kazanmaya çalışırlar. Çok yüksek teklif verilmesi görevi kaybetmeye neden olur; çok düşük teklif verilmesi para kaybetmeye neden olabilir.

İkinci aşamada, her ajan yalnızca kazandıkları görevleri yerine getirmek için verimli bir plan oluşturmalıdır, farklı kapasite ve maliyetlere sahip araçlara görevleri atayarak, zaman ve kaynak kısıtlamalarına tabi olarak:

APDP’de şirketler ters ihalelerde teslimat görevleri için teklif verir, sonra yalnızca kazandıkları görevleri yerine getirmek için araç rotalarını optimize eder, karı en üst düzeye çıkarmayı hedefler.

Hedef, görevleri tamamlamak değil, aynı zamanda hangi görev demetlerinin birlikte çalışabileceğini tahmin ederek ve rekabet halinde olan diğer şirketlerin stratejilerini öngörerek genel kârı en üst düzeye çıkarmaktır.

APDP benchmark’ı, stratejik planlama ve çoklu ajan rekabeti gibi boyutlarda kod oluşturma görevlerinin zorluğunu, bir dizi bağımlı ihale boyunca artırarak ve ajanların yalnızca anlık maliyetler hakkında değil, aynı zamanda konumlandırma, zamanlama ve uzun vadeli sonuçlar hakkında da düşünmesini gerektirir.

Temel teslimat problemi NP-zordur, yani hiçbir algoritma görevlerin sayısı arttıkça makul bir sürede en iyi çözümü güvenilir bir şekilde bulamaz. Bu, brute force’un uygulanamayan bir yaklaşım olmasını sağlar ve ajanların kesinlik için hız ile ticaret yapmasını zorlar.

Yarış Başladı

Yazarların değerlendirmesi, 40 LLM-kodlu ajanı 17 insan-kodlu ajanla bir dizi head-to-head turnuvasında karşılaştırdı. Her bir turnuva, dört farklı yol ağı topolojisinin farklı bir kombinasyonunu kullandı ve her bir ajanın diğer her bir ajanla iki kez (her iki şirketin kontrolünü de yaparak) tüm maçları içeriyordu:

Bu kurulum, her turnuvada 3.192 maç ve toplam 38.304 maç sağladı. Her maçta, 50 teslimat görevi, alındıkları ve bırakıldıkları noktalar ve ağırlıklarıyla tanımlanarak, İsviçre, Fransa, Büyük Britanya ve Hollanda’ya modellenen yol düzenleri boyunca rastgele seçildi:

Turnuvada kullanılan basitleştirilmiş yol ağları: Büyük Britanya (üst sol), İsviçre (üst sağ), Hollanda (alt sol) ve Fransa (alt sağ). Mavi ve kırmızı kareler alındıkları ve bırakıldıkları görevleri gösterir. Renkli üçgenler, ajanların araçlarının当前 konumlarını gösterir.

Öğrenci ajanları, 2020’den bir turnuva finalinden alındı. Sekizi, bir eleme finalinin en iyi performans gösterenlerinden geldi, dördü ise temel ajanlara karşı head-to-head maçlarda güçlü performans gösterdikleri için seçildi.

Temel ajanlar sabit yöntemler izledi. Naive toplam mesafeyi hesapladı ve buna göre teklif verdi, yalnızca bir aracı kullandı ve partisyonu görmezden geldi; ExpCostFixedBid 10 rastgele görevi simüle etti ve marjinal maliyetin ortalamasını teklif etti; Honest görevin takvimine eklenmesinin gerçek marjinal maliyetini hesapladı; ModelOpponent aynı şeyi yaptı, ancak rakibin maliyetinin bir tahminini ekledi, en yükseğini teklif etti; ve RiskSeeking zaman içinde azalan bir önceliği canlı maliyet tahmini ve rakip modellemesiyle birleştirdi – yine en yükseğini teklif etti.

Değerlendirme, GPT-5 Thinking, Claude Opus 4.1, Gemini 2.5 Pro ve DeepSeek R1 kullanarak oluşturulan 40 LLM-kodlu ajanı içeriyordu. Her model, beş farklı stratejiyle uyarıldı, her modelde iki kez uygulandı.

İki strateji, farklı yazarlar tarafından yazılan statik promtleri kullandı, bir diğeri modelin kendi çıktısını self-reflect ve revize etmesini istedi; bir diğeri, ayrı bir LLM tarafından eleştiri ve revizyon içeriyordu. Son strateji, önceki dört yaklaşımı gözden geçirerek yeni bir promt oluşturmak için GPT-4’ü kullandı.

Temel promt, orijinal öğrenci görevini yansıtıyordu, teslimat ortamını tanımlıyordu ve modeli, yüksek karmaşıklık yöntemlerine güvenmeden kârı en üst düzeye çıkarmak için teklif vermeye ve planlamaya yönlendiriyordu.

Tüm LLM ajanları, observable hatalar düzeltilene kadar self-play ve turnuva ayarlarında test edildi. Hata düzeltme, LLM’ler tarafından otomatik olarak, hata bilgileriyle uyarılarak yapıldı.

Ortak LLM hataları, makaleye göre, zaman aşımı limiti ihlallerini, atanan görevleri alamama veya teslim edememe ve araç kapasite kısıtlamalarının ihlallerini içeriyordu – bu hatalar genellikle açık talimatlara uymama veya hatalı yeniden planlama mantığından kaynaklanıyordu^†:

‘Başka bir ortak sorun, Gemini, Claude ve DeepSeek’de (GPT’de değil) sıklıkla LLM’nin bir hatayı sürekli olarak çözme başarısızlığıydı.

‘Örneğin, bir ajan sürekli olarak zaman aşımına uğrayacaktı, hata ve güncellenmiş kod sürümünü aldığımız 5 ila 15 tur arasında rağmen.

‘Bu gibi durumlarda (LLM’nin aynı hatayı defalarca çözme başarısızlığı) tek çözüm, başa dönmekti. Genel olarak, hata-free kodu elde etmek için önemli bir manuel çaba gerektiğinin farkına vardık. 40 hata-free ajanı değerlendirmek için önemli ölçüde daha fazla ajan üretmemiz gerekti.’

Aşağıdaki sonuçlar, 12 çift tur turnuvalarından elde edilen sonuçları özetliyor, dört yol ağı topolojisi ve her topolojide üç turnuva, yaklaşık 40.000 maç:

Yazarlar, yukarıdaki sonuçlarla ilgili olarak şunları belirtiyorlar^†:

‘LLM’ler, APDP problemının daha basit varyantlarında bile beklenen/rekabetçi kod üretemedi (kod büyük ölçüde sözdizimi hataları olmadan). Bu, LLM’lerin ötesine geçen, otomatik tamamlama ve LLM’lerin yeni zayıflıklarını tanımlayan, akıl yürütme odaklı kod değerlendirme benchmark’larının önemini vurguluyor.’

‘Sonuçlarımız, insan tarafından kodlanmış ajanların açık bir üstünlüğünü gösteriyor: (i) İlk beş sırayı tutarlı bir şekilde öğrenci ajanları alıyor ve (ii) LLM ajanlarının çoğunluğu (40’tan 33’ü) çok basit temel ajanlar tarafından kolayca yeniliyor (örneğin, beklenen maliyet sabit teklifi).

‘Önemlisi, öğrenci kodunu hata ayıklamadık (LLM kodunu ise hem self-play hem de turnuva ayarlarında důklad olarak test ettik ve hata ayıkladık). Her öğrenci ajanı çöktüğünde, otomatik olarak LLM’ye galibiyeti verdik. Bu çökmelerin birçoğu kolayca düzeltilirdi (örneğin, ajanlar zaman aşımına uğradı), bu nedenle öğrenci ajanları potansiyel olarak daha yüksek sıralamaya ulaşabilirlerdi.’

Ek bir deney olarak, GPT-5 Thinking, en iyi performans gösteren insan ajanı Öğrenci 1‘in kodunu iyileştirmek için uyarıldı; ancak şimdi LLM-modified ajan, onuncu sıraya düştü ve tüm insan puanlarının en kötüsü oldu. LLM’ler, çözümü geliştirmek yerine, yaklaşık %20 oranında bozdu.
Yazarlar, sonuçlarını şöyle özetliyor:

‘Sonuçlarımız, LLM kod oluşturma sınırlarını vurguluyor, özellikle kod oluştururken sınırlı akıl yürütme ve planlama yetenekleri. Modern LLM’ler, çalıştırılabilir, sözdizimi hataları olmayan kod sağlayabilir, ancak bu, ilerleme ölçmek için kullanmamız gereken benchmark değildir. ‘

Sonuç

Yazarlar, makalenin sonunda, vibe-coding’in teknik olmayan tüm geçmişlere sahip insanları güçlendirdiğini ve bu uygulamayı olumlu bir şekilde, bir eşitlikçi güç olarak tanımladılar. Ancak, vibe-coding’in sadece yeni ortaya çıktığını ve sınırlarının bilinmediğini, gerçekçi olarak beklenebileceğinden daha yüksek olabileceğini ima ediyorlar.

Çalışmalarını, ‘derleyici kodu競e kod‘ hedefini değiştirme çağrısıyla bitiriyorlar.

İlginç yeni makaleyi okuyan casual okuyucunun aklına gelebilecek bir soru, yazarların yukarıdan mı yoksa aşağıdan mı vurduğu, çünkü söz konusu ajans görevi, PowerShell betikleri ve diğer küçük işlevler ve düzeltmeler için vibe-coding’in uygun olduğu daha karmaşık ve daha fazla içeriklidir.

* Lütfen makalenin sürekli olarak ‘DeepThink R1’e atıfta bulunduğunu, ancak sadece ‘DeepSeek R1’ için birkaç internet referansı olduğunu (muhtemelen diğer yazarların ‘DeepSeek R1’i yanlış yazması nedeniyle) unutmayınız. Bu benim hatam ise, lütfen profil ayrıntılarımdan bana ulaşın ve düzeltme yapacağım.

^† Yazarların vurgusu, benimki değil.

İlk olarak 26 Kasım 2025 Çarşamba günü yayınlandı. 17:35 EST’de düzenleme için değiştirildi.