Ajan tabanlı yapay zekâ daha az değil, daha fazla test uzmanına ihtiyaç duyuyor

Ajan tabanlı yapay zekâ, yazılımın geliştirilip yayımlanma biçimini baştan yazıyor. Yardımcı araçlar çekme istekleri taslakları hazırlıyor, ajanlar geçiş işlemleri başlatıyor, kod inceleme botları ise bir insan kahvesini bitirmeden önce değişikliğin güvenli olduğunu öne sürüyor. Sektör, bunu çoğu zaman kalite alanında daha az kişiye ihtiyaç duyulmasına giden bir yol olarak sunuyor. Bu bakış açısı yanlış. Kod tabanının daha büyük bölümünü makineler yazdıkça, kıtlaşan beceri kod üretmek değil. Bağımsız doğrulama yapmak.

2025 Stack Overflow Geliştirici Anketi, katılımcıların %84’ünün geliştirme süreçlerinde yapay zekâ araçlarını kullandığını ya da kullanmayı planladığını, profesyonel geliştiricilerin %51’inin ise bu araçları her gün kullandığını ortaya koydu. Olumlu görüş bildirenlerin oranı %60’a geriledi; yapay zekânın doğruluğuna etkin biçimde güvenmeyen geliştiricilerin oranı (%46), güvenenlerin oranını (%33) aştı. Katılımcıların %66’sının dile getirdiği en büyük hayal kırıklığı, neredeyse doğru olan ama tam olarak doğru olmayan çözümlerdi. Google Cloud’un 2025 tarihli DORA araştırması, yazılım geliştirme profesyonelleri arasında yapay zekâ kullanımının %90’a ulaştığını ve %80’den fazlasının yapay zekânın üretkenliği artırdığını söylediğini bildirdi; buna karşın, katılımcıların yalnızca %24’ü yapay zekâya çok ya da oldukça güvendiğini belirtti. Güven olmadan fayda sağlanması, test uzmanının işini azaltan değil, tam da genişleten koşuldur.

Hız, Kanıt Değildir

Ajan tabanlı testlere ve yapay zekânın yazdığı kodlar için CI kapılarına odaklanan bir Yazılım Kalite Mühendisi olarak çalışıyorum. Kurum içinde bir çekme isteği inceleme aracı ve bir test senaryosu oluşturucu yayımladık. İkisi de taslak hazırlama araçları. Hiçbiri kendi ödevini kendi notlandırmıyor. Bu kural önemli; çünkü ajanlar kesin bir dille konuşuyor. Kesin konuşmak, doğru olmak demek değil.

Bunu pahalıya mal olacak şekilde öğrendik. Yapay zekâyla oluşturulmuş bir çekme isteği inceleme aracının pilot uygulamasında bir değişiklik, CI sürecini 4 dakikadan kısa sürede geçti. İki gün sonra, sonraki aşamadaki bir gösterge panelinde olanaksız sıcaklık değerleri göründü. Santigrat’tan Fahrenhayt’a ölçek dönüşümünün tersine çevrildiği bir kod yolu, test paketinin hiç çalıştırmadığı bir yerde kalmıştı. İşlem hattı yeşil görünüyordu. Ürün hatalıydı. Zor soruyu hiç sormayan, başarılı görünen bir CI süreci yalnızca gösteriştir.

Bu olay, daha geniş bir örüntünün parçası. CodeRabbit’in Yapay Zekâ ve İnsan Tarafından Kod Üretiminin Durumu Raporu, açık kaynaklı GitHub depolarındaki 470 çekme isteğini (320’si yapay zekâ katkılı, 150’si yalnızca insanlar tarafından hazırlanmış) analiz etti. Yapay zekâ tarafından yazılan değişikliklerde genel olarak yaklaşık 1,7 kat daha fazla sorun ortaya çıktı; mantık ve doğruluk sorunları %75 daha yaygınken güvenlik bulgularının sayısı 2,74 kata kadar daha yüksekti. Veracode’un 2026 tarihli Üretken Yapay Zekâ Kod Güvenliği Raporu, modelleri güvenlikle ilgili görevlerde test etti ve ortalama güvenlik testini geçme oranını %56 olarak buldu. Bu oran, önceki rapordaki %55’ten çok az farklıydı; yapay zekâ ile kod üretme görevlerinin yaklaşık %44’ü bilinen bir güvenlik açığı oluşturmuştu. Sözdizimi sorunu neredeyse çözüldü. Güvenli ve doğru davranış ise çözülmedi. Test uzmanları, bu ikisini birbirine karıştırmayı reddeden kişilerdir.

Halüsinasyon Ürünü Bağımlılıklar Bir Test Sorunudur

Kod üretimi, var olmayan paketler de uyduruyor. USENIX Security 2025 araştırması Size Bir Paketimiz Var!, 16 kod üreten büyük dil modelinde 576.000 örnek üzerinden paket halüsinasyonlarını değerlendirdi. Ticari modeller ortalama olarak vakaların en az %5,2’sinde paket uydururken açık kaynaklı modellerde bu oran ortalama %21,7’ydi ve uydurulmuş 205.474 farklı paket adı tespit edildi. Sürekli karşılaşılan hayalet paketler, uydurma paket adı üzerinden gerçekleştirilen saldırılar için elverişli bir hedef oluşturuyor: Saldırganlar uydurulmuş adı kaydettiriyor ve bir geliştiricinin ya da ajanın paketi yüklemesini bekliyor.

Bağımlılıkların kaynağını doğrulama kontrolleri, işlevsel testlerle aynı düzeyde yer almalıdır. Bir ajan NuGet ya da npm paketi uydurursa, birileri birim testlerinin yeterince kapsamlı olup olmadığını tartışmaya başlamadan önce birleştirme işlemi başarısız olmalıdır. Kaynak doğrulaması isteğe bağlı bir temizlik işi değildir. Yapay zekânın yazdığı değişiklikler için bir kalite kapısıdır.

Ajanlarla Birlikte Ölçeklenen Kapılar

Yapay zekâ destekli otomasyonla kurum genelinde yaklaşık iki hafta içinde .NET 8’den .NET 10’a geçiş yaptığımızda kalite kapılarından ben sorumluydum. Hız gerçekten sağlandı. Ajanın özetine sorgulamadan güvenmeyen kontrollere duyulan ihtiyaç da öyle. Değişen kod üzerinde uyguladığım kapılar şunları içeriyor:

• Değiştirilen mantık için %60 ila %70 aralığında mutasyon skoru hedefleri; böylece test paketi yalnızca satırları kapsamış olmakla kalmıyor, gerçek mutasyonları da yakalamak zorunda kalıyor
• Tek başına örneklerin davranışı yeterince tanımlamadığı, yüksek riskli mantık için özellik tabanlı testler
• Uydurma paket adları üzerinden gerçekleştirilen saldırılara ve halüsinasyon ürünü paketlere karşı bağımlılıkların kaynağını doğrulama kontrolleri
• Ajanların kopyalayıp yapıştırarak durmadan değişiklik yapmasını belirleyen çoğaltma ve değişiklik sıklığı sinyalleri
• “Geçiş tamamlandı” gibi ajan iddialarının bağımsız doğrulaması; çünkü kanıt ortaya konana kadar her iddia bir varsayımdan ibarettir

Mutasyon skoru göstermelik bir ölçüt değildir. Testlerinizin kasıtlı olarak oluşturulmuş bir hatayı fark edip etmediğini ölçer. Test kapsamı artarken test paketi Santigrat yolunu yine de gözden kaçırabilir. Özellik tabanlı kontroller, sistem modelinin tek bir sorunsuz senaryoda değil, farklı aralıklarda da geçerli olmasını zorunlu kılar. Kaynak doğrulaması, paket kilerinin kapısını kapatır. Değişiklik sıklığı ve kod çoğaltma ölçümleri, ajanların aynı fikri üç farklı biçimde yeniden yazma alışkanlığını yakalar. Birlikte bir yaklaşım oluştururlar: Test paketi aksini kanıtlayana kadar ajanın yanıldığını varsay. İnceleme sırasında bu ölçüyü koruyorum.

Bunların hiçbiri API testlerinin, kimlik doğrulama testlerinin, temel işlev testlerinin ya da kullanıcı arayüzü otomasyonunun yerini tutmaz. FlaUI ve PowerShell, API testlerinin yakalayamadığı sorunları hâlâ yakalıyor. NuGet, MSI ve MSM üzerinden paketleme işlemlerinde kurulumun ve sessiz kurulum akışının doğrulanması hâlâ gerekiyor. Ajan tabanlı iş akışları işlem hacmini artırıyor. Bu disiplinleri ortadan kaldırmıyor.

Daha Fazla Test Uzmanı, Farklı Bir İş

Korku, ajanların testleri yazması ve insanların gereksiz hâle gelmesi. Ajanlar test senaryoları taslakları hazırlayabilir. Ancak kendi taslaklarını onaylamamalılar. Gelecekte testlerde yapay zekâ kullanmayı planlayan Stack Overflow katılımcıları da insanların yapay zekâya duyduğu güvensizliği meselenin merkezinde görüyor: başka birinden yardım istemelerinin başlıca nedeni, yapay zekânın yanıtlarına güvenmemeleriydi. Bu içgüdü, mesleğin en büyük gücüdür.

Burada, alışılmışın dışındaki yollardan gelen kişileri işe almak ve desteklemek önem taşıyor. İK operasyonları ve veri alanlarında çalıştıktan sonra kalite alanına geçtim, Mayıs 2024’te UMBC’de Bilgi Sistemleri alanında yüksek lisansımı tamamladım ve şimdi günlerimi ajan tabanlı kalite kapılarını pratikte işler hâle getirmekle geçiriyorum. Ajan tabanlı yapay zekâ, tek bir özgeçmiş profilini beklemeyecek. Kanıt tasarlayabilen daha fazla kişiye ihtiyacı var; başarılı derlemeleri sorgulamadan onaylayan daha az kişiye değil.

Ürünle ilgili soru basit. Ajanlar, doğrulama süreciniz düşünebildiğinden daha hızlı ürün çıkarıyorsa verimlilik kazanımı elde etmiş değilsiniz. Yalnızca ertelenmiş bir olayınız var. Her ajan iddiasına şüpheyle yaklaşan, mutasyon testlerini ve veri kökeni izlenebilirliğini CI süreçlerine entegre eden, ayrıca modelin en akıcı ama güvenilirliğinin en düşük olduğu noktalarda bağımsız yargısını koruyan test uzmanlarına yatırım yapın. Ajan tabanlı yapay zekânın daha azına değil, daha fazla test uzmanına ihtiyacı var.