Düşünce Liderleri

Testler Neden En Baştan Yapay Zekâ Üretim Hattına Dahil Edilmeli?

Ole Lensmar
Unite.AI sitesini Google'daki tercih ettiğiniz kaynaklara ekleyin
Öne çıkan noktalarYapay zeka kodlamayı hızlandırıyor ancak zayıf alt akış testlerini açığa çıkarıyor ve…
Daha fazla göster
  • Yapay zeka kodlamayı hızlandırıyor ancak zayıf alt akış testlerini açığa çıkarıyor ve teslimat istikrarını düşürüyor.
  • Kendi testlerini yargılayan ajanlar, kodu düzeltmek yerine başarısız testleri düzenleyerek hile yapabilir.
  • Testler, her değişikliğin aynı hükümle karşılaşması için CI dışında kendi istasyonu olmalıdır.

Yirmi yılı aşkın süredir test araçları geliştiriyorum ve bu sürenin büyük bölümünde mühendislik ekipleriyle yaptığım konuşmalar birbirine oldukça benziyordu. Test uzmanları, yazılım yaşam döngüsünde kendilerini ikinci sınıf vatandaş gibi hissediyordu. Testler geç aşamada yapılıyor, çoğu zaman sürüm öncesinde geriye kalan kısıtlı zamana sıkıştırılıyor ve başka bir amaç için oluşturulmuş bir CI işlem hattına sonradan ekleniyordu. Yapay zekâ artık kod yazma biçimimizi dönüştürdü; bunun testler üzerindeki etkisi de kesinlikle hissediliyor, hem olumlu hem olumsuz yönde. Pek çok açıdan yapay zekâ, bu sorunu daha görünür hâle getirdi.

Son birkaç ayda bir avuç test ve bulut tabanlı yerel teknolojiler konferansına (LeadDev, CloudX, StarWest) katıldım. Görüştüğüm ekiplerin neredeyse tamamı aynı projenin bir çeşidi üzerinde çalışıyor: Ajanların, süreç boyunca gereken ölçüde insan katılımıyla, bir teknik şartnameden üretimde çalışan bir yazılıma kadar işleri üstlendiği, yapay zekâ odaklı bir yazılım teslim yaşam döngüsü. Ben bunu bir üretim hattı gibi düşünüyorum. Ajanlar kod yazıyor, başka ajanlar kodu inceliyor, işlem hatları da yazılımı derleyip dağıtıyor. İnsanlar süreci gözetiyor. Bu hatta testlerin nerede yer aldığı konusunda ise çok daha az şey duyuyorum.

Henüz Kimse Bu İşin Çözümünü Bulmuş Değil

Şu an işler biraz Vahşi Batı’yı andırıyor. Birkaç haftada bir yeni ajan yetenekleri ortaya çıkıyor, büyük yapay zekâ laboratuvarları yeni modeller yayımlamayı sürdürüyor; ekipler ve tedarikçiler de neyin işe yarayacağını görmek için akıllarına gelen her şeyi deniyor.

Bazı veriler, sorunların şimdiden kendini göstermeye başladığına işaret ediyor. Google’ın teknoloji alanında çalışan yaklaşık 5.000 kişinin katıldığı en güncel DORA’nın yapay zekâ destekli yazılım geliştirme raporu, yapay zekâ kullanımının daha yüksek teslimat hacmiyle bağlantılı olduğunu ortaya koydu; bu iyi haber. Ancak yapay zekâ kullanımı, teslimat istikrarının düşmesiyle de bağlantılı olmaya devam ediyor. Araştırmacılar bunu, yapay zekânın geliştirme sürecini hızlandırırken aşağı akıştaki zayıflıkları görünür kılmasıyla açıklıyor ve daha fazla değişikliğin daha fazla istikrarsızlığa dönüşmesini önleyen tedbirlerden biri olarak güçlü otomatik testlere işaret ediyor.

Bunu şaşırtıcı bulmuyorum. Çok daha az kod için tasarlanmış bir süreçten çok daha fazla kod geçirirseniz süreç bir yerde yavaşlar ya da bir yerde aksar.

Geliştiriciler Daha Hızlı, Ancak Sürümlerin Çoğu Değil

İnsanlar, yapay zekânın ürettiği kodda nelerin ters gidebileceğini düşündüklerinde, genellikle bir ajanın korkunç bir şeyi üretim ortamına göndermesini hayal ediyor. Bunun yaşandığına eminim; yaşandığında da sonuçları pek iç açıcı değil: hatalar, mutsuz müşteriler, belki bir güvenlik olayı. Ama açıkçası, çoğu zaman karşılaştığım şey bu değil.

2026 Stack Overflow Geliştirici Anketi, yapay zekâ kullanımının bugün hangi alanlarda yoğunlaştığını gösteriyor. Geliştiriciler yapay zekâyı çoğunlukla zaten bildikleri alanlarda kod üretmek (%67) ve hata ayıklamak (%61) için kullanırken, yalnızca %20’si üretim sistemlerini dağıtmak, işletmek veya sorunlarını gidermek için kullanıyor. Şimdiye kadar yapay zekâ en çok kod yazma sürecini hızlandırdı. Bu kodun doğrulanması ve üretim ortamına alınması ise büyük ölçüde eskisi gibi ilerliyor.

Benim gözlemim de bunu doğruluyor: Ekipler çok daha fazla kod üretiyor ama sürümleri daha hızlı yayımlayamıyor. Tek bir geliştirici ya da ekip, iki kat fazla özellik geliştiriyormuş gibi hissedebilir; ancak bu özellikler aşağı akışta takılıp kalıyor, inceleme, test veya test edilecek bir ortam için bekliyor. Bu fazladan kodun tamamı işlem hattını tıkıyor ve çoğu durumda ekiplerin genel teslimat hızını bile düşürüyor.

Güvenlik Önlemlerine İlişkin Sorular Yöneticilerden Geliyor

Yapay zekânın yol açtığı teslimat darboğazları kaygısı çok somut olsa da ekiplerin bize sorduğu tek şey bu değil. Geliştiriciler çoğunlukla daha iyi kodu daha hızlı nasıl yazabileceklerini öğrenmek istiyor. Güvenlik önlemlerine ilişkin soruları ise mühendislik yöneticileri ve bu ajan odaklı iş akışlarını kuran kişiler soruyor. Ajanların kontrolden çıkmasını nasıl önleriz? Gerilemelere yol açmadıklarından ya da yapmaları gereken işleri sessizce atlamadıklarından nasıl emin oluruz? Yazdıkları testlerin, doğrulamaları gereken şeyi gerçekten (hem de dürüstçe!) doğruladığından nasıl emin oluruz?

Bunun nedeninin, farklı şeylere bakmaları olduğunu düşünüyorum. Bir geliştirici her seferinde tek bir kod birleştirme isteğine odaklanır. Mühendislik yöneticisi ise çok sayıda ajanın ve kişinin katkısıyla yayımlanan her şeyden sorumludur; üretim ortamında bir sorun çıktığında bunu açıklaması gereken kişi de odur.

Temkinli olmaları için nedenleri var. Araştırmacılar, birim testlerinin teknik şartnameyle çeliştiği kodlama görevlerini kullanarak ImpossibleBench adlı bir kıyaslama testi oluşturdu; bu testleri geçmenin tek yolu hile yapmaktı. Önde gelen modeller çoğu zaman tam da bunu yaptı; örneğin kodu düzeltmek yerine başarısız testleri düzenledi ya da sildi (!!). Ajanların yazdığı kod birleştirme isteklerini inceleyen ayrı bir araştırma, ajanların kendi değişikliklerini ne kadar iyi test ettiğine ilişkin eksiklikler buldu ve birleştirilen ajan kaynaklı kod birleştirme isteklerinin neredeyse üçte birinin sonradan düzeltme ya da yeniden düzenleme gerektirdiğini gösteren önceki araştırmalara atıfta bulundu.

Benim çıkardığım sonuç şu: Güvenlik önlemleri yalnızca ajanın kendi ortamında bulunamaz; kod yayımlandıktan sonra devreye girmekle de yetinemez. Kodu yazan ajan, testleri geçip geçmediğine de kendisi karar veriyorsa sonuç pek bir şey ifade etmez. Bu, ajanların test yazmaması gerektiği anlamına gelmiyor. Kararı, ajanın değiştiremeyeceği bir yerin vermesi gerektiği anlamına geliyor. Testler üretim hattında, ister bir kişi ister bir ajan tarafından yazılmış olsun, her değişikliğin geçtiği bağımsız bir aşama olmalı.

Bu Aşama Neleri Gerektiriyor?

Yanıt, yepyeni bir test yaklaşımı değil. İhtiyaç duyulanların çoğu, iyi kalite güvence ekiplerinin en başından beri talep ettiği şeyler. Artık bunlar daha da önemli.

Testlerin, sınadıkları kod gibi, gereksinimlere uygunluk açısından doğrulukları gözden geçirilmeli. Ayrıca testler, yazılımın çalıştığı ortamda yürütülmeli. Bir ajanın korumalı test ortamında başarılı olan bir test, hazırlık veya canlı ortamlar hakkında pek bilgi vermez; ayrıca hangi bağımlılıkların taklit edildiğini ya da bunun nasıl yapıldığını gizleyebilir. Yakın zamanda yapılan ajanların oluşturduğu yaklaşık 180.000 test dosyasını inceleyen bir araştırma, ajanların insan eliyle yazılan testlere kıyasla daha fazla uç durumu kapsadığını, ancak testlerinin kararsız sonuçlar verme olasılığının daha yüksek olduğunu ortaya koydu. Bunun başlıca nedeni, ajanların testlerin çalışacağı ortam hakkında yeterli bilgiye sahip olmamasıydı. Testleri erkenden gerçek altyapıda çalıştırmak bu sorunu yakalar.

Testler ve sonuçları saklanmalı. Bir ajan test yazıyorsa, kapsamı ve olası kararsızlıkları öğrenebilmesi için mevcut testleri ve bunların sonuçlarını bağlam olarak kullanmalı. Testler de diğer tüm kodlar gibi gözden geçirilmeli ve sürümlenmelidir; böylece oturum sona erdiğinde kaybolmak yerine bir sonraki değişiklikte yeniden çalıştırılabilirler.

Başarılı bir test sonucu, bunu kimin ya da neyin talep ettiğinden bağımsız olarak aynı anlama gelmeli; talep bir işlem hattından, geliştiriciden veya ajandan gelebilir. Bunun için aynı testlerin aynı altyapıda çalıştırılması ve sonuçların tek bir yerde tutulması gerekir.

İnsanlar da kendi muhakemelerini kullanmaya devam etmeli. Ajanlara şablon niteliğindeki işleri ve bağlantıları kurmayı bırakmaktan memnuniyet duyarım. Nelerin test edilmeye değer olduğuna ve bir başarısızlığın ne anlama geldiğine karar vermek hâlâ insanların işi (en azından şimdilik…).

Bu, testlerin yalnızca CI/CD içinde yürütülemeyeceği anlamına da geliyor (bu makaleden aklınızda tek bir şey kalacaksa, bu olsun!). CI işlem hatları kodu derleyip yayımlamak için tasarlandı; büyük ölçekte otomatik test çalıştırmak üzere hiçbir zaman tasarlanmadı. Ajan tabanlı bir SDLC’ye geçerken kod miktarı artmaya devam ettikçe, CI test çalıştırmak için daha da elverişsiz hâle geliyor. Testler, işlem hattının sonuna eklenen bir adım olmak yerine yazılımın teslim edilme biçiminin temel bir unsuru olmalı. Bunun için testleri, süreci kimin yürüttüğünden (ajan ya da insan) bağımsız olarak, ekibin kullandığı her araç ve ortamda kendi başına bir sistem olarak düzenlemek gerekiyor.

Nereden Başlamalı?

Çoğu ekibin Playwright, Cypress, k6, Postman ya da standart olarak benimsediği başka bir araçta güvendiği testler zaten var; başlamak için de bunlar harika bir nokta. Önereceğim birkaç şey var:

  1. Bir değişikliğin bugün istemden canlı ortama nasıl ulaştığını adım adım çıkarın ve testlerin çalıştırıldığı her yeri işaretleyin. Testler yalnızca tek bir noktada, sürecin sonuna doğru çalışıyorsa, işe oradan başlardım.
  2. Ajanların mevcut testleri sessizce değiştirmesine izin verirken dikkatli olun. ImpossibleBench araştırmacıları, ajanların testlere erişimini kısıtlamanın hile yapmalarını azalttığını buldu. Bir ajanın testi değiştirmesi gerektiğinde, değişiklik diğer kodlarda olduğu gibi bir kişinin inceleyeceği bir çekme isteği olarak sunulmalı.
  3. Testlerinizi, mümkün olduğunca erken ve ajanların korumalı test ortamları yerine (tercihen gerçek) test ortamlarında çalıştırın. Bunun için, ajanların oluşturduğu her değişiklikte hazırlık ortamına karşı çalışan küçük bir duman testi paketi bile yeterli. Test yazmak için yapay zekâ kullanıyorsanız, test orada çalıştırılmadan kabul etmeyin.
  4. Test sonuçlarınızı tek bir kontrol düzleminde toplayın; bu bir raporlama aracı, APM çözümünüz ya da özel bir test platformu olabilir. Sonuçların hem insanlar hem de ajanlar tarafından görülebildiğinden emin olun.
  5. Faaliyetleri değil, teslimatı ölçün. Çekme isteği sayısı pek bir şey ifade etmez. Değişiklik teslim süresi ve değişiklik başarısızlık oranı gibi DORA’nın teslimat metrikleri, yapay zekânın katkı sağlayıp sağlamadığı konusunda size çok daha fazla bilgi verir.
  6. Ajanların da çalışanlarınızla aynı test altyapısını kullanmasını sağlayın; böylece çalışmaları aynı standartlara göre denetlenir.

İyimser, Ama Bazı Koşullarla

Yapay zekâ söz konusu olduğunda bardağın dolu tarafını gören biriyim; yazılım ekiplerinin çok daha yetkin ve sonuçta daha üretken olacağına inanıyorum. Ancak bu noktaya ulaşmak için ekiplerin, ajanlarının ürettiklerini yayımlayacak kadar güvenilir bulması ve ajan tabanlı SDLC boyunca testlere bütüncül bir yaklaşım benimsemesi gerekiyor. Bu güven ya testler sayesinde inşa edilir ya da kaybolur.

Ajan tabanlı bir SDLC’ye ulaşmaya çalışıyorsanız, testler bugün bu sürecin neresinde?

Ole Lensmar, yapay zekâ odaklı mühendislik ekipleri için açık bir test platformu olan Testkube'nin kurucu ortağı ve CTO'sudur. SoapUI'ı, en yaygın kullanılan API test araçlarından birini geliştirmiş ve daha önce OpenAPI Initiative'in başkanlığını yapmıştır.