İnsanlar, AI Yazılım Teslimini Hızlandırdıkça Hayatta Kalmak İçin Sıkı Sıkıya Tutunuyor

Yazılım geliştirme tarihinin büyük bir bölümünde, kontrol insanlardı. Bir geliştirici bir değişiklik yapar, başka bir kişi onu inceler, birisi onaylar ve sonunda dağıtılır.

AI, tüm sistemi hızlandırıyor ve biz hâlâ insanları ortada tutmaya çalışıyoruz. Geliştiriciler artık kod ve değişiklikleri saniyeler içinde oluşturabiliyor. Ajanlar, depolar, araçlar, altyapı ve diğer sistemlerde daha az insan müdahalesiyle çalışabiliyor.

İçgüdümüz, sürece insanları geri eklemek. Çekme isteğini inceliyoruz, araç çağrısını onaylıyoruz, değişikliği kontrol ediyor ve dağıtımı onaylıyoruz çünkü AI’nın yapmaması gereken bir şey yapmadığından emin olmak istiyoruz. Hayatta kalmak için sıkı sıkıya tutunuyoruz.

Bu içgüdü mantıklı. İnsan incelemesi, yazılım üretime doğru ilerlerken kontrolü sürdürmemizi sağladı. Ancak AI, insanların yönetişim birimi olarak kalamayacağı bir hız ve hacimde çalışmaya başladı.

AI, İnsan İncelemesinden Zaten Daha Hızlı İlerliyor

Yazılım geliştirmedeki üretken AI’nın ilk dalgası, ağırlıklı olarak geliştiricilerin daha hızlı kod yazmasına yardımcı olmaya odaklandı. Bu tek başına yazılım teslimini değiştiriyor. Daha fazla kod, daha fazla uygulama değişikliği, altyapı değişikliği ve veritabanı değişikliği demek ve bunların test, güvenlik, inceleme, dağıtım ve üretim aşamalarından geçmesi anlamına geliyor.

Sorun, AI’nın daha kötü değişiklikler yaratması değil. Daha fazla ve daha hızlı değişiklik yaratıyor. Bu yeni çıktının kontrolü, her değişikliği bir başka kişinin incelemesi ise, sonunda matematik işe yaramaz.

Bunun zaten belirtilerini görüyoruz. Anthropic, Claude Code kullanıcılarının izin istemlerinin yaklaşık %93’ünü onayladığını yakın zamanda bildirdi. Şirket, tekrarlanan isteklerin onay yorgunluğuna yol açabileceğini, onay sayısı arttıkça insanların daha az dikkat ettiğini buldu. Anthropic şimdi tüm şeyleri bir kişinin onaylamasını istemek yerine, eylemleri değerlendirmek ve potansiyel tehlikeli olanları durdurmak için bir otomatik sınıflandırıcı kullanıyor.

Bunun insan denetimi hakkında ne söylediğini düşünün. Birisi %93 oranında onay tıklıyorsa, bir onay daha eklemek mutlaka daha fazla kontrol sağlamaz. Bir noktada, insan iş akışında başka bir adım haline gelir.

AI’yı daha fazla yazılım oluşturmak için kullanabiliriz. Bunun arkasında aynı büyüklükte bir insan inceleme operasyonu oluşturamayız.

AI, Kod Oluşturmaktan Eyleme Geçmeye Başlıyor

Kod yardımcıları AI’ya geliştirmedeki bir rolü verdi. Ajanlar, AI’ya SDLC’nin çok daha fazlasına katılma yeteneği sağlıyor. Bir ajan bir hedef alabilir, bunu nasıl gerçekleştireceğine karar verir, araçları kullanır, sonuçları gözlemler ve bir sonraki adımını ayarlar.

Yazılım mühendisliğinde bu, dosyaları değiştirmek, komut çalıştırmak, depolarla etkileşimde bulunmak, API’leri çağırmak, kodu test etmek veya altyapıyla çalışmak anlamına gelebilir. İnsanlar ayrıca ajanların kendi başlarına çalışmasına daha fazla alışıyor. Milyonlarca insan-ajans etkileşiminin incelendiği bir çalışmada, Anthropic buldu ki deneyimli Claude Code kullanıcıları oturumların %40’tan fazlasında tam otomatik onay kullandı, bu da yeni kullanıcıların yaklaşık iki katı.

Bu, otonom ajanların bugün her yerde üretim ortamlarını çalıştırdığı anlamına gelmez. Çalışmıyorlar. Ancak yazılım geliştirme, bunun nereye gittiğine dair erken bir bakış sunuyor.

Bugün, AI daha fazla değişiklik yaratıyor ve insan incelemesi zorlanmaya başlıyor. Sonra AI, SDLC’nin daha fazla aşamasına katılacak. Sonunda, ajanlar çok daha az insan müdahalesiyle değişiklikleri oluşturacak, doğrulayacak, dağıtacak, gözlemleyecek ve düzeltme yapacak.

Her adımda, bir kişinin kontrol sağladığı bir yeri daha kaldırıyoruz. Soru, AI’nın işi yapıp yapamayacağından, AI’nın kendi başına ne yapmasına izin verileceğine değişiyor.

İzin, Yetki Değildir

Ajanların faydalı iş yapabilmesi için erişime ihtiyacı var. Yazılım dağıtımına yardımcı bir ajan, bir depoya, CI/CD sistemine, bulut ortamına veya veritabanına erişim gerektirebilir. Bu erişimi kaldırırsanız, ajanın faydalı olmasını sağlayan birçok şeyi de kaldırmış olursunuz.

Ancak erişim ve yetki aynı şey değildir. Bir ajana bir sisteme ulaşma izni vermek, o sistemdeki her eylemi yapma yetkisine sahip olması gerektiği anlamına gelmez.

Geleneksel erişim kontrolü, bir ajanın bir şeye ulaşma izni olup olmadığını söyleyebilir. Ayrıca, istediği belirli eylemin gerçekleşip gerçekleşmemesi gerektiğini belirleyecek bir yola da ihtiyacımız var. Bu, karar veren sistemin görevi, atayan kişiden farklı yorumlaması, bir engelle karşılaşması ve başka bir yol seçmesi ya da meşru bir aracı kimsenin öngörmediği bir şekilde kullanması durumunda daha da önemli hâle gelir.

OWASP, bu sorunun bir versiyonunu Aşırı Yetki olarak tanımlıyor. Aşırı işlevsellik, izinler ve özerklik gibi faktörlerin zarar verici eylemlere yol açtığını belirtiyor ve yüksek etkili eylemler için bağımsız onay öneriyor.

NVIDIA aynı soruna mimari düzeyde yaklaşıyor. Open Agent Safety Platform, politika uygulamasını ajan dışına alıyor ve basit bir noktayı vurguluyor: bir ajanın kendi davranışını tamamen kontrol etmesi beklenemez.

Bu, AI SDLC’mizi nasıl inşa edeceğimizi şekillendirmeli. Bir ajan, bir veritabanına, altyapı ortamına veya dağıtım sistemine erişim iznine ihtiyaç duyabilir. Bu, ajanın yapmak istediği her değişikliğin güvenli olduğunu kendisinin karar vermesi gerektiği anlamına gelmez.

AI, kararlarını olasılıklara dayanarak verir. Bu kararların her birinin otomatik olarak kritik bir sisteme karşı bir eyleme dönüşmesine izin vermemeliyiz.

İnsan Döngüsü Tüm Cevap Olamaz

Açık yanıt, sonuç doğuran AI eylemlerinin önünde bir kişiyi tutmaktır. Bazı kararlar için bu tam olarak yapmamız gereken şeydir. Hata, “insan döngüsü” kavramını her karar için tek çözüm haline getirmektir.

Bir ajanın gerçekleştirdiği her eylem birinin incelemesini ve onaylamasını gerektiriyorsa, AI’nın ortadan kaldırması gereken darboğazı yeniden yaratmış oluruz. Daha da kötüsü, yeterli onay sayısı denetimi bir alışkanlığa dönüştürebilir. Gün boyu onay tıklayan bir kişi mutlaka bir yargı yürütmüyor demektir.

Kararların nerede alındığı konusunda daha bilinçli olmamız gerekiyor. AI, ona verdiğimiz görev çerçevesinde kararlar alabilir. Politika, kuralların zaten bilindiği kararları yönetebilir. İnsanlar ise istisnaları ve gerçekten yargı gerektiren kararları ele alabilir.

Belirlenmiş politikaya uyan düşük riskli bir değişikliğin birinin gözlemlemesi gerekmez. Politikayı ihlal eden bir değişiklik otomatik olarak durdurulmalıdır. Anlamlı iş, güvenlik veya operasyonel sonuçları olan bir istisna, bir kişinin karar vermesini gerektirebilir.

Bu, insanı her döngüye koymaktan çok farklı bir modeldir. Amaç insanları ortadan kaldırmak değil. İnsan dikkatini her eylemin bağımlı olduğu şey haline getirmeyi durdurmak ve yönetilen yolu en kolay yol haline getirmektir.

Kontrolü Eylemin Gerçekleştiği Yere Yerleştirin

Kuruluşlar tek bir AI modeli veya tek bir ajan üzerinde standartlaşmayacak. Geliştiriciler farklı yardımcı programları kullanacak. Takımlar farklı modellerle deney yapacak. AI, geliştirici araçları, güvenlik ürünleri, veri platformları ve iç uygulamalarda ortaya çıkacak.

Her AI aracı etrafında farklı bir yönetişim süreci inşa etmeye çalışmak ölçeklenemez. Kontrol, AI’nın gerçekleştirmek istediği eyleme daha yakın bir konumda olmalıdır.

AI tarafından oluşturulan bir değişiklik dağıtım hattına girerse, insan tarafından oluşturulan bir değişiklik gibi aynı politikalara tabi olmalıdır. Bir ajan altyapıyı, veriyi veya üretim veritabanını değiştirmek isterse, o sistem üzerindeki kontroller, aktör değiştiği için ortadan kalkmamalıdır.

Değişikliğin kaynağı riski belirlemez. Riski değişikliğin kendisi belirler. Bir geliştirici, kodlama asistanı, otomatik süreç veya otonom bir ajan aynı eyleme farklı bir yol izleyebilir, ancak bu eylem sonuç doğurmadan önce aynı politikaya tabi olabilir.

Bu aynı zamanda teknolojinin değişmesine izin verirken şirketlerin her seferinde yönetişimi yeniden inşa etmelerini zorunlu kılmaz. Modeller değişecek. Ajanlar daha yetenekli hale gelecek. Kritik sistemler üzerindeki kontroller tutarlı kalabilir.

NIST, benzer bir risk temelli yaklaşımı AI Risk Management Framework içinde benimser; bu, yönetişimi AI yaşam döngüsü boyunca işlemesi gereken bir şey olarak görür, sonundaki tek bir onay olarak değil. Yazılım teslimi için bu, AI’nın zaten izlediği yola kontroller eklemek anlamına gelir, ona başka bir manuel süreç eklemek yerine.

İnsan Ayrıldığında, Kanıt da Onlarla Birlikte Gidemez

İnsan inceleme modelinin içinde gizli başka bir sorun daha var. Süreçten kişiyi çıkardığınızda sadece incelemeyi kaybetmezsiniz; aynı zamanda incelemenin gerçekleştiğini kanıtlamaya yardımcı olan kişiyi de kaybedebilirsiniz.

Bu, güvenlik, uyumluluk ve denetim gereksinimleri olan şirketler için ciddi bir sorun haline gelir. Hâlâ neyin değiştiğini, kim ya da neyin başlattığını, hangi politikanın uygulandığını, geçip geçmediğini, istisnayı kimin onayladığını, değişikliğin nerede çalıştığını ve sonrasında ne olduğunu bilmeleri gerekir.

Değişikliği otomatikleştirip kanıtı manuel bırakamazsınız. İnsan odaklı bir süreçte, ekipler kanıtı daha sonra biletlerden, onaylardan, pipeline günlüklerinden, ekran görüntülerinden ve konuşmalardan yeniden oluşturabilir. Değişiklik hacmi arttıkça bu yaklaşım zorlaşır ve makineler değişiklikleri sürekli oluşturup yürüttüğünde gerçekçi olmaz.

Kanıt, teslimat sürecinin bir parçası haline gelmelidir. Politika kararları, onaylar, istisnalar, dağıtımlar ve sonuçlar, iş gerçekleşirken kayıt oluşturmalıdır. Denetim kanıtı, ekiplerin sonradan topladığı bir şey yerine yazılım teslimatının bir yan ürünü olur.

Bu, AI odaklı bir SDLC’de yönetişim için iki farklı görevi bırakır. Bir eylemden önce, gerçekleşip gerçekleşmemesi gerektiğini belirleyin. Eylemden sonra, ne olduğunu kanıtlayın.

İnsanlar Yok Olmayacak. İşimiz Değişiyor.

Kontrolü, bir kişinin kaç kez dahil olduğuna göre ölçme eğilimi anlaşılabilir bir içgüdüdür. Daha fazla inceleme daha güvenli hissettirir. Daha fazla onay daha güvenli hissettirir. Her döngüde bir insan tutmak daha güvenli görünür.

AI bu varsayımı test edecek. AI, oluşturabileceğimiz yazılım miktarını artırmaya devam ederse, insanlar her değişikliği inceleyemez, her eylemi onaylayamaz, her dağıtımı izleyemez ve sonrasında her kararı yeniden oluşturamaz. Bunu yapmaya çalışmak ya AI’yı yavaşlatır ya da insan denetimini bir kağıt imzaya dönüştürür.

AI SDLC, farklı bir iş bölümü gerektiriyor. AI daha fazla işi üstlenebilirken, politika tekrarlanabilir kararları yönetir ve insanlar gerçekten yargı gerektiren durumlarda devreye girer. Kanıt, süreç boyunca otomatik olarak oluşturulmalıdır.

AI’ye daha fazla erişim sağlayacağız çünkü bu, onun faydalı olmasını sağlar. Ajentlere daha fazla özerklik vereceğiz çünkü bu, onlardan daha fazla fayda elde etmemizi sağlar. Zorluk, artan erişim ve özerkliğin sessizce sınırsız yetkiye dönüşmemesini sağlamaktır.

İnsanların daha sıkı tutunmasına gerek yok. Hedef daha az kontrol değil. Her kararı kendimiz tutmaya bağlı olmayan bir kontrol modeli. Daha az tutuşla kontrolü kaybetmeden kontrol mekanizmalarını inşa etmemiz gerekiyor.