Düşünce Liderleri
Niyetten Otonom Eyleme: Kurumlarda Yapay Zekâ Ajanlarının Yönetimi

Öne çıkan noktalarYönetişim, bir kuruluşun hangi sorumlulukları güvenle devredebileceğini tanımladığı…
Daha fazla göster
- Yönetişim, bir kuruluşun hangi sorumlulukları güvenle devredebileceğini tanımladığı için ürünün içinde yer almalıdır.
- Ajan tabanlı bir kontrol düzlemi, ajan kimliğini ve onaylanmış yetenekleri politika uygulamasına ve yürütme gözetimine bağlar.
- Kuruluşlar dar bir iş akışıyla başlamalı ve ajan yetkisini yalnızca operasyonel kanıtlar destekledikçe genişletmelidir.
“Hizmeti yeniden devreye al” gibi bir talimat, bir yapay zekâ ajanının bu talimatın hangi yetkileri kapsadığına karar vermesi gerekene kadar basit görünür. Bir uygulamayı yeniden başlatmak, yapılandırmayı değiştirmek ve altyapı sağlamak bu amaca hizmet edebilir; ancak her birinin farklı sonuçları vardır. Ajanlar eylem önermekten bunları uygulamaya geçtikçe kuruluşların iş niyetiyle operasyonel yetki arasında açık bir bağlantı kurması gerekir.
Yönetim, bir kuruluşun hangi sorumlulukları güvenle devredebileceğini belirlediği için ürünün içine yerleştirilmelidir. Bir görevi güvenilir biçimde, üzerinde anlaşılmış sınırlar içinde ve yaptığı işlemlere ilişkin kanıt sunarak tamamlayabilen bir ajan, yetkileri belirsiz kalan bir ajana kıyasla kurumsal kullanım için daha sağlam bir temel sunar. Mimari açıdan zorluk, bu sınırları sistemin işleyişinin bir parçası hâline getirmektir.
Bu sınırları uygulamaya koymak, ajanların eylemlerini yönetmek için tutarlı bir yöntem gerektirir. Ajan kontrol düzlemi; ajan kimliğini, onaylanmış yetenekleri, politika uygulamasını, bellek denetimlerini ve yürütme gözetimini mevcut kurumsal sistemler genelinde birbirine bağlayarak bu temeli sağlayabilir. Bir eylemi kimin talep ettiğini, bu eylemin hangi yetkiye dayandığını, hangi kaynakları etkileyebileceğini ve sonucunun nasıl doğrulanacağını belirler.
Kurumlarda yapay zekâ ajanlarını yönetmek için önerdiğimiz üç pratik kılavuz şöyle:
Yetenekleri Açık Yetkilerle Eşleştirin
Her ajanın belirlenebilir bir sahibi, tanımlanmış bir amacı ve görevine uygun izinleri olmalıdır. Bu yaklaşım, yönetişimi yapay zekâ yaşam döngüsü boyunca sürekli bir işlev olarak ele alan NIST Yapay Zekâ Risk Yönetimi Çerçevesi ile uyumludur. Ajanlar söz konusu olduğunda bu ilke, bir eylemin kurumsal bir sistemi değiştirdiği ana kadar uzanmalıdır. Bir ajan başka bir ajana görev devrettiğinde bu sınırlar korunmalıdır.
Yeteneklerin keşfi de benzer bir disiplin gerektirir: onaylanmış bir katalogda her aracın amacı, girdileri, çıktıları, kullanılabileceği ortamlar ve olası yan etkileri açıklanmalıdır. Bir aracı keşfetmek, onu çalıştırma izni vermez; bu nedenle bir eylem denenirken yetkilendirme denetlenmelidir. OWASP’ın Aşırı Özerklik kılavuzu da işlevleri ve izinleri sınırlama ve alt sistemlerde yetkilendirmeyi uygulama önerileriyle bu ayrımı vurgular.
Örnek olarak, bir ajanın uygulamadaki yavaşlamayı araştırıp bir bileşeni yeniden başlatmayı önerdiği bir hizmet kurtarma iş akışını ele alalım. Politika, onaylanmış telemetri verilerine erişime izin verirken üretim ortamında yeniden başlatma için yedekliliğin sağlıklı olduğuna dair kanıt ve hizmet sahibinin onayı gerekir. Bu koşullar, kapsamı geniş bir talimatı sınırları belirlenmiş bir operasyonel karara dönüştürür.
Operasyonel Niyeti Yönetilen Araçlara Dönüştürün
Onaylanmış bir kurtarma aracı varsa ajan, bu yeteneği kullanarak bir talep hazırlayabilir. Böyle bir araç yoksa bir betik, çalıştırma yönergesi, girdi şeması ve araç tanımı oluşturmaya yardımcı olabilir; böylece operasyonel niyeti başkalarının inceleyebileceği bir yetenek önerisine dönüştürür. Ajan tabanlı araç kodlamanın pratik değeri de budur: ajanlar, operasyon araçlarını kullanmanın yanı sıra bunların geliştirilmesine de katkıda bulunabilir.
Ancak bu araçların oluşturulması, bunların üretim ortamında çalıştırılabilir hâle gelmesini kendiliğinden sağlamamalıdır. Önerilen bir yetenek; hesap verebilir sahiplik, güvenlik denetimleri, sürüm kontrolü ve geçersiz girdileri, aşırı kapsamı, kısmi hataları ve yinelenen yürütmeyi kapsayan testleri içeren bağımsız bir sürüm sürecinden geçmelidir. Ajan tarafından oluşturulan testler kanıt sunmaya katkıda bulunabilir; ancak yetenek onaylanmış kataloğa eklenmeden önce operasyonel gereklilikleri karşılayıp karşılamadığını bağımsız doğrulama ortaya koymalıdır.
Ardından yürütme sınırları; kaynak kapsamını, ağ erişimini, süreyi ve harcamayı kısıtlamalı; gerekli onay da belirli eyleme, hedefe ve sürüme bağlanmalıdır. Bazı değişiklikler geri alınabilirken bazıları telafi edici eylemler gerektirebileceği veya geri alınamayabileceği için kurtarma düzenlemelerine de aynı ölçüde önem verilmelidir. Her yetenek bu sınırlamaları açıkça belirtmeli ve operatörlere daha fazla yürütmeyi durdurmak için sınanmış bir yöntem sunmalıdır.
Saklanan gözlemler, ilk bağlamları değiştikten çok sonra bile gelecekteki kararları etkileyebileceğinden bellek, yönetişim açısından ek bir sorumluluk doğurur. Kuruluşlar, kaynak gösterme ve düzeltme mekanizmalarıyla desteklenen kurallar çerçevesinde ajanların neleri saklayabileceğini, bilgilerin ne kadar süre erişilebilir kalacağını ve hangi erişim sınırlarının uygulanacağını tanımlamalıdır. Hatırlanan bir izin asla süresiz bir yetkiye dönüşmemeli; güncelliğini yitirmiş operasyonel bilgiler de yeni eylemlere fark ettirmeden yön vermemelidir.
Özerkliği Kanıtlarla Genişletin
Etkili gözetim; ilk talebi, geçerli politikayı, onayı, araç sürümünü, yürütme sonucunu ve sonraki doğrulamayı birbirine bağlayan kanıtlara dayanır. İnsan denetçiler, gereksiz ayrıntılara boğulmadan önerilen değişikliği, belirsizlikleri ve kurtarma seçeneklerini değerlendirebilecek kadar bağlama ihtiyaç duyar. Bu gözetimi desteklemek için üst kademeye taşıma, yalnızca ajanın ifade ettiği güven düzeyine dayanmamalı; çelişkili gözlemler veya alışılmadık bir sistem durumu gibi tanımlanmış koşulları izlemelidir.
BT liderleri, operasyonel kanıtlar destekledikçe dar kapsamlı bir iş akışıyla başlamalı ve yetki alanını genişletmeli; başarılı sonuçların yanı sıra istisnaları, kurtarma süresini, politika ihlallerini ve gözetim için gereken çabayı da ölçmelidir. Bu ölçümler, bir ajanın daha fazla sorumluluk almaya hazır olup olmadığını ve nerelerde ek güvenlik önlemleri ya da testler gerektiğini belirlemeye yardımcı olur.
Amaç, yetki devrini tekrarlanabilir hâle getirmektir: Onaylanan her yetkinlik, bir ajanın neler yapabileceğini, hangi koşullarda çalışacağını ve nasıl hesap vereceğini belirler. Bu disiplin, kuruluşlara daha fazla özerklik tanımak için savunulabilir bir dayanak sunarken dayanıklılığı ve verimliliği de güçlendirebilir. En önemli çıkarım şu: Yönetişim, bu ilerlemeyi mümkün kılarak üründeki yerini hak eder.












