AI Ajanları İşin Çoğunu Yapabilir. Ancak İşletmeler Onları İşletebilir mi?

AI ajanları görevleri tamamlama konusunda son derece iyi hale geliyor. Bir ajana bir hedef, doğru araçlara erişim, yeterli bağlam ve iyi tanımlanmış bir iş akışı verin; o, bilgi araştırabilir, belgeleri analiz edebilir, kararlar alabilir, sistemleri güncelleyebilir ve diğer ajanlarla koordine olabilir.

Bu, Agentic AI’nın heyecan verici kısmıdır. Aynı zamanda demolarda gördüğümüz kısımdır.

Kurumsal operasyonlar farklı görünür. Bir kredi başvurusu, değerlendirme sürecinin ortasında değişir. Bir müşteri, doğrulama tamamlandıktan sonra yeni bilgiler sağlar. İki sistem aynı hesap konusunda anlaşmazlık yaşar. Dün geçerli olan bir onay, bugün artık geçerli olmayabilir. Bir ajan, bir vakayı başka bir ajana devretmeden önce özetler ve süreçte görünüşte önemsiz bir detay kaybolur.

Mutlu yol, bir ajanın yapması gerekenlerin %80’ini temsil edebilir. İşletmeler ise kalan %20’de yaşar.

80/20 çerçevesi bir sektör istatistiği değildir. Operasyonel karmaşanın nerede gizlendiğini tanımlamanın bir yoludur. Kurumsal operasyonların zor kısmı genellikle normal durum değil, istisnalar, devretmeler, bağımlılıklar, değişen bağlam ve organizasyonun sonucun sorumluluğunu taşıdığı kararlardır.

AI soruları yanıtlamaktan eylemlere geçtikçe, bu operasyonel karmaşıklık çok daha önemli hale gelir. İşletmeler, ajanların nasıl inşa edildiğinin ötesinde düşünmeli ve nasıl işletileceği üzerine odaklanmalıdır.

İşte Agentic Operations başlar.

Cevap Üretmekten Eyleme Geçmeye

Kurumsal Üretken AI’nın ilk dalgası büyük ölçüde bilgiyle ilgiliydi. Modeller belgeleri özetledi, raporlar üretti, soruları yanıtladı, kurumsal bilgi içinde arama yaptı ve çalışanların mevcut görevleri daha hızlı tamamlamalarına yardımcı oldu.

Ajanlar temelde farklı bir şey getirir. İş süreçlerinin durumunu değiştiren eylemler gerçekleştirebilirler. Bir ajan bir şeyi onaylayabilir veya reddedebilir, bir kayıt sistemini güncelleyebilir, bir müşteri iletişimi gönderebilir, başka bir iş akışını tetikleyebilir, başka bir ajana çağrı yapabilir veya sonraki adımı belirleyen bir karar verebilir.

OpenAI, pratik rehberinde ajanları tanımlıyor kullanıcılar adına bağımsız olarak görevleri yerine getiren, iş akışı yürütmesini yönetmek için modelleri ve dış sistemlerle etkileşim için araçları kullanan sistemler olarak tanımlıyor. Yanlış bir yanıtın operasyonel sonucu, yanlış bir eylemin sonucundan çok farklıdır.

Bu nedenle kurumsal soru değişir. Bir modelin iyi bir yanıt üretip üretmediğini veya bir ajanın atanmış görevini başarılı bir şekilde tamamlayıp tamamlamadığını sormak artık yeterli değil. İşletmeler, iş bağlamı, politikalar, yetki ve süreçte daha önce gerçekleşen her şey göz önüne alındığında bir eylemin baştan gerçekleşip gerçekleşmemesi gerektiğini giderek daha fazla bilmek zorundadır.

Şekil 1: Üretken AI bir çıktı üretir. Agentic AI iş durumunu değiştirir.

AI iş durumunu değiştirebilir ve sonraki kararları etkileyebilir hale geldiğinde, güvenilirlik artık yalnızca model düzeyinde ölçülemez.

Bir Ajan İş Süreci Başarısız Olsa da Başarılı Olabilir

AI destekli bir kredi değerlendirme iş akışını düşünün. Bir ajan başvuru belgelerini çıkarır, bir diğeri geliri doğrular, bir diğeri kredi bilgilerini değerlendirir ve daha sonraki bir ajan, bir değerlendirme ajanının karar vermeden veya tavsiye etmeden önce vakayı özetler.

Her ajanın net bir sorumluluğu vardır ve her biri bu sorumluluğu doğru şekilde yerine getirebilir. Belge ajanı doğru bilgiyi çıkarabilir. Gelir doğrulama ajanı görevini başarılı bir şekilde tamamlayabilir. Özetleme ajanı mevcut bilgilerin doğru bir özetini oluşturabilir. Değerlendirme ajanı talimatlarını doğru bir şekilde izleyebilir.

Son iş kararı hâlâ yanlış.

İlk doğrulamanın ardından güncellenmiş gelir bilgilerinin geldiğini hayal edin. Yeni belge işlenir, ancak vaka bir sonraki adım için özetlendiğinde önemi azalır. Son değerlendirme ajanı makul bir özet alır, ancak tüm süreç boyunca var olan tam iş bağlamını almaz.

Hiçbir şey mutlaka çökmedi. Hiçbir API başarısız olmadı. Hiçbir bireysel ajan mutlaka halüsinasyon yapmadı. Her bileşen başarılı yürütmeyi rapor edebilirken, iş süreci yanlış sonuca ulaşabilir.

Anthropic, etkili ajanlar oluşturma rehberinde ilgili bir zorluğu tartışıyor, otomatik sistemlerin daha fazla adım attıkça birikimli hatalarla karşılaşabileceğini belirtiyor. Sorun, durum, bağlam, kararlar ve varsayımların iş akışı boyunca hareket etmesi nedeniyle model doğruluğundan daha geniş bir kapsam haline geliyor.

Bu, ajan güvenilirliği ve iş süreci güvenilirliği arasında önemli bir ayrım yaratır. Bir işletme nihayetinde bireysel bir ajanı deneyimlemez. Tam süreç tarafından üretilen sonucu deneyimler.

Şekil 2: Yerel başarı, iş başarısını garanti etmez

Bu, Agentic AI tarafından getirilen önemli değişikliklerden biridir. Bir iş akışı, her bileşen bağımsız olarak incelendiğinde sağlıklı görünsede başarısız olabilir.

Yetenek Yetki Değildir

Mevcut ajan yığını büyük ölçüde anlaşılır bir şekilde yeteneğe odaklanmıştır. Takımlar, bir ajanın mantık yürütüp yürütmediğini, doğru aracı seçip seçmediğini, bir görevi tamamlayıp tamamlamadığını, hatalardan kurtulup kurtulmadığını ve kabul edilebilir doğruluk ve gecikme ile çalışıp çalışmadığını bilmek ister.

İşletmelerin bir diğer gereksinimi: yetkidir.

Diyelim ki bir kredi değerlendirme ajanı bir krediyi onaylayabilecek yetenekte. Bu, değerlendirebildiği her krediyi onaylaması gerektiği anlamına gelmez. Yetkisi, kredi tutarı, risk kategorisi, müşteri tipi, mevcut kanıtlar, güven seviyesi, önceki kararlar veya başvurunun önceki bir incelemeden sonra değişip değişmediğine bağlı olabilir.

Bu, bir ajanın yapabildiği ve bir ajanın yapmasına izin verilen.

OpenAI, ajan araçlarıyla ilişkili riski değerlendirmeyi ve hassas ve geri döndürülemez eylemler etrafında koruma önlemleri veya insan müdahalesi eklemeyi önerir. Microsoft, ajan tarafından yürütülen temel iş süreçleri için rehberliğinde benzer bir yaklaşım benimser, ajanların tanımlı sınırlar içinde rutin kararlar alabildiği, karar haklarının hangi eylemlerin bağımsız olarak alınabileceğini ve hangilerinin insan onayı gerektirdiğini belirlediği bir ortamda.

Ajan yeteneği geliştikçe, bu ayrım daha az değil, daha da önemli hale gelir. Daha yetenekli ajanlar daha sonuç odaklı eylemler alabilir. Bu nedenle işletmeler, bu eylemlerin izin verildiği sınırları tanımlamak ve uygulamak için daha net yollar gerektirir.

Soru şu şekilde değişir: Ajan bunu yapabilir mi? yerine Ajanın bunu yapmasına hangi koşullar altında izin verilmelidir?

İş Politikası Uygulamaya Daha Yakın Hale Gelmeli

İşletmeler, insan tarafından yürütülen süreçleri kontrol etmek için zaten kapsamlı mekanizmalara sahiptir. SOP’lar, onay matrisleri, uyum politikaları, risk eşikleri, eğitim, görev ayrımı, denetimler ve yükseltme prosedürleri kullanırlar. Bu mekanizmaların çoğu, basit bir varsayıma dayanarak tasarlanmıştır: bir kişi kuralı okur, durumu anlar ve işi yaparken kuralı uygular.

Ajanlar bu varsayımı değiştirir.

Belirli bir eşiğin üzerindeki işlemler için ikincil onay gerektiren bir politikayı düşünün. Bir insan görevi yerine getirdiğinde, politika eğitim ve iş akışı kontrolleriyle desteklenen bir belgede bulunabilir. Bir ajan yüzlerce ya da binlerce eylemi hızlıca gerçekleştirebildiğinde, o politika belgesinin varlığı, politikayı ihlal eden bir eylemi engellemez.

Yazılı politika ile iş eylemi arasında bir yerde, politikanın operasyonel hale gelmesi gerekir.

Bu, her politikanın belirleyici kod haline gelmesi gerektiği anlamına gelmez. Bazı kontroller belirleyici olacak, bazıları anlamsal yorumlama gerektirecek, bazıları risk veya güven seviyesine bağlı olacak ve diğerleri insan kararına ihtiyaç duymaya devam edecektir. Daha büyük mimari değişiklik, iş politikasının yürütme yoluna daha yakın bir konuma kaymasıdır.

AWS, finans hizmetlerinde Agentic AI bağlamında bu noktayı özellikle vurgular, ajan eylemlerinin politika tabanlı doğrulaması ve sonuç odaklı etkinlikler etrafında denetim izleri gerekliliği dahil.

Tarihsel olarak, organizasyonlar yürütmeden önce birçok yönetişim gereksinimini tanımlayabilir ve uyumu daha sonra denetimler ve incelemelerle doğrulayabilirlerdi. Otonom sistemler sürekli ve makine hızında hareket ettiğinde, bazı kontroller sürecin çalışması sırasında devrede olmalıdır.

İnsan Döngüsü Gereklidir, ancak İş Modeli Değildir

AI iş akışındaki belirsizliğe en yaygın yanıt, bir insanı döngüye dahil etmektir. Bu, özellikle sonuç odaklı kararlar için mantıklıdır, ancak insan incelemesi her istisna için cevap olarak kabul edildiğinde sorunlu hâle gelir.

Binlerce ya da milyonlarca kararı işleyen bir ajan operasyonunu hayal edin. Her olağandışı durum, düşük güvenilirlik sonucu, politika belirsizliği veya istisna bir kişiye yönlendirilirse, organizasyon operasyonel darboğazı ortadan kaldırmamış olur. Sadece darboğazı bir inceleme kuyruğuna taşımış olur. Zamanla bu başka bir soruna da yol açabilir: insanlardan çok fazla rutin kararı onaylamaları istendiğinde, insan denetimi kendisi daha az anlamlı hâle gelebilir.

İnsanlar hâlâ vazgeçilmezdir, ancak rolleri değişmelidir. Her kararı incelemek yerine, gerçekten yargı gerektiren, bir ajanın yetkisinin ulaştığı veya sistemin bağımsız olarak çözmemesi gereken bir durumla karşılaştığı durumlara odaklanmalıdırlar.

Bu nedenle ölçeklenebilir bir işletim modeli yalnızca risk puanlamasına ve insan incelemesine dayanamaz. Bir ajan eylemi bir iş eylemi haline gelmeden önce sistem, mevcut iş bağlamını, ilgili politikaları, ajanın yetkisini ve iş akışında daha önce neler gerçekleştiğini göz önünde bulundurmalıdır. Sonuç, devam etmek, ek kanıt talep etmek, eylemi bekletmek ya da kararı bir insana yükseltmek olabilir.

Şekil 3: İnsan incelemesi, çalışma zamanı kontrolünün bir sonucu haline gelir

Bu, insan denetiminin rolünü değiştirir. Bir insan artık varsayılan olarak her belirsiz adıma eklenmez. İş bağlamı, politika, yetki veya bir eylemin sonucu yargı gerektirdiğinde insan müdahalesi olası bir sonuç haline gelir.

Bu ayrım, kurumsal ölçekte önemlidir. Bazı eylemler, politika ve yetki çerçevesinde açıkça yer aldıkları için otomatik olarak ilerlemelidir. Bazıları, gerekli kanıt eksik olduğunda ya da iş durumu değiştiğinde duraklatılmalıdır. Diğerleri ise karar, kuruluşun insanlara ayırdığı bir sınırı aştığında yükseltilmelidir.

Amacımız insanları döngüden çıkarmak değil. İnsanları doğru döngülere yerleştirmek ve rutin kararların net tanımlanmış sınırlar içinde ilerlemesine izin vermektir. Ajan tabanlı sistemler ölçeklendikçe, insan denetiminin kalitesi, insanların kaç kararı incelediğinden ziyade, işletim sisteminin insan yargısının gerçekten gerekli olduğu kararları tanımlayıp tanımlayamadığına bağlı olacaktır.

Gözlemlenebilirlik Gereklidir, Ancak Görmek Kontrol Etmek Değildir

Sektör, AI gözlemlenebilirliği konusunda önemli ilerlemeler kaydetti. Ekipler, istemleri, model yanıtlarını, izleri, araç çağrılarını, gecikmeyi, token kullanımını ve giderek daha fazla bir ajanın sonuç üretmeden önce izlediği tam yolculuğu inceleyebiliyor.

Bu görünürlük hayati önemdedir. OpenAI yönergeleri ajan güvenliği ve değerlendirmesi ayrıca ajan davranışını anlamak için değerlendirmeler ve iz derecelendirmeleri gibi teknikleri vurgular.

Ancak yalnızca görünürlük operasyonel sorunu çözmez.

Geçen hafta bir underwriting ajanının onay politikasını 2.700 kez ihlal ettiğini hayal edin. Bu, mükemmel bir gözlemlenebilirlik ancak berbat bir operasyon anlamına gelir.

Önemli iş süreçleri için, işletmelerin ajan davranışını anlamanın ötesinde, sürecin çalışması sırasında yanıt verebilme yeteneğine de ihtiyaçları vardır.

Şekil 4: Operasyonel kontrol döngüsü

Gözlemlenebilirlik, ajanın ne yaptığını sorular. Ajan Operasyonları ayrıca ajanın devam edip etmeyeceğini sorular.

Bu ayrım, bir eylem maliyetli, sonuçları önemli, geri döndürülmesi zor veya birçok sonraki kararı etkileyebilecek durumlarda özellikle kritiktir.

En Zor Hatalar Ajanlar Arasında Gerçekleşebilir

İşletmeler çok ajanlı ve daha uzun süren iş akışlarına yöneldikçe ortaya çıkan bir başka zorluk daha vardır. Birçok iş politikası tek bir eyleme özgü değildir.

Kararların bir dizisi boyunca toplam finansal maruziyeti sınırlayan bir politikayı düşünün. Her bireysel işlem izin verilen eşiğin altında kalabilirken, birikmiş maruziyet bu eşiği aşabilir. Her eylemi bağımsız olarak incelemek bir ihlal göstermeyebilir.

Aynı sorun yetkiyle de ortaya çıkabilir. Bir ajan bilgi toplama yetkisine sahip olabilir ancak nihai kararı verme yetkisi olmayabilir. Birkaç el değiştirmeden sonra, aşağı akıştaki bir ajan, orijinal göreve bağlı yetki kısıtlamalarını taşımadan bilgiyi alabilir. Her bireysel adım makul görünebilirken, dizi amaçlanan iş sürecini ihlal eder.

Bağlam da benzer bir problem yaratır. İş akışının ilk aşamasında önemli olan bilgi, birkaç adım sonra özetlenmiş, dönüştürülmüş veya atlanmış olabilir. Aşağı akıştaki ajan, artık elinde olmayan bilgiye dayanarak akıl yürütme yapamaz, mantığı doğru olsa bile.

Bu hatalar, güvenilirlik biriminin genişlemesi gerektiğini gösterir.

Modelleri yanıtlarının doğru olup olmadığını sorarak değerlendirmeye devam edeceğiz. Ajanları ise görevlerini doğru tamamlayıp tamamlamadıklarını sorarak değerlendireceğiz. Ancak iş akışı seviyesinde soru, bilgi, yetki ve politikanın eylem dizisi boyunca korunup korunmadığıdır. İş seviyesi ise son sonucun hem doğru hem de izinli olup olmadığıdır.

Bu aynı zamanda NIST AI Risk Management Framework‘in daha geniş yaşam döngüsü perspektifiyle de uyumludur; bu çerçeve, AI riskinin sürekli ölçülmesi ve yönetilmesini, dağıtımdan önce tek seferlik bir değerlendirme olarak görmeyi değil, vurgular.

Ajan Operasyonları Burada Başlar

AI yönetişimi, model değerlendirmesi, LLMOps, gözlemlenebilirlik, güvenlik ve sorumlu AI zaten AI sistemlerini işletmenin önemli bölümlerini ele alıyor. Agentic Operations bu disiplinlerin yerini almaz. Otonom ve yarı otonom sistemler doğrudan iş süreçlerine katılmaya başladığında önemli hale gelen operasyonel katmanı ele alır.

Agentic Operations, gerçek iş süreçleri içinde otonom ve yarı otonom AI sistemlerini işletme disiplinidir; bu, yetki, bağlam, kararlar, istisnalar, insan müdahalesi ve sorumluluğun yürütme sırasında nasıl yönetildiğini içerir.

Bu ayrım önemlidir çünkü yönetilen nesne artık yalnızca bir model değildir. Yazılımın bağımsız olarak kararlar alıp eylemler gerçekleştirebildiği sürekli bir iş sürecidir.

Pratikte, bu farklı bir dizi operasyonel soruya yol açar. Bir ajanın ne yapmaya yetkili olduğu nedir? Uzun süren bir iş akışı boyunca hangi iş bağlamının korunması gerekir? Yeni kanıtlar önceki bir kararı geçersiz kıldığında ne olur? Bir organizasyon, bireysel olarak kabul edilebilir eylemlerin topluca bir politikayı ihlal ettiğini nasıl tespit edebilir? Bir ajanın ne zaman devam etmesi, duraklatması, durması veya yükseltmesi gerekir? Aylar sonra, organizasyon belirli bir kararın neden alındığını yeniden oluşturabilir mi?

Aynı zamanda mülkiyet sorunu da vardır. Bir ajan teknik görevini doğru yerine getirirken iş sonucunun hatalı olması durumunda, başarısızlığın sorumluluğu kimde olur? Yürütmeyi bir ajana devretmek, onu işleten organizasyonun sorumluluğunu devretmez.

Ajanlar işi yürütebilir. Ancak işletme sonucun sorumluluğunu hâlâ taşır.

Hedef Kontrol Edilen Otonomi

Agentic AI’nin geleceği bazen tam otonomiye doğru bir ilerleme olarak tanımlanır; bu durumda insanlar iş akışlarından yavaş yavaş kaybolur. Çoğu işletme için bu muhtemelen yanlış bir hedeftir.

Daha faydalı hedef kontrol edilen otonomi.

Bugün birçok AI destekli süreç, bir ajanın bir eylem önerdiği ve bir kişinin nihai kararı verdiği bir model izler. Güven arttıkça, bazı iş akışları ajanların tanımlı yetki çerçevesinde karar vermesine izin verirken, çevre sistem yürütmeyi denetler ve insanlar istisnaları ele alır. Olgun, düşük riskli iş akışları sonunda ajanların bağımsız karar verip hareket etmesine izin verebilir; sonuçta ortaya çıkan kararlar ise izlenmeye ve kaydedilmeye devam eder.

Şekil 5 : Artan otonomi seviyesi

Uygun sınır süreçlere göre değişecektir. Bir banka, belge sınıflandırmasında önemli ölçüde otonomiye izin verirken kredi kararları etrafında sıkı kontroller talep edebilir. Bir sigorta şirketi, rutin talepleri otomatikleştirirken olağandışı kanıt kombinasyonlarını yükseltebilir. Bir sağlık kuruluşu, ajanların bilgi toplamasına ve özetlemesine izin verirken, sonuçsal kararları insanlara saklayabilir.

Dolayısıyla önemli soru, bir ajanın ne kadar otonom olabileceği değil, bir organizasyonun ne kadar otonomiyi sorumlu bir şekilde işletebileceğidir.

Bu aynı zamanda kontrollerin rolünü değiştirir. Kontroller mutlaka otonomiyi azaltma mekanizmaları değildir. İyi uygulandığında, bir organizasyonun otonomiyi daha büyük bir güvenle genişletmesine olanak tanırlar.

Ajanları İşletmek, Onları İnşa Etmekten Daha Zor Olabilir

Modeller gelişmeye devam edecek. Araç kullanımı iyileşecek. Ajan çerçeveleri gelişecek. Akıl yürütme gelişecek ve bugün zor görünen birçok problem sonunda rutin hâle gelecek.

Daha iyi modeller, ancak iş politikalarını, değişen bağlamı, istisnaları, organizasyon sınırlarını veya sorumluluğu ortadan kaldırmaz. Bazı açılardan, daha iyi ajanlar bu konuları daha da önemli kılar. Otonom hareket edemeyen bir sistemin operasyonel yetkisi sınırlıdır. Binlerce iş kararını yürütebilen bir sistem tamamen farklı bir sorumluluk yaratır.

Bu yüzden, kurumsal AI’nin bir sonraki aşaması, en çok ajanı hangi organizasyonun dağıttığına göre belirlenmeyebilir. Ajanları nasıl işletileceğini öğrenen organizasyonlar tarafından belirlenebilir.

İlk %80, ajanın çalışabileceğini gösterir. Kalan %20 ise işletmenin ona iş konusunda güvenip güvenemeyeceğini belirler.

Ajanlar daha yetenekli hale geldikçe, tanımlayıcı kurumsal soru ajantlarımız ne yapabilir ifadesinden daha zor bir şeye kayabilir:

Onlara ne yapmalarına izin vermeye hazırız, hangi koşullar altında ve bu koşullar değiştiğinde bunu nasıl bileceğiz?

İşte Agentic Operations’ın başladığı yer budur.