Otonom Ajentlerin Daha Fazlasına İhtiyacı Var: Sadece AI Gözlemlenebilirlik

Şirketler, AI ajentlerini düşünmek, hareket etmek ve iş akışlarını başlatmak için kullandıkça, onları izlemek ve yönetmek için bir plan geliştirmek zorunludur.

Aİ sistemlerinin çeşitli bileşenleri kendi kararlar vermeye başladığında, sadece gözlemlenebilirlik, operasyonların稳il, güvenli veya güvenilir kalacağından emin olmak için yeterli değildir.

İşletmeler, AI ajentlerini etkili bir şekilde yönetmek için, sorun tanımlama ve eylem arasındaki uçurumu köprülemek zorundadır. Bu, sadece sorunları gözlemlemekle kalmaz, aynı zamanda onları önlemek anlamına gelir.

Otonom Ajentlerin Doğuşu

Kurumsal AI’ın ilk dalgası,.prompt-tabanlı sistemlerdi; bir kullanıcı sorgu sordu, model cevap verdi ve alışveriş orada sona erdi. Bu erken teknolojiler esasen tepkisel olmakla birlikte, arama, kaptan, içerik oluşturma ve özetleme için yararlıydılar.

Sonraki dalga farklı. Sadece otonom AI ajentleri tepki vermez, aynı zamanda hedefler arasında akıl yürütür, araçlar seçer, bilgi çıkarır, eylem başlatır ve iş akışlarını başlatırlar. Bazen diğer ajentlerle veya sistemlerle birlikte çalışırlar ve giderek şirket içinde operasyonel oyuncular olarak görev yaparlar, insan talimatları için bir arayüz katmanı olarak değil.

Bu değişiklik önemlidir, çünkü AI’ın operasyonel özelliklerini etkiler. Ekipler artık sadece model çıktılarını izlemiyor. Dinamik sistemleri yönetiyorlar, bunlar aniden müşterileri, personeli, altyapıyı, iş süreçlerini ve diğer uygulamaları etkileyebilir.

Bugün Ajentlerin Güçleri

Ajentlerin yetenekleri geliştikçe evrim geçirirler. Ajentler, bir sonraki adımda ne yapacaklarına karar verebilir, bir hedefi adımlara bölebilir ve çeşitli seviyelerde faaliyetleri tamamlayabilir. API’leri arayarak, veritabanlarını sorgulayarak, iç sistemleri arayarak, kayıtları güncelleyerek ve aşağı akış eylemlerini başlatarak, iş akışlarını koordine ederler.Prompt’ları, hafızayı, iş kurallarını, alınan bilgileri ve gerçek zamanlı operasyonel sinyalleri birleştirerek, ajentler ayrıca bağlam temelli yargılara da varabilirler.

Daha gelişmiş ajentler, bir iş akışının başarısız olduğunu tespit edebilir, tekrar deneyebilir, sorunları yükseltebilir veya işleri insan bir gözden geçiren kişiye iletebilir. Müşteri hizmeti ve vaka işleme, olay yanıtı ve BT operasyonları, DevOps ve site güvenilirliği iş akışları, kod düzeltme ve yazılım geliştirme, operasyonel ve tedarik zinciri planlama ve daha fazlası gibi CRM, biletleme, bulut altyapısı, iç bilgi tabanları, gözlemlenebilirlik platformları ve iş uygulamalarında bağımsız olarak çalışabilirler. Bu becerilerin hızla genişlemeye devam edeceğini öngörüyoruz.

İşletmelerin Otonom AI Ajentlerini Entegre Etme Şekli

Ajentler, operasyonel süreçlere yaklaştıkça, hız, doğruluk, güvenlik ve yönetim açısından önemli olan bir dizi kurumsal operasyona entegre edilmektedir. Bu operasyonların bazıları şunları içerir: müşteri hizmeti ve vaka işleme, olay yanıtı ve BT operasyonları, DevOps ve site güvenilirliği iş akışları, kod düzeltme ve yazılım geliştirme, operasyonel ve tedarik zinciri planlama ve daha fazlası.

Yeni Operasyonel Tehditler

Ancak ajentler daha bağımsız hale geldikçe, işletmelerin yeni bir tür operasyonel risk ile başa çıkmaları gerekir.

• Kötü seçimler sadece önerilmez, aynı zamanda genellikle uygulanır
• Küçük hatalar hızla bağlı diğer sistemlere yayılabilir
• Gerçek dünya eylemleri, sanrılar tarafından tetiklenebilir
• Ajentler, iş amacından, politikadan veya uyumluluktan sapabilir
• Çoklu bileşen arasındaki etkileşimler, arızalara neden olabilir
• Otomatik karar verme, insan değerlendirmesinden daha hızlı kararlar alabilir

Ekipler, semptomları gözlemleyebilir, ancak aynı zamanda sistemin davranışının arkasındaki nedenleri anlamak zorundadırlar. Kurumsal AI, bağımlılık kontrollerine ihtiyacı vardır, sadece görünürlük değil.

AI Sistemlerinin Karmaşıklığı

Bugünün AI sürümlü sistemleri, nadiren tek bir modeldir. Çoğu etkileşimli bileşenden oluşan dağıtılmış, katmanlı sistemlerdir ve bunlar arasında şunlar bulunur:

• Temel modeller (LLM)
• İnce ayarlı veya görev özgü küçük dil modelleri (SLM)
• Gömme modelleri
• Vektör veritabanları
• Alma boru hatları ve RAG bileşenleri
• Prompt şablonları ve prompt orkestrasyon katmanları
• Eğitim ve değerlendirme veri kümeleri
• Koruyucu raylar ve politika katmanları
• Ajentler ve iş akışları
• Araç çağıran sistemler
• Telemetri (yani günlükler, metrikler ve izler)
• İnsan müdahalesi onay noktaları

Riskleri

Her bileşen, farklı bir arıza modu ekler ve etkileşimleri, daha fazla karmaşıklık ekler. Bir sistem, altyapı katmanında güçlü görünse bile, kötü kararlar alabilir ve tatmin edici sonuçlar üretebilir; tüm bunlar, yüzey altında operasyonel risk biriktirir.

İlgili riskler arasında şunlar bulunur: veri boru hatları tarafından kötü veya bozulmuş girişlerin tanıtılması, altyapı tıkanıklıkları, zararlı veya hatalı sonuçlar ve insan gözden geçirmesine yanıt olarak operasyonel tıkanıklıklar. Sistemlerin birden fazla ajenti veya adımı varsa, arızalar, hemen apparent olmayabilir.

AI Gözlemlenebilirliği

Geleneksel izleme, prompt davranışını, alma kalitesini, model kaymasını, ajent yürütme kanallarını veya AI davranışının ve aşağı akış iş veya operasyonel etkisinin bağlantısını anlamak için yeterli değildir.

Burada AI gözlemlenebilirliği devreye girer. AI gözlemlenebilirliği, girdileri, çıktıları, istenilen davranışları ve bu sistemler tarafından üretilen karar sinyallerini toplamak, ilişkilendirmek ve değerlendirmek suretiyle, ekiplerin üretimdeki AI sistemlerinin nasıl çalıştığını anlamalarına olanak tanır. Bu, AI sistemlerinin dağıtılmış, belirsiz ve son derece bağlamsal duyarlı olmasından dolayı gereklidir.

AI gözlemlenebilirliği, ekiplerin, ajentlerin, modellerin, alma katmanlarının, araçların ve aşağı akış sistemlerinin yürütme sırasında nasıl etkileşimde bulunduğunu anlamalarına olanak tanıyan, uçtan uca AI iş akışlarına ilişkin içgörüler sağlar.

AI gözlemlenebilirliği, gecikme, maliyet, token kullanımı, verim, hata oranları, model davranışı ve çıktı kalitesi göstergeleri gibi performans ve davranışı izlemeyi mümkün kılar. Karmaşık ajent iş akışlarında yürütme yollarını izler ve sonuçların, birden fazla adım ve bağımlılık üzerinden nasıl elde edildiğini gösterir.

AI gözlemlenebilirliği ayrıca, operasyonel ve AI sinyalleri boyunca anomaliyi ortaya çıkarmak suretiyle, modellerde, boru hatlarında, altyapıda veya kullanıcı odaklı sonuçlarda anomali davranışını, ekiplerin bunları manuel olarak keşfetmelerinden önce ortaya çıkarır. Bir şeyler yanlış gittiğinde tanıyı hızlandırır ve kök neden araştırmalarını, AI’ye özgü operasyonları sistem telemetrisine (günlükler, metrikler, izler ve olaylar) dahil ederek kolaylaştırır.

Gözlemlenebilirlik Yeterli Değil

Gözlemlenebilirlik, temel bir iş uygulaması olmasına rağmen, AI gözlemlenebilirliğinin kendine özgü sınırlamaları vardır.

Gözlemlenebilirlik, tanılık değil, önleyici değildir; ekipler, neyin yanlış gittiğini öğrenebilir, ancak mutlaka nasıl tekrar oluşmasını önleyeceklerini bilmeyebilir. Bir ajentin geçmiş eylemlerinin bilgisinin, otomatik olarak ajentin gelecekteki eylemlerine kontrolü sağlamadığını anlamak önemlidir.

Karmaşık, belirsiz sistemlerde, gözlemlenebilirlik, ekiplere, belirsizliğe yol açan veri ile sonuçlanabilir. Gözlemlenebilirlik, genellikle bir operasyonel cevap yerine, bir açıklama ile sona erer. Ekipler, bir sorun farkında olsalar da, düzeltici eylem almak, etkilerini hafifletmek veya otonom sistemleri güvenli işletim parametreleri içinde tutmak için gerekli otomasyon, güvenlik duvarları ve kontrol döngülerine sahip olmayabilir.

Bu, bir operasyonel boşluk yaratır. İşletmeler, bir şeyler yanlış gittiğinde manuel müdahale kullanır, olayları sonradan araştırır ve sistemlerin daha hızlı ve daha otonom hale geldiği için insan emeğine güvenmek zorundadır.

AI Güvenilirliğinin Genel Bakışı

AI güvenilirliği, sadece sorunları gözlemlemekle kalmaz. AI sistemlerinin, gerçek üretim ortamlarında güvenli, tutarlı, öngörülebilir ve başarılı bir şekilde çalışmasını sağlamak disiplinidir. AI güvenilirliği, AI etrafındaki sistemlerin tamamını comprender ve yönetir. Tanımlama ve eylem arasındaki döngüyü kapatır.

AI güvenilirliği, bir modelin doğru bir cevap verip vermediğinden ziyade, AI sürümlü tüm sistemin makul operasyonel kısıtlamalar içinde zaman içinde çalışıp çalışamayacağıyla ilgilenir. Kalite, güvenlik, esneklik, açıklanabilirlik, politika uyumluluğu, maliyet etkinliği ve operasyonel istikrar, tüm bunlar denklemin bir parçasıdır.

Tespitten Önleme Geçiş

AI güvenilirliği, bir sorunun tanınması ile çözümünün uygulanması arasındaki süreyi azaltır. Gözlemlenebilirlikten, proaktif önleme geçişini sağlar. Aşağıdaki tekniklerin uygulanması, gözlemlenebilirliği pasif gözlemekten aktif önleme yönünde değiştirir:

• Modeller, veri ve altyapı boyunca sinyalleri ilişkilendirmek suretiyle sorunları tanımlamak
• Etkiden önce proaktif sorun tespiti
• Olabilirlikli AI sistemlerinde tüm girdileri ve çıktıları doğrulamak suretiyle ince davranış değişikliklerini tespit etmek
• Üretimde istenmeyen çıktıları tespit etmek ve bu çıktıları, altta yatan modellerin doğruluğunu iyileştirmek için ince ayar verme verileri olarak kullanmak için bir geri bildirim döngüsü oluşturmak
• Karmaşık eylemleri bilgilendirmek için neden ve nasıl bağlantılarını belirlemek amacıyla çoklu ajent iş akışı izleme
• Güvenli yanıt ve otomatik düzeltme için tanımlanmış insan-müdahaleli ajent iş akışları

Kontrol ve Gözlem Arasındaki Boşluğu Kapatmak

İşletmeler, sadece AI’ye özgü bir gözlemlenebilirlik katmanına sahip olmakla kalmaz, aynı zamanda görünürlük ve kontrolü entegre eden çerçevelerden yararlanırlar. Hem deterministik hem de belirsiz sistemlerde, bir güvenilirlik platformu, sorunları tanımlayabilir, öngörülebilir, açıklanabilir ve kontrol edilebilir.

Güvenilir AI operasyonları için geçerli bir çerçeve aşağıdaki öğeleri içermelidir:

• Hem IT sistemleri hem de AI sistemleri için entegre telemetri
• Uçtan uca ajent iş akışı ve sistem bağımlılık izleme
• AI’ye özgü davranış ve kalite izleme (prompt’lar ve değerlendirmeler)
• Kaynak bağımsız olarak gelişmiş anomali tespiti
• Neden-sonuç ilişkisi ve kök neden analizi
• Çevreye adapte olan ve manuel eşik değerlerine ihtiyaç duymayan uyarılar
• Politika uygulaması ve güvenlik sınırları
• Hassas veya önemli eylemlerin insan-müdahaleli değerlendirmesi
• İş akışı ve düzeltme koordinasyonunun otomasyonu
• Öngörü analizi kullanarak sorunları önleme
• Anomali tespiti ile geliştirilmiş AI modeli kalitesi arasındaki geri bildirim döngüleri

AI İşlevlerini Kolaylaştırmak

AI sistemleri, altyapıya, hizmetlere, veri boru hatlarına ve operasyonel rutinlere dayanır; bunlar kendi başlarına başarısız olmazlar. Ekipler, AI ve IT güvenilirliğini birleştirdiğinde, tüm resmi alırlar.

Bir ince LLM sarmalayıcı güvenilir bir platformun temeli olmamalıdır. Diğer generative AI-only araçlarının göz ardı ettiği sorunları tanımlamak ve düzeltmek için, unsupervised AI, predictive AI, causal AI ve generative AI gibi çeşitli AI teknikleri dikkate alınmalıdır. Bu tekniklerin karışımı, genellikle “bileşik AI” olarak bilinir.

Generative AI, doğal dilin özetlenmesinde iyidir. Doğal dil yoluyla akıl yürütme gerektiren veya insanlarla etkileşim gerektiren durumlar için en uygunudur. Ancak bu, üretimdeki meisten güvenilirlik sorunlarının şekli değildir.

Predictive AI, anomali algılama algoritmalarını kullanarak, arızalara, kötü müşteri deneyimlerine veya pahalı başarısızlıklara dönüşmeden önce erken sinyalleri tanımlamaya odaklanır.

Causal AI, performans düşüşünün nedeni hakkında gerçek kök nedenleri ortaya çıkarmaya yardımcı olur, bu, alma kalitesi, model davranışı, altyapı yavaşlığı, yukarı akış veri kayması veya aşağı akış sistem arızası olabilir.

Unsupervised AI, insan rehberliği olmadan, karmaşık, sınıflandırılmamış verilerdeki gizli kalıpları, yapıları veya anomalileri otomatik olarak keşfeder. Güvenilirlik için generative AI’den daha iyidir, çünkü karmaşık, sınıflandırılmamış verilerdeki gizli yapıları bulmaya odaklanır, benzer öğeleri gruplandırır veya ilişkiler keşfeder.

Risk, belirsizlik veya iş etkileri önemli olduğunda, operasyonel AI ajentlerinin, insan katılımını korurken, otomatik tepki vermesi gerekir.

AI modelinin, özel iş bağlamının anlaşılması, üretimden gerçek kullanıcı verilerini kullanarak pekiştirme öğrenimi ile her etkileşimle geliştirilebilir.

Hatta en gelişmiş sistemler, sadece uyarı vermez; kapalı döngü düzeltme, her olaydan öğrenir, tanınan tepkileri otomatikleştirir ve güvenli önlemleri başlatır.

Otonom AI Sistemlerine Hazırlanmak

İşletmeler, otonom AI sistemlerine birkaç farklı şekilde hazırlanabilir. İlk olarak, ajentler, üretkenlik araçları olarak değil, operasyonel sistemler olarak görülmelidir. Bir ajentin eyleme geçme yeteneği kazandığında, işletmenin operasyonlarının bir parçası haline gelir ve uygun şekilde yönetilmelidir.

Ekipler, modellerden, prompt’lardan, araçlardan, iş akışlarından, altyapidan ve kullanıcı sonuçlarından sinyalleri hemen kaydedebilir, ajentleri enstrümantalize ederek. Bu temel gözetim, ajentler işletme için kritik hale gelene kadar ertelenmemelidir.

Ajentlerin yaygın dağıtımı öncesinde, güvenilirlik standartlarını belirlemek de önemlidir. Kabul edilebilir eşikler, güvenlik, gecikme, hata oranları, sanrı riski, politika uyumluluğu ve iş etkisi için, sonradan değil, tasarım aşamasında dahil edilmelidir.

AI davranışını, onu destekleyen temel sistemlere ve prosedürlere bağlamak, işletmelerin AI ve IT operasyonlarını entegre etmesine olanak tanır. Altyapı ve model izleme için farklı araçlar kullanmak, kör noktalar oluşturur.

Platform mühendisliği, SRE, güvenlik, veri ekipleri, AI ekipleri ve iş sahipleri, güvenilir AI operasyonları sağlamak için birlikte çalışmalıdır ve otonom sistemler, geleneksel siloları aşar.

Her olay, anomali ve near-miss, operasyonlara geri bildirim döngüleri entegre edilerek sistemi geliştirecektir, böylece işletmeler, üretim davranışından sürekli olarak öğrenirler.

Son olarak, kontrol için tasarlanmış platformları seçmek önemlidir. İşletmeler, gözlemlenebilirlik, tahmin, açıklama ve eylem entegre eden sistemlerden yararlanacaktır, AI ajentleri daha otonom hale geldikçe. Üretimde, sorunları tanımlamadan güvenli sonuçları kontrol etmeye geçen işletmeler, kazananlar olacaktır.

Alt Çizgi

AI, işletmelerde artık bir araç değil, bir operasyonel sistemdir. Gerçek üretim ortamlarında, AI sistemlerine güvenilirlik eklemek, güvenli, tutarlı, öngörülebilir ve verimli operasyonları garanti eder. Üretimde, sorunları tanımlamadan güvenli sonuçları kontrol etmeye geçen işletmeler, kazananlar olacaktır.