Otonom Ajentlerin Daha Fazlasına İhtiyacı Var: Yalnızca AI Gözlemlenebilirliği

Şirketler, AI ajentlerini düşünmek, hareket etmek ve iş akışlarını başlatmak için kullandıkça, onları izlemek ve yönetmek için bir plan geliştirmek zorunludur.

Bir AI sisteminin çeşitli bileşenleri kendi kararlar vermeye başladığında, yalnızca gözlemlenebilirlik, operasyonların稳il, güvenli veya güvenilir kalacağından emin olmak için yeterli değildir.

AI ajentlerini tüm şirket boyunca etkili bir şekilde yönetmek için, şirketlerin sorun tanımlama ile eylem arasındaki uçurumu kapatmaları gerekir. Bu, yalnızca sorunları gözlemlemekle kalmaz, aynı zamanda onları önlemek anlamına da gelir.

Otonom Ajentlerin Ortaya Çıkışı

Şirketlerin kullandığı ilk AI dalgası,.prompt tabanlı sistemlerdi; bir kullanıcı bir soru sordu, model cevap verdi ve alışveriş orada sona erdi. Bu erken teknolojiler esas olarak tepkiseldi, ancak arama, kaptan, içerik oluşturma ve özetleme için faydalıydılar.

Sonraki dalga farklı. Sadece otonom AI ajentleri tepki vermez, aynı zamanda hedefler arasında akıl yürütür, araçlar seçer, bilgi çıkarır, eylemde bulunur ve iş akışlarını başlatır. Bazen diğer ajentlerle veya sistemlerle birlikte çalışırlar ve şirket içinde insan talimatları için bir arayüz katmanı olarak değil, operasyonel oyuncular olarak görev yaparlar.

Bu değişiklik önemlidir, çünkü AI’nin operasyonel özelliklerini etkiler. Ekipler artık yalnızca model çıktılarını izlemiyor. Dinamik sistemleri yönetiyorlar, bu sistemler aniden müşterileri, personeli, altyapıyı, iş süreçlerini ve diğer uygulamaları etkileyebilir.

Bugün Ajentlerin Güçleri

Ajentlerin yetenekleri geliştikçe evrim geçirirler. Ajentler, bir sonraki adımda ne yapacağını seçebilir, bir hedefi adımlara ayırabilir ve çeşitli seviyelerde faaliyetleri tamamlayabilir. API’leri arayarak, veritabanlarını sorgulayarak, iç sistemleri arayarak, kayıtları güncelleyerek ve aşağı akış eylemlerini başlatarak iş akışlarını koordine edebilirler. Ajentler, ayrıca,.promptları, hafızayı, iş kurallarını, alınan bilgileri ve gerçek zamanlı operasyonel sinyalleri birleştirerek bağlam temelli kararlar alabilir.

Daha gelişmiş ajentler, bir iş akışının başarısız olduğunu tespit edebilir, tekrar deneyebilir, sorunları yükseltebilir veya işleri bir insan incelemecisine iletebilir. Müşteri hizmeti ve vaka işlemleri, olay yanıtı ve IT operasyonları, DevOps ve site güvenilirliği iş akışları, kod düzeltme ve yazılım geliştirme, operasyonel ve tedarik zinciri planlama gibi CRM, biletleme, bulut altyapısı, iç bilgi tabanları, gözlemlenebilirlik platformları ve iş uygulamalarında bağımsız olarak çalışabilirler. Bu becerilerin hızla genişlemeye devam edeceğini öngörüyoruz.

Şirketlerin Otonom AI Ajentlerini Entegre Etme Şekilleri

Ajentler, operasyonel süreçlerin hız, doğruluk, güvenlik ve yönetim açısından önemli olduğu genişleyen bir dizi kurumsal operasyona entegre ediliyor. Bazı bu operasyonlar arasında; müşteri hizmeti ve vaka işlemleri, olay yanıtı ve IT operasyonları, DevOps ve site güvenilirliği iş akışları, kod düzeltme ve yazılım geliştirme, operasyonel ve tedarik zinciri planlama gibi işlemler yer alır.

Yeni Operasyonel Tehditler

Ancak ajentler daha bağımsız hale geldikçe, şirketlerin yeni bir tür operasyonel risk ile başa çıkmaları gerekir.

• Kötü seçimler yalnızca önerilmez, aynı zamanda genellikle uygulanır
• Küçük hatalar hızla diğer bağlı sistemlere yayılabilir
• Gerçek dünya eylemleri, sanrılar tarafından tetiklenebilir
• Ajentler, iş amacından, politikadan veya uyumluluktan sapabilir
• Çoklu bileşen arasındaki etkileşimler, arızalara neden olabilir
• Otomatik karar verme, insan değerlendirmesinden daha hızlı kararlar alabilir

Ekipler semptomları gözlemleyebilir, ancak aynı zamanda sistemin davranışının arkasındaki nedenleri anlamak zorundadır. Kurumsal AI, yalnızca görünürlük değil, aynı zamanda bağımlılık kontrollerine de ihtiyaç duyar.

AI Sistemlerinin Karmaşıklığı

Bugün kullanılan AI destekli sistemler nadiren tek bir modeldir. Çoklu etkileşimli bileşenlerden oluşan dağıtılmış, katmanlı sistemlerdir ve bunlar arasında:

• Temel modeller (LLM)
• İnce ayarlanmış veya görev özgü küçük dil modelleri (SLM)
• Gömme modelleri
• Vektör veritabanları
• Çekme boru hatları ve RAG bileşenleri
• Prompt şablonları ve prompt orkestrasyon katmanları
• Eğitim ve değerlendirme veri kümeleri
• Koruyucu raylar ve politika katmanları
• Ajentler ve iş akışları
• Araç çağıran sistemler
• Telemetri (yani günlükler, metrikler ve izlemeler)
• İnsan müdahalesi onay noktaları

Onların Riskleri

Her bileşen farklı bir arıza modu ekler ve etkileşimleri daha fazla karmaşıklık ekler. Bir sistem altyapı katmanında güçlü görünse bile, kötü kararlar alabilir ve tatmin edici sonuçlar üretebilir; tüm bunlar yüzey altında operasyonel risk biriktirir.

İlgili riskler arasında; veri boru hatları tarafından kötü veya bozulmuş girişlerin tanıtılması, altyapı tıkanıklıklarının bağımlılığı azaltması, zararlı veya hatalı sonuçlar ve insan incelemesine yanıt olarak operasyonel tıkanıklıklar yer alır. Sistemlerin birden fazla ajenti veya adımı olabilir ve bu, hemen apparent olmayan şekillerde başarısız olabilir.

AI Gözlemlenebilirliği

Geleneksel izleme, prompt davranışını, alma kalitesini, model kaymasını, ajent yürütme kanallarını veya AI davranışının ve aşağı akış iş veya operasyonel etkisinin arasındaki bağlantıyı anlamak için yeterli değildir.

Burada AI gözlemlenebilirliği devreye girer. AI gözlemlenebilirliği, ekiplere AI sistemlerinin üretimdeki işleyişini anlamalarına olanak tanır; bu, sistemlerin ürettiği girişleri, çıktıları, istenilen davranışları ve karar sinyallerini toplamak, ilişkilendirmek ve değerlendirmek anlamına gelir. Bu, AI sistemlerinin dağıtılmış, belirsiz ve çok bağlamsal olduğu için önemlidir.

AI gözlemlenebilirliği, ekiplere AI iş akışlarına dair uçtan uca içgörüler sağlar, böylece promptlar, modeller, alma katmanları, araçlar ve aşağı akış sistemlerinin yürütme sırasında nasıl etkileşimde bulunduğunu anlayabilirler.

AI gözlemlenebilirliği, performansı ve davranışı izlemeye olanak tanır; bu, gecikme, maliyet, token kullanımı, verim, hata oranları, model davranışı ve çıktı kalitesi göstergeleri gibi faktörleri içerir. Karmaşık ajent iş akışlarında yürütme yollarını izler ve sonuçların several adımlar ve bağımlılıklar boyunca nasıl elde edildiğini gösterir.

AI gözlemlenebilirliği ayrıca, operasyonel ve AI sinyalleri boyunca anormallikleri ortaya çıkararak, ekiplerin bunları manuel olarak keşfetmelerinden önce modellerde, boru hatlarında, altyapıda veya kullanıcı odaklı sonuçlarda anomali davranışını ortaya çıkarır. Bir şey yanlış gittiğinde tanıları hızlandırır ve kök neden araştırmalarını kolaylaştırır; bu, sistem telemetrisine (günlükler, metrikler, izlemeler ve olaylar) AI özgü işlemleri ekler.

Gözlemlenebilirlik Yeterli Değil

AI gözlemlenebilirliği, temel bir iş uygulaması olmasına rağmen, içkin sınırlılıklara sahiptir.

Gözlemlenebilirlik, tanısaldır, önleyici değildir; ekipler neyin yanlış gittiğini öğrenebilir, ancak aynı şeyin tekrar olmasına engel olmak için yeterli bilgiye sahip olmayabilir. Bir ajentin geçmiş eylemlerinin bilgisinin, otomatik olarak ajentin gelecekteki eylemlerine kontrol anlamına gelmediğini anlamak önemlidir.

Non-deterministik sistemlerde, gözlemlenebilirlik thường ekiplere, belirsizliğe yol açan verilerle boğabilir. Operasyonel bir cevap sunmak yerine, genellikle bir açıklamayla sona erer. Ekipler bir problemi bilirler, ancak düzeltici eylemi gerçekleştirmek, etkilerini azaltmak veya otonom sistemleri güvenli operasyon parametreleri içinde tutmak için gerekli otomasyon, güvenlik önlemleri ve kontrol döngülerine sahip olmayabilirler.

Bu, bir operasyonel boşluk yaratır. Şirketler, bir şey bozulduğunda manuel müdahale kullanır, olayları sonra inceler ve sistemlerin daha hızlı ve daha otonom hale geldiği durumlarda insan emeği ile telafi eder.

AI Güvenilirliğinin Genel Bakışı

AI güvenilirliği, yalnızca sorunları gözlemlemekle kalmaz, aynı zamanda AI sistemlerinin gerçek üretim ortamlarında güvenli, tutarlı, öngörülebilir ve başarılı bir şekilde çalışmasını sağlamak anlamına gelir. AI güvenilirliği, AI etrafındaki sistemlerin tamamını comprender ve yönetir. Tanımlama ile eylem arasındaki döngüyü kapatır.

AI güvenilirliği, bir modelin doğru bir cevap verip vermediğinden ziyade, AI destekli tüm sistemin makul operasyonel kısıtlamalar içinde zaman içinde çalışıp çalışamayacağıyla ilgilenir. Kalite, güvenlik, esneklik, açıklanabilirlik, politika uyumluluğu, maliyet etkinliği ve operasyonel istikrar denklemin bir parçasıdır.

Tespitten Önleme Geçiş

AI güvenilirliği, bir problemi tanımlama ile çözümleme arasındaki süreyi azaltır. Konuşmayı “ne yanlış gitti?”den “AI’miz ne kadar hızlı iyileşir?”e kaydırır. Aşağıdaki tekniklerin uygulanması, gözlemlenebilirliği pasif gözlemekten proaktif önleme yönünde taşır:

• Modeller, veri ve altyapı boyunca sinyalleri ilişkilendirerek sorunları tanımlamak
• Etkiden önce proaktif problem tanımı
• Olabilirlikli AI sistemlerinde tüm girişleri ve çıktıları doğrulamak ve ince davranış değişikliklerini tespit etmek
• Üretimdeki istenmeyen çıktıyı tespit etmek ve bu bilgiyi temel modellerin doğruluğunu iyileştirmek için fine-tuning verisi olarak kullanmak
• Karmaşık eylemleri bilgilendirmek için neden ve nasıl veri evrimi hakkında noktaları birleştirebilmek için çoklu ajent iş akışı izleme
• Güvenli yanıt ve otomatik düzeltme için tanımlanmış insan-müdahaleli ajent iş akışları

Kontrol ve Gözlem Arasındaki Uçurumu Kapatmak

Şirketler, yalnızca AI’ye dayalı generatif AI’nin üzerine bir gözlemlenebilirlik katmanından daha fazlasını gerektiren çerçevelerden yararlanırlar. Hem deterministik hem de non-deterministik sistemlerde, bir güvenilirlik platformu, sorunları tanımlayabilir, ön görebilir, açıklanabilir ve kontrol edebilir.

Güvenilir AI operasyonları için geçerli bir çerçeve aşağıdaki öğeleri içermelidir:

• IT sistemleri ve AI sistemleri için entegre telemetri
• Uçtan uca ajent iş akışı ve sistem bağımlılık izleme
• AI özgü davranış ve kalite izleme (promptlar ve değerlendirmeler)
• Kaynak bağımsız gelişmiş anormali tanımlama
• Neden-sonuç ilişkisi ve kök neden analizi
• Otomatik olarak ortamınıza adapte olan ve manuel eşiği gerektirmeyen uyarılar
• Politika uygulaması ve koruyucu raylar
• Hassas veya önemli eylemlerin insan-müdahalesi değerlendirmesi
• İş akışı otomasyonu ve düzeltme koordinasyonu
• Sorunları önlemek için öngörülü analiz kullanımı
• Anormali tanımlamasını AI modeli kalitesiyle bağlantılı geri bildirim döngüleri

AI İşlevlerini Kolaylaştırmak

AI sistemleri, altyapıya, hizmetlere, veri boru hatlarına ve operasyonel rutinlere dayanır; kendi başlarına başarısız olmazlar. Ekipler, AI ve IT güvenilirliğini birleştirdiğinde, tüm resmi alırlar.

Bir ince LLM sarmalayıcı güvenilir bir platformun temeli olmamalıdır. Diğer generatif AI yalnızca araçlarını göz ardı eden sorunları tanımlamak ve düzeltmek için çeşitli AI tekniklerini dikkate almalıdır; bu, “bileşik AI” olarak bilinen unsupervised AI, predictive AI, causal AI ve generative AI’nin bir karışımıdır.

Generatif AI, doğal dili özetlemekte iyidir. İnsan etkileşimi gerektiren veya yapılandırılmamış veri aracılığıyla akıl yürütme gerektiren durumlar için en uygunudur. Ancak bu, üretimdeki meisten güvenilirlik sorunlarının şekli değildir.

Predictive AI, anormali tanımlama algoritmalarını kullanarak, arızalara, kötü müşteri deneyimlerine veya pahalı başarısızlıklara dönüşmeden önce erken sinyalleri tanımlamaya odaklanır.

Causal AI, performans düşüşünün nedeni hakkında gerçek kök nedenleri ortaya çıkarmaya yardımcı olur; bu, alma kalitesi, model davranışı, altyapı yavaşlığı, yukarı akış veri kayması veya aşağı akış sistem arızası olabilir.

Unsupervised AI, insan rehberliği olmadan, karmaşık ve sınıflandırılmamış verilerde gizli kalıpları, yapıları veya anormallikleri otomatik olarak keşfeder. Güvenilirlik için generatif AI’den daha iyidir, çünkü karmaşık, sınıflandırılmamış verilerdeki gizli yapıları veya ilişkileri gruplamak veya bulmak için odaklanır.

Risk, belirsizlik veya iş etkileri önemli olduğunda, operasyonel AI ajentlerinin, insan katılımını güvenli operasyonlar için korurken, otomatik tepkiyi otomate etmesi gerekir.

AI modelinin belirli iş bağlamının anlaşılması, üretimden gerçek kullanıcı verilerini kullanarak pekiştirme öğrenimi ile her etkileşimle geliştirilebilir.

Hatta en gelişmiş sistemler, uyarıları aşar; kapalı döngü düzeltme, her olaydan öğrenir, tanınan tepkileri otomatikleştirir ve güvenli önlemleri başlatır.

Otonom AI Sistemlerine Hazırlanmak

Şirketler, otonom AI sistemlerine birkaç şekilde hazırlanabilir. İlk olarak, ajentler, üretkenlik araçları olarak değil, operasyonel sistemler olarak görülmelidir. Bir ajent eylemde bulunma yeteneğine sahip olduğunda, işletmenin operasyonlarının bir parçası haline gelir ve uygun şekilde düzenlenmelidir.

Ekipler, ajentleri en baştan itibaren, modellerden, promptlardan, araçlardan, iş akışlarından, altyapidan ve kullanıcı sonuçlarından sinyalleri kaydederek enstrümente edebilir. Bu temel gözetim, ajentler işletme için kritik hale gelene kadar ertelenmemelidir.

Ajentlerin yaygın dağıtımı öncesinde, güvenilirlik standartlarını belirlemek de önemlidir. Kabul edilebilir eşikler, güvenlik, gecikme, hata oranları, sanrı riski, politika uyumluluğu ve iş etkisi için, sonradan değil, tasarım aşamasında dahil edilmelidir.

AI davranışını, onu destekleyen temel sistemlere ve prosedürlere bağlamak, şirketlerin AI ve IT operasyonlarını entegre etmesine olanak tanır. Altyapı ve model izleme için farklı araçlar kullanmak, kör noktalar oluşturur.

Platform mühendisliği, SRE, güvenlik, veri takımları, AI takımları ve iş sahipleri, güvenilir AI operasyonları sağlamak için geleneksel siloları aşan bir şekilde birlikte çalışmalıdır.

Her olay, anormalliği ve near-miss, operasyonlara geri bildirim döngüleri entegre edilerek sistemi geliştirecektir; bu, şirketlerin üretim davranışından sürekli olarak öğrenmesine olanak tanır.

Son olarak, şirketlerin, yalnızca gözlemlenebilirlik değil, kontrol için tasarlanmış platformları seçmesi önemlidir. AI ajentleri daha otonom hale geldikçe, şirketler, görünürlük, tahmin, açıklama ve eylem entegre eden sistemlerden yararlanacaktır. Şirketler, sorunları tanımlamaktan güvenli sonuçları kontrol etmeye geçiş yapmayı başardıklarında, kazananlar olacaklar.

Alt Çizgi

AI, şirketlerde artık bir operasyonel sistemdir; bir araç değil. Gerçek üretim ortamlarında, AI sistemlerine güvenilirlik eklemek, güvenli, tutarlı, öngörülebilir ve verimli operasyonları garanti eder. Şirketler, sorunları tanımlamaktan güvenli sonuçları kontrol etmeye kadar tüm süreci yönetmek zorunda kalacaklar.