AIOps Nedir? BT Operasyonları için Yapay Zeka

AIOps, BT operasyonları verilerine makine öğrenimi ve otomasyon uygular; böylece ekipler olağandışı davranışları tespit edebilir, yinelenen uyarıları azaltabilir, ilgili olayları bağlayabilir, olası nedenleri sıralayabilir ve yanıt eylemlerini önerebilir ya da yürütebilir.

AIOps, operasyonların özerk bir yerine geçmez. ITOps sisteminin içinde bir katmandır ve değeri telemetri kalitesi, hizmet topolojisi, değişiklik geçmişi, insan geri bildirimi ve güvenli otomasyon sınırlarına bağlıdır.

Temel Çıkarımlar

• Olayları normalleştirin ve gelişmiş modelleri uygulamadan önce hizmet bağlamı ekleyin.
• Anomali tespiti sapmaları belirler, mutlaka hataları veya temel nedenleri göstermez.
• Korelasyon ve olası neden sıralaması kanıtları ve belirsizliği ortaya koymalıdır.
• Otomatik iyileştirme en az ayrıcalık, onaylar, kanaryalar, geri alma ve sonuç izleme gerektirir.

Operasyonel Veri Katmanı Oluşturma

AIOps platformları metrikleri, günlükleri, izleri, uyarıları, biletleri, topolojiyi, dağıtımları ve yapılandırma değişikliklerini alır. Zaman damgaları, tanımlayıcılar ve hizmet sahipliği uzlaştırılmalıdır; böylece sistem aynı olaya atıfta bulunan sinyalleri bağlayabilir.

Eksik veya tutarsız bağlam yanlış korelasyonlara yol açar. Günlükler kimlik bilgileri veya kişisel bilgiler içerebileceği için veri saklama, erişim ve gizlilik de önemlidir. Diğer üretim veri sistemlerinde beklenen aynı yönetişimi uygulayın.

Tespit ve Gürültü Azaltma

Statik eşikler bilinen limitler için işe yarar; istatistiksel ve makine öğrenimi yöntemleri mevsimsellik ya da çok değişkenli kalıpları modelleyebilir. Tekrarlanan bildirimleri birleştirme (deduplikasyon) gruplar, baskılama ise tanımlı kurallar altında eyleme geçirilemeyen uyarıları kaldırır.

Anomali, yalnızca beklenen davranıştan sapmadır. Planlı sürümler, trafik kampanyaları ve iş döngüleri alışılmadık olabilir ancak sağlıklıdır. Kaldırılan uyarı sayısını kutlamak yerine kesinlik, geri çağırma, tespit gecikmesi ve operatör iş yükünü değerlendirin.

Korelasyon ve Olası Neden

Olay korelasyonu, semptomları bir bağımlılık grafiği ve zaman penceresi boyunca bağlar. Olası neden modeli, olayı açıklayabilecek bileşenleri veya son değişiklikleri sıralayabilir. Bu, araştırmayı önceliklendirir; nedenselliği kanıtlamaz.

Katkıda bulunan kanıtları, alternatif hipotezleri ve güven düzeyini gösterin. Açıklanabilir AI, bir operatörün bir hizmeti izole edip etmeyeceğine ya da bir dağıtımı geri alıp almayacağına karar vermesi gerektiğinde özellikle önemlidir.

Öneriden Otomasyona

Bir çalışma kitabı tanılamaları toplayabilir, durum bilgisiz bir çalışanı yeniden başlatabilir veya kapasiteyi ölçeklendirebilir. Yardımcılar (copilotlar) olayları özetleyebilir ve prosedürleri geri getirebilir. Ajanlar araç çağrılarını planlayabilir, ancak üretim izinleri dar olmalı ve eylemler mevcut durumla doğrulanmalıdır.

İlk olarak yalnızca okunabilir önerilerle başlayın. Olgun eylemleri simülasyon, insan onayı, kanaryalar ve otomatik geri alma yoluyla yükseltin. Her eylem için girdileri, model sürümünü, yetkilendirmeyi ve sonucu kaydedin.

Değerlendirme ve Operasyonel Geri Bildirim

Geçmiş olayları, nihai etiketlerini özelliklere sızdırmadan yeniden oynatın. Yeni hizmetler ve değişikliklerde test edin, yanlış baskılamayı, tespit süresini, hafifletme süresini, operatör kabulünü ve tekrarı ölçün. Mevcut kurallar ve basit temel çizgilerle karşılaştırın.

Mimari, trafik veya yanıt uygulamaları değiştiğinde sapma (drift) meydana gelir. Operatörlerin korelasyonları ve sonuçları düzeltmesine izin vererek döngüyü kapatın, ardından sistemin riski gizlemeden veya otomasyon rahatlığı yaratmadan zahmeti azaltıp azaltmadığını gözden geçirin.

AIOps Veri ve Analitik Boru Hattı

AIOps, metrikler, günlükler, izler, olaylar, topoloji, biletler ve değişiklikler gibi operasyon verilerine istatistiksel ve makine öğrenimi yöntemleri uygular. Boru hattı sinyalleri toplar ve normalleştirir, hizmet ve sahiplik bağlamıyla zenginleştirir, anormallikleri tespit eder, ilgili olayları korele eder, olası nedenleri tahmin eder ve eylem önerir ya da tetikler. Kalite zaman damgaları, tanımlayıcılar, topoloji ve değişiklik kayıtlarına bağlıdır. Gelişmiş bir model, tutarsız adlarla aynı hizmete atıfta bulunan uyarıları güvenilir bir şekilde korele edemez.

Anomali tespiti, hizmet, sezon ve işletim durumu bazında temel çizgileri öğrenir; bilinen güvenlik limitleri için statik eşikler daha iyi olabilir. Olay korelasyonu, zaman, topoloji, metin ve tarihsel kalıpları kullanarak semptomları bir olaya gruplar. Kök neden sıralaması hipotezler önerir ancak ilk gözlemlenen hatayı gerçek nedenle karıştırabilir veya topolojide bulunmayan ortak bir bağımlılığı kaçırabilir. Doğal dil özetleri yanıt verenlere yardımcı olabilir ancak ham kanıtlara bağlanmalı ve belirsizliği belirtmelidir.

Otomasyon, Değerlendirme ve Geri Bildirim

Karar desteği ve düşük riskli geri döndürülebilir iyileştirme ile başlayın. Her otomatik eylem yetkilendirme, ön koşullar, sınırlı kapsam, zaman aşımı, sonrası koşul doğrulaması, geri alma ve bir denetim izi gerektirir. Model, kendine kimlik bilgileri vermemeli ya da günlük metnini güvenilir talimat olarak işlememelidir. İnsan yanıt verenler önerileri kabul etmeli, reddetmeli veya düzeltmeli; bu sonuçlar kuralları veya eğitim verilerini denetim yoluyla güncellemeli, kontrolsüz öz-öğrenme yerine.

Olayları kaçırmadan uyarı azaltımını, tespit süresini, korelasyon doğruluğunu, kök neden sıralamasını, iyileştirme başarısını, iyileşme süresini, tekrarı ve yanıtlayıcı iş yükünü değerlendirin. Tarihsel yeniden oynatma ve enjekte edilmiş hataları kullanın, ancak eksik olay etiketlerini hesaba katın. Hizmet ve olay türüne göre ölçüm yapın; ortalama, nadir kritik sistemlerdeki tehlikeli hataları gizleyebilir. AI karmaşıklığını eklemeden önce deterministik kurallar ve geliştirilmiş gözlemlenebilirlikle karşılaştırın.

Yönetişim ve Hata Modları

AIOps, telemetri boşluklarını büyütebilir, yanlış bir teşhisi otomatikleştirebilir veya filo çapında korele edilmiş eylemler oluşturabilir. Ortamları izole edin, eşzamanlılığı sınırlayın, modelin dışındaki bir öldürme anahtarını (kill switch) koruyun ve AIOps platformunun kendisinin arızasını prova edin. Gizli bilgiler veya kişisel veri içeren günlükleri ve biletleri koruyun. Model sapmasını, topoloji güncelliğini, yanlış eylemleri ve geçersiz kılmaları izleyin. AIOps, kanıtları ve sınırlı eylemi daha hızlı sağladığında güvenilir operasyonları destekler; hizmet sahipliği, olay komutanlığı veya mühendislik kararının özerk bir yerine geçmez.

Uygulamalı Örnek: Ödeme Olayı için AIOps

AIOps, bir dizi API hatası, veritabanı aşırı yüklenmesi ve bölgesel uyarıları tek bir olayda toplar ve bunu son dağıtım, topoloji ve sahibiyle zenginleştirir. Dağıtımı olası bir katkı sağlayıcı olarak sıralar ancak ham telemetriyi ve alternatifleri gösterir. Deterministik bir politika daha fazla dağıtımı duraklatır; bir insan olay komutanı, kapasite ve veri tutarlılığının güvenli olduğunu kontrol ettikten sonra trafik kaymasını onaylar.

Sistem, grup oluşturma doğruluğunu, tespit süresini, sıralama doğruluğunu, yanıtlayıcı kabulünü, iyileşmeyi ve tarihsel yeniden oynatma ve oyun günlerinde yanlış iyileştirmeyi ölçer. Tüm otomatik eylemler sınırlara, idempotansa, sonrası koşul kontrollerine ve geri almaya sahiptir. Günlükler temizlenir ve kötü niyetli metin bir komuta dönüşemez. Olaydan sonra, doğrulanan neden ve eylem sonuçları incelenen kuralları ve değerlendirme verilerini günceller. AIOps platformu kanıt ve koordinasyona yardımcı olur; olay komutanlığını veya dış yetkilendirmeyi asla değiştirmez.

Uygulama Kanıtları ve Operasyonel Hazırlık

Üretim kararı, başarılı bir gösterimden daha fazlasını gerektirir. Hedef kullanıcıları, çalışma ortamını, girdileri, çıktıları, bağımlılıkları, sahibi ve her önemli hatanın sonucunu tanımlayın. Ayarlamadan önce tekrarlanabilir bir temel çizgi ve sürümlenmiş bir değerlendirme seti oluşturun. Olağan durumları, sınır koşullarını, hatalı ya da eksik girdileri, dağılım kaymasını, bağımlılık kesintisini, kötü kullanımı ve hizmet dışı kalma ihtimali yüksek grup veya ortamları test edin. Görev kalitesini kalibrasyon veya belirsizlik, gecikme, verim, kaynak maliyeti, erişilebilirlik, gizlilik ve güvenlikle birlikte ölçün. Bağımsız bir gözden geçirenin sonucu yeniden üretebilmesi ve kanıtları çekici bir prototipten ayırabilmesi için her dönüşümü ve eşiği kaydedin.

Başlamadan önce, sürüm, istisna, değişiklik, geri alma ve emeklilik yetkisini atayın. Aşamalı bir dağıtım kullanın, güvenli bir geri dönüşü koruyun ve kasıtlı olarak enjekte edilmiş hatalarla izlemeyi doğrulayın. Operasyonel telemetri, gereksiz hassas veri toplamadan giriş kalitesini, çıktı davranışını, model veya kural sürümünü, bağımlılık sağlığını, insan geçersiz kılmalarını ve doğrulanmış sonuçları ortaya koymalıdır. Uyarı eşiklerini ve bir yanıt sorumlusunu tanımlayın, ardından dağıtımdan sonra gerçek dünya kanıtlarını gözden geçirin; çevrim dışı performansın devam edeceğini varsaymayın. Veri kaynakları, kullanıcılar, modeller, satıcılar, politikalar, donanım veya hedefler değiştiğinde yeniden değerlendirin. Sürekli bir sistemin belgelenmiş bir kurtarma, olay öğrenimi, silme ve saklama prosedürleri ve devre dışı bırakılması ya da değiştirilmesi gereken net bir noktası da olmalıdır.

Sıkça Sorulan Sorular

AIOps, gözlemlenebilirlikle aynı mı?

Hayır. Gözlemlenebilirlik, sistem sinyallerini sağlar ve inceler; AIOps ise bu sinyaller üzerinde analiz ve otomasyon kullanır. Her biri diğerine olmadan var olabilir.

AIOps, kök nedeni otomatik olarak belirleyebilir mi?

Hipotezleri sıralayabilir ve kanıt toplayabilir, ancak nedensel iddialar topoloji, değişiklik bağlamı ve doğrulama gerektirir. Birçok olay etkileşimli nedenlere sahiptir.

Birincil Referanslar

• IBM Research: AI for IT
• Google SRE: Practical Alerting from Time-Series Data
• NISTIR 8312: Four Principles of Explainable AI