Jeff Champagne, Cribl’in Alan CTO’su – Röportaj Serisi

Jeff Champagne, Cribl’in Alan CTO’su, observability, kurumsal veri, ürün stratejisi ve teknik mimari konularında derin bir deneyim sunar. Cribl’e katılmadan önce, Databricks’te Ürün Yönetimi Direktörü olarak görev yaptı ve Splunk’ta yedi yıldan fazla bir süre boyunca senior field ürün, mimari ve küresel sistem mühendisliği rollerinde bulundu. Ayrıca, BNY ConvergEx’te sistem mimarisi liderliği, Premier Technology Solutions’da senior mühendislik çalışması ve Assist-2-Sell’de erken mühendislik liderliği gibi deneyimlere sahiptir. Bu deneyimler, kurumsal düzeyde operasyonel verilerin toplanması, yönetimi, analizi ve eyleme geçirilmesiyle ilgili geniş bir perspektife sahiptir.

Cribl, IT, güvenlik, SRE ve DevOps ekiplerinin observability ve güvenlik verilerini tek bir satıcıya bağlı kalmadan toplamasına, işlemesine, yönlendirmesine, depolamasına ve analiz etmesine yardımcı olan bir kurumsal telemetri şirketidir. Şirket, “Telemetri için AI Platformu” olarak konumlandırılmış olup, Cribl Stream için gerçek zamanlı telemetri toplama, azaltma, zenginleştirme ve yönlendirme; Cribl Edge için satıcı bağımsız uç nokta telemetri toplama; Cribl Search için yerinde veri arama ve Cribl Lake için depolama gibi ürünleri sunar. Daha geniş misyonu, telemetri hacimlerinin büyümesi ve AI destekli operasyonların daha temiz ve erişilebilir verilere ihtiyaç duyması nedeniyle, kurumlara daha fazla kontrol, esneklik ve verimlilik sağlamaktır.

Çeşitli teknoloji döngülerinde Splunk, Databricks ve şimdi Cribl’de çalışarak, kurumsal veri, observability ve altyapı hakkında nadir bir bakış açısına sahip oldunuz. Bu perspektiften, ajans AI tarafından oluşturulan observability sorununda gerçekten farklı olan nedir?

Uygulama observability’de, her zaman karmaşık, dallanmış yürütme yollarıyla ilgilenirdik, istekleri mikro hizmetler ve dağıtılmış sistemler boyunca izlerdik. Güvenlik operasyonlarında, tehditleri tespit etmek için yüksek hacimli, farklı veri kaynaklarıyla ilgilenirdik. Ajans AI, bu sorunları yeniden yaratmaz; onları aynı anda patlatır.

Ajanlar, kararlar zincirleme, dış araçları çağırır ve alt ajansları dinamik olarak oluşturur, bu da önceden belirlenmiş olmayan şekillerde olur. Yürütme grafiği sadece karmaşık değil, her seferinde tamamen farklı olabilir ve gereken telemetri hacmi her atlama ile birlikte üssel olarak artar. Ajansların observable olabilmesi için gereken tüm telemetrinin toplanması hem kolay hem de maliyet etkin olmalıdır. Aksi takdirde, kurumlarda görünürlüğü kontrol etmek için maliyetleri azaltma eğiliminde olurlar – tam da kör olmak için yanlış zaman.

Ajanları iş akışlarına entegre ederken, ajansın yapması istenen şey ile gerçekten neler olduğu arasındaki en büyük görünürlük boşlukları nerede?

Ajanlar, yüzeyde başarılı gibi görünen iş akışlarını tamamlar, ancak aynı zamanda kötü araç çağrıları, parametreler hakkında yanlış bilgi verir veya orijinal hedeflerinden saparlar. Sonuçlar genellikle başka bir sistemde saatler sonra ortaya çıkar.

Boşluk genellikle yorumda başlar: Orijinal talimattaki küçük belirsizlik, ajansın o an hangi araçları çağırdığına, hangi araçların mevcut olduğuna veya önceki adımda hangi bağlamda olduğuna bağlı olarak farklı şekilde çözülür. Ayrıca, ajansın bağımlı olduğu aşağı akış sistemlerini de enstrümantasyon yapmanız gerekir, çünkü bir ajans mükemmel bir şekilde oluşturulmuş bir veritabanı çağrısı yapabilir, ancak alttaki tablo hiçbir zaman güncellenmediyse, çünkü bir ETL işi sessizce yukarı akışta başarısız olduysa, yine de yanlış bir cevap döndürebilir.

Ajans, kendisine söylenen her şeyi yaptı; ancak güvendiği veriler eskimişti.

Neden geleneksel observability araçları genellikle ajans AI sistemlerini izlemek için yetersizdir?

İlk olarak, onlar esnek, özel şemalara ve öngörülebilir veri şekillerine göre inşa edildiler. Ajans izleri bu beklentilere uymaz – onlar hacimli, yapı olarak çok değişken ve geleneksel araçların alışık olmadığı veri türlerini içerir. Açık standartlar, bu sorunu çözmek için ortaya çıkıyor, ancak birçok eski platform bu standartlardan yararlanmak için inşa edilmedi.

İkincisi, ölçek ve maliyet denklemi nhanh bir şekilde bozulur. Üretim iş yüklerini işleyen tek bir ajans, bir saat içinde daha fazla telemetri üretebilir, bu da geleneksel platformların ücretlendirmesini bozar. Bu, imkansız bir ticaret haline gelir – ya her şeyi enstrümantasyon yapın ve maliyetleri karşılayın, ya da en çok ihtiyaç duyulan sistemlerin görünürlüğünü azaltın.

Bir AI ajansı başarısız olduğunda, kurumlarda modelin, geri çağırma katmanının, API bağımlılığının, izin sorunlarının veya aşağı akış altyapı sorunlarının kök nedenini nasıl belirleyebilir?

Kök nedenin izolasyonu, tüm katmanlar boyunca bir eliminasyon sürecidir. Bu, yalnızca telemetrinin tümünü kapsaması durumunda işe yarar. Model span’leri üzerindeki gecikme ve hata sinyalleri, LLM itself’e işaret eder. Geri çağırma span’leri, bağlamın alınıp alınmadığını veya eskimiş olup olmadığını söyler. Araç çağırma span’leri, başarısız API bağımlılıklarını veya izin hatalarını ortaya koyar.

Önceden de bahsedildiği gibi, ajansın bağımlı olduğu aşağı akış sistemlerinden de telemetriye ihtiyacınız vardır, çünkü bir ajans mükemmel bir şekilde oluşturulmuş bir çağırma yapabilir, ancak güvendiği veri hiç güncellenmediyse yanlış bir cevap üretebilir. Hiçbir tek sinyal tüm hikayeyi anlatmaz, bu nedenle tüm bu katmanlar boyunca korelasyon yapmak, ajans hatalarını hızlı bir şekilde debug eden ekipleri, hala tahminde bulunan ekiplerden ayıran şeydir.

Ajans davranışını anlamak için kurumlarda hangi telemetri verilerinin en önemli hale geldiği?

Temel hala MELT – metrikler, olaylar, günlükler ve izler – ancak ajan sistemlerine geçildiğinde ağırlık önemli ölçüde değişir. Metrikler, bir şeyin yanlış olduğunu söyler ve günlükler, neler olduğuyla ilgili ham kaydı sağlar, ancak ikisi de, ajansın yanlış bir cevaba nasıl ulaştığını yeniden inşa edemez. İşte burada izler en kritik sinyal haline gelir.

Geleneksel dağıtılmış bir sistemde, bir iz, bir isteğin hizmetler arasında nasıl hareket ettiğini gösterir. Bir ajans sisteminde, bir modelin bir problemi nasıl çözdüğünü, hangi araçları çağırdığını, hangi bağlamı aldığını, hangi dalışları yaptığını ve her adımda ne karar verdiğini gösterir. Bu iz olmadan, bir çıktı ile nasıl oraya vardığınızı açıklamak için hiçbir yolunuz olmaz.

AI tartışmaları hala büyük ölçüde hayaller üzerine odaklanıyor. Ajansların operasyonel başarısızlıklarını, kötü geri çağırma, broken entegrasyonlar, gecikme pikleri veya eksik bağlam gibi durumları kurumlarda yeterince değerlendirmiyor mu?

Üretimdeki çoğu hayaller, model hataları değil; gizli operasyonel hatalardır. Kötü geri çağırma, ajansın boşluğu doldurmasıyla sonuçlanır ve model, bir şeyler söyler. Broken bir entegrasyon, ajansın doğru şekilde neden olamamasına neden olur. Eksik bağlam, bir ETL işinin sessizce başarısız olmasından kaynaklanabilir ve bu, bir altyapı sorunudur.

Ajanslar daha otonom hale geldikçe, kurumlarda hesap verebilirliği sağlamadan kendilerini boğucu gürültü ile boğmadan neyi günlüğe kaydetmeli, izlemeli veya izlemelidir?

Temel hala MELT’dir, ancak ajans sistemleri için hesap verebilirlik, geleneksel telemetri üzerine bir değerlendirme çerçevesi katmanını gerektirir. Metrikler, olaylar ve günlükler, altyapı hatalarını ve broken entegrasyonları ortaya koyar; izler, neden belirli bir cevaba ulaşıldığını gösterir. Ancak hiçbiri, cevabın gerçekten doğru olup olmadığını söyleyemez ve bu, LLM-as-judge değerlendirmesinin doldurduğu boşluktur. Ajansları değerlendirmek için kullanılan aynı AI yetenekleri, ölçeklenebilirlikte insan inceleme sürecini aşabilir.

Ajans davranışını anlamak için telemetri boru hatlarının rolü nedir?

Güvenlik ekipleri, SRE’ler, veri mühendisleri ve AI ekipleri, aynı sorunu farklı araçlar ve perspektifler aracılığıyla inceliyorlar, ancak hiçbiri tam resme sahip değil. Telemetri boru hatları, modern kurumsal veri mimarisinin bir parçası haline geldi, çünkü bu sorunu çözüyor: tüm araçların önünde iyi yönetilen, zenginleştirilmiş bir boru hattı, her ekibe özel ajanlar ve toplayıcılar olmadan, tüm ekiplerin aynı veriden çalışmasını sağlıyor.

Ajans AI dağıtımlarını retrofit etmeye çalışırken kurumlarda yapılan en yaygın hatalar nelerdir?

Gördüğüm en yaygın hata, ajans izlerini toplamak için mevcut premium observability platformlarına ulaşmak ve maliyet etkilerini düşünmemektir. Ajans izleri büyük, değişken ve hacimlidir ve çoğu premium platform, alıma ve depolamaya göre ücretlendirilir. Fatura, ekiplerin ne olduğunu anlamadan önce ciddi bir sorun haline gelebilir ve tipik tepki, topladıklarını azaltmaktır. Sonuç, en kötü iki dünya – yüksek maliyet ve eksik görünürlük.

İkinci hata, ajans iş akışlarına geleneksel altyapı izleme mental modelini uygulamaktır. Geleneksel altyapı izleme, “sistem açık mı?” sorusunu sorar ve değilse uyarılar verir. Bu soru gerekli ama ajans sistemleri için yeterli değil, burada altyapı mükemmel şekilde sağlıklı olabilir, ancak ajans sessizce kötü kararlar alabilir, eski verileri alabilir veya orijinal hedefinden sapabilir. Ekipler, mevcut panelleri ve uyarı eşiğini ajans iş akışlarına uyguladığında, kendilerini kandırmış olurlar, çünkü aslında sadece boru hattını izliyorlar.

Altyapı görünürlüğü, büyük ölçekli bulut göçü için bulut observability’nin gerekli olduğu gibi, kurumsal AI benimsemesi için bir ön koşul haline gelecek mi?

Bulutla benzerlik çok benzer. En önemli şey, müşterilere bulut altyapısını taşıma konusunda söylediğim, yeni bir mimari dağıtmaları ve tümünün enstrümantasyon ve izleme gerektirdiğidir. Bulut observability, bulut ölçeğinin temelini oluşturan güven temelidir ve aynı model şimdi ajans AI ile oynanmaktadır, ancak daha hızlı ve daha yüksek bahislerle.

Ajanların bu tür gözetimine sürekli olarak ihtiyaç duymalarının birincil nedeni, onların tasarımı itibariyle belirsiz olması, davranışlarının çalışma zamanında ortaya çıkması ve her yeni entegrasyonla birlikte etkili yeteneklerinin artmasıdır. Statik ön-deployment sertifikasyonu, eylem yüzeyi her entegrasyonla değişen bir sistemin davranışını kapsayamaz. Ajanlar, güven sınırları içinde çalışacak, ancak bu sınırlar, observability, politika ve değerlendirme altyapısı olgunlaştıkça genişleyecek. Sınırlar kendiliğinden ortadan kalkmayacak, bu bir başarısızlık durumu değil, zaten her önemli otonom sistem tarafından kullanılan bir modeldir.

Harika röportaj için teşekkür ederiz, daha fazla bilgi edinmek isteyen okuyucular Cribl‘i ziyaret edebilir.