Shahar Azulay, Groundcover'ın CEO'su ve Kurucu Ortağı

Şahar Azulay, Groundcover'ın CEO'su ve kurucu ortağı Shahar, seri bir Ar-Ge lideridir. Shahar, Apple, DayTwo ve Cymotive Technologies gibi şirketlerde lider olarak çalışmış olup siber güvenlik ve makine öğrenimi dünyasında deneyime sahiptir. Shahar, İsrail Başbakanlığı'nın Siber bölümünde uzun yıllar görev yapmış olup, Technion İsrail Teknoloji Enstitüsü ve Tel Aviv Üniversitesi'nden Fizik, Elektrik Mühendisliği ve Bilgisayar Bilimleri alanlarında üç diploması bulunmaktadır. Shahar, bu zengin geçmişinden edindiği teknolojik bilgileri, günümüzün bulut tabanlı savaş alanına en keskin ve yenilikçi biçimde getirerek geliştirme dünyasını daha iyi bir yer haline getirmeyi hedeflemektedir.

toprak örtüsü eBPF, mühendislik ekiplerine geleneksel izleme araçlarının karmaşıklığı veya maliyeti olmadan sistemlerine tam ve gerçek zamanlı görünürlük sağlamak üzere tasarlanmış bulut tabanlı bir gözlemlenebilirlik platformudur. eBPF teknolojisi üzerine kurulu olan platform, bulut tabanlı ve Kubernetes ortamlarında kod değişikliği gerektirmeden logları, metrikleri, izleri ve olayları toplar ve ilişkilendirir; bu da daha hızlı kök neden analizi ve daha net sistem içgörüsü sağlar. Platform, öngörülebilir fiyatlandırma, verileri müşterinin bulutunda tutan esnek dağıtım ve altyapı, uygulamalar ve modern yapay zeka destekli iş yüklerini kapsayan uçtan uca gözlemlenebilirlik özelliklerini vurgular.

İsrail Başbakanlık Ofisi'nde siber Ar-Ge ekiplerine liderlik etmekten Apple'da makine öğrenimi girişimlerini yönetmeye kadar uzanan yolculuğunuza geriye dönüp baktığınızda, sizi nihayetinde Groundcover'ı kurmaya iten deneyimler nelerdi ve modern yapay zeka sistemleri için gözlemlenebilirlik alanındaki eksikliği ilk ne zaman fark ettiniz?

Yer örtüsü oluşturma çabası, Apple ve DayTwo'daki zamanımdan kaynaklandı. Devasa bütçelerimiz olmasına rağmen, her şeyi kaydetmek için servet ödemek veya örnekleme yapıp körü körüne ilerlemek arasında seçim yapmak zorunda kalıyorduk. O zamanlar, bunu çözecek bir teknoloji arıyorduk. Genişletilmiş Berkeley Paket Filtresi (eBPF) ile karşılaştığımızda, her şeyi değiştireceği açıkça ortaya çıktı. eBPF, uygulama değişikliklerine bağlı kalmadan çekirdekte olup biten her şeyi görmemizi sağlıyor. Gözlemlenebilirlik araçlarının bundan neden yararlanmadığını anlayamıyordum. Yapay zeka açığı daha sonra netleşti. Kubernetes platformumuz olgunlaştığında, müşterilerin LLM'leri kara kutu gibi ele alırken GenAI dağıtımlarına acele ettiklerini gördük. Modelin yanıt verdiğini biliyorlardı, ancak neden öngörülemeyen şekilde davrandığını veya maliyetlerin neden arttığını bilmiyorlardı. Ajan tabanlı iş akışlarının, zaten oluşturduğumuz sıfır dokunuşlu görünürlüğe ihtiyaç duyan karmaşık, deterministik olmayan mikro hizmetler olduğunu fark ettik.

Siber güvenlik, gömülü sistemler ve makine öğrenimi Ar-Ge alanlarındaki geçmişiniz Groundcover vizyonunu nasıl etkiledi ve LLM tabanlı ve ajansal uygulamalar için gözlemlenebilirliğe odaklanan bir şirket kurarken ilk başlarda ne gibi zorluklarla karşılaştınız?

Siber güvenlik alanındaki geçmişim, şirketin DNA'sını şekillendirdi. İstihbarat dünyasında, uygulamayı kontrol etmediğinizi varsayarsınız. Bu yaklaşım, Groundcover'ın enstrümantasyona ihtiyaç duymamasının nedenidir. Geliştiricilerden kodu değiştirmelerini istemenin, benimsenmeyi engellemenin en hızlı yolu olduğunu deneyimlerimden biliyorum. LLM izleme ile ilgili en zorlu ilk sorun gizlilikti. Yapay zeka için gözlemlenebilirlik, hassas kişisel veriler veya fikri mülkiyet içerebilecek komutları yakalar. Geçmişim, işletmelerin bu verilerin kendi ortamlarından çıkmasını istemeyeceklerini açıkça ortaya koydu. Bu nedenle, tüm verileri müşterinin kendi ortamında tutarken, ajan davranışına derinlemesine görünürlük sağlamamıza olanak tanıyan bulut tabanlı mimarimizi oluşturduk.

LLM gözlemlenebilirliğini nasıl tanımlarsınız ve onu geleneksel izleme veya ML izlemeden farklı kılan nedir?

LLM gözlemlenebilirliği, büyük dil modelleri kullanan üretim sistemlerini izleme ve donatma uygulamasıdır; böylece her çıkarımın tüm bağlamını yakalayabilirsiniz: istem, bağlam, tamamlanma, belirteç kullanımı, gecikme, hatalar, model meta verileri ve ideal olarak aşağı akış geri bildirimi veya kalite sinyalleri. Sadece "Hizmet çalışıyor ve hızlı mı?" veya "Bu istek hata verdi mi?" diye sormak yerine, LLM gözlemlenebilirliği "Bu belirli istek neden başarılı veya başarısız oldu?", "Bu çok adımlı iş akışında aslında ne oldu?" ve "İstemlerde, bağlamda veya model sürümlerinde yapılan değişiklikler maliyeti, gecikmeyi ve çıktı kalitesini nasıl etkiliyor?" gibi soruları yanıtlamanıza yardımcı olur. Bu, geleneksel izlemeden veya hatta klasik ML izlemesinden çok farklıdır. Eski yaklaşımlar, deterministik sistemler, altyapı metrikleri ve statik eşikler için ayarlanmıştır. LLM uygulamaları deterministik olmayan, açık uçlu ve son derece bağlama bağımlıdır. Başarı genellikle anlamsal ve özneldir, sadece 200 veya 500 durum kodu değildir. Bu, girdileri ve çıktıları izlemeniz, araç çağrılarını ve alma adımlarını anlamanız, yanıtları yanılsamalar veya politika ihlalleri gibi hususlar açısından değerlendirmeniz ve belirteç düzeyindeki maliyetleri ve gecikmeleri çevreleyen uygulama ve altyapıya bağlamanız gerektiği anlamına gelir.

LLM destekli uygulamalar, geleneksel gözlemlenebilirlik araçlarını yetersiz kılan hangi zorlukları ortaya çıkarıyor?

LLM destekli sistemler, geleneksel araçların sınırlarını ortaya koyan çeşitli zorluklar getiriyor:

• Karmaşık, çok adımlı iş akışları – Basit “bir modeli çağır, bir yanıt al” akışlarından çok turlu aracılara, çok adımlı işlem hatlarına, veri alma ile zenginleştirilmiş üretime ve araç kullanımına geçtik. Veri alma, zenginleştirme, yerleştirme, araç çağrısı veya model çağrısı gibi bu adımlardan herhangi birinde sessiz bir hata, tüm deneyimi bozabilir. Geleneksel izleme genellikle size istemler ve yanıtlar dahil olmak üzere bu zincirlerin eksiksiz, izleme düzeyinde bir görünümünü sağlamaz.
• Hızla gelişen yapay zeka yığınları – Ekipler, daha önce hiç görmedikleri bir hızda yeni modeller, araçlar ve tedarikçiler ekliyor. Birçok şirkette, herhangi bir anda hangi modellerin üretimde olduğunu güvenle listelemek mümkün değil. Klasik gözlemlenebilirlik genellikle SDK'ları izlemek, yeniden dağıtmak ve ölçtüğünüz şeyleri dikkatlice seçmek için zamanınız olduğunu varsayar. Bu, yapay zekanın benimsenme hızına ayak uyduramıyor.
• Token tabanlı ekonomi ve kotalar – Fiyatlandırma ve hız sınırlamaları, genellikle merkezi operasyonlar tarafından değil, geliştiriciler, istemler veya kullanıcı davranışı tarafından kontrol edilen token'lara ve bağlam uzunluğuna bağlıdır. Geleneksel araçlar size "hangi modelde, hangi iş akışı için, hangi gecikmeyle kimin kaç token yaktığını" göstermek üzere tasarlanmamıştır.
• İkili başarı yerine anlamsal doğruluk – Bir LLM, 200 yanıtı verebilir ve yine de halüsinasyon görebilir, isteminizden uzaklaşabilir veya politikayı ihlal edebilir. Geleneksel araçlar bunu bir başarı olarak görür. İstemleri ve yanıtları ortaya çıkarabilecek ve davranışları incelemek ve zaman içinde otomatik kalite kontrolleri eklemek için yeterli bağlam sağlayabilecek gözlemlenebilirliğe ihtiyacınız var.
• Hassas girdi verileri üçüncü taraflara akıyor. – LLM'ler, kullanıcıları sohbet tarzı arayüzler aracılığıyla çok hassas bilgileri paylaşmaya davet eder. Artık bu verilerden, nerede saklandığından ve hangi tedarikçilerin göreceğinden siz sorumlusunuz. Tüm telemetri verilerini üçüncü bir tarafa gönderen geleneksel SaaS tabanlı gözlemlenebilirlik, bu iş yükleri için genellikle kabul edilemezdir.

Tüm bunlar, LLM sistemlerinin yapay zekâya duyarlı, bağlam açısından zengin ve günümüzde çoğu ekibin kullandığı araçlara kıyasla manuel ölçüme çok daha az bağımlı gözlemlenebilirlik gerektirdiği anlamına gelir.

Gecikme süresi, belirteç kullanımı ve istem/yanıt davranışı da dahil olmak üzere, LLM sistemlerinin performansını ve kalitesini anlamak için hangi sinyaller veya ölçütler en önemlidir?

Pratikte büyük önem taşıyan birkaç sinyal kategorisi vardır:

Gecikme ve verim

• Modelleme süresi ve ilgili uygulama süresi dahil olmak üzere, istek başına uçtan uca gecikme süresi.
• Model ve iş akışına göre kuyruk gecikmeleri (P90, P95, P99).
• Model, rota ve hizmet bazında verimlilik sayesinde yükün gerçekte nereye gittiğini bilirsiniz.

Token kullanımı ve maliyet faktörleri

• Model bazında, istek başına giriş ve çıkış belirteçleri.
• Model, ekip, kullanıcı ve iş akışına göre zaman içindeki toplam token kullanımı.
• Yoğun veri alma işlemlerinin gerçekleştiği işlem hatları için bağlam boyutları, böylece istemlerin ne zaman aşırı arttığını görebilirsiniz.
• Bu, "Yapay zeka bütçemizi aslında kim ve neye harcıyor?" sorusuna cevap vermenizi sağlar.

Hızlı ve tepkisel davranış

• Temsilci izlerdeki gerçek komut ve yanıt yükleri, araç çağrıları ve mantıksal çıkarım yolları dahil.
• LLM'nin hangi araçları hangi sırayla çağırmayı seçtiği.
• Benzer sorulara verilen yanıtlardaki farklılıklar, davranışın ne kadar istikrarlı olduğunu anlamanıza yardımcı olur.

Güvenilirlik ve hatalar

• Modele özgü hata oranları ve türleri (sağlayıcı hataları, zaman aşımı, kimlik doğrulama sorunları, kota hataları).
• Çevredeki iş akışındaki aksaklıklar, örneğin araç zaman aşımı veya veri alma hataları, LLM çağrısıyla ilişkilendirildi.

Klasik altyapı bağlamı

• LLM çağrılarınızı düzenleyen servisler için konteyner CPU, bellek ve ağ ölçümleri.
• Uygulamanın ne yapmaya çalıştığını açıklayan ilişkili günlük kayıtları.

Tüm bunları tek bir yerde görebildiğinizde, LLM gözlemlenebilirliği "Bir şeyin yavaş veya pahalı olduğunu biliyorum"dan "Hangi modelin, komut istemi kalıbının ve hizmetin sorumlu olduğunu ve nedenini tam olarak biliyorum"a dönüşür.

Gözlemlenebilirlik, ekiplerin anlık sapmalar, yanılsamalar veya çıktı kalitesinde kademeli bozulma gibi sessiz hataları tespit etmelerine nasıl yardımcı olabilir?

LLM sistemlerinde sessiz arızalar genellikle altyapı düzeyinde her şey "yeşil" görünürken, gerçek davranışın sapma gösterdiği durumlarda ortaya çıkar. Gözlemlenebilirlik birkaç açıdan yardımcı olur:

• Sadece model çağrısını değil, tüm iş akışını izlemek. – Bir isteğin istemciden servise, oradan veri alımına, modele ve araçlara kadar olan tüm yolunu yakalayarak, davranışın nerede değiştiğini görebilirsiniz. Örneğin, veri alımı daha az belge döndürmeye başlamış olabilir veya bir araç çağrısı aralıklı olarak başarısız oluyor olabilir ve model doğaçlama yapıyor olabilir.
• İstemleri, bağlamı ve yanıtları göz önünde bulundurmak – İstemleri ve yanıtları izleme kayıtlarıyla birlikte inceleyebildiğinizde, gecikme ve hata oranları aynı kalsa bile, yeni bir istem sürümünün, yeni bir sistem talimatının veya yeni bir bağlam kaynağının davranışı değiştirdiği durumları tespit etmek çok daha kolay hale gelir.
• Anlamsal koşullara göre filtreleme ve dilimleme – Zengin LLM telemetri verilerine sahip olduktan sonra, “bir saniyeden uzun süren temel çağrılar”, “bu model ailesini kullanan istekler” veya “bu belirli rotayı içeren izler” gibi şeylere göre filtreleme yapabilir, ardından modelin belirli bir senaryoda sapma gösterip göstermediğini veya yanılgıya düşüp düşmediğini görmek için istemleri ve yanıtları inceleyebilirsiniz.
• İş düzeyindeki SLO'lar hakkında uyarı verme – “Bir saniyeyi aşan her LLM çağrısı, kullanıcıya yönelik SLA'mızı ihlal eder” gibi SLO'lar tanımlayabilir ve bu koşullar karşılandığında uyarılar tetikleyebilirsiniz. Zamanla, benzer SLO'lar kalite puanlarına veya politika kontrollerine bağlanabilir, böylece yalnızca altyapı arızalandığında değil, kalite düştüğünde de uyarı alırsınız.

Gözlemlenebilirlik katmanı hem yapay zekaya özgü sinyallere hem de klasik günlük kayıtlarına, ölçümlere ve izleme verilerine erişebildiği için, aksi takdirde kullanıcı deneyimini sessizce bozacak sorunları yakalamak için doğal bir yer haline gelir.

Groundcover'ın yaklaşımı, çok adımlı ajan iş akışlarında ve araç çağrılarında öngörülemeyen gecikmeleri veya beklenmedik davranışları teşhis etmeyi nasıl destekliyor?

Groundcover, modern yapay zeka sistemleri için tasarlanmış bir yaklaşım benimser. Çekirdek düzeyinde eBPF tabanlı bir sensör kullanarak, kod değişikliği veya yeniden dağıtım gerektirmeden mikro hizmetler genelindeki trafiği gözlemliyoruz. Bir LLM iş akışı başlattığınız anda, bu çağrıları otomatik olarak keşfedebiliriz. Yarın Anthropic, OpenAI veya Bedrock gibi yeni bir model kullanmaya başlarsanız, Groundcover bu trafiği otomatik olarak yakalar. Bu size şunları sağlar:

• Çok aşamalı iş akışlarının uçtan uca izlenmesi – Bir isteğin hizmetler genelindeki tüm yolunu, LLM veya bir aracın kullanıldığı yerler de dahil olmak üzere, eksiksiz olarak görürsünüz.
• Her LLM görüşmesi hakkında detaylı bilgi – Her çağrı, kullanılan modeli, gecikme süresini, belirteç kullanımını, istemleri, yanıtları ve bunlarla ilişkili günlükleri ve altyapı ölçümlerini içerir.
• Gecikme ve koşullar üzerinde güçlü filtreleme – Örneğin, bir saniyeden uzun süren tüm Claude 3.5 çağrılarını filtreleyebilir ve SLA'nızı ihlal eden izleri anında inceleyebilirsiniz.
• LLM davranışına bağlı uyarılar ve gösterge panelleri – Veriler kullanılabilir hale geldiğinde, SLA ihlalleri için uyarılar oluşturabilir veya gecikmeyi, verimliliği, token kullanımını ve hataları izleyen gösterge panoları oluşturabilirsiniz.

eBPF tarafından her şey uç noktada toplanıp kendi bulutunuzda depolandığı için, her aracı veya araç çağrısının içine ek izleme araçları eklemeden bu yüksek ayrıntılı görünümü elde edersiniz.

LLM uygulamalarında ortaya çıkan veri güvenliği ve uyumluluk riskleri nelerdir ve gözlemlenebilirlik bu riskleri azaltmaya nasıl yardımcı olabilir?

LLM uygulamaları bazı benzersiz veri risklerini beraberinde getirir:

• Sınırsız kullanıcı girdisi – Kullanıcılar, sohbet robotlarına ve yapay zeka destekli arayüzlere son derece hassas bilgiler girebilirler. Bu, kişisel veriler, müşteri verileri veya asla toplamayı amaçlamadığınız düzenlemeye tabi bilgiler olabilir.
• Üçüncü taraf model sağlayıcıları – Bu verileri harici bir LLM sağlayıcısına gönderdiğinizde, verilerin nereye gittiğinden, nasıl saklandığından ve hangi alt işlemcilerin dahil olduğundan siz sorumlusunuz. Bu durum, GDPR, veri yerleşimi ve müşteri güveni açısından önemli sonuçlar doğurur.
• Telemetri, hassas verilerin ikinci bir kopyası olarak işlev görüyor. – Eğer gözlemlenebilirlik yığınınız tüm veri yüklerini bir SaaS sağlayıcısına gönderiyorsa, artık bu hassas bilgilerin bir kopyası daha ortamınızın dışında bulunuyor demektir.

Yer örtücü bitkilerin mimarisi tam olarak bu endişeleri gidermek üzere tasarlanmıştır:

• Kendi bulutunuzu getirme modelini kullanıyoruz; bu modelde gözlemlenebilirlik arka ucu, tamamen yönetilen bir veri düzlemi olarak, bulut hesabınızın içinde, bir alt hesapta çalışır. Ölçeklendirme ve yönetimi sağlayan kontrol düzlemi bizim tarafımızdan çalıştırılır, ancak telemetri verilerinize erişmiyor, bunları depolamıyor veya işlemiyoruz.
• Veri yüklerini kendi ortamınızda güvenli bir şekilde yakalayabildiğimiz için, bu veriler bulutunuzdan hiç ayrılmadan istemleri, yanıtları ve iş akışlarını gözlemleyebilirsiniz. LLM izlerinizin üçüncü taraf bir yerde depolanması söz konusu değildir ve endişelenmeniz gereken ekstra veri çıkışı da yoktur.
• Bu görünürlük sayesinde, kimin ne yüklediğini ve nereye aktığını görebilir, hassas verilerin beklenmedik kullanımını tespit edebilir ve hangi modellerin ve bölgelerin izin verildiği konusunda politikalar uygulayabilirsiniz.

Başka bir deyişle, gözlemlenebilirlik yalnızca güvenilirlik ve maliyet aracı olmakla kalmaz, aynı zamanda gizlilik, veri yerleşimi ve uyumluluk için de önemli bir kontrol noktası haline gelir.

Kuruluşlar, tek bir LLM entegrasyonundan birçok yapay zeka destekli hizmete doğru ölçeklendikçe, görünürlük, güvenilirlik ve maliyet konularında ne gibi operasyonel zorluklar ortaya çıkma eğilimindedir?

İlk entegrasyon genellikle tek bir iş akışında tek bir modelden oluşur. Bu aşamada işler yönetilebilir gibi görünür. Ekipler değeri görmeye başlar başlamaz kullanım hızla artar ve çeşitli zorluklar ortaya çıkar:

• Model ve tedarikçi yayılımı – Ekipler sürekli olarak yeni modelleri test ediyor. Hangi modellerin üretimde olduğu ve nasıl kullanıldığı kısa sürede belirsizleşiyor.
• Token kullanımından kaynaklanan maliyet sürprizleri – Token tüketimi, bağlam uzunluğu ve iş akışı karmaşıklığıyla birlikte artar. Model ve iş akışına göre token kullanımına ilişkin görünürlük olmadan, maliyetleri yönetmek çok zordur.
• Güvenilirlik açısından dış sağlayıcılara olan bağımlılıklar – Kullanıcıya yönelik API'ler, model gecikmelerine veya hatalarına karşı hassas hale gelir ve bu durum, temel altyapı sağlıklı olsa bile hizmet seviyesi anlaşmalarını (SLA) bozabilir.
• Artan Enstrümantasyon borcu – Geleneksel gözlemlenebilirlik, gerektiğinde ölçümleme ekleyebileceğinizi varsayar. Hızlı gelişen yapay zeka ortamlarında, geliştiricilerin buna ayıracak zamanı nadiren olur.

Groundcover, yapay zeka trafiğini otomatik olarak keşfederek bu sorunları çözüyor ve size şunları sunuyor:

• Hangi modellerin ve tedarikçilerin kullanıldığına dair merkezi görünürlük.
• Zaman içindeki gecikme süresini, veri aktarım hızını ve token kullanımını gösteren gösterge panelleri.
• LLM davranışı ile ona bağlı hizmetler arasındaki korelasyon
• Yapay zeka destekli SLO ihlallerine ilişkin uyarılar.

Bu da, kontrolü kaybetmeden "tek bir harika yapay zeka özelliği"nden "yapay zekanın düzinelerce kritik hizmete entegre edilmesi"ne kadar ölçeklendirmeyi çok daha kolay hale getiriyor.

İleriye dönük olarak, ajansal yapay zeka, çok modelli orkestrasyon ve düzenleyici baskıların hızlanmasıyla birlikte, LLM gözlemlenebilirliğinin önümüzdeki beş yıl içinde nasıl gelişmesini bekliyorsunuz?

Henüz yolun başındayız. Önümüzdeki beş yıl içinde birkaç büyük değişim bekliyorum:

• Talep seviyesinden temsilci seviyesine kadar anlayış – Gözlemlenebilirlik, yalnızca model çağrılarını değil, araç dizilerini, akıl yürütme yollarını ve yeniden deneme mantığını da kapsayacak şekilde genişleyecektir.
• Daha zengin anlamsal ve politika sinyalleri – Otomatik kalite kontrolleri, yanıltıcı etkiler, güvenlik sorunları ve marka uyumluluğu açısından standart ölçütler haline gelecek.
• Yönetişim ve gizlilikle daha sıkı bağlantı – Düzenlemeler arttıkça, gözlemlenebilirlik aynı zamanda veri yerleşimi, saklama ve onaylanmış model kullanımı için bir uygulama ve denetim katmanı görevi de görecektir.
• Çapraz model, çoklu tedarikçi optimizasyonu – Ekipler, gerçek zamanlı gözlemlenebilirlik verileriyle yönlendirilerek, performans ve maliyete bağlı olarak trafiği modeller arasında dinamik olarak yönlendireceklerdir.
• Daha az manuel alet kullanımı – eBPF tabanlı veri toplama ve otomatik keşif gibi teknikler varsayılan yöntem haline gelecek, böylece ekipler hız kesmeden yenilik yapabilecekler.

Özetle, LLM gözlemlenebilirliği, "yapay zeka için güzel birer gösterge paneli" olmaktan çıkıp, bir kuruluşun yapay zeka ile yaptığı her şeyde güvenilirlik, maliyet kontrolü, veri yönetimi ve ürün kalitesini birbirine bağlayan merkezi sinir sistemine dönüşecektir.

Harika röportaj için teşekkürler, daha fazla bilgi edinmek isteyen okuyucular ziyaret etmelidir. toprak örtüsü.