Lightrun Müşteri Çözümleri VP’si Moshe Sambol – Röportaj Serisi

Moshe Sambol, Lightrun’da Müşteri Çözümleri VP’si – yazılım mühendisliği, mimari, bulut altyapısı ve müşteri odaklı teknik liderlik konularında iki thập yılın üzerinde deneyim getiriyor. 2022’de Lightrun’a katılmadan önce, Google’da yaklaşık bir thập yıl geçirdi ve burada Google Bulut Müşteri Mühendisliği Müdürü gibi çeşitli liderlik pozisyonlarında bulundu ve organizasyonların Google Bulut teknolojilerini benimsemesine ve ölçeklemesine yardımcı oldu. Kariyerinin erken döneminde, Sambol, Oracle, Sun Microsystems, BMC Software ve JPMorgan Chase’de mühendislik ve geliştirme liderliği rollerini üstlendi. Lightrun’da, önce küresel Çözüm Mühendisliği liderliğini yaptı, ardından Müşteri Çözümleri VP’si oldu ve burada müşterilerin şirketin Runtime Insights teknolojisini benimsemelerine ve yeteneklerini ölçülebilir iş ve geliştirici verimliliği kazançlarına dönüştürmelerine odaklanıyor.

Lightrun , geliştiricilere ve AI ajanlarına canlı bir şekilde nasıl davrandıklarına doğrudan görünürlük sağlamak için tasarlanmış bir AI yerli mühendislik güvenilirlik platformudur. Teknolojisi, kod değişiklikleri veya yeniden dağıtımlar gerektirmeden canlı uygulamalardan günlükler, anlık görüntüler, ölçüler, izler, değişken değerleri ve yürütme bağlamını dinamik olarak yakalayabilir. Şirket, bu çalışma zamanı zekasını giderek artan bir şekilde Lightrun MCP aracılığıyla AI destekli yazılım geliştirmeye genişletiyor ve Model Bağlam Protokolü’nü kullanarak kod asistanlarına ve ajant araçlarına canlı uygulama bağlamı sağlamak yerine statik kaynak kodu ile sağlıyor. Bu, AI sistemlerinin üretim sorunlarını araştırmalarına, hipotezlerini gerçek yürütme davranışı ile doğrulamalarına ve kök neden analizini desteklemelerine olanak tanır.

Kariyeriniz, elbirliğiyle yazılım geliştirme ve mimari, Google’da bulut müşteri mühendisliği, küresel çözüm mühendisliği ve şimdi Lightrun’da müşteri çözümlerini içeriyor. Bu kombinasyon, bir AI ajanının etkileyici bir gösterimi ile üretim için güvenilen bir sistem arasındaki farkı anlamınızı nasıl şekillendirdi?

Bir AI ajanının neler yapabileceğini göstermek ile onu bir entreprise ortamında güvenle kullanmak arasında büyük bir fark vardır. Bu, ajanların yalnızca bir üretim sistemi için hazır olanın bir parçası olmasıdır. Çerçeve, ajanı çevreleyen, en az onun kadar önemlidir. En düşük ayrıcalık erişimi, aktivite izleme, bir denetim izi koruma, kabul edilemez riskli eylemleri önleme ve gerektiğinde bir insanı dahil etme gibi şeyleri zorlamak zorundadır.

Ajantik sistemler, geleneksel yazılımdan farklıdır, çünkü geliştiriciler sistemin tam olarak nasıl çalışacağını belirlemez. Bir hedef belirler, araçlar ve rehberlik sağlar ve model nasıl ilerleyeceğini belirler. Bu esneklik güçlüdür, ancak sistemin davranışını öngörülmesini de daha zor hale getirir.

Kuruluşlar, özellikle düzenlenmiş endüstrilerde, genellikle çalışmayan veya tamamlanması için öngörülemez bir süre alan üretim akışları, başlangıç için değildir. Üretim ortamları, hassas veri, kaynak kodu ve fikri mülkiyet içerir, bu nedenle organizasyonların ajanların bu bilgileri ifşa etmesini, veya creative ancak kabul edilemez yollarla hedeflerine ulaşmasını önleyebilmeleri gerekir. Bu, her hafta, bir AI sisteminin, hedefine ulaşma arzusundan dolayı güvenlik açığına veya güvenlik ihlaline neden olan bir örnek getirdiği için her zaman daha da önemli hale geliyor.

Konuştuğum çoğu lider, ajanları hala bir yeni çalışana benzer şekilde değerlendiriyor: yetenek, yargı ve çıktı açısından. Asıl soru, ajanın yeterince akıllı olup olmadığı değil, ajanın çevresindeki sistemin, ajanın değil olduğu anları yakalayabilip içerip içeremeyeceği.

Çok sayıda kuruluş, bir AI ajanını oluşturmanın büyük ölçüde etkili bir.prompt yazmak olduğunu düşünüyordu. Kuruluşlar, üretim için hazır ajanlar arkasındaki mühendislik, mimari ve operasyonel gereksinimleri yanlış anladılar?

Sanırım en büyük yanlış anlama, AI’nin bir zorluğu çözmek için, yalnızca iyi yazılmış bir.prompt, ilgili bağlam ve uygun araçlar verildiğinde her şeyi çözebileceğine dair neredeyse naif bir inançtı. Takımlar, LLM’lerini kodu, belgelere, biletlerine ve tarihi telemetriye bağladılar ve sonra doğru kararı doğru bir şekilde çıkarmasını beklediler.

Oluşturmadıkları şey, AI’nin akıl yürütme adımlarının her biri için bir doğrulama modeliydi. AI’nin büyük bir gücü, olasılıksal akıl yürütme kullanması ve birçok olası yolun birini alarak hedefe ulaşmasıdır. Karmaşık, birbirine bağlı üretim ortamlarında, bu güç ciddi bir risk getirir: tek bir karar, aşağı akışta gerilemelere, sessiz başarısızlıklara veya beklenmeyen başka bir davranışa neden olabilir ve çalışır durumda olan bir sistemin operasyonel esnekliğini tehdit edebilir.

Bu, deterministik yönlendirmenin neden gerekli olduğu yerdir. Ajanın akıl yürütmesi olasılıksal kalabilir, ancak eylemlerinin etrafındaki kontroller olamaz. Bir mühendislik akışında bir ajan için, bu, üretim gerçekliğiyle hipotez edilen bir sonraki eylemi kontrol eden bir doğrulama adımı gerektirir, bir diğer olasılıksal tahmin değil. Ajanın, bu kararın sonucunun ne olacağını görmesi ve yalnızca güvenli olduğunu belirlediğinde onaylaması gerekir.

İçeriden geliştirilen kuruluş ajanlarının ilk dalgasına bakıldığında, en yaygın mimari hataları görüyorsunuz ve hangi sorunlar, tam bir yeniden yapılandırma gerektirmeden artımlı olarak düzeltilebilir?

Dikkat çektiğim temel endişe, doğrulamadır. Ajanlar bir kara kutu haline gelebilir: çeşitli kaynaklardan bilgi toplar ve sonra ilke olarak makul görünen ancak karmaşık bir üretim ortamının gerçekleri için uygun olmayabilecek kararlar alırlar.

Bu, Lightrun’da müşterilere ajantik otomasyonlar oluştururken konuştuğumuz daha temel bir değişikliğe işaret ediyor. Ajantik akışını yeniden inşa etmek ve ajanın eylemlerine kapılar koymak gerekiyor, böylece araçlarının kullanımı denetim, denetim ve gözden geçirme altına girer. Ajanın kendisine güçlü bir geri bildirim döngüsü sağlamak, canlı çalışma zamanı gözlemleri dahil, ajantın bağlamını gerçekten neler olduğu üzerine odaklar. Bu erişim, ajantın kendi tasarım kararlarını, kök neden analizini ve hata azaltma önerilerini üretim gerçekliği ile değil, statik kod analizi veya eski telemetri temelinde yapılan varsayımlara karşı doğrulamasına olanak tanır.

Dramatik bir yeniden yapılandırma tek seçenek değildir. Artımlı olarak yapılması gereken ve bu çok önemli, ajantın davranışını yönlendiren becerilere yatırım yapmaktır. Özenle tasarlanmış ve değerlendirilmiş beceriler, ajanta deterministik bir iş akışına doğru yönlendirir. Takımların tüm sistemi yeniden mimarilere gerek yoktur. Beceri tasarımına, herhangi bir üretim mantığı parçasına verecekleri aynı titizliği vermeleri gerekir.

Neden bazı ajanlar, kontrollü testlerde iyi performans gösterir, ancak gerçek kullanıcılar, değişen veriler, dış araçlar ve karmaşık üretim ortamları ile karşılaştıklarında tutarlı, eksik veya yanıltıcı sonuçlar üretmeye başlarlar?

Kontrollü testler, AI’nin karşı karşıya kalacağı üretim gerçekliği ile ilgili çoğu değişkenliği kaldırır. Veri düzenlenmiştir, araç davranışı öngörülebilir, izinler bilinir ve beklenen bir yolu kapsar. Bir ajansı, gerçek kullanıcılar ve canlı sistemlerle etkileşime soktuğunuzda, benzeri görülmemiş bir karşılaştırma yapıyorsunuz.

Kullanıcılar, belirsiz istekler ve eş zamanlı eylemler getirir, sistem durumu sürekli değişir, ajan genellikle eksik verilerle çalışmak zorunda kalır ve dış araçlar kendi gecikme ve hata modlarını ekler. Model olasılıksal olduğu için, her yeni değişken, iş akışının sapmasına veya önceki bir hatayı birleştirmesine neden olabilecek bir başka yer oluşturur.

Tehlikeli kısım, ajanın doğru gibi görünmeye devam edebilmesi, ancak eksik veriler veya eski bilgiler temelinde inşa edilen, ancak inandırıcı olan yanlış ancak yanlış sonuçlar üretmesidir. Bu, üretim ajanlarının, lansmandan sonra sürekli olarak devam eden bir değerlendirme, eksik veri ve araç arızalarına açık bir şekilde handling ve yüksek etkili eylemlerden önce canlı bir doğrulama gerektirdiği nedenidir.

Lightrun, AI sistemlerine çalışma zamanı bağlamı erişimine önemli bir vurgu yapıyor. Çalışma zamanı bağlamı, geleneksel günlükler, ölçüler ve izler neler kaçırabilir ve bu bilgi, ajan hatalarını teşhis etmek için neden özellikle önemlidir?

Geleneksel gözlemlenebilirlik, sistem davranışının dış belirtilerini gösterir, genellikle eşiklere tetiklenen paneller ve uyarılar aracılığıyla agregasyon, örneklem veya filtrelenir. Bunlar, kod yazıldığında yapılan kararlar tarafından belirlenir: gelecekte ilgi çekici olabilecek bilgi nedir? Ne ölçülür veya günlüğe kaydedilir? Çalışma zamanı bağlamı, önceden neyin ilginç olabileceğini bilmeye olan ihtiyacı ortadan kaldırır ve ne olduğu hakkında granüler veri sağlar ve nasıl oraya vardığını gösterir.

Gerçek boşluk, statik ve dinamik veri arasındaki farktır. Geleneksel günlükler, ölçüler ve izler statiktir ve neler olduğu hakkında tarihi bir hesap sağlar. Lightrun’un çalışma zamanı bağlamı dinamiktir. Ajana, canlı kodda yeni enstrümantasyon eklemesine ve tam olarak neler olduğu, nasıl oraya vardıkları, değişken değerleri, işlev argümanları, nesne durumu, çağrı yığını veya dal koşulları gibi olarak gözlemlemesine olanak tanır.

Bu ayrım, ajan tarafından oluşturulan kod hatalarını teşhis etmek için özellikle önemlidir, çünkü bunlar genellikle sessizdir. Bir ajan, yanlış aracı seçebilir, yanlış argüman geçirebilir veya eski bir varsayıma göre hareket edebilir ve hala görevini tamamlayabilir, ancak hiçbir hata tetiklemez. Bu tür bir hata, statik telemetriye görünmez, çünkü kimse önceden bunun için enstrümantasyon yapmayı düşünmemiştir. Beklenmeyen davranış, önceden kaydedilen her şey yerine canlı sistem üzerinde doğrudan bir araştırma gerektirir.

Bu, AI tarafından üretilen kararlar için doğal bir doğrulama katmanını oluşturur.

Model Bağlam Protokolü (MCP) ve benzeri tümleştirme katmanları, kodlama ajanlarının, üretim sistemlerine aşırı veya güvensiz erişim vermeden gerçek yürütme davranışından nasıl öğrenmesini sağlayabilir?

MCP ve diğer kontrollü erişim (örneğin, CLI sarmalayıcıları), bir ajana, bir sisteme geniş erişim yerine, belirli, kapsamlı bir yetenek çağırma olanağı tanır. Bir MCP sunucusu aracılığıyla çalışma zamanı bağlamına bağlı bir ajan, salt okunur kanıtlar, bir değişkenin değeri, bir çağrı yolu, bir eşiğin aşıldığı, yazma erişimi olmadan, yeniden dağıtıma ihtiyaç duymadan ve altta yatan ortama kalıcı kimlik bilgileri olmadan isteyebilir.

Bir ilk nesil ajanı yeniden tasarimlerken, araç izinleri, bellek, veri alımı, değerlendirme, insan denetimi ve geri dönüş prosedürleri gibi bir dizi mimari parçasını nasıl ele almalıdır?

Bu parçaları bağımsız olarak taklit edemezsiniz, çünkü her biri diğerlerini değiştirir. En iyi başlangıç noktaları, çerçeve, ajan döngüsünü kontrol eden kılıf ve birden fazla ajansı ve diğer aktörleri bir araya getiren genel akış düzenlemedir. Örneğin, bir kök neden analizi akışı için, ekiplerin hangi kanıtların gerekli olduğunu, ajana hangi sistemleri incelemesine izin verildiğini, bir sonucu yayınlamaya veya yalnızca bir taslak oluşturmaya izin verilip verilmediğini, bir sonraki adımı onaylamak için bir insanı ne zaman dahil etmesi gerektiğini ve çalışma zamanı kanıtlarının mevcut olmaması durumunda ne olacağını belirlemelidir.

Bu sözleşme açık olduğunda, kılıf ve çerçeve, bu rehberleri uygulama mekanizmalarını sağlar. MCP kapıları, ajanta, amacına uygun belirli yeteneklere erişimini sınırlamak için kullanılabilir. Araçlar, en düşük ayrıcalıkla verilebilir. Bellek, hassas verileri deterministik olarak redakte ederek denetlenebilir. Alım, akışa gereken kanıtlara göre tasarlanabilir.

Değerlendirme, denetim ve geri dönüş, döngüyü tamamlar. Sistem, sonuçların doğru ve desteklendiğini ölçmelidir, risk veya belirsizlik tanımlanmış bir eşiği geçtiğinde bir insanı dahil etmelidir ve yeterli kanıt toplanamadığında salt okunur bir öneriye düşmelidir. Bir paylaşılan denetim kaydı, tetikleyici, izin, kanıt, araç çağrıları, onaylar, eylem ve sonucu birbirine bağlamalıdır. Bu, bu bileşenlerin bir üretim mimarisi oluşturduğu, altı ayrı özellikten oluşmadığı anlamına gelir.

Canlı uygulamaları inceleyebilen veya site güvenilirliği mühendisliği akışlarına katılan ajanlar, özellikle erişim denetimi, gizlilik, denetlenebilirlik ve operasyonel istikrarın kritik olduğu düzenlenmiş ortamlarda hangi güvencelerin etrafında olmalıdır?

Bu, Lightrun AI SRE’yi inşa ederken merkezindeki bir tasarım sorusuydu. Bir AI SRE, bir organizasyonun en hassas sistemlerine yakın çalışır, bu nedenle bir sohbet asistanı değil, ayrıcalıklı bir operasyonel aktör olarak tasarlandı. Önemli bir karar, inceleme düzleminden eylem düzlemini ayırmaktı. AI SRE, kimlik, kiracı, hizmet ve ortam tarafından kısıtlanan, salt okunur entegrasyonlar ve Lightrun’un kumanda runtime enstrümantasyonu aracılığıyla kanıtlar toplar. Canlı yürütme ve eksik kanıtları üretebilir, ancak çalışma zamanı-inceleme katmanı, uygulama durumunu değiştiremez.

Düzenlenmiş bir ortamda, bu sınır, RBAC, SSO, kiracı izolasyonu, PII redaksiyonu, saklama kontrolleri ve her sonucu destekleyen araçları ve kanıtları gösteren bir denetim izi tarafından desteklenmelidir. Ayrıca, toplanan veri miktarı, çalışma zamanının sorgulama sıklığı ve onay gerektiren eylemler вокругunda operasyonel sınırlar olmalıdır. Kanıt eksikse veya bir sonuç doğrulanamıyorsa, AI SRE bunu söylemeli ve kararı bir insana devretmelidir, yoksa bilmediğinden daha fazla şey bildiği gibi davranmamalıdır. Hedef, kontrol edilen özerkliktir: bir soruşturmayı hızlandırmak için yeterli, ancak canlı sistem için güvenli kalmak için yeterli.

Kuruluşlar deneysel ajanlardan öteye geçerken, bir ajanta gerçekten üretim için hazır olup olmadığını belirlemek için hangi ölçümler olmalıdır ve AI ajanları ile insan mühendisleri arasındaki ilişki, önümüzdeki birkaç yıl içinde nasıl evrilecek?

Üretim için hazırlığını, ajanta eylemlerinin arzulanan sonuçları üretme sıklığı, sonuçlarının gerçekten ne olduğu ile tutarlılığının sıklığı, desteklenmeyen sonuçların yakalanma sıklığı ve kanıt yoksa güvenli bir şekilde başarısız olma sıklığı ile değerlendireceğim. Mühendislik ajanları için, doğrulanmış sonuç doğruluğu, kanıt kapsamı, kök nedenini onaylama süresi, başarılı geri dönüş oranı ve eylem sonrası sonuçlar odaklanmamız gereken temel metriktir.

Önümüzdeki birkaç yıl içinde, ajanların, kanıtların toplanması ve ilk geçiş araştırmalarına, ajantik iş akışlarının denetimine, deneyimden ve geri bildirime dayalı sürekli öğrenmeye ve mühendislerin, politika oluşturma, belirsizliği çözme, yüksek riskli eylemleri onaylama ve kendini geliştiren ajantik sistemleri yönlendirme gibi rollerini üstlenmesini bekliyorum. Güven, iş akışı tarafından iş akışı kazanılacak. Canlı kanıtlara dayanan sonuçlarını izleyen ve doğrulayamadıklarını açıkça açıkladıkları ajanlar, daha büyük özerklik kazanacaklar. Bunu yapamayanlar, ne kadar akıcı görünürlerse görünsünler, dar, düşük riskli görevlerle sınırlı kalacaklar.

Harika röportaj için teşekkür ederiz, daha fazla bilgi edinmek isteyen okuyucular Lightrun‘u ziyaret edebilirler.