Hanah-Marie Darley, Geordie AI Baş AI memuru – Röportaj Serisi

Hanah-Marie Darley, Geordie AI Baş AI memuru, şirketin kurucu ortaklarından biri olarak, girişimlerin IT, risk ve güvenlik ekiplerinin agentic AI’ı netlik ve kontrol ile benimsemesine yardımcı olmak için kurulmuştur. ABD Federal Hükümeti’nde yaklaşık bir on yıl boyunca istihbarat operasyonlarını destekledikten sonra Darktrace’de üst düzey liderlik rollerinde bulunan Darley, tehdit istihbaratı, jeopolitik analiz ve uygulamalı psikoloji konularında derin uzmanlığa sahiptir. Çalışmaları, otonom sistemleri insan niyetiyle uyumlu hale getirmeye, işletmelerin AI ajanlarını gerçek dünya kısıtlamaları, inovasyon ve denetim dengesi ile çalıştırmasına olanak tanımasına odaklanmaktadır.

Geordie AI bir Londra merkezli şirket olup, AI ajanlarının kurumsal ortamlara entegre olurken güvenliğini ve yönetimini sağlamaya odaklanmıştır. Şirketin platformu, ajan faaliyetlerine ilişkin görünürlük, risk durumunun sürekli izlenmesi ve şirketlerin AI sistemlerini güvenle dağıtmalarına ve ölçeklemelerine olanak tanıyan yapılandırılmış yönetim kontrolleri sağlar. Observability, uyumluluk desteği ve operasyonel denetim sunarak, şirketlere artan otonom teknolojileri benimsemelerine olanak tanıyan şeffaflık ve kontrolü sağlar.

Amerika Birleşik Devletleri federal tehdit istihbaratı ve jeopolitik analiz alanında yaklaşık bir on yıl çalıştıktan sonra Darktrace’de tehdit araştırması ve AI stratejisi rollerini üstlendiniz ve şimdi Geordie AI’da AI ve ürün stratejisi liderisisiniz. Hükümet ve şirket güvenlik deneyimlerinizi Geordie’yi inşa etmenin temel nedenlerinden biri olarak görüyor musunuz ve hangi temel sorunu çözmeye karar verdiniz?

Hem hükümet hem de şirket güvenlik deneyimimde, sürekli olarak aynı yapısal gerilimi gözlemledim. Şirketler AI’a büyük yatırım yapıyorlardı, ancak bu sistemlerin davranışlarına ilişkin güven, beklentilerin gerisinde kalıyordu. Sorun, yetenek değildi, güven eksikliğiydi.

AI, deneysel araçlardan operasyonel iş akışlarına geçtikçe, bu boşluk daha da belirgin hale geldi. Ajanlar, geleneksel yazılımların asla yapmadığı şekilde, sistemler boyunca otonomi, karar verme ve devamlılık getiriyorlar. İşletmelerin, ajanların nasıl çalıştığını, nerede çalıştıklarını ve risklerin nasıl ortaya çıktığını anlamalarına ihtiyaç duyuyorlar. Geordie, şirketlerin otonomi benimsemesine güvenle olanak tanıyan netlik boşluğunu kapatmak için kuruldu.

Agentic AI sistemlerinin işletmelere sunduğu en yanlış anlaşılan risk nedir ve “zincir etkisi” olarak adlandırdığınız bağlamsal karar alma, geleneksel siber güvenlik maruz kalma modellerinden nasıl farklıdır?

Sessiz hatalar en az anlaşılan risktir. Bir ajan, onaylanmış izinlerle ve meşru erişim sınırları içinde çalışırken bile, niyetten sapan sonuçlar üretebilir.

Bu, agentic sistemlerin doğasının bir sonucudur. Ajanlar, bağlamı yorumlar ve gerçek zamanlı olarak karar verir. Belirli yazılımın aksine, davranış, eylemler dizisi boyunca dinamik olarak şekillenir. Bu, güvenlik modelini değiştirir. Maruz kalma, artık yalnızca erişim ihlallerine bağlı değildir, kararlar, araçlar ve bağlamın zaman içinde nasıl etkileşime girdiği ile ortaya çıkar.

Geordie’nin yaklaşımı, davranışsal görünürlüğü, bağlamsal risk değerlendirmesini ve ajan faaliyetleri üzerindeki dinamik kontrolü vurgulamaktadır. Şirketler, gerçek zamanlı görünürlüğe duyulan ihtiyacı, operasyonel karmaşıklık veya sistem performansı endişeleriyle nasıl dengelemelidir?

Şirketlerin, denetim için performanslarını feda etmelerine gerek yoktur. Mimarimiz, şirketlerin ajanları operasyonel olarak anlamlı yerlerde oluşturup çalıştırmasına olanak tanıyan, inline proxy’leri ve kapıları kasıtlı olarak tránhır.

Görünürlük ve kontrol, otonomi ile birlikte ölçeklenmelidir ve bu, sürtünme veya gecikme getirmemelidir. Yönetim mekanizmaları iş akışlarını engelleyecek olursa, benimseme durur. Etkili güvenlik, ekosistemlerin güvenli bir şekilde genişlemesine olanak tanır, değilse inovasyonu kısıtlar.

Şirket içi müşterileriniz ve risk liderlerinizle çalışmanız sırasında, hangi tür iş akışları veya kullanım örnekleri, daha yüksek riskli faaliyetlere doğru agentic kaymaya en çok eğilimlidir ve erken göstergeler nasıl tespit edilebilir?

Risk, genellikle karmaşıklıkla artar. Bir ajan, bağımsız olarak ne kadar çok seçim yaparsa, davranışsal sapma olasılığı o kadar artar.

Kayma, genellikle araç zincirleme, bağlam yeniden kullanımı ve ortaya çıkan iş akışları yoluyla ortaya çıkar. Erken göstergeler, beklenmedik araç çağrıları, alışılmadık sıralama kalıpları ve veri hareketlerindeki değişiklikleri içerir. Bu sinyalleri tespit etmek, izole olay izlemesinden ziyade davranışsal analize.requires

Ajanlar, görevler arasında bağlam ve araçları yeniden kullanırken, güvenlik ekiplerinin daha yakından dikkat etmesi gereken en narin veya yanlış anlaşılan hata modları nelerdir?

Bağlam yeniden kullanımı en çok yanlış anlaşılan hata modudur. Maruz kalma, genellikle fazla izinlerden değil, bilgilerin nasıl kalıcı hale geldiği ve görevler arasında nasıl yayıldığından kaynaklanmaktadır.

Ajanlar, bir bağlam içinde verileri meşru bir şekilde erişebilir ve bu durumu başka bir bağlama yanlışlıkla taşıyabilirler. Araç zincirleme ile birleştiğinde, bu, hassas bilginin istem dışı ifşası veya dönüşümüne neden olabilir.

Çok sayıda şirket, geleneksel şirket güvenlik araçlarına, Endpoint Detection and Response ve Extended Detection and Response platformlarına güvenmeye devam etmektedir. Bu yaklaşımlar, çok adımlı eylemler gerçekleştiren otonom AI sistemlerini yönetirken nerede yetersiz kalırlar?

EDR ve XDR platformları, insan merkezli tehdit modelleri вокруг tasarlanmışlardır. Ajanlar, uç nokta ve kimlik telemetrisi ötesinde karar katmanları boyunca çalışırlar.

Ajan davranışını anlamak, karar kalıpları, araç seçimi ve bağlamsal karar akışlarına ilişkin içgörülere ihtiyaç duyar. Bu katman olmadan, ajan faaliyetinin büyük portionsu opak kalır.

IT, risk ve güvenlik liderleri, inovasyonu desteklemek ancak otonominin kontrolden çıkmasını önlemek istiyorsa, “yönetilen otonomi” nedir ve nasıl uygulanır?

Yönetilen otonomi, görünürlükle başlar. Şirketlerin, ajanların nerede çalıştığını, ne kadar karar yetkisine sahip olduğunu ve hangi riskleri getirdiğini anlamaları gerekir.

Yönetim, sınırlar içinde deneyimi destekleyerek en etkili olur. Bu, inovasyonu desteklerken sonuçlara güveni korur.

Açıklanabilirlik genellikle model çıktısı düzeyinde tartışılır. Şirketler, gerçek risklerin ajanların zaman içinde aldıkları eylem dizileri olduğunu düşündüğünde, açıklanabilirlik ve denetlenebilirlik hakkında nasıl düşünmelidir?

Model açıklanabilirliği, denklemin yalnızca bir parçasıdır. Şirket riski, artık yalnızca izole çıktılarda değil, davranışsal dizilerde yatmaktadır.

Denetlenebilirlik, korunan sınırların nasıl yorumlandığını, hangi araçların çağrıldığını ve bağlamsal kararları nasıl etkilediğini anlamayı gerektirir. Davranışsal görünürlük, hesap verebilirliğin temelini oluşturur.

Şirketler, otonom AI sistemlerinin daha güçlü denetimine ihtiyaç duyduğunu anladıklarında, agentic riski azaltmak için bugün somut adımlar atmalı ve Geordie AI nasıl yardımcı olabilir?

Şirketler, mükemmel çerçeveler beklemektense erken başlamalıdır. İlk odak, envanter, davranışsal görünürlük ve ajanların sistemlerle nasıl etkileşime girdiğini anlamaya yönelik olmalıdır.

Yönetim modelleri genellikle gecikme getirebilir. Denetim, operasyonel hız ile uyumlu olmalıdır. Geordie, ajan yapılandırması, davranışı ve risk dinamikleri hakkında görünürlük sağlar ve otonom sistemler için tasarlanmış düzeltici kontrolleri ermöglichtir.

Gelecekte, şirketlerin agentic AI’ı iş akışları boyunca başarılı bir şekilde ölçeklemesini neler ayıracaktır ve liderlik şimdi nasıl hazırlanmalıdır?

Erken farklılaştırıcılar, netlik ve ölçüm olacaktır. Ajan yeteneklerini, etkilerini ve davranışsal kalıplarını anlayan ekipler, daha confident bir şekilde ölçeklenecektir.

Uzun vadeli olarak, rekabet avantajı, bağlamsal olarak farkında olan ajan ekosistemlerini geliştiren şirketlere olacaktır. Hassaslık, genelleme yerine performans ve esneklik sürücüsü haline gelir.

Harika röportaj için teşekkür ederiz, daha fazla bilgi edinmek isteyen okuyucular Geordie AI‘yi ziyaret edebilir.