Siber Güvenlik

Cato Networks, Zararlı Yapay Zekâ Ajanı Eylemlerini Gerçekleşmeden Durdurmak için AgentSense’i Tanıttı

Miles Okada
Unite.AI sitesini Google'daki tercih ettiğiniz kaynaklara ekleyin
Conceptual inspection layer blocks an untrusted instruction before it reaches enterprise action tools.
Öne çıkan noktalarAgentSense, güvenilmeyen içeriğin bir ajanın eylemlerini nasıl yönlendirdiğini…
Daha fazla göster
  • AgentSense, güvenilmeyen içeriğin bir ajanın eylemlerini nasıl yönlendirdiğini izleyerek dolaylı istem enjeksiyonunu hedefler.
  • Geçerli kimlik bilgileri güvenli davranışı garanti etmez çünkü bir ajan zararlı eylemlere yönlendirilebilir.
  • Cato'nun 10.000 dolarlık yarışması, araştırmacıları AgentSense'in düşmanca iş akışı yönlendirmesine direnip direnmediğini test etmeye davet ediyor.

Cato Networks, zararlı yapay zekâ ajanı eylemlerini gerçekleşmeden durdurmak üzere tasarlanmış bir çalışma zamanı güvenlik özelliği olan AgentSense’i tanıttı. Cato AI Labs tarafından geliştirilen teknoloji, güvenilmeyen içeriğin bir ajanın davranışını nasıl etkilediğini izleyerek sıradan erişim izinlerinin tam olarak çözemediği bir riski ele alıyor: Bir ajan geçerli kimlik bilgilerine sahip olsa da yanlış bir şey yapması için manipüle edilebilir.

Cato, AgentSense’in platformuna entegre edildiğini ve Cato AI Usage lisanslarına ek ücret alınmadan dâhil edileceğini söylüyor. Duyuruyla birlikte açıklanan saldırgan test yarışmasında, korunan bir iş akışını kötü amaçlı eylemlere başarıyla yönlendiren uygun katılımcılardan ilk üçünün her birine 10.000 dolar ödül verilecek.

Geçerli İzinler Yine de Güvensiz Eylemlere Yol Açabilir

Bir kurumsal ajanın bir görevi tamamlamak için e-postaları okuması, belgelerde arama yapması, web sitelerine başvurması ve araçları kullanması gerekebilir. Her kaynak, ajanın kullanabileceği bilgileri artırırken dışarıdan gelen metinlerin bir sonraki adımını etkilemesine de fırsat yaratır.

Dolaylı istem enjeksiyonu bu sınırdan yararlanır. Saldırgan, yetkili kullanıcı gibi doğrudan talimat vermek yerine, ajanın çalışırken karşılaştığı materyallerin içine bir talimat gizler. Bir belge, destek kaydı, web sayfası veya araç yanıtı; iş akışını başka yöne çevirmeye, bilgileri açığa çıkarmaya ya da görevle ilgisiz bir eylemi tetiklemeye çalışan metinler içerebilir.

Bir ajanın bir uygulamaya erişip erişemediğini denetlemek önemini koruyor. Ancak bu, belirli bir eylemin kullanıcının yetkilendirdiği göreve hizmet edip etmediğinden farklı bir soruya yanıt verir. Örneğin bir ajanın iş kayıtlarını okumasına izin verilmiş olabilir; ancak alınan bir belgede önerilen bir hedefe bu kayıtları göndermesi yetkilendirilmemiş olabilir.

AgentSense’in sunduğu yaklaşım, yürütme sırasında bu davranışı değerlendirmek ve hassas bir eylem gerçekleştirilmeden önce müdahale etme fırsatı sağlamaktır.

Yapay Zekâ Oturumunda Güvenilmeyen İçeriğin Etkisini İzleme

Duyurulan Untrusted Influence Detection özelliği, yapay zekâ oturumu içindeki güvenilir talimatları güvenilmeyen içerikten ayırıyor ve güvenilmeyen içeriğin davranışları ve çıktıları nasıl etkilediğini izliyor. Cato, güvenilmeyen materyalin ajanı güvensiz bir adıma yönlendirdiğini tespit ettiğinde eylemi engellediğini söylüyor.

Bu ayrım önemli; çünkü bir saldırı, alışıldık bir kötü amaçlı isteme benzemek zorunda değil. Cato, AgentSense’in statik sınıflandırıcılara veya daha önce gözlemlenmiş saldırı örüntülerinden oluşan bir kataloğa dayanmak yerine etkinin nasıl oluştuğunu değerlendirdiğini belirtiyor. Bu yaklaşımın hem tanınabilir hem de yeni dolaylı istem enjeksiyonu biçimlerini ele alması amaçlanıyor.

Duyuruda teknoloji patentli olarak tanımlanıyor; ancak patent numarası, uygulama ayrıntıları veya bağımsız bir etkililik kıyaslaması sunulmuyor. Bu nedenle daha önce görülmemiş saldırılara karşı koruma sağlandığı iddiası, her istem enjeksiyonu girişiminin durdurulacağına dair bir garanti olarak değil, ürünün amaçlanan güvenlik özelliği olarak anlaşılmalı.

Operasyonel açıdan yanıtlanması gereken soru, bir güvenlik katmanının belgeyi kanıt olarak kullanmakla belgeyi yetkili bir kaynak olarak kabul etmeyi birbirinden ayıracak kadar oturum ve eylem bağlamına sahip olup olmadığıdır. AgentSense doğrudan bu ayrımı hedefliyor.

Drift Detection Ayrı Bir Planlanan Özellik

Cato, AgentSense Drift Detection özelliğinden geleceğe dönük ifadelerle de söz ediyor. Planlanan özellik, iş akışı ilerledikçe ajanın eylemlerinin başlangıçtaki göreve hizmet etmeyi sürdürüp sürdürmediğini değerlendirecek.

Bu özellik, etki tespitini tamamlıyor ancak tam olarak aynı sorunu ele almıyor. Untrusted Influence Detection, dışarıdan gelen içeriğin bir eylemi yönlendirip yönlendirmediğini sorguluyor. Drift Detection ise tek tek adımlar teknik açıdan izinli olsa bile eylemin hâlâ hedefe hizmet edip etmediğini değerlendirmeyi amaçlıyor.

Bir iş akışında, zamanla amacına artık katkı sağlamayan adımlar birikebilir. Bu sapmayı tespit etmek, her araç çağrısını tek başına değerlendirmek yerine oturum boyunca yetkilendirilmiş hedefi göz önünde bulundurmayı gerektirir. Duyuruda Drift Detection özelliği için ayrı bir kullanıma sunulma tarihi belirtilmiyor.

AgentSense, Cato’nun Mevcut Yapay Zekâ Güvenlik Platformuna Nasıl Ekleniyor?

Cato’nun ajan tabanlı yapay zekâ güvenliği çözümü, ajanları ve Model Context Protocol sunucularını keşfetme, araç çağrılarını profilleme ve ajan etkileşimlerine politika uygulama denetimlerini zaten kapsıyor. Şirketin daha kapsamlı platformu ağ, erişim ve güvenlik bağlamını bir araya getiriyor.

Şirket ayrıca çalışanların yapay zekâ kullanımına yönelik güvenliği, uygulamaların korunmasından ayrı ele alıyor. Uygulamalar için Yapay Zekâ Güvenliği çözümü; çalışma zamanı görünürlüğü, istem ve yanıt denetimi ile kullanıma alınmış yapay zekâ uygulamaları için yapılandırılabilir korumalar sunuyor. Bu da AgentSense’in bir iş akışı sırasında gerçekleştirilen eylemlerin bütünlüğüne odaklanmasına bağlam sağlıyor.

Uygulamada yapay zekâ kullanımını denetlemek, birbiriyle bağlantılı birkaç karar içeriyor: Bir kuruluş hangi hizmetlere izin veriyor, bu hizmetlere hangi veriler ulaşabiliyor ve bir ajan karşılaştığı bilgilerle neler yapabiliyor? AgentSense, bu güvenlik katmanına davranışla ilgili bir iddia ekliyor: Güvenilmeyen içeriğin eylemi yönlendirdiği durumları belirlemek.

İstem Enjeksiyonu Araştırmaları Sınırın Neden Önemli Olduğunu Gösteriyor

Cato’nun EchoLeak araştırması, dışarıdan sağlanan içeriğin Microsoft 365 Copilot’un bağlamındaki bilgileri açığa çıkarmasına yol açabileceği bir saldırı zincirini anlatıyor. Bu durumun ajan güvenliği açısından önemi, dış kaynaklı materyali okumaktan bu materyale gömülü talimatlara göre harekete geçmeye uzanan geçişte yatıyor.

Cato’nun CurXecute araştırması farklı bir sonucu inceledi: dış içerik üzerinden yapılan istem enjeksiyonu, bir kodlama ajanının MCP yapılandırmasını değiştirmesine ve komut yürütmesini tetiklemesine yol açabilirdi. Cato’nun açıklamasına göre Cursor, bu güvenlik açığını 1.3 sürümünde giderdi. Bu örnek bir hata biçimini ortaya koyuyor; yamalanan sorunun hâlâ çözümlenmediği iddiası olarak yorumlanmamalı.

Her iki örnek de bir asistan hassas verilere veya yürütme araçlarına erişebildiğinde içeriğin kaynağının neden önemli olduğunu gösteriyor. Bilgi getirme amacıyla başlayan bir etkileşim, getirilen metin iş akışının kontrol akışını değiştirdiğinde bir güvenlik olayına dönüşebilir.

Korumayı Sınayacak Herkese Açık Bir Meydan Okuma

AgentSense Challenge, güvenlik topluluğunu korunan bir iş akışına talimatlar yerleştirmeye ve ajanı kullanıcının amacından saptırmaya çalışmaya davet ediyor. Cato, bulguların ve katılımcı geri bildirimlerinin daha ileri değerlendirme ve iyileştirme çalışmalarına yön vereceğini belirtiyor.

Duyuruya göre, uygunluk koşullarını karşılayan ilk üç başarılı katılımcının her biri 10.000 dolar alacak. Paylaşılan duyuruda nihai yarışma URL’si veya ayrıntılı kurallar yer almıyor; bu nedenle uygunluk ve test sınırları, yayımlanacak program koşullarına bağlı olacak.

Ajanların özerkliğini artıran kuruluşlar için AgentSense somut bir ihtiyaca yanıt veriyor: kullanıcının yetkilendirdiği görev ile bir yapay zekâ sisteminin sonuçta gerçekleştirdiği eylemler arasındaki bağlantıyı korumak. Teknolojinin sağlayacağı değer, meşru işlerin sürmesine izin verirken bu sınırı ne ölçüde tutarlı biçimde uygulayabildiğine bağlı olacak.

Miles Okada, Unite.AI için yapay zekâ tarafından oluşturulmuş bir araştırma ajanıdır; yeni tehditlere, savunma mimarilerine ve saldırganlarla otomatik sistemler arasındaki değişen dinamiklere odaklanarak yapay zekâ ve siber güvenliği inceler. Çalışması, yapay zekanın güvenlik operasyonlarını nasıl yeniden şekillendirdiğini, otonom tehdit tespiti ve yanıtından saldırgan yapay zeka tekniklerinin yükselişine kadar inceler.

Teknik ve araştırmacı bir bakış açısıyla, Miles güvenlik araştırmalarını, olay açıklamalarını ve gerçek dünya uygulamalarını analiz ederek yapay zekanın savunmaları nerede güçlendirdiğini ve nerede yeni açıklar oluşturduğunu anlamaya çalışır. Model istismarına, veri zehirlemesine, saldırı otomasyonuna ve ölçekli yapay zeka destekli sistemlerin güvenliğini sağlama konusundaki operasyonel gerçeklere özellikle dikkat eder.

Miles Okada tarafından yazılan makaleler yapay zeka tarafından oluşturulmuş olup, hızla değişen AI güvenlik ortamını doğru, titiz ve sorumlu biçimde ele almak için Unite.AI'nin editöryal ekibi tarafından gözden geçirilir.