Kieran Norton, Deloitte’in ABD Siber AI ve Otomasyon Lideri – Röportaj Serisi

Kieran Norton Deloitte & Touche LLP’de bir ortak (ortağı) olarak, Deloitte’in ABD Siber AI ve Otomasyon Lideridir. 25 yılı aşkın geniş tecrübesi ve sağlam bir teknoloji arka planına sahip olan Kieran, ortaya çıkan riskleri ele almakta, müşterilere siber güvenlik ve teknoloji risk yönetimi konusunda stratejik ve pragmatik içgörüler sağlamada uzmanlaşmıştır.

Deloitte içinde, Kieran, ABD Siber uygulaması için AI dönüşüm çabalarını yönetmektedir. AI ve otomasyon çözümlerinin tasarımı, geliştirilmesi ve pazar dağıtımı konusunda müşterilere yardımcı olurken, müşterilerin siber yeteneklerini geliştirmelerine ve AI/Gen AI teknolojilerini etkili bir şekilde kullanmalarına yardımcı olur.

Dışarıda, Kieran, müşterilere geleneksel güvenlik stratejilerini dijital dönüşüme desteklemek, tedarik zincirlerini modernleştirmek, piyasaya sürme süresini azaltmak, maliyetleri düşürmek ve diğer kritik iş hedeflerine ulaşmak için yardımcı olur.

AI ajanlarının giderek daha otonom hale gelmesiyle, işletmelerin henüz tam olarak anlamadığı yeni siber güvenlik tehditleri kategorileri nelerdir?

Yeni AI ilgili teknolojileri kullanarak ajanları tasarlamak, oluşturmak, dağıtmak ve yönetmekle ilgili riskler anlaşılabilir, ancak operasyonel hale getirilmesi farklı bir meseledir.

AI ajanlarının ajansı ve otonomisi – insanların dışında algılamak, karar vermek, hareket etmek ve çalışmak için ajanların yeteneği – kullanıcılar, veriler ve diğer ajanlarla ilişkiler ve etkileşimler üzerinde görünürlük ve kontrolü sürdürme konusunda zorluklar yaratabilir. Ajanlar, girişimlerde çoğaldıkça, çoklu platformları ve hizmetleri artan otonomi ve karar hakları ile bağlantılı olarak, bu durum giderek daha zor hale gelecektir. Kötü korunan, aşırı veya gölge AI ajansı/otonomisinin tehditleri çoktur. Bunlar, veri sızıntısı, ajan manipülasyonu (prompt enjeksiyonu vb.) ve ajan-ağ saldırısı zincirleri içerebilir. Bu tehditlerin hepsi şu anda mevcut olmayabilir, ancak işletmelerin AI sürümlü yetenekleri benimserken ve olgunlaştırdıkça bu tehditleri nasıl yöneteceklerini düşünmeleri gerekir.

AI Kimlik Yönetimi de düşünülmesi gereken başka bir risktir. AI ajanlarının makine kimliklerini tanımlamak, oluşturmak ve yönetmek, daha fazla ajan dağıtıldıkça ve işletmelerde kullanıldıkça daha karmaşık hale gelecektir. AI modellerinin/modellerinin bileşenlerinin geçici doğası, çeşitli koşullar altında tekrar tekrar oluşturulup yıkıldığında, bu model kimliklerini korumakta zorluklar yaratabilir. Model kimliklerine, güvenlik ve güven perspektifinden ajanların faaliyetlerini ve davranışlarını izlemek için ihtiyaç duyulur. Eğer doğru bir şekilde uygulanmaz ve izlenmezse, potansiyel sorunları (performans, güvenlik vb.) tespit etmek çok zor olacaktır.

AI eğitim管道larında veri zehirlenme saldırılarına karşı ne kadar endişeli olmalıyız ve en iyi önleme stratejileri nelerdir?

Veri zehirlenmesi, AI modellerini model geliştirme döngüsü boyunca etkilemek/manipüle etmek için kullanılan birkaç yoldan biridir. Zehirlenme genellikle bir kötü aktörün eğitim setine zararlı veri enjekte ettiğinde gerçekleşir. Ancak, açık adversarial aktörlerin ötesinde, veri zehirlenmesinin, veri oluşturma veya sistemsel sorunlardan kaynaklanan hatalar veya sistemsel sorunlar nedeniyle de meydana gelebileceği önemlidir. İşletmeler daha fazla veri açığa çıkarmaya ve daha fazla yerde kullanılabilir veri aramaya başladığında (örneğin, dış kaynaklı manuel anotasyon, satın alınan veya oluşturulan sentetik veri kümeleri vb.), eğitim verilerini kazara zehirleme olasılığı artar ve her zaman kolayca teşhis edilemeyebilir.

Eğitim管道larına yönelik saldırı, düşmanlar tarafından hem gizli hem de açık etki için kullanılan birincil bir saldırı vektörüdür. AI modellerinin manipülasyonu, yanlış pozitifler, yanlış negatifler ve AI tahminlerini değiştirebilecek daha ince gizli etkiler dahil olmak üzere sonuçlar yaratabilir.

Önleme stratejileri, teknik, prosedürel ve mimari çözümleri içerir. Prosedürel stratejiler, veri doğrulama/sanitasyon ve güven değerlendirmelerini içerir; teknik stratejiler, federated öğrenme gibi AI teknikleri ile güvenlik iyileştirmelerini kullanmayı içerir; mimari stratejiler, sıfır güven管道ları uygulamayı ve anormallik tespitini kolaylaştıran güçlü izleme/uyarıları uygulamayı içerir. Bu modeller, en son ve en iyi araçları kullansalar bile, sadece verilerine bağlıdır, bu nedenle veri zehirlenmesi, hazırlıksız olanlar için bir Achilles topuğu olabilir.

AI modellerini dağıtımdan sonra nasıl kötü niyetli aktörler manipüle edebilir ve işletmeler erken tampering’i nasıl tespit edebilir?

Dağıtımdan sonra AI modellerine erişim, genellikle bir Uygulama Programlama Arayüzü (API), bir uygulamaya gömülü bir sistem veya bir kenar aygıtına bir port-protokol aracılığıyla elde edilir. Erken tespit, Yazılım Geliştirme Yaşam Döngüsü (SDLC) içinde erken çalışma, ilgili model manipülasyon tekniklerini ve öncelikli tehdit vektörlerini anlamak ve tespit ve koruma yöntemleri geliştirmek için gereklidir. Bazı model manipülasyonu, API gaspı, bellek alanlarının (çalışma zamanı) manipülasyonu ve model sürüklenmesiyle yavaş/gradual zehirlenmeyi içerir. Bu yöntemler dikkate alındığında, bazı erken tespit stratejileri, uç nokta telemetri/izleme (uç nokta algılama ve genişletilmiş algılama ile), güvenli çıkarım管道ları uygulamayı (örneğin, gizli hesaplama ve Sıfır Güven ilkeleri) ve model su damgası/model imzalama ermögülmesini içerebilir.

Prompt enjeksiyonu, dağıtımdan sonra meydana gelen model saldırıları ailesidir ve çeşitli amaçlar için kullanılabilir, Örneğin, beklenmedik yollarla veri çıkarmak, normal kullanıcılar için amaçlanmayan sistem promt’larını açıklamak ve bir kuruluşu olumsuz bir şekilde gösteren model yanıtlarını indüklemek. Prompt enjeksiyonu riskini azaltmaya yardımcı olan çeşitli guardrail araçları mevcuttur, ancak siber güvenlik gibi, bu bir silah yarışmasıdır ve saldırı teknikleri ve savunma karşı önlemleri sürekli olarak güncellenmektedir.

Geleneksel siber güvenlik çerçeveleri, AI sistemlerinin benzersiz risklerini ele almada nasıl yetersiz kalıyor?

Geleneksel olarak, ‘siber güvenlik çerçevesi’ ile rehberlik ve standartlar (örneğin, NIST, ISO, MITRE, vb.) arasında bir ilişki kurarız. Bu standartların arkasındaki bazı organizasyonlar, AI sistemlerini korumaya yönelik güncellenmiş rehberlik yayınladı, bu da çok faydalı olabilir.

AI, bu çerçeveleri etkisiz hale getirmez – geleneksel siber güvenlik alanlarını (örneğin, ağ güvenliği, uygulama güvenliği, veri güvenliği)仍然 ele almak gerekir. Ancak, AI iş yüklerine ilişkin nüansları ele almak için süreçlerinizi ve programlarınızı (örneğin, SDLC’nizi) güncellemeniz gerekebilir. AI iş yüklerini korumak için kontrolleri gömmek ve otomatikleştirmek (mümkün olduğunda) en verimli ve etkili yol olacaktır.

Taktik düzeyde, geleneksel penetrasyon testlerinin ve kurallara dayalı algılamaların, AI uygulamaları için çok büyük bir ölçek problemi yarattığını belirtmek önemlidir, bu nedenle otomasyona odaklanılır.

Genel AI veya büyük dil modellerini dağıtan organizasyonlar için siber güvenlik stratejisinin hangi ana unsurları içermelidir?

Genel AI veya büyük dil modellerini dağıtmak için siber güvenlik stratejisi geliştirirken, tek bir yaklaşım yoktur. Çok şey, organizasyonun genel iş hedeflerine, BT stratejilerine, endüstri odaklarına, düzenleyici ayak izine, risk toleransına vb. bağlıdır. Ayrıca, düşünülen özel AI kullanım örneklerine de bağlıdır. Örneğin, yalnızca dahili kullanım için bir sohbet botu, hasta sağlığı sonuçlarını etkileyebilecek bir ajanla çok farklı bir risk profiline sahiptir.

Bununla birlikte, her organizasyonun ele alması gereken temel unsurlar vardır:

• Hazırlık değerlendirmesi yapın – bu, mevcut yeteneklerin temelini oluşturur ve öncelikli AI kullanım örneklerine göre potansiyel boşlukları tanımlar. Organizasyonlar, AI ile ilgili nüanslı riskleri ele almak için mevcut kontrolleri genişletebileceklerini ve yeni teknolojileri uygulamak veya mevcut süreçleri geliştirmek zorunda kalabileceklerini belirlemelidir.
• AI yönetim sürecini kurun – bu, yeni olabileceği gibi, mevcut risk yönetim programlarına bir değişiklik de olabilir. Bu, AI’yi tüm işletme genelinde etkinleştirmek için fonksiyonlar tanımlamayı, çeşitli paydaşları (BT, ürün, risk, siber güvenlik vb.) yönetim yapısına dahil etmeyi ve ilgili politikaları (kabul edilebilir kullanım politikaları, bulut güvenlik politikaları, üçüncü taraf teknoloji risk yönetimi vb.) güncellemeyi ve AI okuryazarlığı ve AI güvenliği/konforu için eğitim gereksinimlerini belirlemeyi içermelidir.
• Güvenilir AI mimarisi kurun – AI/Genel AI platformları ve deneysel kumbara ile birlikte, mevcut teknoloji ve yeni çözümler (örneğin, AI güvenlik duvarları, model yaşam döngüsü yönetimi, gelişmiş IAM yetenekleri vb.) geliştirme ve dağıtım ortamlarına entegre edilmelidir.
• SDLC’yi güçlendirin – organizasyonlar, AI geliştiricileri ve AI çözümlerini korumak, güvence altına almak ve güvenliğini sağlamak için çalışan risk yönetim ekipleri arasında sıkı entegrasyonlar oluşturmalıdır. Bu, güvenli yazılım geliştirme uygulamaları ve kontrol gereksinimlerinin standardizasyonunu ve AI geliştirme ve benimseme ekipleriyle ortaklık içinde oluşturulmasını içerir.

AI güvenlik duvarı kavramını basitçe açıklayabilir misiniz? Geleneksel ağ güvenlik duvarlarından nasıl farklıdır?

AI güvenlik duvarı, özellikle büyük dil modelleri, AI sistemlerinin girişlerini ve çıkışlarını izlemek ve kontrol etmek için tasarlanmış bir güvenlik katmanıdır – kötüye kullanım, hassas verilerin korunması ve AI’nin sorumlu davranışını sağlamak için. Geleneksel güvenlik duvarları, IP adreslerine, portlara ve bilinen tehditlere dayalı olarak trafiği filtreleyerek ağları korurken, AI güvenlik duvarları, doğal dil etkileşimlerini anlama ve yönetme üzerine odaklanır. Toksik içerik, veri sızıntısı, prompt enjeksiyonu ve AI’nin etik dışı kullanımı gibi şeyleri engeller, politikalar, bağlam bilinci filtreleri ve model özgü guardrail’ler uygular. Aslında, geleneksel bir güvenlik duvarı ağını korurken, AI güvenlik duvarı AI modellerinizi ve çıkışlarını korur.

AI’ye özgü güvenlik duvarları veya guardrail’ler için endüstri standardı veya ortaya çıkan protokoller var mı?

Model iletişim protokolü (MCP), AI-Genel AI çözüm çeşitliliği yönetmek zorunda olan işletmeler için büyüyen bir yapılandırma yükünü ele almak için endüstri genelinde kabul görmeye başlayan bir standart değildir. MCP, AI modellerinin bilgi alışverişi yaptığı şekilde (öğrenme dahil) bütünlüğü ve doğrulamayı sağlar. MCP’yi, AI modelleri için TCP/IP yığını olarak düşünebiliriz, özellikle merkezi, federatif veya dağıtılmış kullanım örnekleri için faydalıdır. MCP şu anda çeşitli araçlar, araştırmalar ve projeler aracılığıyla gerçekleştirilen bir kavramsal çerçevedir.

Alan hızla ilerliyor ve önümüzdeki birkaç yıl içinde önemli ölçüde değişmesi bekleniyor.

AI, tehdit algılama ve yanıt alanında son beş yıla göre bugün nasıl bir dönüşüm yaratıyor?

Ticari güvenlik operasyon merkezi (SOC) platformları, büyük, yüksek kaliteli veri kümeleri ve gelişmiş AI/ML modellerini kullanarak tehditlerin algılanması ve sınıflandırılmasını iyileştirdi. Ayrıca, algılamadan azaltmaya kadar süren süreyi azaltmak için otomasyon, iş akışı ve otomatik azaltma yeteneklerini kullanıyorlar. Ayrıca, triaj ve yanıta daha fazla destek sağlamak için kaptan yetenekleri tanıttılar.

Ayrıca, SOC içinde seçili rolleri yerine getirmek için ajanlar geliştiriliyor. Pratik bir örnek olarak, kendi yönetilen hizmet teklifimize dağıtmak için bir ‘Dijital Analist’ ajanı inşa ettik. Bu ajan, bir düzey bir analist olarak görev yapar, gelen uyarıları ayıklar, tehdit istihbaratından ve diğer kaynaklardan bağlam ekler ve insan analistlerimizin gözden geçirmesi, değiştirmesi (gerekirse) ve eylemde bulunması için yanıt adımlarını (geniş bir vaka geçmişine dayanarak) önerir.

AI ve siber güvenlik arasındaki ilişkiyi önümüzdeki 3-5 yıl içinde nasıl görüyorsunuz – AI daha çok bir risk mi yoksa bir çözüm mü?

AI, önümüzdeki 3-5 yıl içinde siber güvenliği hem olumlu hem de olumsuz yönde etkileyebilir. AI, siber operasyonların etkinliğini, verimliliğini, esnekliğini ve hızını çoğu alanda iyileştirmek için önemli fırsatlar sunar – sonunda bir ‘ateşle ateş’ senaryosu yaratır.

Harika röportaj için teşekkür ederiz, okuyucuların Deloitte‘i ziyaret etmelerini öneririz.