Düşünce Liderleri

Kurumların ele alması gereken hızlı GenAI benimsemesinin yeni güvenlik riskleri

Dr. Madhu Shashanka Lane Sullivan
Unite.AI sitesini Google'daki tercih ettiğiniz kaynaklara ekleyin
Öne çıkan noktalarGenAI, veri emerken orijinal erişim kontrollerini miras almadığı için, en az ayrıcalık…
Daha fazla göster
  • GenAI, veri emerken orijinal erişim kontrollerini miras almadığı için, en az ayrıcalık ilkesini zayıflatır.
  • Çalışanların onaylanmamış araçları anında benimsemesiyle Gölge AI, görünmez veri sızıntısı riskleri yaratır.
  • Şirketler, GenAI modellerine alınan verileri geri çekemez ve bu da kalıcı yönetişim boşlukları oluşturur.

GenAI, bir merak konusu olmaktan çıkıp şirket teknolojisinin merkezinde yer alan bir güç haline geldi. Metin, kod, resim ve içgörüler üretme yeteneği, çalışanların karmaşıklığı aşmasına ve verimliliği artırmak için vazgeçilmez hale geldi. Ancak bu yenilik ve verimlilik, büyük risklere yol açıyor.

Çeşitli sektörlerdeki yöneticiler ve AI yönetim liderleriyle yapılan görüşmelerde, bir tema sürekli olarak ortaya çıkıyor: Veri güvenliği, birincil endişeden AI benimsemesinin temel zorluğu haline geldi. Geleneksel yazılımlardan veya geçmişteki makine öğrenimi dalgalarından farklı olarak, GenAI, bir kurum içindeki verileri güvence altına alma sürecini temel olarak değiştiriyor.

Yakın tarihli bir MIT çalışması, şirketlerdeki GenAI pilot projelerinin %95’inin başarısız olduğunu buldu. Bunun nedeni teknolojinin zayıf olması değil, şirketlerin GenAI’yi uygun ve sorumlu bir şekilde işletebilmeleri için gerekli yönetim ve güvenlik çerçevelerine sahip olmamalarıdır. Başka bir MIT çalışması, şirket liderlerinin veri güvenliğini, AI benimsemesini engelleyen en önemli iş ve güvenlik riski olarak gördüğünü belirtti. Ayrıca, “gölge AI” olarak adlandırılan, çalışanların herkese açık araçları izinsiz kullanması, şirketlerin kontrolü dışında veri risklerinin artmasına neden oluyor.

En düşük ayrıcalık erişimi, bir güvenlik modelidir ve burada herhangi bir varlık, kullanıcı, program veya işlem, yalnızca meşru işlevlerini gerçekleştirmek için gerekli olan minimum düzeyde erişim ve izinlere sahip olur. GenAI, bu paradigmayı tamamen değiştiriyor: En düşük ayrıcalık, bu sistemlerin tasarlandığı şekilde çalışmasıyla çatışan bir kısıtlama haline geliyor. Bu, şirket GenAI araçlarının daha fazla iş verisi ve iş bağlamına erişimine sahip olduğunda daha yüksek verimlilik kazanımları sağlaması nedeniyle oluyor.

GenAI benimsemesi hızlandıkça, kullanıcılar GenAI’nin yeni uygulamalarını keşfetmeye devam ediyor, bunların çoğu yukarıdan aşağıya iş odaklı planlamadan değil, kendiliğinden denemelerden ve meraktan doğuyor. Bir varlık, GenAI’nin hangi görevler için kullanılacağını veya hangi tür verilere erişmesi gerektiğini tanımlayamıyorsa, en düşük ayrıcalık erişimi izinlerini ayarlamak imkansız hale geliyor. Ayrıca, bir kullanıcı, bir veri kümesine uygun erişimine sahip olabilir ve bu veriyi GenAI aracına girişte sağlayabilir, ancak bu veri bir kez alındığında, kullanıcıların orijinal izinleri tarafından bağlı olmaktan çıkıyor. GenAI, bu veriyi modeline absorbe edebilir, gelecekteki çıktılarda yüzeyde gösterebilir veya aynı aracı kullanan diğerlerine erişilebilir hale getirebilir. GenAI, verilerin erişim kontrollerini her zaman miras almadığı için, en düşük ayrıcalığı uygulanamaz hale getiriyor.

GenAI Güvenlik Tehditleri

GenAI, şirket veri yönetimini ve güvenliğini çeşitli şekillerde karmaşıklaştıran geniş ve sürekli genişleyen bir veri yüzeyi oluşturuyor. Bunlar arasında:

Giriş sızıntısı – GenAI, ham formdaki verileri, metin, resim, ses, video ve yapılandırılmış verileri alabilir. Son kullanıcılar, GenAI araçlarını yeni veri kümelerine minimal çaba veya uzmanlıkla yönlendirebilir. Dikkatlice oluşturulmuş, yapılandırılmış tablolardan ve tanımlı şemalardan ve ilişkilerden ziyade, bu veri kümeleri satış çağrı kayıtları, CRM e-posta notları, müşteri hizmetleri transkriptleri ve daha fazlasını içerebilir. Uygulamada, çalışanlar, müşteri PII, fikri mülkiyet, finansal tahminler ve hatta kaynak kodu gibi yüksek derecede duyarlı iş bilgilerini içeren promtlerle besliyorlar.

Çıktıların açığa çıkması – GenAI modelleri sadece tüketmekle kalmaz, aynı zamanda sentezler. Bir promt, veri kümeleri arasında kazara içgörüler çekebilir ve yetkili olmayan kullanıcılara maruz bırakabilir. Bazı durumlarda, çıktılar, gerçek, yüksek derecede duyarlı eğitim materyallerinin parçalarını içeren ancak meşru görünen verileri “hayal edebilir”.

GenAI araçları, görev hakkında bağlam sahibi olduklarında daha iyi performans gösterir. Bu nedenle, GenAI yalnızca mevcut bilgileri almıyor, aynı zamanda kullanıcılar, iş bağlamını, iç süreçleri ve diğer potansiyel olarak duyarlı veya iş kritik bilgilerini belgeleyen ayrıntılı promtlerle yeni verileri oluşturuyor.

Denetimsiz erişim – Geleneksel şirket sistemleri, satıcı onayı ve BT sağlama gerektiriyordu. Bugün GenAI, Microsoft Office paketlerinde, tarayıcılar, sohbet araçları ve SaaS platformlarında gömülüdür. Çalışanlar, onu anında benimseyebilir ve yönetimi atlayabilir. Bu sürtünmesiz erişim, “gölge AI”yi besliyor ve her yetkilendirilmemiş GenAI kullanımı, şirketin yönetim sınırları dışında, büyük ölçekte ve görünmez bir şekilde gerçekleşen potansiyel bir veri exfiltrası olayı haline geliyor.

İkinci düzey tedarik zinciri riski – Bir satıcı güvenli görünüyor, ancak genellikle bulut barındırma hizmetleri, anotasyon hizmetleri veya üçüncü taraf AI laboratuvarları gibi alt yüklenicilere güveniyor. Her biri kendi son kullanıcı lisans anlaşmaları (EULA) ve politikalarını tanıtüyor. Hassas şirket verileri, birçok görünmez elden geçerek akabilir, ancak sorumluluk şirketin omuzlarında kalıyor. Örneğin, bir şirket, daha önce onboarding sürecini tamamlamış bir satıcıya sahip olabilir, ancak bu satıcı şimdi, şirketin verilerini eğitim verisi olarak kullanabilecek bir GenAI aracı kullanıyor ve önemli aşağı akış etkileri olabilir.

Eğitim verisi yönetiminde boşluklar – Veri bir AI modeline girdiğinde, kontrol etkili olarak sona erer. Şirketler, bilgilerinin nasıl kullanıldığını kolayca geri çekemez veya yönetemez. Ticari bilgi, kalabilir ve sonra uzun süre sonra, kaynağının unutulmasının ardından çıktılarda yüzeyde görünebilir. Henüz GenAI aracının, GDPR veya CCPA gibi gizlilik düzenlemeleri gibi eğitim verilerini kaldırma taleplerine izin veren birini görmedik. Bu tür süreçlerin uygulanması, düzenlemeler değişimi zorlayana kadar pek olası değildir.

Uygulama kodu riski – AI, iş sistemlerinin altındaki kodu yazıyor. Microsoft Copilot gibi GenAI araçlarını kullanarak kodu üreten geliştiriciler, bilinçsizce güvensiz bağımlılıkları, zayıflıkları veya çatışan açık kaynak lisansları altında kodu gömmüş olabilir. Bir kez dağıtıldığında, bu zayıflıklar yazılım tedarik zincirine gömülür.

GenAI Riskini Giderme

GenAI zaten şirket iş akışlarına gömülmüş durumda, bu nedenle şirketlerin sorusu, onu benimsemek değil, nasıl sorumlu bir şekilde benimseyecekleridir. GenAI’yi yönetimsiz benimsemek, pahalı ihlallere, düzenleyici cezalara ve itibar hasarına yol açabilir. Ancak onu engelleme, çalışanların yetkilendirilmemiş çözümleri kullanmasına yol açar. İlerlemek için tek yol, görünürlük ve kontrol ile sarılmış bir şekilde etkinleştirmektir.

GenAI yönetimi, bir şirketin hangi verilere sahip olduğunu, nerede yaşadığını ve kimin erişimi olduğunu görmeyi gerektirir, ancak aynı zamanda GenAI’nin nasıl kullanıldığını görmeyi de gerektirir. Şirketler, hangi araçların erişildiğini, hangi promtlerin girildiğini ve hassas verilerin ortamdan çıkıp çıkmadığını görmelidir. Buradan hareketle istemleri ve çıktıları gerçek zamanlı izlemek, riskli oturumları veya olağandışı veri akışlarını işaretlemek, izinsiz araçları engellemek, hassas istemleri ortamdan çıkmadan önce filtrelemek, hassas veriler istemlere girilirken kimlik belirleyici bilgileri kaldırmak ve AI destekli içgörülere rol tabanlı kısıtlamalar getirmek için uygun kontroller uygulayabilirler.

GenAI, şirketler için yeni bir risk ve fırsat katmanıdır. Onu yönetmek, güvenliklerinin inovasyonun freni değil, onu güvenli kılan temel olduğu anlayışını gerektirir.

Dr. Shashanka, Concentric'in baş bilim insanı ve kurucu ortağıdır. Concentric'e katılmadan önce Dr. Shashanka, Charles Schwab'ın Veri Bilimi ve Makine Öğrenimi ekibinde genel müdür olarak görev yaptı. Niara tarafından satın alınmadan önce PetaSecure'ün kurucu ortaklarından ve baş bilim insanıydı.

Lane Sullivan, Concentric AI’de Kıdemli Başkan Yardımcısı ve Baş Bilgi Güvenliği ve Strateji Sorumlusu olarak görev yapmaktadır. Şirketin küresel siber güvenlik programını yönetmekte ve kurumsal veri güvenliğini ve yapay zekâ yönetişimini güçlendirmek için ürün stratejisini etkilemektedir. Daha önce Magellan Health’te Kıdemli Başkan Yardımcısı ve Baş Bilgi Güvenliği Sorumlusu olarak görev yapmış, sıkı düzenlemelere tabi bir ortamda mevzuata uyuma odaklanmıştır. Deneyimleri arasında Ingram Content Group’ta birkaç milyon dolarlık bir siber güvenlik programını yönetmek ve C&S Wholesale Grocers’ta altyapı alanında liderlik sağlamak da yer almaktadır. Lane’in liderlik rolleri, operasyonları ve teknolojiyi yönettiği JT Investments’a ve sağlık bilişiminde önemli ilerlemeler sağlanan Basin Home Health & Hospice Inc.’e kadar uzanmaktadır. Lane, Western Governors Üniversitesi’nden Bilgisayar ve Bilgi Sistemleri Güvenliği alanında yüksek lisans ve aynı kurumdan BT Yönetimi alanında lisans derecesine sahiptir.