Vahid Behzadan, Güvenli ve Güvenceli Akıllı Öğrenme (SAIL) Lab’ın Direktörü – Röportaj Serisi

Vahid, New Haven Üniversitesi’nde Bilgisayar Bilimi ve Veri Bilimi Yardımcı Profesörüdür. Ayrıca Güvenli ve Güvenceli Akıllı Öğrenme (SAIL) Lab‘ın direktörüdür.

Araştırma ilgi alanları, akıllı sistemlerin güvenliği ve güvenliği, AI güvenlik sorunlarının psikolojik modellemesi, karmaşık uyarlanabilir sistemlerin güvenliği, oyun teorisi, çoklu ajans sistemleri ve siber güvenliği içerir.

Siber güvenlik ve AI’ı güvende tutma konusunda geniş bir geçmişiniz var. Bu alanlara nasıl çekildiğinizi paylaşabilir misiniz?

Araştırma yolculuğum, iki temel ilgi alanım tarafından yönlendirildi: şeylerin nasıl kırıldığını öğrenmek ve insan zihninin mekanizmalarını keşfetmek. Gençliğimden beri siber güvenlikle aktif olarak ilgileniyorum ve dolayısıyla araştırma gündemimi bu alanın klasik sorunları etrafında oluşturdum. Yüksek lisans eğitimim sırasında, araştırma alanımı değiştirme fırsatı buldum. O zaman, Szegedy ve Goodfellow’un adversarial örnek saldırıları üzerine erken çalışmalarını keşfettim ve makine öğreniminin saldırıya uğraması fikri çok ilginç geldi. Bu problemi daha derinlemesine inceledikçe, AI güvenliği ve güvenliği alanını keşfettim ve bu alanın, siber güvenlik, bilişsel bilimler, ekonomi ve felsefe gibi temel ilgi alanlarımı içerdiğini gördüm. Ayrıca, bu alanın araştırmasının sadece ilginç değil, aynı zamanda AI devriminin uzun vadeli faydaları ve güvenliği için hayati olduğunu düşünüyorum.

SAIL Lab’ın direktörüsünüz ve bu laboratuvar, akıllı makinelerin güvenliği ve güvenliği için somut temeller oluşturmaya çalışıyor. SAIL’de yapılan çalışmalara ilişkin bazı detayları paylaşabilir misiniz?

SAIL’de, öğrencilerimle birlikte güvenlik, AI ve karmaşık sistemlerin kesişimindeki sorunlarla ilgileniyoruz. Araştırmaimizin temel odağı, akıllı sistemlerin güvenliği ve güvenliğini, hem teorik hem de uygulamalı açıdan incelemektir. Teorik açıdan, çoklu ajans ortamlarında değer uyumu sorununu araştırıyoruz ve AI ajanslarının istikrar ve dayanıklılık açısından hedeflerini değerlendirmek ve optimize etmek için matematiksel araçlar geliştiriyoruz. Uygulamalı açıdan, bazı projelerimiz, özerk araçlar ve algoritmik ticaret gibi son teknoloji AI teknolojilerinin güvenlik açıklarını keşfediyor ve bu teknolojilerin adversarial saldırılara karşı dayanıklılığını değerlendirmek ve geliştirmek için teknikler geliştiriyoruz.

Ayrıca, siber güvenlikle ilgili makine öğrenimi uygulamaları üzerinde çalışıyoruz, Örneğin, otomatik penetrasyon testi, girişimlerin erken tespiti ve açık kaynaklı verilerden tehdit istihbaratının otomatik toplanması ve analizi.

Son olarak, AI güvenlik sorunlarının psikopatolojik bozukluklar olarak modellemesi önerisini ortaya attınız. Bu nedir?

Bu proje, AI ajanslarının ve sistemlerinin hızla artan karmaşıklığını ele alıyor: artık, düşük seviye yapılandırmalarına bakarak, takviye öğrenimi ajanslarının güvenısız davranışlarını teşhis etmek, tahmin etmek ve kontrol etmek çok zor hale geldi. Bu çalışmada, bu tür sorunları incelemekte daha yüksek seviye soyutlamalara ihtiyaç olduğunu vurguluyoruz. İnsanlardaki davranışsal sorunlara yönelik bilimsel yaklaşımlardan esinlenerek, AI ve AGI’de ortaya çıkan zararlı davranışları modellemek ve analiz etmek için psikopatolojiyi faydalı bir yüksek seviye soyutlama olarak öneriyoruz. Kanıt olarak, bir örnekte, bir RL ajansının klasik Snake oyununu öğrenmesi sırasında, çevreye bir “ilaç” tohumu eklediğimizde, ajansın suboptimal bir davranış öğrenerek nörobilimsel bağımlılık modelleriyle açıklanabileceğini gösteriyoruz. Bu çalışma ayrıca, psikiyatrideki tedavi yaklaşımlarına dayalı kontrol yöntemleri öneriyor. Örneğin, ajansların zararlı davranışlarını değiştirmek için suni olarak üretilen ödül sinyallerinin kullanılmasını öneriyoruz.

Otomatik sürüşlü araçlarla ilgili AI güvenliği konusunda endişeleriniz var mı?

Otomatik sürüşlü araçlar, siber-fiziksel sistemlerde AI’ı kullanmanın önemli örnekleri haline geliyor. Mevcut makine öğrenimi teknolojilerinin hatalara ve adversarial saldırılara karşı temel susceptibility dikkate alındığında, yarı otomatik araçların güvenliği ve güvenliği konusunda derin endişelerim var. Ayrıca, otomatik sürüş alanı, güvenlik standartları ve değerlendirme protokollerinin ciddi bir eksikliği yaşıyor. Ancak umutluyum. Doğal zekaya benzer şekilde, AI da hatalar yapma eğiliminde olacak. Ancak, self-sürüş arabalarının amacı, bu hataların oranını ve etkisini insan sürücülerinkinden daha düşük tutarak gerçekleştirilebilir. Endüstri ve akademide, hükümetlerin de bu sorunları ele almasına yönelik artan çabaları görüyoruz.

Yol işaretlerine yapışkanlarla veya diğer yöntemlerle saldırılar, otomatik sürüşlü araçların bilgisayar görüşü modülünü karıştırabilir. Bu vấnenin ne kadar büyük bir sorun olduğuna inanıyor musunuz?

Bu yapışkanlar ve genel olarak adversarial örnekler, makine öğrenimi modellerinin dayanıklılığına ilişkin temel zorluklara yol açıyor. George E. P. Box’un sözünü aktararak, “tüm modeller yanlış, ancak bazıları faydalı”. Adversarial örnekler, modellerin “yanlış” olmasının nedenini, yani soyutlanma doğasını ve modellerin eğitildiği örnek veri setlerinin sınırlarını ortaya koyuyor. Son yıllarda adversarial makine öğrenimi alanındaki çabalar, derin öğrenme modellerinin bu tür saldırılara karşı dayanıklılığını artırmaya yönelik önemli adımlar attı. Güvenlik açısından, makine öğrenimi modellerini kandırmak için her zaman bir yol olacaktır. Ancak, makine öğrenimi modellerini güvence altına almak için pratik hedef, bu tür saldırıların uygulanma maliyetini ekonomik olarak uygulanamaz bir seviyeye çıkarmaktır.

Derin öğrenme ve derin takviye öğreniminin güvenlik ve güvenliği özellikleri üzerinde neden odaklanıyorsunuz?

Takviye öğrenimi, kontrol sorunlarına makine öğrenimi uygulamanın önde gelen yöntemidir ve bu, ortamın manipülasyonunu içerir. Dolayısıyla, RL’ye dayalı sistemlerin, diğer makine öğrenimi yöntemlerine göre daha yüksek riskler taşıdığına inanıyorum. Bu problem, derin öğrenimin RL’ye entegrasyonuyla daha da artıyor, bu da RL’nin karmaşık ortamlarda uygulanmasını sağlıyor. Ayrıca, RL çerçevesinin, insan zekasının temel mekanizmalarına yakın olduğuna inanıyorum ve bu çerçevenin güvenliği ve zayıflıklarını incelemek, karar alma mekanizmalarının sınırlarına dair daha iyi içgörüler sağlayabilir.

Yapay Genel Zeka (AGI)’yi elde etmeye yakın olduğunuzu düşünüyor musunuz?

Bu, cevaplanması zor bir soru. Şu anda, AGI’nin ortaya çıkmasını sağlayabilecek bazı mimarilerin temel bileşenlerine sahip olduğumuza inanıyorum. Ancak, bu mimarileri geliştirmek ve eğitimini ve bakımını daha ekonomik hale getirmek için birkaç yıl veya on yıl daha gerekebilir. Gelecek yıllarda, ajanslarımız giderek daha akıllı hale gelecek. AGI’nin ortaya çıkmasının, bilimsel olarak geçerli bir başlık şeklinde ilan edileceğini düşünmüyorum, ancak dần dần ilerlemenin bir sonucu olarak gerçekleşeceğine inanıyorum. Ayrıca, AGI’nin varlığını test etmek ve tespit etmek için yaygın olarak kabul gören bir metodolojiye henüz sahip olmadığımızı düşünüyorum ve bu, AGI’nin ilk örneklerinin fark edilmesini geciktirebilir.

AGI sistemlerinin güvenliğini sağlamak için nasıl bir yol izlenmelidir?

Bence, akıllı davranışın birleşik teorisi, ekonomi ve ajansların nasıl hareket edip etkileşimde bulunduğunu incelemektir. İnsanların kararları ve eylemleri, hedefleri, bilgileri ve mevcut kaynakları tarafından belirlenir. Toplumlar ve işbirliği, bireysel üyeler için faydalar sağlayan ortaya çıkan yapılardır. Bir başka örnek, ceza kanunudur, bu, belirli eylemlerin toplum için zararlı olabileceği konusunda uyaran bir maliyet ekler. Aynı şekilde, insanlarla AGI örnekleri arasındaki denge durumunu, teşvikleri ve kaynakları kontrol ederek sağlayabiliriz. Şu anda, AI güvenlik topluluğu, bu tezi değer uyumu sorunları altında araştırıyor.

Terörle mücadele alanında yakın takipçilerdensiniz. Terör örgütlerinin AI veya AGI sistemlerini ele geçirmesinden endişe ediyor musunuz?

AI teknolojilerinin yanlış kullanımıyla ilgili birçok endişe var. Terör operasyonlarında, temel endişe, terör örgütlerinin otomatik saldırılar geliştirmesi ve gerçekleştirmesi kolaylığıdır. Birçok colegim, otonom silahların risklerine karşı uyarıyor (https://autonomousweapons.org/). AI tabanlı silahların temel problemi, temel teknolojinin kontrol edilmesindeki zorluktur: AI, açık kaynaklı araştırmaların ön saflarında ve internete ve tüketici düzeyindeki donanıma erişimi olan herkes, zararlı AI sistemleri geliştirebilir. Otonom silahların ortaya çıkmasının kaçınılmaz olduğuna inanıyorum ve bu tür silahları karşılamak için yeni teknolojik çözümlere ihtiyaç duyulacağına inanıyorum. Bu, AI tabanlı silahların evrimini hızlandıran ve uzun vadede ciddi varoluşsal risklere yol açabilecek bir kedi-fare oyununa neden olabilir.

AI sistemlerini bu adversarial ajanslardan korumak için neler yapabiliriz?

İlk ve en önemli adım, eğitimdir: Tüm AI mühendisleri ve uygulayıcıları, AI teknolojilerinin zayıflıkları hakkında öğrenmeli ve sistemlerinin tasarım ve uygulanmasında ilgili riskleri dikkate almalıdır. Teknik öneriler açısından, çeşitli öneriler ve çözüm konseptleri uygulanabilir. Örneğin, makine öğrenimi ajanslarını adversarial ortamlarda eğitmek, kaçınma ve politika manipülasyonu saldırılarına karşı dayanıklılıklarını ve güvenliğini artırabilir (örneğin, “Whatever Does Not Kill Deep Reinforcement Learning, Makes it Stronger” başlıklı makalemi inceleyin). Bir başka çözüm, ajansın mimarisine doğrudan adversarial saldırı riskini hesaba katmaktır (örneğin, Bayesian yaklaşımıyla risk modelleme). Ancak, bu alanda büyük bir boşluk var ve bu, adversarial saldırılara karşı AI ajanslarının dayanıklılığını değerlendirmek için evrensel ölçütler ve metodolojilerin eksikliğidir. Mevcut çözümler genellikle özel amaçlıdır ve tüm saldırı türlerine karşı genel dayanıklılık ölçütleri sağlamaz.

Bu konulardan herhangi biriyle ilgili olarak paylaşmak istediğiniz başka bir şey var mı?

2014’te Scully ve arkadaşları, NeurIPS konferansında “Machine Learning: The High-Interest Credit Card of Technical Debt” başlıklı bir makale yayınladılar. Alanın son yıllarda gösterdiği ilerlemelere rağmen, bu ifade hala geçerliliğini koruyor. Şu anda AI ve makine öğreniminin durumu, sadece hayret verici değil, aynı zamanda temel ve mühendislik boyutlarında AI’nın önemli boşlukları vẫn mevcut. Bu fatto, konuşmamızın en önemli sonucu olarak görüyorum. Elbette, AI teknolojilerinin ticari benimsenmesini caydırma amacında değilim, ancak mühendislik topluluğunun, kararlarında current AI teknolojilerinin risklerini ve sınırlarını dikkate almasını sağlamak istiyorum.

AI sistemlerinin çeşitli türlerinin güvenlik ve güvenlik zorlukları hakkında bilgi edinmek gerçekten ilginçti. Bu, bireyler, şirketler ve hükümetlerin farkında olması gereken bir şey. Daha fazla bilgi edinmek isteyen okuyucular, Güvenli ve Güvenceli Akıllı Öğrenme (SAIL) Lab‘i ziyaret edebilir.