Vahid Behzadan, Secure and Assured Intelligent Learning (SAIL) Lab Direktörü – Röportaj Serisi

Vahid, New Haven Üniversitesi’nde Bilgisayar Bilimi ve Veri Bilimi Yardımcı Profesörüdür. Ayrıca Secure and Assured Intelligent Learning (SAIL) Lab direktörüdür.

Araştırma ilgi alanları, akıllı sistemlerin güvenliği ve güvenliği, AI güvenlik sorunlarının psikolojik modellemesi, karmaşık uyarlanabilir sistemlerin güvenliği, oyun teorisi, çoklu ajans sistemleri ve siber güvenlik içerir.

Akıllı sistemlerin güvenliği ve güvenliği konusunda geniş bir arka plana sahipsiniz. Bu alanlara nasıl çekildiğinizi paylaşabilir misiniz?

Araştırma yolculuğum, iki temel ilgi alanım tarafından yönlendirildi: şeyler nasıl bozulur ve insan zihninin mekanikleri hakkında nasıl öğrenilir. Gençlik yıllarımdan beri siber güvenlikle aktif olarak ilgileniyorum ve araştırma gündemimi bu alanın klasik sorunları etrafında oluşturdum. Yüksek lisans çalışmalarımda, araştırma alanımı değiştirme fırsatı buldum. O zaman, Szegedy ve Goodfellow’un adversarial örnek saldırıları üzerine erken çalışmalarıyla karşılaştım ve makine öğreniminin saldırıya uğraması fikri beni çok ilginç buldum. Bu problemi daha derinlemesine inceledikçe, AI güvenliği ve güvenliği alanının birçok temel ilgi alanımı içerdiğini fark ettim, Örneğin, siber güvenlik, bilişsel bilimler, ekonomi ve felsefe. Ayrıca, bu alanın araştırmasının sadece ilginç değil, aynı zamanda AI devriminin uzun vadeli faydaları ve güvenliği için hayati olduğunu düşünüyorum.

SAIL Lab’in direktörüsünüz ve akıllı makinelerin güvenliği ve güvenliği için somut temeller oluşturmak için çalışıyorsunuz. SAIL tarafından yürütülen çalışmalara ilişkin bazı ayrıntılar paylaşabilir misiniz?

SAIL’de, öğrencilerimle birlikte güvenlik, AI ve karmaşık sistemlerin kesişiminde bulunan sorunlarla ilgileniyoruz. Araştırmaimizin ana odak noktası, teorik ve uygulamalı perspektiflerden akıllı sistemlerin güvenliği ve güvenliğini incelemektir. Teorik olarak, çoklu ajans ortamlarında değer uyumu sorununu araştırıyoruz ve AI ajanlarının istikrar ve robustluğuna ilişkin hedeflerini değerlendirmek ve optimize etmek için matematiksel araçlar geliştiriyoruz. Uygulamalı olarak, bazı projelerimiz, örneğin otonom araçlar ve algoritmik ticaret gibi son teknoloji AI teknolojilerinin güvenlik açıklarını araştırıyor ve bu teknolojilerin adversarial saldırılara karşı direncini değerlendirmek ve geliştirmek için teknikler geliştiriyoruz.

Ayrıca, siber güvenlikle ilgili makine öğreniminin uygulamaları üzerinde çalışıyoruz, örneğin otomatik penetrasyon testi, erken ihlal girişimlerinin tespiti ve açık veri kaynaklarından otomatik tehdit istihbaratının toplanması ve analizi.

Son olarak, AI güvenlik sorunlarının psikopatolojik bozukluklar olarak modellemesini öneren bir çaba liderliğiniz var. Bu nedir?

Bu proje, AI ajanları ve sistemlerinin hızla artan karmaşıklığını ele alır: zaten, düşük seviyeli yapılandırmalarına bakarak, takviye öğrenimi ajanlarının güvenısız davranışlarını teşhis etmek, tahmin etmek ve kontrol etmek çok zor. Bu çalışmada, bu tür sorunları incelemekte daha yüksek seviyeli soyutlamalara ihtiyaç olduğunu vurguluyoruz. İnsanlardaki davranışsal sorunlara yönelik bilimsel yaklaşımlardan esinlenerek, AI ve AGI’de ortaya çıkan zararlı davranışları modellemek ve analiz etmek için psikopatolojiyi faydalı bir yüksek seviyeli soyutlama olarak öneriyoruz. Bir kanıt olarak, takviye öğrenimi ajanının yılan oyununu öğrenmesi sırasında ortaya çıkan ödül hacking AI güvenlik sorununu inceliyoruz. Bir “ilaç” tohumunun ortamına eklendiğinde, ajanın suboptimal bir davranış geliştirdiğini ve bu davranışın nörobilimsel bağımlılık modelleri ile açıklanabileceğini gösteriyoruz. Bu çalışma ayrıca, psikiyatrideki tedavi yaklaşımlarına dayanan kontrol metodolojileri önermektedir. Örneğin, ajanların zararlı davranışlarını değiştirmek için yapay olarak oluşturulan ödül sinyallerinin kullanılmasını öneriyoruz.

Otonom araçlarla ilgili AI güvenliği konusunda endişeleriniz var mı?

Otonom araçlar, siber-fiziksel sistemlerde AI’nin kullanımının önemli örnekleridir. Mevcut makine öğrenimi teknolojilerinin hatalara ve adversarial saldırılara karşı temel susceptibility dikkate alındığında, yarı otonom araçların güvenliği ve güvenliği konusunda derin endişelerim var. Ayrıca, otonom sürüş alanı, güvenlik standartları ve değerlendirme protokollerinin ciddi bir eksiklikten mustarip. Ancak, umutluyum. Doğal zekaya benzer şekilde, AI de hatalar yapma eğiliminde olacak. Ancak, self-sürüş arabalarının amacı, insan sürücülerinkinden daha düşük hata oranları ve etkileriyle karşılanabilir. Sanayi ve akademide, hükümetlerde bu sorunları ele almak için artan çabalar görüyoruz.

Otonom araçların bilgisayar vizyon modülünü karıştırabilen sokak işaretlerine yapışkanlıklarla veya diğer yöntemlerle saldırılar konusunda ne düşünüyorsunuz?

Bu yapışkanlıklar ve genel olarak adversarial örnekler, makine öğrenimi modellerinin dayanıklılığı konusunda temel zorluklar ortaya koyuyor. George E. P. Box’un sözünü hatırlayalım: “tüm modeller yanlış, ancak bazıları faydalı”. Adversarial örnekler, modellerin soyutlayıcı doğası ve sınırlı örneklem verisi nedeniyle oluşan “yanlışlık”larını kullanıyor. Adversarial makine öğrenimi alanındaki recent girişimler, derin öğrenimi modellerinin bu tür saldırılara karşı direncini artırmak için önemli adımlar attı. Güvenlik açısından, makine öğrenimi modellerini kandırmak her zaman mümkün olacak. Ancak, makine öğrenimi modellerini güvence altına almak için pratik hedef, böyle bir saldırının uygulanma maliyetini ekonomik olarak uygulanamaz hale getirmektir.

Derin öğrenme ve derin takviye öğreniminin güvenlik ve güvenliği özelliklerine odaklanmanızın nedeni nedir?

Takviye öğrenimi, kontrol sorunlarına makine öğreniminin uygulanması için baskın bir yöntemdir ve bu, ortamın manipülasyonunu içerir. Bu nedenle, derin öğrenimi entegre eden takviye öğrenimi tabanlı sistemlerin, diğer makine öğrenimi yöntemlerine göre daha yüksek riskler taşıdığına inanıyorum. Ayrıca, takviye öğrenimi çerçevsinin, insan zihnindeki bilişin temel mekanizmalarıyla yakından ilgili olduğuna inanıyorum ve güvenliği ve zayıflıkları incelemek, karar verme sınırlarımıza dair daha iyi bir anlayış sağlayabilir.

Yapay Genel Zeka (AGI) elde etmeye yakın olduğumuzu düşünüyor musunuz?

Bu, cevaplanması zor bir soru. AGI’nin ortaya çıkmasını sağlayabilecek bazı mimarilerin temel bileşenlerine sahip olduğumuzu düşünüyorum. Ancak, bu mimarileri geliştirmek ve eğitimini ve bakımını daha maliyet-etkin hale getirmek için birkaç yıl veya on yıl daha sürebilir. Yaklaşan yıllarda, ajanlarımız hızla daha akıllı hale gelecek. AGI’nin ortaya çıkışının, bilimsel olarak geçerli bir başlıkta duyurulacağını düşünmüyorum, ancak dần dần ilerlemenin bir sonucu olarak ortaya çıkacak.

AGI sistemlerinde, kendi kendine düşünebilen ve muhtemelen insanlardan çok daha zeki olacak bir sistemde güvenlik nasıl sağlanacak?

İnsanların kararları ve eylemleri, hedefleri, bilgileri ve mevcut kaynakları tarafından belirlenir. Toplumlar ve işbirliği, bireysel üyelerin faydaları nedeniyle ortaya çıkar. Bir başka örnek, belirli eylemlerin toplum için zararlı olabileceği durumlarda, yüksek bir maliyet ekleyen cezai koddur. Aynı şekilde, insanlarla AGI örnekleri arasındaki bir denge durumunun ortaya çıkmasını sağlamak için, teşvikleri ve kaynakları kontrol etmek mümkün olabileceğine inanıyorum. Şu anda, AI güvenlik topluluğu, değer uyumu sorunları kapsamında bu tezi araştırıyor.

Terörle mücadele alanında yakın olarak takip ettiğiniz konulardan biridir. Terörizmle mücadele edenlerin AI veya AGI sistemlerini ele geçirmelerinden endişe ediyor musunuz?

AI teknolojilerinin kötüye kullanılmasına ilişkin birçok endişe vardır. Terör operasyonlarında, otomatik saldırıların kolayca geliştirilebilmesi ve uygulanabilmesi konusunda büyük bir endişe vardır. Birçok colleague’im, otonom silahların (https://autonomousweapons.org/ adresini ziyaret edin) risklerine karşı uyarıyor. AI tabanlı silahların temel bir sorunu, temel teknolojinin kontrolünün zorluğudur: AI, açık kaynaklı araştırmaların ön saflarında ve herkesin internete ve tüketici düzeyinde donanıma erişimi varsa, zararlı AI sistemleri geliştirebilir. Otonom silahların ortaya çıkmasının kaçınılmaz olduğunu düşünüyorum ve bu tür silahları karşılamak için yeni teknolojik çözümlere ihtiyacımız olacağını düşünüyorum. Bu, AI tabanlı silahların evrimini teşvik eden bir kedi-fare oyununa yol açabilir ve uzun vadede ciddi varoluşsal risklere neden olabilir.

Bu adversarial ajanlardan AI sistemlerini korumak için neler yapılabilir?

İlk ve en önemli adım, eğitimdir: Tüm AI mühendisleri ve uygulayıcıları, AI teknolojilerinin zayıflıkları hakkında bilgi sahibi olmalı ve sistemlerin tasarımında ve uygulanmasında ilgili riskleri dikkate almalıdır. Daha teknik öneriler için, çeşitli öneriler ve çözüm konseptleri uygulanabilir. Örneğin, makine öğrenimi ajanlarını adversarial ortamlarda eğiterek, kaçınma ve politika manipülasyon saldırılarına karşı direncini ve dayanıklılığını artırabiliriz (örneğin, “Whatever Does Not Kill Deep Reinforcement Learning, Makes it Stronger” başlıklı makalemi ziyaret edin). Bir başka çözüm, ajanın mimarisinde doğrudan adversarial saldırı riskini hesaba katmaktır (örneğin, risk modellemesi için Bayesian yaklaşımlar). Ancak, bu alanda büyük bir boşluk vardır ve bu, AI ajanlarının adversarial saldırılara karşı direncini değerlendirmek için evrensel ölçütler ve metodolojilerin eksikliğidir. Mevcut çözümler genellikle ad hoc’tur ve tüm saldırı türlerine karşı genel dayanıklılık ölçütleri sağlamaz.

Bu konulardan herhangi biri hakkında paylaşmak istediğiniz başka bir şey var mı?

2014 yılında Scully ve arkadaşları, NeurIPS konferansında “Makine Öğrenimi: Teknik Borçların Yüksek Faizli Kredisi” başlıklı bir makale yayınladılar. Alanın son birkaç yıldaki tüm ilerlemelerine rağmen, bu ifade geçerliliğini koruyor. AI ve makine öğreniminin current durumu, etkileyici, ancak AI teknolojilerinin temel ve mühendislik boyutlarında önemli boşluklar doldurmak için daha çok şey yapılması gerekiyor. Bu, konuşmamızın en önemli sonucu. Elbette, AI teknolojilerinin ticari benimsenmesini cesaretlendirmek istemiyorum, ancak yalnızca mühendislik topluluğunun, kararlarında current AI teknolojilerinin risklerini ve sınırlarını dikkate almasını sağlamak istiyorum.

AI sistemlerinin farklı türlerinin güvenlik ve güvenlik zorlukları hakkında bilgi edinmekten gerçekten keyif aldım. Bu, bireyler, şirketler ve hükümetlerin farkında olması gereken bir şey.