Vahid Behzadan, Diréktur Laboratorium Pembelajaran Cerdas Terjamin sareng Terjamin (SAIL) - Seri Wawancara

Vahid nyaéta Asistén Profesor Ilmu Komputer sareng Élmu Data di Universitas New Haven. Anjeunna ogé diréktur di Aman jeung Assured Intelligent Learning (SAIL) Lab

Kapentingan panalungtikanna kalebet kaamanan sareng kaamanan sistem intelijen, modél psikologis masalah kaamanan AI, kaamanan sistem adaptif kompléks, téori kaulinan, sistem multi-agén, sareng kaamanan cyber.

Anjeun gaduh latar tukang anu éksténsif dina kaamanan siber sareng ngajaga AI aman. Naha anjeun tiasa ngabagikeun perjalanan anjeun kumaha anjeun katarik kana dua widang?

Lintasan panalungtikan kuring parantos didorong ku dua kapentingan inti kuring: milarian kumaha hal-hal rusak, sareng diajar ngeunaan mékanika pikiran manusa. Kuring geus aktip aub dina cybersecurity ti mimiti taun rumaja kuring, sarta akibatna ngawangun agenda panalungtikan mimiti kuring sabudeureun masalah klasik tina domain ieu. Sababaraha taun kana studi pascasarjana kuring, kuring stumbled kana kasempetan langka pikeun ngarobah wewengkon panalungtikan kuring. Dina waktos éta, kuring nembé mendakan karya awal Szegedy sareng Goodfellow ngeunaan serangan conto adversarial, sareng mendakan ide narajang mesin diajar pisan pikaresepeun. Nalika kuring ningali langkung jero kana masalah ieu, kuring diajar ngeunaan widang kaamanan sareng kaamanan AI anu langkung umum, sareng mendakan éta kalebet seueur kapentingan inti kuring, sapertos cybersecurity, élmu kognitif, ékonomi, sareng filsafat. Kuring ogé percaya yén panalungtikan di daérah ieu sanés ngan ukur pikaresepeun, tapi ogé penting pikeun mastikeun kauntungan jangka panjang sareng kasalametan revolusi AI.

 

Anjeun diréktur di Secure and Assured Intelligent Learning (SAIL) Lab anu dianggo nuju peletakan yayasan beton pikeun kasalametan sareng kaamanan mesin calakan. Naha anjeun tiasa terang sababaraha detil ngeunaan padamelan anu dilakukeun ku SAIL?

Di SAIL, kuring sareng murid ngerjakeun masalah anu aya dina persimpangan kaamanan, AI, sareng sistem kompleks. Fokus utama panalungtikan urang nyaéta pikeun nalungtik kasalametan sareng kaamanan sistem calakan, tina sudut pandang téoritis sareng anu diterapkeun. Dina sisi téoritis, urang ayeuna nalungtik masalah nilai-alignment dina setélan multi-agén jeung ngamekarkeun parabot matematik pikeun evaluate sarta ngaoptimalkeun tujuan agén AI ngeunaan stabilitas jeung alignments mantap. Dina sisi praktis, sababaraha proyék kami ngajalajah kerentanan kaamanan tina téknologi AI anu canggih, sapertos kendaraan otonom sareng perdagangan algoritma, sareng tujuanana pikeun ngembangkeun téknik pikeun ngevaluasi sareng ningkatkeun daya tahan téknologi sapertos kitu pikeun serangan lawan.

Urang ogé ngerjakeun aplikasi pembelajaran mesin dina cybersecurity, sapertos tés penetrasi otomatis, deteksi awal usaha intrusi, sareng koleksi intelijen ancaman otomatis sareng analisa tina sumber data terbuka sapertos média sosial.

 

Anjeun nembe mingpin hiji usaha ngajukeun ka modeling masalah kaamanan AI salaku gangguan psychopathological. Dupi anjeun ngajelaskeun naon ieu?

Proyék ieu ngémutan pajeulitna agén sareng sistem AI anu ngembang pesat: éta parantos sesah pisan pikeun ngadiagnosis, ngaduga, sareng ngontrol paripolah anu teu aman tina agén pembelajaran penguatan dina setélan anu henteu penting ku ngan ukur ningali konfigurasi tingkat rendahna. Dina karya ieu, urang ngantebkeun kabutuhan abstraksi tingkat luhur dina nalungtik masalah sapertos. Diideuan ku pendekatan ilmiah pikeun masalah paripolah manusa, kami ngajukeun psikopatologi salaku abstraksi tingkat luhur anu kapaké pikeun modél sareng nganalisa paripolah anu ngarusak anu muncul dina AI sareng AGI. Salaku bukti konsép, urang diajar masalah kaamanan AI tina ganjaran Hacking dina agén RL diajar maén kaulinan Palasik of Oray. Kami nunjukkeun yén upami urang nambihan siki "ubar" ka lingkungan, agén diajar paripolah sub-optimal anu tiasa dijelaskeun ku modél kecanduan neuroscientific. Karya ieu ogé ngajukeun metodologi kontrol dumasar kana pendekatan perlakuan anu dianggo dina psikiatri. Salaku conto, kami ngajukeun panggunaan sinyal ganjaran anu dibangkitkeun sacara artifisial salaku analog tina terapi pangobatan pikeun ngarobih paripolah agén anu ngarusak.

 

Naha anjeun ngagaduhan kasalempang kasalametan AI nalika datang ka kendaraan otonom?

Kandaraan otonom janten conto anu penting pikeun nyebarkeun AI dina sistem cyber-fisik. Mertimbangkeun karentanan dasar tina téknologi pembelajaran mesin ayeuna kana kasalahan sareng serangan lawan, kuring prihatin pisan ngeunaan kasalametan sareng kaamanan kendaraan semi-otonom. Ogé, widang nyetir otonom kakurangan tina kurangna serius standar kaamanan jeung protokol evaluasi. Sanajan kitu, kuring tetep harepan. Sarupa jeung kecerdasan alam, AI ogé bakal rawan nyieun kasalahan. Tapi, tujuan mobil anu nyetir mandiri masih tiasa dipuaskeun upami tingkat sareng dampak kasalahan sapertos kitu langkung handap tibatan supir manusa. Kami nyaksian usaha anu ngembang pikeun ngatasi masalah ieu di industri sareng akademisi, ogé pamaréntah.

 

Hacking tanda jalan kalayan stiker atanapi nganggo cara anu sanés tiasa ngalieurkeun modul visi komputer tina kendaraan otonom. Sakumaha ageung tina masalah anu anjeun percanten ieu?

Stiker ieu, sareng Conto Adversarial sacara umum, nimbulkeun tangtangan dasar dina kateguhan modél pembelajaran mesin. Pikeun cutatan George EP Box, "sadayana model anu salah, tapi sababaraha mangpaat". Conto adversarial ngamangpaatkeun model "salah" ieu, anu disababkeun ku sipat abstraktifna, kitu ogé keterbatasan data sampel dimana aranjeunna dilatih. Usaha panganyarna dina domain pembelajaran mesin adversarial geus ngahasilkeun strides rongkah pikeun ngaronjatkeun daya tahan model learning jero kana serangan misalna. Tina sudut pandang kaamanan, bakal salawasna aya cara pikeun ngabobodo modél pembelajaran mesin. Nanging, tujuan praktis pikeun ngamankeun modél pembelajaran mesin nyaéta pikeun ningkatkeun biaya pikeun ngalaksanakeun serangan sapertos kitu dugi ka teu kasampurnaan ékonomi.

 

Fokus anjeun kana fitur kasalametan sareng kaamanan boh learning deep sareng deep reinforcement learning. Naha ieu penting pisan?

Pangajaran Reinforcement (RL) mangrupikeun metode anu kasohor pikeun nerapkeun pembelajaran mesin pikeun ngontrol masalah, anu ku harti ngalibatkeun manipulasi lingkunganana. Ku alatan éta, kuring yakin sistem anu dumasar kana RL boga resiko nyata luhur ngabalukarkeun karuksakan utama di dunya nyata dibandingkeun métode learning mesin lianna kayaning klasifikasi. Masalah ieu langkung parah ku integrasi Deep learning dina RL, anu ngamungkinkeun nyoko RL dina setélan anu kompleks. Ogé, éta pendapat abdi yén kerangka RL raket patalina jeung mékanisme kaayaan kognisi dina kecerdasan manusa, sarta diajar kaamanan sarta vulnerabilities na bisa ngakibatkeun wawasan hadé kana watesan-pembuatan kaputusan dina pikiran urang.

 

Naha anjeun yakin yén urang caket pikeun ngahontal Artificial General Intelligence (AGI)?

Ieu patarosan notoriously hésé ngajawab. Kuring yakin yén urang ayeuna boga blok wangunan sababaraha arsitéktur nu bisa mempermudah mecenghulna AGI. Nanging, peryogi sababaraha taun atanapi dasawarsa deui pikeun ningkatkeun arsitéktur ieu sareng ningkatkeun efisiensi biaya pelatihan sareng ngajaga arsitéktur ieu. Dina taun-taun anu bakal datang, agén-agén urang bakal tumbuh langkung cerdas dina laju anu gancang. Ku teu sangka mecenghulna AGI bakal diumumkeun dina bentuk headline [sah ilmiah], tapi salaku hasil tina kamajuan bertahap. Ogé, kuring nyangka urang masih teu gaduh metodologi anu ditampi sacara lega pikeun nguji sareng ngadeteksi ayana AGI, sareng ieu tiasa ngalambatkeun realisasi urang ngeunaan conto mimiti AGI.

 

Kumaha urang ngajaga kasalametan dina sistem AGI anu sanggup mikir sorangan sareng sigana bakal sacara éksponénsial langkung cerdas tibatan manusa?

Kuring yakin yén hibah téori ngahijikeun Tatar kabiasaan calakan nyaéta ékonomi jeung ulikan ngeunaan kumaha agén meta jeung interaksi pikeun ngahontal naon maranéhna rék. Kaputusan sareng tindakan manusa ditangtukeun ku tujuanana, inpormasi, sareng sumber daya anu aya. Masarakat sareng usaha kolaborasi muncul tina mangpaatna pikeun anggota individu kelompok sapertos kitu. Conto sanésna nyaéta KUHP, anu ngahalangan kaputusan anu tangtu ku cara ngalampirkeun biaya anu luhur pikeun tindakan anu tiasa ngarugikeun masarakat. Dina cara nu sarua, kuring yakin yén ngadalikeun insentif jeung sumber bisa ngaktipkeun mecenghulna kaayaan kasaimbangan antara manusa jeung instansi AGI. Ayeuna, komunitas kaamanan AI nalungtik tesis ieu dina payung masalah nilai-alignment.

 

Salah sahiji daérah anu anjeun tuturkeun nyaéta counterterrorism. Naha anjeun gaduh masalah sareng teroris nyandak alih sistem AI atanapi AGI?

Aya seueur masalah ngeunaan nyalahgunakeun téknologi AI. Dina kasus operasi téroris, perhatian utama nyaéta gampangna téroris tiasa ngembangkeun sareng ngalaksanakeun serangan otonom. Langkung seueur kolega kuring aktip ngingetkeun ngalawan résiko ngembangkeun senjata otonom (tingali https://autonomousweapons.org/ ). Salah sahiji masalah utama sareng pakarang anu diaktipkeun AI nyaéta dina kasusah ngadalikeun téknologi dasar: AI mangrupikeun payuneun panalungtikan sumber terbuka, sareng saha waé anu gaduh aksés kana internét sareng hardware kelas konsumen tiasa ngembangkeun sistem AI anu ngabahayakeun. Kuring curiga yén mecenghulna pakarang otonom teu bisa dihindari, sarta yakin yén baris geura-giru jadi butuh solusi téhnologis anyar pikeun counter pakarang sapertos. Ieu tiasa nyababkeun siklus ucing-sareng-beurit anu nyababkeun évolusi pakarang anu diaktipkeun AI, anu tiasa nyababkeun résiko eksistensial anu serius dina jangka panjang.

 

Naon anu urang tiasa laksanakeun pikeun ngajaga sistem AI tina agén musuh ieu?

Léngkah munggaran sareng pangpentingna nyaéta pendidikan: Sadaya insinyur sareng praktisi AI kedah diajar ngeunaan kerentanan téknologi AI, sareng mertimbangkeun résiko anu relevan dina desain sareng palaksanaan sistemna. Sedengkeun pikeun saran téknis, aya rupa-rupa usulan sareng konsép solusi anu tiasa dianggo. Contona, ngalatih agén pembelajaran mesin dina setélan adversarial tiasa ningkatkeun daya tahan sareng kateguhanna ngalawan ngajauhan sareng serangan manipulasi kawijakan (contona, tingali makalah kuring anu judulna "Naon waé anu henteu maéhan diajar tulangan jero, ngajantenkeun éta langkung kuat“). Solusi anu sanésna nyaéta langsung ngitung résiko serangan lawan dina arsitéktur agén (contona, pendekatan Bayesian pikeun modél résiko). Nanging, aya jurang anu ageung di daérah ieu, sareng peryogi métrik universal sareng metodologi pikeun ngevaluasi kakuatan agén AI ngalawan serangan musuh. Solusi ayeuna lolobana ad hoc, sarta gagal nyadiakeun ukuran umum daya tahan ngalawan sagala jenis serangan.

 

Aya naon waé anu anjeun hoyong bagikeun ngeunaan salah sahiji topik ieu?

Dina 2014, Scully et al. nyebarkeun makalah dina konperénsi NeurIPS kalayan topik anu terang pisan: "Pembelajaran Mesin: Kartu Kredit Bunga Tinggi tina Hutang Téknis“. Malah ku sagala kamajuan widang dina sababaraha taun katukang, pernyataan ieu can leungit validitas na. Kaayaan AI sareng pembelajaran mesin ayeuna henteu matak pikaheraneun, tapi urang masih kedah ngeusian sajumlah ageung jurang utama dina yayasan sareng dimensi rékayasa AI. Kanyataan ieu, dina pamanggih kuring, mangrupa takeaway pangpentingna tina paguneman urang. Tangtosna kuring henteu hartosna pikeun ngahambat adopsi komérsial téknologi AI, tapi ngan ukur hoyong ngaktifkeun komunitas rékayasa pikeun ngitung résiko sareng wates téknologi AI ayeuna dina kaputusanana.

Abdi resep pisan diajar ngeunaan tantangan kaamanan sareng kaamanan ngeunaan sababaraha jinis sistem AI. Ieu mangrupikeun hal anu kedah disadari ku individu, korporasi, sareng pamaréntahan. Pamiarsa anu hoyong diajar langkung seueur kedah nganjang Aman jeung Assured Intelligent Learning (SAIL) Lab.