Vahid Behzadan, Direktur Secure and Assured Intelligent Learning (SAIL) Lab – Seri Wawancara

Vahid adalah Asisten Profesor Ilmu Komputer dan Ilmu Data di University of New Haven. Ia juga direktur Secure and Assured Intelligent Learning (SAIL) Lab

Minat penelitiannya termasuk keamanan dan keselamatan sistem pintar, pemodelan psikologis masalah keamanan AI, keamanan sistem adaptif kompleks, teori permainan, sistem multi-agents, dan keamanan siber.

Anda memiliki latar belakang yang luas dalam keamanan siber dan menjaga AI aman. Bisakah Anda membagikan perjalanan Anda tentang bagaimana Anda tertarik dengan kedua bidang ini?

Jejak penelitian saya telah dipicu oleh dua minat inti saya: mengetahui bagaimana hal-hal rusak, dan mempelajari mekanisme pikiran manusia. Saya telah terlibat aktif dalam keamanan siber sejak saya masih remaja, dan kemudian membangun agenda penelitian awal saya di sekitar masalah klasik dari domain ini. Beberapa tahun setelah saya memulai studi pascasarjana, saya menemukan kesempatan langka untuk mengubah area penelitian saya. Pada saat itu, saya baru saja menemukan karya awal Szegedy dan Goodfellow tentang serangan contoh musuh, dan menemukan ide menyerang pembelajaran mesin sangat menarik. Ketika saya mempelajari masalah ini lebih dalam, saya menyadari bahwa bidang keamanan dan keselamatan AI lebih luas dan mencakup banyak minat inti saya, seperti keamanan siber, ilmu kognitif, ekonomi, dan filsafat. Saya juga percaya bahwa penelitian dalam bidang ini tidak hanya menarik, tetapi juga vital untuk memastikan manfaat jangka panjang dan keselamatan revolusi AI.

Anda adalah direktur Secure and Assured Intelligent Learning (SAIL) Lab yang bekerja untuk meletakkan dasar konkrit untuk keselamatan dan keamanan mesin pintar. Bisakah Anda menjelaskan detail tentang pekerjaan yang dilakukan oleh SAIL?

Di SAIL, saya dan mahasiswa saya bekerja pada masalah yang terletak di persimpangan keamanan, AI, dan sistem kompleks. Fokus utama penelitian kami adalah pada investigasi keselamatan dan keamanan sistem pintar, dari sudut pandang teoretis dan terapan. Di sisi teoretis, kami saat ini menyelidiki masalah value-alignment dalam pengaturan multi-agents dan mengembangkan alat matematika untuk mengevaluasi dan mengoptimalkan tujuan agen AI dengan regard kepada stabilitas dan pergeseran yang kuat. Di sisi praktis, beberapa proyek kami menjelajahi kerentanan keamanan teknologi AI mutakhir, seperti kendaraan otonom dan perdagangan algoritma, dan bertujuan mengembangkan teknik untuk mengevaluasi dan meningkatkan ketahanan teknologi tersebut terhadap serangan musuh.

Kami juga bekerja pada aplikasi pembelajaran mesin dalam keamanan siber, seperti pengujian penetrasi otomatis, deteksi dini upaya infiltrasi, dan pengumpulan serta analisis intelijen ancaman dari sumber data terbuka seperti media sosial.

Anda baru-baru ini memimpin upaya untuk mengusulkan pemodelan masalah keamanan AI sebagai gangguan psikopatologi. Bisakah Anda menjelaskan apa itu?

Proyek ini mengatasi kompleksitas AI yang tumbuh dengan cepat: sudah sangat sulit untuk mendiagnosis, memprediksi, dan mengendalikan perilaku tidak aman agen pembelajaran penguatan dalam pengaturan non-trivial hanya dengan melihat konfigurasi tingkat rendah mereka. Dalam pekerjaan ini, kami menekankan kebutuhan akan abstraksi tingkat tinggi dalam menyelidiki masalah tersebut. Terinspirasi oleh pendekatan ilmiah terhadap masalah perilaku pada manusia, kami mengusulkan psikopatologi sebagai abstraksi tingkat tinggi yang berguna untuk memodelkan dan menganalisis perilaku merugikan yang muncul pada AI dan AGI. Sebagai bukti konsep, kami mempelajari masalah keamanan AI dari serangan hadiah pada agen pembelajaran penguatan yang belajar bermain permainan Snake klasik. Kami menunjukkan bahwa jika kami menambahkan “benih” obat ke lingkungan, agen belajar perilaku sub-optimal yang dapat dijelaskan melalui model neurosains tentang kecanduan. Pekerjaan ini juga mengusulkan metodologi kontrol berdasarkan pendekatan pengobatan yang digunakan dalam psikiatri. Misalnya, kami mengusulkan penggunaan sinyal hadiah yang dihasilkan secara artifisial sebagai analogi terapi obat untuk memodifikasi perilaku merugikan agen.

Apakah Anda memiliki kekhawatiran tentang keamanan AI ketika datang ke kendaraan otonom?

Kendaraan otonom menjadi contoh menonjol dari penerapan AI dalam sistem siber-fisik. Mengingat kerentanan fundamental teknologi pembelajaran mesin saat ini terhadap kesalahan dan serangan musuh, saya sangat khawatir tentang keselamatan dan keamanan bahkan kendaraan setengah otonom. Selain itu, bidang pengemudi otonom menderita kekurangan standar keselamatan dan protokol evaluasi yang serius. Namun, saya tetap optimis. Seperti kecerdasan alami, AI juga akan rentan membuat kesalahan. Namun, tujuan mobil swa-kemudi masih dapat dipenuhi jika tingkat dan dampak kesalahan tersebut dapat dibuat lebih rendah daripada kesalahan pengemudi manusia. Kami menyaksikan upaya yang tumbuh untuk menangani masalah ini di industri dan akademisi, serta pemerintah.

Menghack tanda jalan dengan stiker atau menggunakan cara lain dapat membingungkan modul visi komputer kendaraan otonom. Seberapa besar masalah ini menurut Anda?

Stiker-stiker ini, dan Contoh Musuh pada umumnya, memberikan tantangan fundamental dalam ketahanan model pembelajaran mesin. Untuk mengutip George E. P. Box, “semua model salah, tetapi beberapa berguna”. Contoh Musuh memanfaatkan “kesalahan” model ini, yang disebabkan oleh sifat abstrak mereka, serta keterbatasan data yang diambil yang digunakan untuk melatih mereka. Upaya terbaru di domain pembelajaran mesin musuh telah menghasilkan kemajuan besar dalam meningkatkan ketahanan model pembelajaran dalam terhadap serangan tersebut. Dari sudut pandang keamanan, akan selalu ada cara untuk menipu model pembelajaran mesin. Namun, tujuan praktis dari mengamankan model pembelajaran mesin adalah untuk meningkatkan biaya implementasi serangan tersebut ke titik yang tidak layak secara ekonomi.

Fokus Anda adalah pada fitur keselamatan dan keamanan baik pembelajaran dalam dan pembelajaran penguatan dalam. Mengapa ini sangat penting?

Pembelajaran Penguatan (RL) adalah metode utama untuk menerapkan pembelajaran mesin pada masalah kontrol, yang oleh definisi melibatkan manipulasi lingkungan mereka. Oleh karena itu, saya percaya bahwa sistem yang berbasis RL memiliki risiko yang jauh lebih tinggi untuk menyebabkan kerusakan besar di dunia nyata dibandingkan dengan metode pembelajaran mesin lainnya seperti klasifikasi. Masalah ini diperburuk dengan integrasi pembelajaran dalam ke RL, yang memungkinkan adopsi RL dalam pengaturan yang sangat kompleks. Selain itu, saya percaya bahwa kerangka RL sangat terkait dengan mekanisme dasar kognitif dalam kecerdasan manusia, dan mempelajari keselamatan dan kerentananannya dapat menghasilkan wawasan yang lebih baik tentang batasan pengambilan keputusan dalam pikiran kita.

Apakah Anda percaya bahwa kita sudah dekat dengan mencapai Kecerdasan Buatan Umum (AGI)?

Ini adalah pertanyaan yang sangat sulit untuk dijawab. Saya percaya bahwa kita saat ini memiliki blok bangunan dari beberapa arsitektur yang dapat memfasilitasi munculnya AGI. Namun, mungkin diperlukan beberapa tahun atau dekade lagi untuk memperbaiki arsitektur tersebut dan meningkatkan efisiensi biaya pelatihan dan pemeliharaan arsitektur tersebut. Selama beberapa tahun mendatang, agen kita akan tumbuh lebih pintar dengan tingkat yang tumbuh dengan cepat. Saya tidak berpikir bahwa munculnya AGI akan diumumkan dalam bentuk headline yang valid secara ilmiah, tetapi sebagai hasil dari kemajuan bertahap. Selain itu, saya pikir kita masih belum memiliki metodologi yang diterima secara luas untuk menguji dan mendeteksi keberadaan AGI, dan ini dapat menunda kesadaran kita tentang contoh pertama AGI.

Bagaimana kita mempertahankan keselamatan dalam sistem AGI yang dapat berpikir sendiri dan kemungkinan besar lebih pintar daripada manusia?

Saya percaya bahwa teori terpadu tentang perilaku pintar adalah ekonomi dan studi tentang bagaimana agen bertindak dan berinteraksi untuk mencapai apa yang mereka inginkan. Keputusan dan tindakan manusia ditentukan oleh tujuan mereka, informasi mereka, dan sumber daya yang tersedia. Masyarakat dan upaya kolaboratif muncul dari manfaatnya bagi anggota individu dari kelompok tersebut. Contoh lainnya adalah kode kriminal, yang mencegah keputusan tertentu dengan menambahkan biaya tinggi pada tindakan yang dapat merugikan masyarakat. Dengan cara yang sama, saya percaya bahwa mengendalikan insentif dan sumber daya dapat memungkinkan munculnya keadaan keseimbangan antara manusia dan contoh AGI. Saat ini, komunitas keamanan AI menyelidiki tesis ini di bawah payung masalah value-alignment.

Salah satu bidang yang Anda ikuti dengan dekat adalah kontraterorisme. Apakah Anda memiliki kekhawatiran tentang teroris yang mengambil alih sistem AI atau AGI?

Ada banyak kekhawatiran tentang penyalahgunaan teknologi AI. Dalam kasus operasi teroris, kekhawatiran utama adalah kemudahan dengan mana teroris dapat mengembangkan dan melaksanakan serangan otonom. Banyak rekan saya yang secara aktif memperingatkan tentang risiko pengembangan senjata otonom (lihat https://autonomousweapons.org/ ). Salah satu masalah utama dengan senjata AI adalah kesulitan mengendalikan teknologi dasar: AI berada di garis depan penelitian open-source, dan siapa saja dengan akses ke internet dan perangkat keras konsumen dapat mengembangkan sistem AI yang berbahaya. Saya curiga bahwa munculnya senjata otonom tidak dapat dihindari, dan percaya bahwa akan segera dibutuhkan solusi teknologi baru untuk melawan senjata tersebut. Ini dapat menghasilkan siklus kucing dan tikus yang memicu evolusi senjata AI, yang mungkin menimbulkan risiko eksistensial serius dalam jangka panjang.

Apa yang dapat kita lakukan untuk menjaga sistem AI aman dari agen musuh tersebut?

Langkah pertama dan terpenting adalah pendidikan: semua insinyur dan praktisi AI perlu mempelajari tentang kerentanan teknologi AI, dan mempertimbangkan risiko yang relevan dalam desain dan implementasi sistem mereka. Mengenai rekomendasi teknis, ada beberapa proposal dan konsep solusi yang dapat diterapkan. Misalnya, melatih agen pembelajaran mesin dalam pengaturan musuh dapat meningkatkan ketahanan dan kekuatan mereka terhadap serangan penghindaran dan manipulasi kebijakan (misalnya, lihat makalah saya yang berjudul “Whatever Does Not Kill Deep Reinforcement Learning, Makes it Stronger“). Solusi lainnya adalah untuk secara langsung mempertimbangkan risiko serangan musuh dalam arsitektur agen (misalnya, pendekatan Bayesian untuk pemodelan risiko). Namun, ada kesenjangan besar dalam bidang ini, yaitu kebutuhan akan metrik dan metodologi universal untuk mengevaluasi ketahanan agen AI terhadap serangan musuh. Solusi saat ini sebagian besar bersifat ad hoc, dan gagal menyediakan ukuran ketahanan umum terhadap semua jenis serangan.

Apakah ada hal lain yang Anda ingin bagikan tentang topik-topik ini?

Pada tahun 2014, Scully et al. menerbitkan makalah di konferensi NeurIPS dengan topik yang sangat mendalam: “Pembelajaran Mesin: Kartu Kredit Bunga Tinggi dari Utang Teknis“. Bahkan dengan semua kemajuan bidang ini selama beberapa tahun terakhir, pernyataan ini belum kehilangan validitasnya. Keadaan saat ini dari AI dan pembelajaran mesin tidak kurang dari mengagumkan, tetapi kita masih belum mengisi sejumlah besar kesenjangan besar dalam dimensi fondasi dan teknik AI. Fakta ini, menurut saya, adalah kesimpulan yang paling penting dari percakapan kita. Saya tentu saja tidak bermaksud untuk mendiskusikan adopsi komersial teknologi AI, tetapi hanya ingin memungkinkan komunitas teknik untuk mempertimbangkan risiko dan keterbatasan teknologi AI saat ini dalam keputusan mereka.

Saya sangat menikmati mempelajari tantangan keselamatan dan keamanan tentang berbagai jenis sistem AI. Ini adalah sesuatu yang perlu disadari oleh individu, perusahaan, dan pemerintah. Pembaca yang ingin mempelajari lebih lanjut dapat mengunjungi Secure and Assured Intelligent Learning (SAIL) Lab.