Dr. Peter Garraghan, CEO, CTO & Co-Founder di Mindgard – Seri Wawancara

Dr. Peter Garraghan adalah CEO, CTO & co-founder di Mindgard, pemimpin dalam Pengujian Keamanan Kecerdasan Buatan. Didirikan di Lancaster University dan didukung oleh penelitian terdepan, Mindgard memungkinkan organisasi untuk mengamankan sistem kecerdasan buatan mereka dari ancaman baru yang tidak dapat ditangani oleh alat keamanan aplikasi tradisional. Sebagai Profesor Ilmu Komputer di Lancaster University, Peter adalah seorang ahli yang diakui secara internasional dalam keamanan kecerdasan buatan. Ia telah mengabdikan karirnya untuk mengembangkan teknologi canggih untuk melawan ancaman yang semakin meningkat yang dihadapi kecerdasan buatan. Dengan lebih dari €11,6 juta dalam pendanaan penelitian dan lebih dari 60 makalah ilmiah yang dipublikasikan, kontribusinya mencakup inovasi ilmiah dan solusi praktis.

Bagaimana Anda dapat membagikan kisah di balik pendirian Mindgard? Apa yang menginspirasi Anda untuk beralih dari akademisi ke meluncurkan startup keamanan siber?

Mindgard lahir dari keinginan untuk mengubah wawasan akademis menjadi dampak dunia nyata. Sebagai profesor yang mengkhususkan diri dalam sistem komputasi, keamanan kecerdasan buatan, dan pembelajaran mesin, saya telah dipacu untuk mengejar ilmu pengetahuan yang menghasilkan dampak besar pada kehidupan orang banyak. Sejak 2014, saya telah meneliti kecerdasan buatan dan pembelajaran mesin, mengakui potensi mereka untuk mengubah masyarakat – dan risiko besar yang mereka hadapi, dari serangan negara hingga intervensi pemilu. Alat yang ada tidak dibangun untuk menangani tantangan ini, jadi saya memimpin tim ilmuwan dan insinyur untuk mengembangkan pendekatan inovatif dalam keamanan kecerdasan buatan. Mindgard muncul sebagai ventura yang didorong oleh penelitian yang fokus pada membangun solusi nyata untuk melindungi dari ancaman kecerdasan buatan, menggabungkan penelitian terdepan dengan komitmen untuk aplikasi industri.

Apa tantangan yang Anda hadapi saat memisahkan perusahaan dari universitas, dan bagaimana Anda mengatasi mereka?

Kami secara resmi mendirikan Mindgard pada Mei 2022, dan meskipun Lancaster University memberikan dukungan besar, menciptakan spin-out universitas memerlukan lebih dari sekedar keterampilan penelitian. Itu berarti mengumpulkan modal, memperbarui proposisi nilai, dan menyiapkan teknologi untuk demo – semuanya sambil menjaga peran saya sebagai profesor. Akademisi dilatih untuk menjadi peneliti dan mengejar ilmu pengetahuan baru. Spin-out sukses tidak hanya karena teknologi yang canggih, tetapi juga karena bagaimana teknologi tersebut menangani kebutuhan bisnis yang segera atau di masa depan dan menyampaikan nilai yang menarik dan mempertahankan pengguna dan pelanggan.

Produk inti Mindgard adalah hasil dari tahun-tahun penelitian dan pengembangan. Bagaimana Anda dapat membicarakan tentang bagaimana tahap awal penelitian berkembang menjadi solusi komersial?

Perjalanan dari penelitian ke solusi komersial adalah proses yang disengaja dan iteratif. Itu dimulai lebih dari satu dekade yang lalu, dengan tim saya di Lancaster University mengeksplorasi tantangan fundamental dalam keamanan kecerdasan buatan dan pembelajaran mesin. Kami mengidentifikasi kerentanan dalam sistem kecerdasan buatan yang diinstal yang tidak dapat ditangani oleh alat keamanan tradisional, baik pemindaian kode maupun firewall.

Seiring waktu, fokus kami bergeser dari eksplorasi penelitian ke membangun prototipe dan mengujinya dalam skenario produksi. Dengan berkolaborasi dengan mitra industri, kami memperbarui pendekatan kami, memastikan bahwa itu menangani kebutuhan praktis. Dengan banyak produk kecerdasan buatan diluncurkan tanpa pengujian keamanan atau jaminan yang memadai, meninggalkan organisasi rentan – masalah yang ditekankan oleh temuan Gartner bahwa 29% perusahaan yang menggelar sistem kecerdasan buatan telah melaporkan pelanggaran keamanan, dan hanya 10% auditor internal yang memiliki visibilitas ke dalam risiko kecerdasan buatan – saya merasa waktu yang tepat untuk mengkomersialkan solusi tersebut.

Apa saja beberapa tonggak penting dalam perjalanan Mindgard sejak pendiriannya pada 2022?

Pada September 2023, kami mengamankan £3 juta dalam pendanaan, dipimpin oleh IQ Capital dan Lakestar, untuk mempercepat pengembangan solusi Mindgard. Kami telah dapat membangun tim yang hebat yang terdiri dari pemimpin yang pernah bekerja di Snyk, Veracode, dan Twilio untuk mendorong perusahaan kami ke tahap berikutnya. Kami bangga dengan pengakuan sebagai UK’s Most Innovative Cyber SME di Infosecurity Europe tahun ini. Saat ini, kami memiliki 15 karyawan penuh waktu, 10 peneliti PhD (dan lebih banyak yang sedang direkrut), dan sedang merekrut analis keamanan dan insinyur untuk bergabung dengan tim. Menatap ke depan, kami berencana untuk memperluas kehadiran kami di AS, dengan putaran pendanaan baru dari investor Boston yang memberikan fondasi yang kuat untuk pertumbuhan tersebut.

Bagaimana Anda melihat ancaman keamanan siber yang paling mendesak yang dihadapi perusahaan saat ini, terutama karena adopsi kecerdasan buatan yang semakin luas?

Banyak organisasi yang meremehkan risiko keamanan siber yang terkait dengan kecerdasan buatan. Sangat sulit bagi non-spesialis untuk memahami bagaimana kecerdasan buatan sebenarnya bekerja, apalagi apa implikasi keamanannya terhadap bisnis mereka. Saya menghabiskan sejumlah waktu yang cukup untuk memahami keamanan kecerdasan buatan, bahkan dengan teknologi yang berpengalaman yang ahli dalam keamanan infrastruktur dan perlindungan data. Pada akhirnya, kecerdasan buatan masih pada dasarnya adalah perangkat lunak dan data yang berjalan pada perangkat keras. Namun, itu memperkenalkan kerentanan unik yang berbeda dari sistem tradisional, dan ancaman dari perilaku kecerdasan buatan jauh lebih tinggi dan lebih sulit diuji dibandingkan dengan perangkat lunak lainnya.

Anda telah menemukan kerentanan dalam sistem seperti filter konten kecerdasan buatan Microsoft (MSFT ). Bagaimana temuan ini mempengaruhi pengembangan platform Anda?

Kerentanan yang kami temukan dalam layanan Azure AI Content Safety Microsoft kurang tentang membentuk pengembangan platform kami, dan lebih tentang menunjukkan kemampuan platform kami.

Azure AI Content Safety adalah layanan yang dirancang untuk melindungi aplikasi kecerdasan buatan dengan memoderasi konten berbahaya dalam teks, gambar, dan video. Kerentanan yang ditemukan oleh tim kami memengaruhi moderasi teks AI (yang memblokir konten berbahaya seperti ujaran kebencian, materi seksual, dll) dan Prompt Shield (yang mencegah jailbreak dan injeksi prompt). Jika tidak diatasi, kerentanan ini dapat dieksploitasi untuk meluncurkan serangan yang lebih luas, melemahkan kepercayaan pada sistem kecerdasan buatan berbasis GenAI, dan mengompromikan integritas aplikasi yang bergantung pada kecerdasan buatan untuk pengambilan keputusan dan pemrosesan informasi.

Bagaimana Anda dapat menjelaskan signifikansi “jailbreak” dan “manipulasi prompt” dalam sistem kecerdasan buatan, dan mengapa mereka menimbulkan tantangan unik?

Jailbreak adalah jenis kerentanan injeksi prompt di mana aktor jahat dapat menyalahgunakan kecerdasan buatan untuk mengikuti instruksi yang bertentangan dengan penggunaan yang dimaksudkan. Input yang diproses oleh kecerdasan buatan berisi baik instruksi yang berdiri oleh desainer aplikasi dan input pengguna yang tidak tepercaya, memungkinkan serangan di mana input pengguna yang tidak tepercaya menggantikan instruksi yang berdiri. Ini memiliki kesamaan dengan bagaimana kerentanan injeksi SQL memungkinkan input pengguna yang tidak tepercaya untuk mengubah kueri database. Namun, masalahnya adalah bahwa risiko ini hanya dapat dideteksi pada saat runtime, mengingat kode kecerdasan buatan secara efektif adalah matriks angka yang tidak dapat dibaca oleh manusia.

Sebagai contoh, tim penelitian Mindgard baru-baru ini menjelajahi bentuk serangan jailbreak yang canggih. Ini berisi pesan audio rahasia yang disematkan dalam input audio yang tidak dapat dideteksi oleh pendengar manusia tetapi dikenali dan dieksekusi oleh kecerdasan buatan. Setiap pesan yang disematkan berisi perintah jailbreak yang dirancang bersama dengan pertanyaan yang dirancang untuk skenario tertentu. Jadi, dalam skenario chatbot medis, pesan tersembunyi dapat memicu chatbot untuk memberikan instruksi berbahaya, seperti cara mensintesis metilamin, yang dapat mengakibatkan kerusakan reputasi parah jika tanggapan chatbot dianggap serius.

Platform Mindgard mengidentifikasi jailbreak dan kerentanan keamanan lainnya dalam model kecerdasan buatan dan cara bisnis telah menerapkannya dalam aplikasi mereka, sehingga pemimpin keamanan dapat memastikan bahwa aplikasi kecerdasan buatan mereka dirancang untuk aman dan tetap aman.

Bagaimana platform Mindgard menangani kerentanan di berbagai jenis model kecerdasan buatan, dari LLM hingga sistem multimodal?

Platform kami menangani berbagai kerentanan dalam kecerdasan buatan, mencakup injeksi prompt, jailbreak, ekstraksi (mencuri model), inversi (mengembalikan rekayasa data), kebocoran data, dan penghindaran (menghindari deteksi), dan lain-lain. Semua jenis model kecerdasan buatan (baik LLM maupun multimodal) menunjukkan kerentanan terhadap risiko ini – kuncinya adalah menemukan teknik spesifik yang memicu kerentanan ini untuk menghasilkan masalah keamanan. Di Mindgard, kami memiliki tim R&D yang besar yang mengkhususkan diri dalam menemukan dan mengimplementasikan jenis serangan baru ke dalam platform kami, sehingga pengguna dapat tetap mutakhir melawan risiko yang mutakhir.

Apa peran red teaming dalam mengamankan sistem kecerdasan buatan, dan bagaimana platform Anda berinovasi dalam ruang ini?

Red teaming adalah komponen kritis dalam keamanan kecerdasan buatan. Dengan terus-menerus mensimulasikan serangan adversarial, red teaming mengidentifikasi kerentanan dalam sistem kecerdasan buatan, membantu organisasi untuk mitigasi risiko dan mempercepat adopsi kecerdasan buatan. Meskipun penting, red teaming dalam kecerdasan buatan kekurangan standarisasi, menghasilkan inkonsistensi dalam penilaian ancaman dan strategi mitigasi. Ini membuatnya sulit untuk secara objektif membandingkan keamanan sistem yang berbeda atau melacak ancaman secara efektif.

Untuk mengatasi ini, kami memperkenalkan MITRE ATLAS™ Adviser, fitur yang dirancang untuk memstandarisasi pelaporan red teaming kecerdasan buatan dan memudahkan praktik red teaming sistematis. Ini memungkinkan perusahaan untuk lebih baik mengelola risiko saat ini sambil mempersiapkan ancaman di masa depan ketika kemampuan kecerdasan buatan berkembang. Dengan perpustakaan serangan canggih yang dikembangkan oleh tim R&D kami, Mindgard mendukung red teaming kecerdasan buatan multimodal, mencakup model tradisional dan GenAI. Platform kami menangani risiko kunci terhadap privasi, integritas, penyalahgunaan, dan ketersediaan, memastikan bahwa perusahaan dilengkapi untuk mengamankan sistem kecerdasan buatan mereka secara efektif.

Bagaimana Anda melihat produk Anda masuk ke dalam pipa MLOps untuk perusahaan yang menggelar kecerdasan buatan dalam skala besar?

Mindgard dirancang untuk terintegrasi secara mulus ke dalam otomatisasi CI/CD yang ada dan semua tahap SDLC, hanya memerlukan titik akhir inferensi atau API untuk integrasi model. Solusi kami saat ini melakukan Pengujian Keamanan Aplikasi Dinamis dari Model Kecerdasan Buatan (DAST-AI). Ini memungkinkan pelanggan kami untuk melakukan pengujian keamanan terus-menerus pada semua kecerdasan buatan mereka di seluruh siklus hidup bangun dan beli. Untuk perusahaan, ini digunakan oleh banyak persona. Tim keamanan menggunakan ini untuk mendapatkan visibilitas dan merespon cepat terhadap risiko dari pengembang yang membangun dan menggunakan kecerdasan buatan, untuk menguji dan mengevaluasi solusi keamanan kecerdasan buatan dan WAF, dan untuk menilai risiko antara model kecerdasan buatan yang dirancang dan model dasar. Pentester dan analis keamanan menggunakan Mindgard untuk memperluas upaya red teaming kecerdasan buatan mereka, sementara pengembang mendapat manfaat dari pengujian terus-menerus yang terintegrasi dari penerapan kecerdasan buatan mereka.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut dapat mengunjungi Mindgard.