Kieran Norton, Pemimpin AI & Otomatisasi Cyber Deloitte AS – Seri Wawancara

Kieran Norton seorang principal (mitra) di Deloitte & Touche LLP, adalah Pemimpin AI & Otomatisasi Cyber AS untuk Deloitte. Dengan lebih dari 25 tahun pengalaman luas dan latar belakang teknologi yang solid, Kieran unggul dalam mengatasi risiko yang muncul, memberikan klien wawasan strategis dan pragmatis tentang manajemen risiko keamanan siber dan teknologi.

Di dalam Deloitte, Kieran memimpin upaya transformasi AI untuk praktik Keamanan Siber AS. Ia mengawasi desain, pengembangan, dan penerapan solusi AI dan otomatisasi, membantu klien meningkatkan kemampuan keamanan siber mereka dan mengadopsi teknologi AI/Gen AI sambil secara efektif mengelola risiko yang terkait.

Secara eksternal, Kieran membantu klien dalam mengembangkan strategi keamanan tradisional mereka untuk mendukung transformasi digital, memodernisasi rantai pasokan, mempercepat waktu ke pasar, mengurangi biaya, dan mencapai tujuan bisnis kritis lainnya.

Dengan agen AI menjadi semakin otonom, apa kategori baru ancaman keamanan siber yang muncul yang mungkin belum dipahami sepenuhnya oleh bisnis?

Risiko yang terkait dengan menggunakan teknologi AI yang terkait untuk merancang, membangun, menerapkan, dan mengelola agen mungkin dipahami—operasionalisasi adalah masalah yang berbeda.

Kemampuan agen AI dan otonomi – kemampuan agen untuk memahami, memutuskan, bertindak, dan beroperasi secara independen dari manusia—dapat menciptakan tantangan dalam mempertahankan visibilitas dan kontrol atas hubungan dan interaksi yang dimiliki model/agen dengan pengguna, data, dan agen lain. Ketika agen terus berkembang biak dalam perusahaan, menghubungkan beberapa platform dan layanan dengan otonomi dan hak keputusan yang meningkat, ini akan menjadi semakin sulit. Ancaman yang terkait dengan kebebasan agen AI/otonomi yang tidak dilindungi, berlebihan, atau tidak terlihat adalah banyak. Ini dapat mencakup kebocoran data, manipulasi agen (melalui injeksi prompt, dll.) dan rantai serangan agen-ke-agen. Tidak semua ancaman ini ada sekarang, tetapi perusahaan harus mempertimbangkan bagaimana mereka akan mengelola ancaman-ancaman ini saat mereka mengadopsi dan matang kemampuan yang didorong AI.

Manajemen Identitas AI adalah risiko lain yang harus dipertimbangkan dengan hati-hati. Mengidentifikasi, membangun, dan mengelola identitas mesin dari agen AI akan menjadi lebih kompleks karena lebih banyak agen yang diterapkan dan digunakan di seluruh perusahaan. Sifat efemeral dari model AI/model komponen yang dibuat dan dihancurkan berulang kali dalam berbagai keadaan, akan menghasilkan tantangan dalam mempertahankan identitas model ini. Identitas model diperlukan untuk memantau aktivitas dan perilaku agen dari sudut pandang keamanan dan kepercayaan. Jika tidak diimplementasikan dan dipantau dengan benar, mendeteksi masalah potensial (kinerja, keamanan, dll.) akan sangat sulit.

Seberapa khawatir kita harus tentang serangan racun data dalam pipa pelatihan AI, dan apa strategi pencegahan terbaik?

Racun data mewakili salah satu cara untuk mempengaruhi/memanipulasi model AI dalam siklus hidup pengembangan model. Pencemaran biasanya terjadi ketika aktor jahat menyuntikkan data berbahaya ke dalam set pelatihan. Namun, perlu diingat bahwa di luar aktor bermusuhan yang jelas, racun data dapat terjadi karena kesalahan atau masalah sistemik dalam generasi data. Ketika organisasi menjadi lebih lapar data dan mencari data yang dapat digunakan di tempat-tempat lain (misalnya, anotasi manual yang disubkontrak, set data sintetis yang dibeli atau dibuat, dll.), kemungkinan racun data pelatihan yang tidak disengaja tumbuh, dan mungkin tidak selalu dapat didiagnosis dengan mudah.

Menargetkan pipa pelatihan adalah vektor serangan utama yang digunakan oleh musuh untuk pengaruh halus dan terbuka. Manipulasi model AI dapat menyebabkan hasil yang mencakup positif palsu, negatif palsu, dan pengaruh halus lainnya yang dapat mengubah prediksi AI.

Strategi pencegahan mencakup solusi yang teknis, prosedural, dan arsitektural. Strategi prosedural termasuk validasi data/sanitasi dan penilaian kepercayaan; strategi teknis termasuk menggunakan peningkatan keamanan dengan teknik AI seperti pembelajaran federasi; strategi arsitektural termasuk mengimplementasikan pipa zero-trust dan mengimplementasikan pemantauan/pemberitahuan yang kuat yang dapat memfasilitasi deteksi anomali. Model-model ini hanya sebaik data mereka, bahkan jika suatu organisasi menggunakan alat-alat terbaru dan terhebat, sehingga racun data dapat menjadi tumit Achilles untuk yang tidak siap.

Bagaimana aktor jahat dapat memanipulasi model AI setelah penerapan, dan bagaimana perusahaan dapat mendeteksi perubahan awal?

Akses ke model AI setelah penerapan biasanya diperoleh melalui akses ke Antarmuka Pemrograman Aplikasi (API), aplikasi melalui sistem tertanam, dan/atau melalui port-protokol ke perangkat tepi. Deteksi awal memerlukan pekerjaan awal dalam Siklus Hidup Pengembangan Perangkat Lunak (SDLC), memahami teknik manipulasi model yang relevan serta vektor ancaman yang diprioritaskan untuk merancang metode deteksi dan perlindungan. Beberapa manipulasi model melibatkan pencurian API, manipulasi ruang memori (waktu proses), dan peracunan lambat/bergradasi melalui drift model. Mengingat metode manipulasi ini, beberapa strategi deteksi awal dapat mencakup menggunakan telemetri/monitoring titik akhir (melalui Endpoint Detection and Response dan Extended Detection and Response), mengimplementasikan pipa inferensi yang aman (misalnya, komputasi konfidensial dan prinsip Zero Trust), dan mengaktifkan tanda air model/tanda tangan model.

Penyuntikan prompt adalah keluarga serangan model yang terjadi setelah penerapan dan dapat digunakan untuk berbagai tujuan, termasuk mengekstrak data dengan cara yang tidak diinginkan, mengungkapkan prompt sistem yang tidak dimaksudkan untuk pengguna normal, dan memicu respons model yang dapat memperburuk citra organisasi. Ada berbagai alat pengaman di pasar untuk membantu mitigasi risiko penyuntikan prompt, tetapi seperti halnya keamanan siber, ini adalah perlombaan senjata di mana teknik serangan dan tindakan pertahanan yang konstan diperbarui.

Bagaimana kerangka keamanan siber tradisional tidak mencukupi dalam mengatasi risiko unik sistem AI?

Kita biasanya mengasosiasikan ‘kerangka keamanan siber’ dengan pedoman dan standar – misalnya NIST, ISO, MITRE, dll. Beberapa organisasi di balik pedoman ini telah menerbitkan pedoman yang diperbarui khusus untuk melindungi sistem AI yang dapat sangat membantu.

AI tidak membuat kerangka ini tidak efektif – Anda masih perlu mengatasi semua domain keamanan siber tradisional — apa yang mungkin perlu Anda lakukan adalah memperbarui proses dan program (misalnya SDLC Anda) untuk mengatasi nuansa yang terkait dengan beban kerja AI. Mengintegrasikan dan mengotomatisasi (di mana memungkinkan) kontrol untuk melindungi terhadap ancaman yang halus ini adalah cara paling efisien dan efektif untuk melangkah maju.

Pada tingkat taktis, patut disebutkan bahwa kisaran input dan output yang mungkin sangat besar daripada aplikasi non-AI, yang menciptakan masalah skala untuk pengujian penetrasi tradisional dan deteksi berbasis aturan, sehingga fokus pada otomatisasi.

Apa elemen kunci yang harus dimasukkan dalam strategi keamanan siber yang dirancang khusus untuk organisasi yang menerapkan AI generatif atau model bahasa besar?

Ketika mengembangkan strategi keamanan siber untuk menerapkan AI generatif atau model bahasa besar (LLM), tidak ada pendekatan satu-ukuran-untuk-semua. Banyak hal tergantung pada tujuan bisnis organisasi secara keseluruhan, strategi TI, fokus industri, jejak regulasi, toleransi risiko, dll. serta kasus penggunaan AI khusus yang dipertimbangkan. Chatbot untuk penggunaan internal saja membawa profil risiko yang sangat berbeda dengan agen yang dapat mempengaruhi hasil kesehatan pasien, misalnya.

Yang dikatakan, ada prinsip-prinsip dasar yang harus ditangani oleh setiap organisasi:

• Lakukan penilaian kesiapan—ini membangun baseline kemampuan saat ini serta mengidentifikasi celah potensial dengan mempertimbangkan kasus penggunaan AI yang diprioritaskan. Organisasi harus mengidentifikasi di mana ada kontrol yang ada yang dapat diperluas untuk mengatasi risiko yang halus yang terkait dengan AI generatif dan kebutuhan untuk mengimplementasikan teknologi baru atau meningkatkan proses saat ini.
• Tetapkan proses tata kelola AI—ini mungkin benar-benar baru dalam suatu organisasi atau modifikasi dari program manajemen risiko saat ini. Ini harus mencakup mendefinisikan fungsi pemberdayaan AI seluruh perusahaan dan mengikutsertakan pemangku kepentingan dari seluruh bisnis, TI, produk, risiko, keamanan siber, dll. sebagai bagian dari struktur tata kelola. Selain itu, mendefinisikan/memperbarui kebijakan yang relevan (kebijakan penggunaan yang dapat diterima, kebijakan keamanan cloud, manajemen risiko teknologi pihak ketiga, dll.) serta mendirikan persyaratan L&D untuk mendukung literasi AI dan keamanan/safety AI di seluruh organisasi harus dimasukkan.
• Tetapkan arsitektur AI yang tepercaya—dengan berdirinya platform AI/GenAI dan lingkungan pasir untuk eksperimen, teknologi yang ada serta solusi baru (misalnya, keamanan runtime AI, pengaman, manajemen siklus hidup model, kemampuan IAM yang ditingkatkan, dll.) akan perlu diintegrasikan ke dalam lingkungan pengembangan dan penerapan dengan cara yang dapat diulang dan diperluas.
• Perkuat SDLC—organisasi harus membangun integrasi yang ketat antara pengembang AI dan tim manajemen risiko yang bekerja untuk melindungi, mengamankan, dan membangun kepercayaan ke dalam solusi AI. Ini termasuk mendirikan himpunan praktik pengembangan perangkat lunak yang aman dan standar serta persyaratan kontrol, dalam kemitraan dengan tim adopsi dan pengembangan AI yang lebih luas.

Apakah Anda dapat menjelaskan konsep “tembok api AI” dalam istilah sederhana? Bagaimana perbedaannya dengan tembok api jaringan tradisional?

Temok api AI adalah lapisan keamanan yang dirancang untuk memantau dan mengontrol input dan output sistem AI—terutama model bahasa besar—untuk mencegah penyalahgunaan, melindungi data sensitif, dan memastikan perilaku AI yang bertanggung jawab. Tidak seperti tembok api tradisional yang melindungi jaringan dengan menyaring lalu lintas berdasarkan alamat IP, port, dan ancaman yang diketahui, tembok api AI fokus pada memahami dan mengelola interaksi bahasa alami. Mereka memblokir hal-hal seperti konten beracun, kebocoran data, penyuntikan prompt, dan penggunaan AI yang tidak etis dengan menerapkan kebijakan, filter yang sadar konteks, dan pengaman model khusus. Pada intinya, sementara tembok api tradisional melindungi jaringan Anda, tembok api AI melindungi model AI dan outputnya.

Apakah ada standar industri saat ini atau protokol yang muncul yang mengatur penggunaan tembok api AI khusus atau pengaman?
Protokol komunikasi model (MCP) bukanlah standar universal tetapi mendapatkan daya tarik di seluruh industri untuk membantu mengatasi beban konfigurasi yang meningkat pada perusahaan yang memiliki kebutuhan untuk mengelola keragaman solusi AI-GenAI. MCP mengatur bagaimana model AI bertukar informasi (termasuk pembelajaran) termasuk integritas dan verifikasi. Kita dapat memikirkan MCP sebagai tumpukan protokol kontrol transmisi (TCP)/protokol internet (IP) untuk model AI yang khususnya berguna dalam kasus terpusat, terfederasi, atau terdistribusi. MCP saat ini adalah kerangka konseptual yang diwujudkan melalui berbagai alat, penelitian, dan proyek.

Ruang ini bergerak dengan cepat dan kita dapat mengharapkan akan bergeser cukup banyak selama beberapa tahun ke depan.

Bagaimana AI mengubah bidang deteksi ancaman dan respons hari ini dibandingkan dengan lima tahun yang lalu?

Kita telah melihat platform operasi keamanan siber (SOC) modernisasi komersial hingga berbagai tingkat, menggunakan set data besar berkualitas tinggi bersama dengan model AI/ML maju untuk meningkatkan deteksi dan klasifikasi ancaman. Selain itu, mereka menggunakan otomatisasi, alur kerja, dan kemampuan perbaikan otomatis untuk mengurangi waktu dari deteksi ke mitigasi. Terakhir, beberapa telah memperkenalkan kemampuan copilot untuk lebih mendukung triase dan respons.

Tambahnya, agen sedang dikembangkan untuk memenuhi peran tertentu dalam SOC. Sebagai contoh praktis, kita telah membangun ‘Digital Analyst’ agen untuk diterapkan dalam penawaran layanan terkelola kita. Agen ini berfungsi sebagai analis tingkat satu, melakukan triase alert masuk, menambahkan konteks dari intel ancaman dan sumber lain, dan merekomendasikan langkah respons (berdasarkan sejarah kasus yang luas) untuk analis manusia kita yang kemudian meninjau, memodifikasi jika perlu, dan mengambil tindakan.

Bagaimana Anda melihat hubungan antara AI dan keamanan siber berkembang dalam 3-5 tahun ke depan—apakah AI akan lebih menjadi risiko atau solusi?
Ketika AI berkembang dalam 3-5 tahun ke depan, itu dapat membantu keamanan siber tetapi pada saat yang sama juga dapat memperkenalkan risiko. AI akan memperluas permukaan serangan dan menciptakan tantangan baru dari perspektif pertahanan. Selain itu, AI bermusuhan akan meningkatkan viabilitas, kecepatan, dan skala serangan yang akan menciptakan tantangan lebih lanjut. Di sisi lain, menggunakan AI dalam bisnis keamanan siber menyajikan peluang signifikan untuk meningkatkan efektivitas, efisiensi, fleksibilitas, dan kecepatan operasi keamanan siber di sebagian besar domain—pada akhirnya menciptakan skenario ‘lawan api dengan api’.

Terima kasih atas wawancara yang luar biasa, pembaca juga mungkin ingin mengunjungi Deloitte.