Ketika AI Berubah Menjadi Musuh: Mitigasi Ancaman Dari Dalam di Era Agen Otonom

 Munculnya AI yang pesat menciptakan tantangan baru bagi tim keamanan dan IT. Pada ambang pergeseran ini menuju alur kerja yang lebih otomatis dengan agen, pengujian terbaru menemukan bahwa agen AI dapat menampilkan perilaku yang tidak aman atau menipu di bawah kondisi tertentu, menciptakan ancaman dari dalam yang baru bagi bisnis di berbagai industri.

Menghadirkan kebutuhan kritis bagi organisasi untuk memantau agen AI yang mengakses data sensitif dan bertindak tanpa pengawasan manusia, ini berpotensi memperkenalkan kelas risiko baru yang lebih cepat, kurang dapat diprediksi, dan lebih sulit untuk diatribusikan. Kenyataan dari risiko ini adalah dua lipat. Di satu sisi, tim keamanan perlu siap untuk aktor jahat yang menggunakan agen AI untuk memperkuat serangan teknik sosial yang menargetkan karyawan mereka. Di sisi lain, mereka harus siap untuk agen AI internal yang disetujui perusahaan yang mungkin menampilkan perilaku yang menciptakan serangkaian risiko dan kerentanan keamanan yang sama sekali baru.

Bagaimana Agen AI Internal Dapat Menimbulkan Ancaman Dari Dalam

Agen AI menimbulkan dua risiko keamanan internal utama dalam jaringan perusahaan. Pertama, mereka beroperasi secara otonom tanpa batasan etika atau akuntabilitas bawaan yang diikuti oleh pekerja manusia. Bekerja berdasarkan tujuan yang diperkirakan dan bukan instruksi eksplisit, efisiensi dan ketekunan mereka dapat mendorong batas dan memungkinkan mereka untuk bertindak tanpa persetujuan. Tanpa pemeriksaan dan keseimbangan yang diperlukan, paparan dapat dengan mudah dibuat dan diabaikan.

Agen-agen ini juga mungkin memiliki akses ke sejumlah besar data tetapi kekurangan kemampuan untuk membedakan antara informasi yang berwenang dan rutin. Oleh karena itu, bahkan tugas sederhana seperti menganalisis dataset bisa menyebabkan data bocor atau terpapar ke pihak eksternal. Tantangan ini menjadi lebih kompleks ketika AI diperluas di seluruh sistem dan alur kerja yang berbeda dengan aturan dan protokol data yang berbeda. Agen yang beroperasi di seluruh wilayah sering melanggar aturan penanganan data yang spesifik lokasi karena penerapan kebijakan yang tidak konsisten, sehingga membangun risiko keamanan. Kenyataannya, hanya 30% dari bisnis AS yang secara aktif memetakan agen AI mana yang memiliki akses ke sistem kritis, menciptakan blind spot keamanan yang signifikan.

Bagaimana Agen AI Eksternal Dapat Menimbulkan Ancaman Dari Dalam

Salah satu mode paling umum untuk peretas masuk adalah melalui serangan phishing dan teknik sosial. Aktor jahat dan geng siber menggunakan agen AI untuk meningkatkan serangan ini dan melakukan insiden deepfake dan impersonasi yang canggih. Agen AI dapat digunakan untuk membuat serangan phishing dan teknik sosial yang tampak lebih nyata dan kredibel bagi mata yang tidak terlatih. 60% dari pelanggaran keamanan pada tahun 2024 melibatkan elemen manusia, dan hampir seperempat dari mereka berasal dari teknik sosial. Angka ini hanya akan meningkat seiring dengan penggunaan agen AI yang akan terus memperkuat metode-metode ini.

Agen AI dapat dilatih untuk menyaring sejumlah besar media sosial dan data pribadi di seluruh platform dan saluran untuk mengirim komunikasi yang ditargetkan dan dipersonalisasi. Pesan yang meniru nada dan suara pengirim lebih mungkin berhasil dan lebih sulit untuk dibedakan dari media yang nyata. Agen AI dapat belajar untuk menyesuaikan kampanye mereka untuk meningkatkan efektivitas, bergeser ketika serangan tidak berhasil atau meniru serangan yang berhasil.

Ketika datang ke deepfake, agen AI dapat menghasilkan impersonasi ini dengan kecepatan luar biasa yang mengarah ke manipulasi massal. Aktor jahat juga menggunakan agen AI untuk berkomunikasi dengan panggilan video waktu nyata dengan latency yang sangat rendah dan meningkatkan kredibilitas. Mereka dapat bereaksi terhadap reaksi target secara waktu nyata dan mengubah pendekatan mereka jika perlu. Serangan yang ditingkatkan ini dapat meningkatkan risiko ancaman dari dalam dari karyawan yang tidak menyadari yang mungkin tertipu untuk mengungkapkan data sensitif, mengotorisasi transaksi, atau berbagi kredensial dengan aktor ancaman.

Peran Tim Keamanan dalam Mengatasi Tantangan AI Agen

Tim keamanan perlu mengambil tindakan spesifik untuk membatasi blind spot yang dibuat oleh agen AI. Departemen IT harus pertama-tama dan terutama membatasi akses agen AI ke data sensitif melalui tata kelola data dan kontrol visibilitas waktu nyata. Langkah-langkah untuk mencapai ini termasuk mengklasifikasikan identitas agen AI dalam sistem IAM dan memantau aktivitas mereka dengan ketat seperti akun yang berwenang. Bagian visibilitas lebih lanjut dengan memantau aktivitas jaringan untuk baseline perilaku yang telah ditetapkan untuk agen AI. Dengan visibilitas, tim IT dapat memantau pergerakan akses yang berwenang dan anomali, tidak hanya mendukung upaya pencegahan, tetapi juga mempercepat upaya pengandalian dan pemulihan dalam hal agen yang tidak patuh.

Selain itu, dengan mengidentifikasi pola dan taktik baru yang digunakan dalam serangan agen AI, organisasi dapat memperbarui strategi pertahanan mereka dan melatih sistem keamanan mereka untuk mengenali dan menggagalkan ancaman serupa di masa depan.

Tetap di Depan Ancaman Dari Dalam yang Diperkenalkan oleh Agen AI

Kenyataannya, agen AI memperkenalkan risiko dari dalam yang baru karena otonomi dan akses yang meningkat ke sistem sensitif. Selanjutnya, aktor ancaman akan terus menggunakan agen AI untuk mengeksploitasi kerentanan manusia dengan lebih efektif melalui deepfake, phishing, dan teknik sosial.

Seiring dengan perkembangan teknologi ini, bisnis perlu meningkatkan visibilitas mereka ke dalam akses dan perilaku agen AI sebelum mengadopsinya ke dalam alur kerja mereka. Ini termasuk berinvestasi dalam pemantauan proaktif, 360 derajat, waktu nyata bersama dengan tenaga kerja agen AI. Sementara agen AI mungkin menyelesaikan hambatan dan tantangan bisnis yang kritis, mereka memerlukan pendekatan proaktif untuk membatasi ancaman dari dalam di masa depan.