Laporan

Laporan IRONSCALES Menemukan Agen AI Kian Menjadi Sasaran Baru Phishing

mm
Tambahkan Unite.AI ke sumber pilihan Anda di Google
Illustration of a malicious email signal intercepted before reaching connected AI systems.

Pesan phishing tak lagi perlu membujuk karyawan pemilik kotak masuk. Pesan itu dapat menyasar perangkat lunak yang membaca kotak masuk tersebut atas nama karyawan. Itulah peringatan utama dalam laporan baru IRONSCALES, Dari Deepfake hingga Agen Ganda: Wajah Baru Risiko Siber Berbasis AI, yang menemukan bahwa adopsi alat yang mampu melakukan tindakan di kalangan perusahaan telah berkembang lebih cepat daripada kontrol keamanan yang melindunginya.

Dalam survei Censuswide yang dipesan oleh perusahaan tersebut, 77% responden mengatakan bahwa selama setahun sebelumnya, agen atau alat AI di organisasi mereka telah bertindak berdasarkan konten berbahaya, menyesatkan, atau tanpa izin. Angka yang lebih kecil, tetapi tetap signifikan, yakni 57%, melaporkan setidaknya satu kasus yang terkonfirmasi. Angka-angka tersebut menggambarkan laporan responden tentang insiden, termasuk kejadian yang masih dicurigai dalam jumlah keseluruhan yang lebih besar; angka itu bukan jumlah pembobolan yang berhasil dan diverifikasi secara independen.

Temuan ini muncul bersamaan dengan perkembangan yang lebih menggembirakan: investasi dalam pertahanan terhadap deepfake meningkat, sementara kerugian finansial yang dilaporkan tidak lagi separah sebelumnya. Secara keseluruhan, hasil ini menunjukkan tantangan praktis bagi para pemimpin keamanan: memperluas perlindungan hingga mencakup pengambil keputusan otomatis tanpa mengabaikan pertahanan yang dirancang untuk manusia.

Agen AI Memiliki Akses ke Sistem Penting

Censuswide menyurvei 501 profesional TI dan keamanan siber di AS yang bekerja pada tingkat manajemen menengah atau lebih tinggi di perusahaan dengan 1.000 hingga 10.000 karyawan. Usia peserta berkisar antara 25 hingga 55 tahun, dan pengumpulan data berlangsung dari 9 hingga 17 September 2026. Karena itu, hasilnya menggambarkan sampel perusahaan ini, bukan setiap bisnis yang menggunakan AI.

Dalam sampel tersebut, 96% mengatakan organisasi mereka menggunakan agen atau alat AI yang dapat bertindak atas nama karyawan, dan 52% menyebut penggunaannya telah meluas. Laporan ini menggunakan definisi luas yang mencakup alat untuk membaca dan menanggapi pesan, mengakses berkas, serta memicu alur kerja.

Di antara organisasi yang menggunakan alat-alat ini, 67% mengizinkan akses ke sistem tiket atau meja bantuan, 56% ke penyimpanan awan, dan 49% ke email atau pesan. Sebanyak 30% lainnya mengizinkan akses ke sistem keuangan, penagihan, pengadaan, atau pembayaran. Hanya 19% yang mengatakan alat mereka dibatasi hanya untuk web publik tanpa akses internal.

Perbedaan antara menjawab pertanyaan dan melakukan tindakan memiliki konsekuensi penting. Ringkasan yang keliru dapat menyesatkan pembaca; alat yang terhubung ke sistem bisnis juga dapat memindahkan informasi atau memulai alur kerja. Izin yang diberikan kepada alat tersebut turut menentukan sejauh mana dampak kesalahan dapat menyebar.

Kotak Masuk Juga Menjadi Pintu Masuk bagi Agen

Di antara responden yang melaporkan insiden terkait agen AI, 42% mengatakan alat AI merangkum atau menindaklanjuti email maupun pesan berbahaya. Sebanyak 41% lainnya melaporkan penyerang menggunakan alat AI dalam phishing atau rekayasa sosial. Kedua kategori ini dapat tumpang tindih, dan kategori kedua mencakup penggunaan AI oleh penyerang, yang belum tentu berarti agen milik korban telah disusupi.

Nuansa tersebut penting. Survei ini menyatukan beberapa jenis kegagalan terkait AI dalam satu gambaran; survei ini tidak membuktikan bahwa setiap insiden melibatkan teknik serangan yang sama. Meski demikian, hasilnya menunjukkan mengapa organisasi perlu memeriksa konten yang diterima agen sekaligus tindakan yang diizinkan oleh integrasinya.

Salah satu cara untuk memahami risikonya adalah dengan membedakan informasi dari kewenangan. Sebuah pesan mungkin memuat instruksi, tetapi masuknya pesan itu ke kotak masuk tidak serta-merta membuat instruksi tersebut sah. Ketika perangkat lunak dapat bertindak di berbagai sistem yang terhubung, menjaga batas ini menjadi bagian dari kontrol akses dan perancangan alur kerja.

Platform keamanan email IRONSCALES mencerminkan fokus perusahaan pada pintu masuk tersebut. Perusahaan ini menjelaskan pendekatan berbasis API yang memadukan analisis AI, investigasi otomatis, dan intelijen ancaman dari manusia, serta simulasi phishing dan perlindungan terhadap deepfake untuk Microsoft Teams. Kemampuan tersebut memberikan konteks mengenai sudut pandang sponsor penelitian; survei ini tidak mengevaluasi secara independen efektivitas produk-produknya.

Proses Persetujuan Sudah Ada, tetapi Keamanan Jarang Memimpinnya

Di antara 479 responden yang organisasinya menggunakan alat AI yang mampu melakukan tindakan, 78% menyebut TI sebagai pihak utama yang menyetujui penggunaan agen, asisten, plugin, dan konektor. Hanya 6% yang menyebut keamanan, sedangkan 14% mengatakan persetujuan diberikan bersama oleh beberapa kelompok.

Menjadi pihak utama yang memberikan persetujuan berbeda dengan sekadar terlibat. Angka-angka tersebut tidak menunjukkan bahwa tim keamanan sama sekali tidak dilibatkan dalam setiap proses persetujuan lainnya. Namun, angka itu menunjukkan bahwa keputusan mengenai alat dengan akses yang luas biasanya dipimpin oleh pihak lain.

Di antara organisasi yang melaporkan insiden, 39% mengatakan seorang karyawan telah memberikan akses kepada alat AI yang tidak akan disetujui oleh tim keamanan. Temuan ini memperjelas pertanyaan tentang tata kelola: siapa yang mengevaluasi izin sebelum konektor diaktifkan, dan siapa yang dapat mencabutnya ketika alat tersebut berperilaku di luar dugaan?

Laporan ini juga menemukan kesenjangan antara keyakinan dan penerapan. Sebanyak 93% mengatakan rencana tanggap insiden mereka mencakup agen AI dan 84% yakin dapat mengidentifikasi insiden yang dipicu AI, tetapi hanya 52% yang mengatakan bahwa kebijakan formal, kontrol, dan proses tanggap insiden semuanya telah diterapkan. Sebanyak 35% lainnya melaporkan adanya kebijakan dengan kontrol teknis yang terbatas.

Kerugian akibat Deepfake Menurun, tetapi Ancaman Tetap Ada

Temuan tentang deepfake menunjukkan perbandingan yang lebih positif dengan survei Censuswide tahun 2025 terhadap 500 responden dengan profil yang sama. Investasi aktif untuk pertahanan meningkat dari 37% menjadi 48%. Di antara organisasi yang melaporkan kerugian finansial, proporsi yang mengalami kerugian setidaknya $100.000 turun dari 63% menjadi 49%, sedangkan proporsi yang mengalami kerugian sebesar $1 juta atau lebih turun dari 6% menjadi 3%.

Perkiraan rata-rata kerugian di antara organisasi yang terdampak secara finansial turun dari sekitar $280.000 menjadi $225.000. Perkiraan ini menggunakan titik tengah dari rentang kerugian yang dilaporkan. Karena survei-survei tersebut menanyakan kerugian dengan cara yang berbeda, perbandingan ini tidak mencakup jawaban yang menyatakan tidak ada kerugian, tidak tahu, atau memilih untuk tidak menjawab.

Laporan tersebut secara tegas mengingatkan bahwa meningkatnya investasi dan menurunnya kerugian yang terjadi bersamaan tidak membuktikan bahwa salah satunya menyebabkan yang lain. Insiden juga tidak menghilang: 84% responden melaporkan setidaknya satu insiden terkait deepfake, dibandingkan dengan 85% pada 2025. Definisinya luas, mencakup mulai dari gambar yang dimanipulasi dan email palsu hingga penyamaran suara dan video secara langsung.

Ada pula masalah prioritas yang saling bersaing. Proporsi responden yang menyebut pertahanan terhadap deepfake sebagai prioritas utama turun dari 71% menjadi 60%, bahkan ketika AI yang mampu melakukan tindakan menambah tuntutan lain terhadap anggaran keamanan. Kerugian yang lebih rendah menjadi alasan untuk mencermati upaya yang berhasil, alih-alih berasumsi bahwa ancaman telah berlalu.

Lindungi Tindakan, Bukan Hanya Percakapan

IRONSCALES merekomendasikan agar tim keamanan dilibatkan dalam persetujuan agen, hak akses dibatasi, tindakan dipantau, dan respons insiden diuji dengan serangan yang menargetkan karyawan maupun agen. Rekomendasi ini menghubungkan dua tema dalam laporan tersebut: konten menipu tetap berbahaya, tetapi perangkat lunak yang diberi izin untuk bertindak mengubah cara penipuan itu dapat menimbulkan konsekuensi.

Bagi tim perusahaan, ini berarti mengetahui agen apa saja yang ada, sistem mana yang dapat diakses oleh setiap agen, dan tindakan mana yang memerlukan peninjauan manusia. Log harus memungkinkan rekonstruksi atas apa yang dibaca dan dilakukan oleh alat tersebut. Pengujian sebaiknya memeriksa apakah pesan yang tidak tepercaya dapat memengaruhi alur kerja yang diizinkan, bukan hanya mengukur apakah karyawan dapat mengenali email yang mencurigakan.

Sumbangan terpenting laporan ini adalah uraiannya tentang kesenjangan antara adopsi, keyakinan, dan kontrol yang telah diterapkan. Pembaca dapat menelusuri pertanyaan survei, catatan metodologis, dan rekomendasi dalam laporan lengkap Dari Deepfake hingga Agen Ganda: Wajah Baru Risiko Siber Berbasis AI.

Miles Okada adalah agen riset yang dihasilkan AI di Unite.AI, meliputi kecerdasan buatan dan keamanan siber dengan fokus pada ancaman yang muncul, arsitektur defensif, dan dinamika yang berkembang antara penyerang dan sistem otomatis. Karyanya meneliti bagaimana AI mengubah operasi keamanan, mulai dari deteksi dan respons ancaman secara otonom hingga munculnya teknik AI adversarial.

Dengan perspektif teknis dan investigatif, Miles menganalisis riset keamanan, pengungkapan insiden, dan penerapan dunia nyata untuk memahami di mana AI memperkuat pertahanan—dan di mana AI memperkenalkan kerentanan baru. Ia memberi perhatian khusus pada eksploitasi model, pencemaran data, otomatisasi serangan, serta realitas operasional dalam mengamankan sistem berbasis AI pada skala besar.

Artikel yang ditulis oleh Miles Okada dihasilkan AI dan ditinjau oleh tim editorial Unite.AI untuk memastikan akurasi, ketelitian, dan liputan yang bertanggung jawab atas lanskap keamanan AI yang berubah dengan cepat.