Pemimpin pemikiran

Gelombang Serangan Multimodal yang Akan Datang: Ketika Alat AI Menjadi Permukaan Eksploitasi Baru

Amanda Rousseau
Tambahkan Unite.AI ke sumber pilihan Anda di Google
Poin utamaAgen AI multimodal dapat menjalankan serangan nyata seperti eksfiltrasi data hanya…
Lihat selengkapnya
  • Agen AI multimodal dapat menjalankan serangan nyata seperti eksfiltrasi data hanya melalui perintah bahasa alami sederhana.
  • AI mendemokratisasi serangan siber dengan memungkinkan pengguna non-teknis mengatur kampanye kompleks tanpa keahlian pemrograman.
  • Integrasi yang longgar dan izin default berlebihan mengubah alat AI menjadi kerentanan keamanan baru yang signifikan.

Saat model bahasa besar (LLM) berkembang menjadi sistem multimodal yang dapat menangani teks, gambar, suara, dan kode, mereka juga menjadi pengatur alat dan konektor eksternal yang kuat. Dengan evolusi ini, permukaan serangan yang lebih luas muncul, dan organisasi perlu menyadari hal ini.

Contoh utama dari ini adalah rekayasa sosial, yang dapat menjerat agen sebagai korban karena mereka dilatih untuk bertindak seperti manusia dan memiliki skeptisisme yang lebih rendah. Sebagai contoh, agen tidak mungkin dapat membedakan antara email palsu dan email asli dari penjual.

Konvergensi multimodalitas dan akses alat mengubah AI dari asisten menjadi medium untuk serangan. Penyerang sekarang dapat menggunakan prompt teks sederhana untuk memicu penyalahgunaan alat, menjalankan tindakan tidak sah, atau mengekstrak data sensitif melalui saluran yang sah. Karena kemampuan ini dirancang untuk aksesibilitas, bukan pertahanan, bahkan penyerang dengan keterampilan rendah dapat menggunakan sistem AI untuk melakukan operasi kompleks tanpa menulis satu baris kode.

Bagaimana AI Multimodal Menjadi Rantai Eksploitasi

LLM semakin menjadi pengatur sistem eksternal, dengan integrasi saat ini termasuk semua mulai dari API hingga email, penyimpanan cloud, dan alat eksekusi kode. Penghubung ini sering dibangun untuk aksesibilitas, bukan pertahanan.

Kelemahan dari ini adalah bahwa hal ini dapat menyebabkan gelombang eksploitasi baru.

Salah satu contoh adalah penyalahgunaan alat yang dipicu oleh prompt. Sebagai contoh, penyerang dapat menggunakan gambar dengan instruksi injeksi prompt yang dimasukkan ke dalam email. Alat pengenalan karakter optik (OCR) diperlukan untuk mengekstrak teks dari gambar. Agen diinstruksikan untuk membalas email dan melampirkan peta Google ke alamat rumah target, sehingga menghilangkan anonimitas korban.

Mekanisme lain adalah penghindaran mekanisme pengaman lintas modalitas. Ini terkait dengan mekanisme pengaman yang berada di antara titik masuk dan keluar alat. Sebagai contoh, menganalisis output pengekstrak OCR, mungkin tidak ada mekanisme pengaman yang cukup kuat untuk mencegah injeksi prompt yang ditemukan dari outputnya.

Terdapat juga kelemahan struktural yang dapat dieksploitasi. Salah satu masalah adalah ikatan longgar dan terlalu permissif antara model dan alat eksternal yang dapat dipanggil—artinya prompt bahasa alami sederhana dapat memicu tindakan nyata seperti menjalankan kode, mengakses file, atau berinteraksi dengan email. Di atas itu, banyak sistem ini kekurangan kontrol akses yang ketat, sehingga AI mungkin memiliki kemampuan untuk menulis, menghapus, atau memodifikasi data jauh melampaui apa yang manusia izinkan. Masalah ini menjadi semakin serius ketika Anda melihat penghubung dan ekstensi gaya MCP, yang sering datang dengan hampir tanpa mekanisme pengaman; setelah dipasang, mereka memperluas jangkauan AI ke penyimpanan pribadi, kotak masuk, dan platform cloud dengan pengawasan yang sangat sedikit. Bersama-sama, kelemahan struktural ini menciptakan lingkungan di mana masalah keamanan klasik—ekstraksi, pelarian sandbox, dan bahkan keracunan memori—dapat dipicu dengan tidak lebih dari prompt yang cerdas.

Ancaman yang Muncul: Apa yang Datang Selanjutnya?

Dalam keadaan normal baru ini, serangan email dan rekayasa sosial yang ditenagai AI sudah dekat. Phishing volume akan meningkat karena penggunaan LLM oleh penyerang; titik leher botol adalah melewati filter spam normal dari penyedia email seperti Google. Agen yang terhubung ke kotak masuk meningkatkan kemungkinan serangan phishing berhasil. Kemungkinan besar akan ada peningkatan ancaman berbasis email karena pengguna menghubungkan agen ke Gmail atau Outlook.

Penyerang dapat mengarahkan AI untuk menjalankan kampanye spam atau phishing tertarget secara keseluruhan. Dalam skenario ini,

Phishing AI-ke-AI menjadi masuk akal.

Sistem multimodal semakin menawarkan kemampuan eksekusi kode. Jalur pelarian memungkinkan penyerang untuk melanggar infrastruktur dasar. Dan pelarian sandbox mewakili mimpi buruk reputasi terbesar untuk vendor.

Peracunan memori jangka panjang dan pemicu tertunda mewakili ancaman lebih lanjut. Memori yang persisten memungkinkan payload tersembunyi untuk diaktifkan pada prompt masa depan. Pemicu multimodal (misalnya, gambar atau potongan teks) bisa memicu perilaku bom waktu.

Mengapa Serangan Multimodal Begitu Mudah Diakses dan Berbahaya

AI telah mendemokratisasi kemampuan serangan. Pengguna tidak lagi memerlukan keterampilan pengkodean atau pengembangan malware; bahasa alami menjadi antarmuka untuk pembuatan malware atau ekstraksi data. Ini berarti bahwa bahkan individu non-teknis dapat menghasilkan malware atau menjalankan kampanye melalui prompt.

AI juga memungkinkan percepatan dan skala operasi berbahaya. Agen multimodal dapat mengotomatisasi pekerjaan yang sebelumnya memerlukan upaya ahli. Kode, email, penelitian, dan pengintaian dapat dihasilkan secara instan.

Kepercayaan pengguna yang berlebihan dan paparan tidak disengaja menyumbang pada potensi bahaya AI. Pengguna sering tidak memahami apa yang dapat diakses AI, dan pengaturan default semakin banyak mengaktifkan integrasi AI. Banyak orang tidak menyadari bahwa mereka telah memberikan AI akses berlebihan ke email atau dokumen.

Prinsip dan Kontrol untuk Keamanan Multimodal

Organisasi harus menerapkan langkah-langkah keamanan terhadap serangan multimodal. Tim keamanan harus membatasi akses alat secara default. Kontrol opt-in harus menggantikan integrasi yang diaktifkan secara otomatis. Mereka juga harus menerapkan akses dengan privileg yang terbatas untuk semua sistem yang terhubung dengan AI dan menghapus akses tulis/hapus. Ini harus termasuk aturan lintas asal dan daftar putih domain (whitelisting infrastruktur dan bukan whitelisting tingkat LLM).

Langkah penting lainnya adalah membangun mekanisme pengaman yang jelas untuk pemanggilan alat. Gantikan prompt bahasa alami dengan validasi perintah yang terstruktur dan bertipe. Mekanisme pengaman harus menjadi titik pemeriksaan untuk input dan output.

Prinsip dan kontrol penting lainnya termasuk:

  • Menerapkan alur kerja persetujuan yang kuat untuk operasi sensitif.
  • Menghindari meletakkan data pengguna di memori model yang persisten. Terapkan sanitasi memori otomatis dan pemeriksaan provenance.
  • Memperkuat keamanan dan mengisolasi lingkungan eksekusi kode.
  • Mengawasi perilaku mencurigakan dan upaya pelarian.
  • Menguatkan pendidikan pengguna dan transparansi.
  • Menambahkan konfirmasi pengguna lebih banyak ketika agen melakukan tugas berisiko.
  • Membuatnya jelas ketika alat AI mengakses email, file, atau sumber daya cloud.
  • Memperingatkan pengguna tentang penghubung berisiko tinggi.

Meraih Kesuksesan Melawan Serangan Multimodal

Teknologi AI telah dengan cepat berubah menjadi agen operasi bisnis, menciptakan situasi di mana bahasa alami itu sendiri menjadi bentuk eksploitasi. Konvergensi multimodalitas dan akses alat membuka permukaan serangan, mengubah AI dari asisten menjadi medium untuk serangan. Serangan multimodal memanfaatkan integrasi longgar antara LLM dan sistem eksternal yang dikendalikannya, seperti API, penyimpanan file, dan platform otomatisasi.

Seiring dengan evolusi ancaman, organisasi harus mengadopsi strategi yang secara eksplisit memperhitungkan jalur serangan multimodal. Menguatkan pertahanan dengan menggunakan praktik terbaik di atas sangat penting untuk mencegah alat AI secara tidak sengaja menjadi bagian dari rantai eksploitasi penyerang.

Amanda Rousseau adalah Peneliti Keamanan AI Utama di Straiker dan seorang insinyur berpengalaman dalam rekayasa balik malware yang sebelumnya menjabat di Tim Merah Facebook dan tim Offensive Research & Security Engineering (MORSE) Microsoft, setelah sebelumnya menjabat di Endgame, FireEye, dan Pusat Kejahatan Siber Departemen Pertahanan AS.