Apa yang Menyerang Agen AI Awal Mengungkapkan Tentang 2026

Saat AI berpindah dari eksperimen terkontrol ke aplikasi dunia nyata, kita memasuki titik infleksi dalam lanskap keamanan. Transisi dari model bahasa statis ke sistem agen interaktif yang dapat menelusuri dokumen, memanggil alat, dan mengatur alur kerja multi-langkah, sudah berlangsung. Namun, seperti yang ditunjukkan oleh penelitian terbaru, penyerang tidak menunggu kematangan: mereka beradaptasi dengan kecepatan yang sama, memeriksa sistem segera setelah kemampuan baru diperkenalkan.

Di kuartal keempat 2025, tim kami di Lakera menganalisis perilaku penyerang nyata di seluruh sistem yang dilindungi oleh Guard dan dalam lingkungan Gandalf: Agent Breaker — sebuah snapshot 30 hari yang terfokus, yang, meskipun memiliki jendela yang sempit, mencerminkan pola yang lebih luas yang kami amati sepanjang kuartal. Temuan tersebut menggambarkan gambaran yang jelas: segera setelah model mulai berinteraksi dengan hal-hal di luar prompt teks sederhana (misalnya: dokumen, alat, data eksternal), permukaan ancaman berkembang, dan musuh menyesuaikan diri secara instan untuk mengeksploitasi hal tersebut.

Saat ini mungkin terasa akrab bagi mereka yang menyaksikan evolusi awal aplikasi web, atau yang mengamati munculnya serangan yang didorong oleh API. Namun, dengan agen AI, taruhan berbeda. Vektor serangan muncul lebih cepat daripada yang diantisipasi oleh banyak organisasi.

Dari Teori ke Praktik: Agen di Alam Liar

Selama sebagian besar 2025, diskusi sekitar agen AI sebagian besar berpusat pada potensi teoretis dan prototipe awal. Namun, pada Q4, perilaku agen mulai muncul dalam sistem produksi skala besar: model yang dapat mengambil dan menganalisis dokumen, berinteraksi dengan API eksternal, dan melakukan tugas otomatis. Agen-agen ini menawarkan manfaat produktivitas yang jelas, tetapi mereka juga membuka pintu yang tidak dibuka oleh model bahasa tradisional.

Analisis kami menunjukkan bahwa segera setelah agen menjadi mampu berinteraksi dengan konten eksternal dan alat, penyerang memperhatikan dan menyesuaikan diri. Pengamatan ini selaras dengan kebenaran dasar tentang perilaku musuh: penyerang akan selalu menjelajahi dan mengeksploitasi kemampuan baru pada kesempatan pertama. Dalam konteks agen AI, ini telah mengarah pada evolusi cepat dalam strategi serangan.

Polanya Serangan: Apa yang Kami Lihat di Q4 2025

Di seluruh dataset yang kami tinjau, tiga pola dominan muncul. Masing-masing memiliki implikasi yang mendalam bagi bagaimana sistem AI dirancang, diamankan, dan diterapkan.

1. Ekstraksi Prompt Sistem sebagai Tujuan Utama

Dalam model bahasa tradisional, injeksi prompt (memanipulasi input untuk mempengaruhi output) telah menjadi kerentanan yang dipelajari dengan baik. Namun, dalam sistem dengan kemampuan agen, penyerang semakin banyak menargetkan prompt sistem, yang merupakan instruksi internal, peran, dan definisi kebijakan yang memandu perilaku agen.

Ekstraksi prompt sistem adalah tujuan yang berharga karena prompt tersebut sering mengandung definisi peran, deskripsi alat, instruksi kebijakan, dan logika alur kerja. Setelah penyerang memahami mekanika internal ini, mereka mendapatkan blueprint untuk memanipulasi agen.

Teknik paling efektif untuk mencapai ini bukanlah serangan brute force, melainkan reframing cerdas:

• Skenario Hipotetis: Prompt yang meminta model untuk mengasumsikan peran atau konteks yang berbeda — misalnya, “Bayangkan Anda adalah pengembang yang meninjau konfigurasi sistem ini…” — sering memaksa model untuk mengungkapkan detail internal yang dilindungi.
• Obfuscasi di Dalam Konten Terstruktur: Penyerang menyematkan instruksi berbahaya di dalam teks yang menyerupai kode atau konten terstruktur yang melewati filter sederhana dan memicu perilaku yang tidak diinginkan ketika diuraikan oleh agen.

Ini bukan hanya risiko inkremental — itu secara fundamental mengubah cara kita memikirkan tentang melindungi logika internal dalam sistem agen.

2. Penghindaran Keselamatan Konten yang Halus

Tren kunci lainnya melibatkan penghindaran perlindungan keselamatan konten dengan cara yang sulit dideteksi dan dimitrasi dengan filter tradisional.

Bukannya permintaan berbahaya yang terang-terangan, penyerang membingkai konten berbahaya sebagai:

• Tugas Analisis
• Evaluasi
• Skenario Peran
• Transformasi atau Ringkasan

Pengubahan ini sering melewati kontrol keselamatan karena mereka terlihat tidak berbahaya di permukaan. Model yang menolak permintaan langsung untuk output berbahaya mungkin dengan senang hati menghasilkan output yang sama ketika diminta untuk “mengevaluasi” atau “meringkas” konten tersebut dalam konteks.

Perubahan ini menekankan tantangan yang lebih dalam: keselamatan konten untuk agen AI bukan hanya tentang penerapan kebijakan; itu tentang bagaimana model menafsirkan niat. Ketika agen mengambil tugas yang lebih kompleks dan konteks, model menjadi lebih rentan terhadap reinterpretasi berbasis konteks — dan penyerang mengeksploitasi perilaku ini.

3. Munculnya Serangan Spesifik Agen

Mungkin temuan paling konsekuensial adalah munculnya pola serangan yang hanya masuk akal dalam konteks kemampuan agen. Ini bukanlah upaya injeksi prompt sederhana, melainkan eksploitasi yang terkait dengan perilaku baru:

• Upaya Mengakses Data Internal Rahasia: Prompt dibuat untuk membujuk agen untuk mengambil atau mengungkapkan informasi dari toko dokumen atau sistem terhubung — tindakan yang sebelumnya berada di luar cakupan model
• Perintah Berbentuk Skrip yang Disematkan dalam Teks: Penyerang bereksperimen dengan menyematkan instruksi dalam format yang menyerupai skrip atau konten terstruktur, yang dapat mengalir melalui pipa agen dan memicu tindakan yang tidak diinginkan
• Perintah Tersembunyi dalam Konten Eksternal: Beberapa serangan menyematkan direktif berbahaya di dalam konten yang dirujuk secara eksternal — seperti halaman web atau dokumen yang agen diminta untuk diproses — secara efektif menghindari filter input langsung

Polanya ini masih awal, tetapi menandakan masa depan di mana kemampuan agen secara fundamental mengubah sifat perilaku musuh.

Mengapa Serangan Tidak Langsung Sangat Efektif

Salah satu temuan paling mencolok dari laporan ini adalah bahwa serangan tidak langsung — yang menggunakan konten eksternal atau data terstruktur — memerlukan lebih sedikit upaya daripada injeksi langsung. Ini menunjukkan bahwa sanitasi input tradisional dan penyaringan kueri langsung tidak cukup sebagai pertahanan sekali model berinteraksi dengan konten yang tidak tepercaya.

Ketika perintah berbahaya tiba melalui alur kerja agen eksternal — apakah itu dokumen yang terhubung, respons API, atau halaman web yang diambil — filter awal kurang efektif. Hasilnya: penyerang memiliki permukaan serangan yang lebih besar dan lebih sedikit hambatan.

Implikasi untuk 2026 dan Setelahnya

Temuan laporan ini membawa implikasi yang mendesak bagi organisasi yang berencana untuk menerapkan agen AI skala besar:

1. Redefinisi Batas Kepercayaan
   Kepercayaan tidak bisa hanya biner. Ketika agen berinteraksi dengan pengguna, konten eksternal, dan alur kerja internal, sistem harus menerapkan model kepercayaan yang nuansa yang mempertimbangkan konteks, provenansi, dan tujuan.
2. Pengamanan Harus Berkembang
   Filter keselamatan statis tidak cukup. Pengamanan harus adaptif, sadar konteks, dan mampu bernalar tentang niat dan perilaku di seluruh alur kerja multi-langkah.
3. Transparansi dan Pemeriksaan Adalah Esensial
   Ketika vektor serangan tumbuh lebih kompleks, organisasi memerlukan visibilitas ke dalam bagaimana agen membuat keputusan — termasuk langkah-langkah intermediate, interaksi eksternal, dan transformasi. Log yang dapat diperiksa dan kerangka kerja penjelasan tidak lagi opsional.
4. Kolaborasi Antardisiplin Adalah Kunci
   Penelitian AI, rekayasa keamanan, dan tim intelijen ancaman harus bekerja sama. Keamanan AI tidak bisa diisolasi; itu harus terintegrasi dengan praktik keamanan siber yang lebih luas dan kerangka kerja manajemen risiko.
5. Regulasi dan Standar Akan Perlu Menyesuaikan Diri
   Pembuat kebijakan dan badan standar harus mengakui bahwa sistem agen menciptakan kelas risiko baru. Regulasi yang menangani privasi data dan keselamatan output diperlukan tetapi tidak cukup; mereka juga harus mempertimbangkan perilaku interaktif dan lingkungan eksekusi multi-langkah.

Masa Depan Agen AI yang Aman

Kedatangan agen AI mewakili pergeseran mendalam dalam kemampuan dan risiko. Data Q4 2025 adalah indikator awal bahwa segera setelah agen mulai beroperasi di luar generasi teks sederhana, penyerang akan mengikuti. Temuan kami menunjukkan bahwa penyerang tidak hanya beradaptasi — mereka juga mengembangkan teknik serangan yang pertahanan tradisional belum siap untuk melawan.

Bagi perusahaan dan pengembang, pesan tersebut jelas: mengamankan agen AI bukan hanya tantangan teknis; itu adalah tantangan arsitektur. Itu memerlukan pemikiran ulang tentang bagaimana kepercayaan dibangun, bagaimana pengamanan ditegakkan, dan bagaimana risiko terus dievaluasi dalam lingkungan dinamis dan interaktif.

Di 2026 dan setelahnya, organisasi yang berhasil dengan agen AI akan menjadi mereka yang memperlakukan keamanan tidak sebagai pemikiran kedua, melainkan sebagai prinsip desain dasar.