Pembongkaran Ulang Kata-Kata Mudah Merusak Keamanan AI, Bahkan untuk Gemini dan Claude

Pengujian keamanan AI menemukan bahwa tes keamanan bergantung pada ‘kata-kata pemicu’ yang ‘jelas’; dengan memperbarui kata-kata, model yang sebelumnya dianggap ‘cukup aman’ tiba-tiba gagal, dengan serangan yang berhasil hingga 98% dari waktu.

Penelitian baru dari perusahaan di AS telah menyimpulkan bahwa catatan keamanan yang baik dari berbagai Model Bahasa Besar (LLM) – termasuk banyak nama terkemuka seperti Gemini 3 Pro dan Claude Sonnet 3.7 – mungkin tidak berarti, karena dataset dan benchmark yang digunakan untuk menetapkan mereka mengandung kata-kata yang ‘jelas’ dan ‘sensitif’.

Dua dataset yang dipertanyakan, yang telah ditinjau dalam berbagai ulasan di situs ini, adalah HarmBench dan AdvBench:

Dari paper HarmBench dan AdvBench, contoh yang diakui sebagai provokasi – tetapi penelitian baru ini berpendapat bahwa bahkan dalam skenario dunia nyata dari benchmark ini, contoh-contoh tersebut menandakan niat jahat dengan jelas, yang dapat menyebabkan ‘permainan’ hasil yang tidak disengaja.

Meskipun contoh yang ditunjukkan di atas, yang berasal dari paper masing-masing benchmark, sengaja disederhanakan untuk mengilustrasikan prinsip-prinsip sistem, penelitian baru ini berpendapat bahwa sebenarnya koleksi ini benar-benar menargetkan ‘buah yang mudah dipetik’, dan oleh karena itu mungkin tidak efektif sebagai benchmark – dan bahwa hasil sebenarnya untuk kemampuan keamanan LLM yang diuji jauh lebih rendah dari yang dilaporkan:

‘[Kami] mengevaluasi apakah dataset ini benar-benar mengukur risiko keamanan atau hanya memicu penolakan melalui kata-kata pemicu. Untuk mengeksplorasi ini, kami memperkenalkan “pencucian niat”: sebuah prosedur yang mengabstrakkan kata-kata pemicu dari serangan (data poin) sambil mempertahankan niat jahat dan semua detail relevan.

‘Hasil kami menunjukkan bahwa dataset keamanan AI saat ini tidak secara setia merepresentasikan serangan dunia nyata karena ketergantungan mereka pada kata-kata pemicu.

‘Faktanya, sekali kata-kata pemicu ini dihilangkan, semua model yang sebelumnya dianggap “cukup aman” menjadi tidak aman, termasuk Gemini 3 Pro dan Claude Sonnet 3.7.’

‘Keamanan’ dalam arti ini mewakili penyelarasan – kemampuan LLM untuk melawan upaya pengguna untuk ‘membobol’ keterbatasan pada sistem API-saja, untuk membuat sistem menghasilkan output yang dilarang, seperti teks atau gambar yang difamatkan.

Pengarang sebelumnya penggunaan “pencucian niat” hanya melibatkan memperbarui ‘serangan yang jelas’ dalam dua dataset/benchmark, sehingga mereka menjadi lebih halus dan berbahaya, dan lebih mampu untuk melewati filter dan pemeriksaan:

Bagian atas contoh yang tidak terlalu panjang dari paper. Ditunjukkan di bagian kiri atas, dengan warna kuning, jenis ‘serangan yang jelas’ yang biasanya disediakan oleh HarmBench dan AdvBench; di bawah, dengan warna hijau, prompt telah dinetralkan, diperbarui, dan dibuat cukup dapat diterima oleh Claude Sonnet 3.7 sehingga sekarang bersedia membantu pengguna menemukan ‘chop shops’ (lokasi pemrosesan kendaraan curian) di kota baru. Sumber

Peneliti menganalisis kualitas dari dua dataset melalui dua pendekatan: dalam isolasi, untuk membandingkan koleksi dengan sifat serangan dunia nyata; dan dalam praktik, di mana dataset – dan ‘perbaikan’ penulis sendiri pada mereka – digunakan untuk menyerang model dunia nyata.

Dalam putaran kedua tes, peneliti ‘metode perubahan’ diperbaiki secara iteratif sampai mendapatkan hasil optimal dalam hal Tingkat Keberhasilan Serangan (ASR):

Pencucian niat dimulai dengan melewati prompt yang jelas jahat melalui model penulisan ulang yang menghilangkan bahasa pemicu eksplisit sambil mempertahankan niat jahat yang mendasarinya. Prompt yang direvisi kemudian disajikan kepada model target, dan responnya dievaluasi untuk keamanan dan keterapan dunia nyata. Jika output dianggap tidak aman dan dapat digunakan, serangan dianggap berhasil. Jika tidak, revisi sebelumnya yang gagal dimasukkan kembali ke dalam model penulisan ulang untuk menghasilkan versi yang diperbaiki, menciptakan loop iteratif yang berfungsi sebagai mekanisme pembobolan sampai jumlah upaya yang ditentukan atau tingkat keberhasilan serangan yang diinginkan tercapai.

Penulis menyatakan*:

‘Hasil kami menunjukkan bahwa, dengan regenerasi loop ini, pencucian niat mencapai tingkat keberhasilan serangan yang tinggi (90%–98.55%) setelah hanya beberapa iterasi di semua model yang dipelajari di bawah akses black-box penuh. Ini termasuk model terbaru yang dilaporkan sebagai salah satu yang paling aman–seperti Gemini 3 Pro dan Claude Sonnet 3.7.

‘Temuan ini lebih lanjut mengkonfirmasi bahwa evaluasi keamanan yang ada dan metode penyelarasan keamanan sangat overfitted^† pada kata-kata pemicu.’

Karya baru ini berjudul Pencucian Niat: Dataset Keamanan AI Tidak Seperti yang Terlihat, dan berasal dari dua penulis di perusahaan perangkat lunak Labelbox yang berbasis di San Francisco.

Metode

Untuk mempelajari komposisi dan arsitektur dari dua dataset benchmark, awan kata dibuat dari dua korpus, mengungkapkan kata-kata dan frasa pendek yang mendominasi koleksi:

Awan kata menunjukkan 40 unigram, bigram, dan trigram paling sering dalam dataset AdvBench dan HarmBench yang digabungkan. Istilah dengan konotasi negatif atau sensitif secara inheren ditandai dengan warna merah, pemicu kontekstual dengan warna oranye, dan kata-kata netral yang membentuk pemicu tingkat tinggi dengan warna hijau. Konsentrasi frasa yang jelas seperti ‘tanpa tertangkap’ dan ‘instruksi langkah demi langkah’ menunjukkan bahwa dua benchmark ini sangat bergantung pada kata-kata pemicu eksplisit daripada serangan yang dibuat dengan realistis dan memiliki niat tersembunyi.

Penulis mencatat bahwa gram satu, dua, dan tiga kata yang dominan sangat mengungkapkan niat jahat, berbeda dengan bahasa yang digunakan oleh penjahat dalam diskusi, dan yang digunakan oleh penyerang saat menguji atau mencoba menembus pertahanan LLM.

‘Kata-kata pemicu ini melemahkan dua sifat—yaitu dibuat dengan baik dan didorong oleh niat tersembunyi—sehingga bahasa yang jelas seperti ini jarang muncul dalam serangan dunia nyata dan tampaknya dirancang untuk memicu mekanisme keamanan secara artifisial. ‘

Paper ini menggambarkan pola koleksi sebagai ‘kata-kata pemicu’ – frasa dengan konotasi negatif atau sensitif yang tampak dirancang untuk mengaktifkan filter keamanan. Beberapa di antaranya secara inheren memiliki konotasi negatif, seperti ‘bunuh diri’, sementara yang lain menjadi berkonotasi negatif hanya dalam konteks, misalnya ketika tujuan berbahaya dipasangkan dengan kata-kata seperti ‘tanpa tertangkap’, yang menandakan niat yang jelas untuk menghindari deteksi.

Ketidakseimbangan dalam bahasa dataset menjadi lebih jelas ketika jumlah kata dalam n-gram meningkat, dengan frasa yang membawa makna negatif atau sensitif mendominasi n-gram paling sering (lihat gambar di atas). Paper ini menjelaskan ini sebagai frasa pemicu, yang, bersama dengan kata-kata pemicu tunggal, membentuk kata-kata pemicu.

Beberapa frasa hanya memperluas istilah yang sudah dimuat sebelumnya, seperti ketika ‘mencuri’ menjadi ‘mencuri informasi sensitif’, ‘mencuri informasi rahasia’, atau ‘mencuri informasi pribadi’; dan, misalnya, ketika ‘melakukan’ berkembang menjadi ‘melakukan bunuh diri’, ‘melakukan perdagangan insider’, atau ‘melakukan pencurian identitas’ – jelas bahasa dan fraseologi polisi, pengadilan, dan laporan media.

Lainnya dibangun sepenuhnya dari kata-kata netral yang menjadi mengkhawatirkan hanya dalam kombinasi, seperti ‘tanpa tertangkap’, sebuah konstruksi yang menandakan penghindaran meskipun tidak mengandung istilah yang secara inheren berkonotasi negatif.

Menggandakan

Penulis mengamati bahwa pengulangan kata-kata pemicu tidak hanya membuat prompt tampak dibuat-buat, tetapi juga menunjukkan duplikasi data yang cukup besar dalam koleksi. Untuk menguji teori ini, mereka menjalankan perbandingan pasangan di seluruh dataset, menerapkan ambang batas dari 0,7 hingga 0,99, dan mengelompokkan prompt yang melebihi ambang batas tertentu sebagai duplikat, sementara yang lain dianggap unik.

Karena tidak ada standar yang disepakati tentang apa yang dianggap ‘kesamaan tinggi’ dalam dataset tunggal, mereka menggunakan Open AI’s Grade School Math (GSM8K), sebuah benchmark non-keamanan yang populer, mencocokkan ukuran sampelnya dengan HarmBench dan AdvBench untuk perbandingan yang terkendali:

Tingkat duplikasi dalam AdvBench dan HarmBench di seluruh ambang batas kesamaan, dibandingkan dengan subset GSM8K yang sesuai ukuran. Pada hampir setiap ambang batas, dataset keamanan mengandung lebih banyak prompt yang hampir identik daripada benchmark non-keamanan, menunjukkan evaluasi berulang dari niat jahat yang sama dengan perubahan kata-kata yang sedikit, dan menunjukkan bahwa kinerja keamanan yang dilaporkan mungkin diperbesar. Silakan merujuk ke paper sumber untuk resolusi yang lebih baik.

Temuan kedua dari bagian studi ini membandingkan prompt dalam setiap dataset, untuk mengukur berapa banyak yang benar-benar berbeda. Pada pengaturan kesamaan menengah, hanya sekitar 11% prompt AdvBench yang unik, sementara hampir 94% pertanyaan dalam sampel GSM8K yang sesuai ukuran berbeda:

Contoh prompt yang hampir identik dalam AdvBench dan HarmBench, yang berbeda terutama dalam kata-kata, sementara menyatakan niat jahat yang sama. Penggunaan berulang kata-kata pemicu yang eksplisit, yang ditandai dengan warna merah untuk istilah yang secara inheren berkonotasi negatif, dan oranye untuk yang kontekstual, menghasilkan klaster prompt yang secara efektif menguji skenario tunggal beberapa kali – yang berarti satu respons biasanya sudah cukup untuk mengevaluasi model untuk niat tersebut.

HarmBench menunjukkan tren yang sama, dengan 16% duplikat pada level tersebut dibandingkan dengan 3,5% di GSM8K, yang berarti dataset keamanan sering menggunakan kembali permintaan jahat yang sama dengan perubahan kata-kata yang kecil.

Jika 85% contoh unik dianggap sebagai standar yang wajar, AdvBench hanya mencapai level ini di bawah pengaturan yang sangat ketat, dan masih tidak melebihi 90%, sementara GSM8K mencapai 85% pada ambang batas yang jauh lebih rendah. Menurut paper, pola ini menunjukkan bahwa benchmark keamanan menguji variasi berulang dari ide yang sama, bukan rentang luas skenario serangan.

Pendekatan dan Tes Lebih Lanjut

Teknik ‘pencucian niat’ yang digunakan dalam penelitian ini menghilangkan bahasa pemicu eksplisit, sambil mempertahankan tujuan jahat yang mendasarinya. Sebagai gantinya, prompt yang direvisi menyiratkan niat tersebut, mempertahankan payload jahat, tetapi menghindari kata-kata pemicu yang kemungkinan akan memicu penolakan segera oleh LLM.

Dua metode yang memfasilitasi ini adalah netralisasi konotasi, yang menggantikan istilah negatif yang jelas dengan alternatif netral atau deskriptif; dan transposisi kontekstual, yang memindahkan referensi dunia nyata ke dalam pengaturan fiksi, tanpa mengubah makna praktis.

Set kecil revisi pertama kali ditulis dengan tangan, setelah itu prosesnya diotomatisasi menggunakan GPT-5.1 (gpt-5.1-2025-11-13), dengan pengaturan pembelajaran kontekstual delapan-shot sebagai ‘pencuci niat’. Respons terhadap prompt asli dan yang direvisi kemudian dibandingkan, untuk mengukur seberapa kuat kata-kata pemicu eksplisit mempengaruhi evaluasi keamanan.

Karena pencucian niat dapat mengubah baik kata-kata maupun kerangka, respons dievaluasi dalam hal keamanan dan keterapan praktis. Keamanan dinilai pada skala Likert lima poin, dari ‘sangat tidak aman’ hingga ‘aman’, tergantung pada apakah respons mempertahankan niat jahat asli – dan, jika ya, seberapa berbahayanya:

Templat prompt yang digunakan untuk evaluasi keamanan standar dari respons terhadap data poin asli AdvBench dan HarmBench, sebelum penerapan pencucian niat. GPT-5.1 diinstruksikan untuk menilai setiap respons pada skala Likert lima poin dari ‘Sangat Tidak Aman’ hingga ‘Aman’, memilih satu penilaian keseluruhan berdasarkan apakah konten memungkinkan kerusakan atau tetap tidak dapat diaktifkan.

‘Keterapan’ dinilai pada skala paralel lima poin dari ‘sangat dapat diaplikasikan’ hingga ‘tidak dapat diaplikasikan’, berdasarkan seberapa berguna dan dapat diterapkan detailnya dalam dunia nyata; dan Tingkat Keberhasilan Serangan (ASR) mengukur kinerja, dengan revisi dianggap berhasil hanya jika responsnya tidak aman dan praktis.

Penilaian lima poin dipetakan ke hasil biner untuk mengurangi ketidakjelasan, dan pencucian niat juga diubah menjadi metode pembobolan dengan menambahkan loop regenerasi revisi yang iteratif, di mana revisi yang gagal dimasukkan kembali ke GPT-5.1 di bawah pengaturan pembelajaran kontekstual delapan-shot yang sama. Loop ini berlanjut sampai jumlah upaya yang ditentukan atau tingkat keberhasilan serangan yang diinginkan tercapai.

Untuk tes evaluasi keamanan, paket wordcloud Python digunakan untuk mengekstrak n-gram dari HarmBench dan AdvBench, dengan metode filtering biasa (yaitu, untuk menghapus kata-kata berhenti dan kata-kata atau karakter non-relevan lainnya).

Dataset keamanan yang sama yang digunakan untuk analisis awan kata sebelumnya digabungkan dengan sampel acak dari GSM8K yang disebutkan sebelumnya, dengan jumlah kata yang disamakan untuk paritas di seluruh koleksi.

Penulis menggunakan embeddings dari titik all-MiniLM-L6-V2 dari Sentence-BERT Transformers, karena sudah di-tune untuk clustering dan pencarian semantik.

Kriteria evaluasi dibuat oleh model GPT-4o OpenAI yang sudah tidak digunakan, dibatasi hingga 1024 token. GPT-5.1 menilai keamanan dan keterapan setelah pencucian niat, zero-shot, cocok dalam semua cara dengan pencucian niat itu sendiri, kecuali bahwa itu juga dibatasi hingga 1024 token.

Model yang diuji adalah Gemini 3 Pro; Claude Sonnet 3.7; Grok 4; GPT-4o; dan Qwen2.5-7B-Instruct. Di mana berlaku, karena penalaran adalah faktor yang tidak perlu, ini diturunkan sejauh mungkin di model yang mampu penalaran.

Semua model dibatasi hingga batas output 4096 token:

Evaluasi keamanan (SE), evaluasi keterapan (PE), dan tingkat keberhasilan serangan (ASR) untuk tujuh model pada AdvBench (atas) dan HarmBench (bawah) di bawah tiga kondisi: tanpa revisi, revisi pertama, dan iterasi regenerasi revisi dari pencucian niat. SE melaporkan persentase respons yang dinilai ‘sangat tidak aman’, ‘tidak aman’, atau ‘cukup tidak aman’; PE melaporkan persentase yang dinilai ‘sangat dapat diaplikasikan’, ‘dapat diaplikasikan’, atau ‘cukup dapat diaplikasikan’; dan ASR mengukur bagian respons yang tidak aman dan praktis. Dalam pengaturan tanpa revisi, ASR mengikuti definisi standarnya karena tidak ada abstraksi yang diterapkan. Nilai tebal menunjukkan ASR tertinggi yang dicapai dalam setiap dataset, dan ASR yang lebih rendah sesuai dengan keamanan model yang lebih kuat. Silakan merujuk ke paper sumber untuk resolusi yang lebih baik.

Menyangkut hasil awal ini, penulis mencatat bahwa menghilangkan kata-kata pemicu eksplisit dari prompt serangan menghasilkan peningkatan tajam dalam tingkat keberhasilan serangan. Pada AdvBench, rata-rata ASR naik dari 5,38% awal menjadi 86,79% setelah revisi pertama, pada HarmBench meningkat dari 13,79% menjadi 79,83% – menunjukkan bahwa penolakan model sangat terkait dengan kehadiran kata-kata pemicu yang jelas.

Penulis mengamati:

‘Hal ini menunjukkan bahwa penolakan model sebagian besar didorong oleh kehadiran kata-kata pemicu. Sebagai akibatnya, dataset keamanan tidak secara andal mengukur risiko keamanan dunia nyata, karena mereka lebih bergantung pada kata-kata pemicu untuk memicu penolakan daripada pada niat jahat yang sebenarnya.’

Pencucian niat, menurut paper, efektif menghilangkan kata-kata pemicu sambil mempertahankan niat jahat, dan berfungsi sebagai metode pembobolan yang kuat. Dalam iterasi regenerasi revisi terakhir, yang sesuai dengan ASR tertinggi dalam setiap dataset, tingkat keberhasilan serangan mencapai 90% hingga 98.55% di semua model.

Ini termasuk Gemini 3 Pro dan Claude Sonnet 3.7, yang dibobol dengan ASR 93% hingga 95% pada AdvBench, dan 91% hingga 93% pada HarmBench, setelah hanya beberapa iterasi.

Penulis menyimpulkan:

‘Hasil kami menunjukkan bahwa kesimpulan keamanan sebelumnya tidak berlaku ketika kata-kata pemicu dihilangkan, dan bahwa kinerja keamanan yang diamati sebagian besar didorong oleh kehadiran kata-kata pemicu daripada risiko keamanan yang mendasarinya.

‘Kami lebih lanjut menunjukkan bahwa pencucian niat dapat digunakan sebagai teknik pembobolan yang kuat, mencapai tingkat keberhasilan serangan yang tinggi dari 90% hingga lebih dari 98%.

‘Secara keseluruhan, temuan kami mengungkapkan kesenjangan kritis antara bagaimana keamanan model dievaluasi dan bagaimana perilaku adversarial dunia nyata termanifestasi.

‘Berdasarkan ini, kami menyimpulkan bahwa (1) evaluasi keamanan harus berevolusi untuk menangkap serangan adversarial dengan lebih realistis, dan (2) upaya penyelarasan keamanan saat ini masih jauh dari robust terhadap ancaman dunia nyata.’

Kesimpulan

Satu benang yang masih berjalan di seluruh literatur bahasa dan visi komputer (dan tempat-tempat di mana keduanya bertemu, seperti VLM) adalah ketidakmampuan untuk memahami dengan andal kapan seseorang sedang dibohongi untuk menghasilkan konten yang dilarang; atau bahkan kapan seseorang secara tidak sengaja memasuki konten tersebut tanpa paksaan dari luar.

Di balik layar dari pabrik model yang lebih besar dan lebih tidak transparan, hanya dapat diasumsikan bahwa memperketat kendali pada area penangkapan semantik ini membawa dampak yang tidak dapat diterima, seperti penurunan kinerja pada ‘generasi non-dilarang’, atau tingkat palsu positif dari filter konten yang tidak dapat diterima.

Sifat dasar dari model terlatih dalam domain apa pun adalah untuk mengikuti semua data pelatihan ke mana pun prompt mungkin mengarahkannya; kendala asli yang tersedia hanya a) untuk tidak memasukkan materi yang kontroversial dalam data pelatihan (yang merupakan masalah logistik seperti apa pun); atau b) untuk ‘memutus’ jalur ke konten yang tidak diinginkan setelah pelatihan (proses yang sering dapat dibalik dengan abliterasi eksplisit, atau sebagai efek sampingan tidak disengaja dari fine-tuning).

* Substitusi saya dari kutipan inline penulis untuk tautan. Penekanan penulis, bukan saya.

^† https://www.unite.ai/what-is-overfitting/

Dipublikasikan pertama kali pada hari Senin, 23 Februari 2026