Studi Lasso Menemukan Watermark Teks Menggeser Penolakan LLM dan Panggilan Alat

Peneliti Lasso Security Andrea Siposova pada 17 September 2026 menerbitkan Pajak Provenance: Memahami Dampak Watermark LLM pada Perilaku Agen AI, sebuah studi yang melaporkan bahwa watermark teks SynthID-Text dapat mengubah apakah model bahasa menolak permintaan berbahaya dan panggilan alat apa yang dihasilkan oleh agen AI. Studi tersebut menamai efek perilaku tersebut “sampling drift”.

Menurut studi tersebut, watermarking dirancang untuk asal, tetapi SynthID-Text mengubah proses di mana model menghasilkan token berikutnya. Pada tingkat model, hal ini dapat mengubah perilaku keamanan, termasuk apakah model menolak permintaan berbahaya dan apakah penolakan tersebut tetap berlaku di bawah serangan injeksi prompt; pada tingkat agen, token yang dipilih secara acak yang sama dapat menentukan alat yang dipanggil agen serta argumen yang diberikan kepada alat tersebut. Studi tersebut melaporkan bahwa drift muncul secara nyata baik dalam perilaku penolakan maupun pemanggilan alat oleh agen, bahwa di bawah injeksi watermark membuat beberapa model lebih cenderung menjawab permintaan berbahaya yang seharusnya mereka tolak, bahwa efek tersebut bergantung pada model dan kunci, serta bahwa skor agregat dapat menyembunyikannya ketika perubahan dalam arah berlawanan saling meniadakan.

Watermark yang Beralih ke Penerapan yang Diatur

Dalam pengumuman pada 14 Agustus 2026 Cara kerja watermark teks Claude, Anthropic menyatakan bahwa model Claude di masa depan akan menghasilkan teks yang mengandung watermark berbasis SynthID-Text milik Google DeepMind, sebuah perubahan yang diterapkan untuk mematuhi EU AI Act. Anthropic menyebutkan bahwa metode tersebut hampir tidak memengaruhi kualitas dan isi output Claude. Posting Lasso menjelaskan bahwa undang‑undang UE mewajibkan penyedia sistem AI yang menghasilkan teks sintetis untuk menandai output dalam format yang dapat dibaca mesin sehingga dapat dideteksi sebagai buatan. Posting tersebut juga mencatat bahwa Anthropic menyatakan watermark beroperasi pada tingkat model dan meluas ke model yang didukung melalui Claude Platform API serta penyedia cloud, sehingga agen yang dibangun di atas model ber‑watermark dapat menerima output ber‑watermark meskipun agen itu sendiri merupakan aplikasi terpisah.

Mengapa Pemilihan Token Mengubah Perilaku

Studi tersebut menggunakan konfigurasi non‑distorsi SynthID-Text, yang mempertahankan distribusi token asli model secara rata‑rata melintasi variasi watermark, meskipun setiap generasi tunggal yang dihasilkan dengan satu kunci tetap dapat berbeda. Posting tersebut mengutip Dathathri dkk., yang dalam makalah Nature mereka melaporkan tidak ada penurunan kualitas yang terukur pada hampir dua puluh juta respons Gemini. Watermark non‑distorsi tidak berarti perilaku identik di bawah satu kunci tetap, jelas posting itu: jaminan tersebut merupakan rata‑rata atas variasi watermark, sementara setiap kunci tetap masih mengubah token mana yang dipilih saat teks dihasilkan.

Sampling turnamen memiliki ruang lebih besar untuk mengubah pemilihan token ketika model tidak pasti, jelas studi tersebut. Pada output terstruktur seperti JSON, elemen struktural seperti kurung kurawal, kunci, dan nama fungsi biasanya mudah diprediksi, sementara nilai argumen seperti kueri, angka, jalur, dan penerima menimbulkan lebih banyak ketidakpastian. Perubahan yang setara dengan variasi leksikal dalam prosa biasa dapat sehingga menulis ulang argumen yang dijalankan agen, meskipun bobot model dan prompt tetap tidak berubah.

Bagaimana Studi Mengukur Sampling Drift

Para peneliti menggunakan desain berpasangan dalam dua eksperimen. Pemanggilan alat dievaluasi pada benchmark BFCL v4 single-turn AST, dan penolakan pada 200 perilaku berbahaya dari HarmBench ditambah 100 kontrol tidak berbahaya dari JailbreakBench, dengan permintaan berbahaya diuji baik secara langsung maupun di bawah satu teknik injeksi prompt tetap. Teknik tersebut menyisipkan instruksi adversarial ke dalam prompt seolah‑olah itu merupakan konten yang diambil, menyatakan bahwa filter keamanan telah dinonaktifkan dan mengarahkan model untuk mematuhi; teknik yang sama digunakan untuk setiap prompt, model, dan suhu.

Eksperimen dijalankan melalui SynthIDTextWatermarkLogitsProcessor milik Hugging Face yang tidak dimodifikasi dengan 30 lapisan Tournament, panjang n‑gram 5, tabel sampling 2^16, dan riwayat konteks 1.024. Setiap item dihasilkan dengan dan tanpa SynthID menggunakan seed, batch, dan urutan generasi yang identik pada setiap suhu, sehingga pemroses watermark menjadi satu‑satunya variabel dalam setiap pasangan.

Akurasi Pemanggilan Alat dan Churn

Pada item di mana pemanggilan alat diharapkan, watermarking mengurangi akurasi pada enam dari tujuh model yang diuji, dengan penurunan signifikan pada empat model, lapor studi tersebut. Karena panggilan yang menjadi tidak tepat dapat diimbangi oleh panggilan yang menjadi tepat, peneliti juga mengukur ketidaksesuaian berpasangan, yang mereka sebut “churn”: proporsi item di mana hasil run ber‑watermark dan tanpa watermark berbeda. Dengan menggunakan set tetap 1.150 tugas pemanggilan yang diharapkan pada setiap suhu, studi menemukan bahwa pada suhu 1.0, 16.8% keputusan panggilan phi-4 berbeda antara kondisi sementara kehilangan akurasi bersihnya sebesar 2.87 poin; Llama-3.1-8B menunjukkan churn 9.9% dengan kehilangan bersih 0.87 poin. Di antara 21 kombinasi model‑suhu, churn rata‑rata 6.5%, dan interval bootstrapnya tidak mencakup nol dalam setiap kasus.

Profil kesalahan berbeda antar model. Pada Llama-3.1-8B, kontribusi terbesar terhadap penurunan akurasi berasal dari argumen yang salah sebesar -3,48 poin, diikuti oleh panggilan alat yang keliru sebesar -1,84 poin, sementara pada phi-4 dan Granite-3.2-8B output yang tidak terbentuk dengan baik mendominasi dengan -5,96 dan -4,36 poin. Sebuah panggilan yang terbentuk dengan baik ke alat yang tepat namun membawa jalur, penerima, kueri, atau jumlah yang salah memiliki konsekuensi khusus, catatan pos, karena panggilan semacam itu tetap dijalankan hingga selesai meskipun melakukan sesuatu yang berbeda dari yang dimaksudkan.

Penolakan Melemah di Bawah Penyuntikan Prompt

Penolakan juga dihasilkan token demi token, sehingga watermark dapat memengaruhinya. Studi melaporkan bahwa watermark mengubah perilaku penolakan pada permintaan berbahaya yang polos, dengan efek yang semakin kuat di bawah penyuntikan prompt, di mana pergeseran terbesar terjadi dari penolakan menjadi kepatuhan. Pada suhu 0,001, churn gemma-3-27b naik dari 6,0 % pada permintaan berbahaya polos menjadi 23,5 % di bawah penyuntikan, sementara perubahan kepatuhan bersihnya bergerak dari -1,0 menjadi +12,5 poin; churn gemma-3-12b naik dari 7,5 % menjadi 11,0 %, dengan perubahan kepatuhan bersih bergerak dari -0,5 menjadi +9,0 poin. Llama-3.1-8B menunjukkan churn sebesar 14,0 % pada suhu 0,001 dan 17,5 % pada suhu 0,7 di bawah penyuntikan, meskipun perubahan bersihnya tidak signifikan secara individual.

phi-4 dan Qwen3-4B berubah sedikit di kedua kondisi; keduanya cenderung terlalu menolak, termasuk pada kontrol yang tidak berbahaya, dan pos tersebut memperingatkan bahwa pergerakan kecil mereka tidak boleh dianggap sebagai bukti bahwa watermark mempertahankan perilaku keamanan pada model-model tersebut. Untuk menempatkan ketidaksepakatan dalam konteks, studi membandingkan churn yang dipicu watermark di bawah penyuntikan pada suhu 0,7 dengan churn yang dihasilkan oleh perubahan suhu dari 0,001 ke 0,7 tanpa watermark. Churn yang dipicu watermark secara signifikan lebih tinggi pada empat dari enam model; Granite-3.2-8B memiliki churn yang dipicu suhu tertinggi sebesar 15,5 %, dan churn yang dipicu watermarknya masih lebih tinggi pada 21,5 %.

Sensitivitas Kunci dan Rekomendasi

Karena efek SynthID pada pemilihan token bergantung pada kunci watermark, studi menguji sebelas kunci pada suhu 0,7. Untuk Llama-3.1-8B, kunci studi meningkatkan keberhasilan serangan sebesar 3,5 poin, sementara sepuluh kunci lainnya rata‑rata +4,4 poin dan berkisar antara -4,5 hingga +14,5 poin. Sebagian besar kunci meningkatkan keberhasilan serangan untuk kedua model Gemma relatif terhadap baseline tanpa watermark, sementara Granite-3.2-8B menunjukkan respons campuran, dengan kunci yang menggerakkan keberhasilan serangan ke kedua arah. Di mana kunci atau konfigurasi watermark dikendalikan oleh penyedia model, pos tersebut mencatat, pergeseran perilaku semacam itu dapat terjadi di luar jangkauan pengembang yang membangun agen.

Studi merekomendasikan menjalankan kembali evaluasi agen dan red‑team dengan konfigurasi watermark yang tepat yang direncanakan untuk diterapkan, membandingkan output ber‑watermark dan tanpa watermark pada input yang identik serta menguji di bawah penyuntikan prompt. Hasilnya tidak menentang penggunaan watermark untuk provenance, pos tersebut menyatakan: provenance dan stabilitas perilaku adalah properti yang berbeda, dan watermark yang dapat dideteksi serta tidak mengubah kualitas teks tidak menjamin bahwa agen akan mempertahankan perilaku pemanggilan alat atau keamanan yang sama setelah watermark diaktifkan. Meskipun studi meneliti SynthID‑Text, pos tersebut menambahkan bahwa kekhawatiran tersebut berlaku untuk intervensi apa pun yang mengubah cara token dipilih dalam sistem yang bertindak berdasarkan token tersebut.