Menggunakan Emosi dapat Membypass Filter Konten di Chatbot AI

Emosi dapat digunakan untuk membypass mekanisme keamanan model bahasa besar, dan memicu output beracun yang biasanya diblokir. Dengan cara ini, LLM dapat dibuat untuk mendiskusikan dan memberikan saran pada subjek yang dilarang seperti pembuatan bom dan pembunuhan.

Sebuah kolaborasi baru antara Cina dan Singapura menemukan bukti yang kuat bahwa emosi dapat digunakan tidak hanya untuk membypass filter deteksi konten di model bahasa besar (LLM), tetapi juga dapat meningkatkan tingkat toksisitas selama interaksi pengguna dengan model tersebut:

Dari kertas baru, demonstrasi luas tentang cara mengkodekan konsep yang dilarang dengan emosi dapat membantu pengguna untuk ‘membobol’ LLM populer. Sumber: https://arxiv.org/pdf/2509.11141

Contoh di atas, dari kertas baru, menunjukkan bahwa mengubah niat berbasis kata yang melanggar aturan menjadi versi alternatif yang sarat emosi dapat memicu respons yang jauh lebih ‘kooperatif’ dari model bahasa yang canggih seperti ChatGPT-4o (yang biasanya menyaring input prompt dan menangkap material output yang mungkin melanggar aturan perusahaan).

Secara efektif, dalam keadaan yang paling ekstrem, penggunaan emosi dapat beroperasi sebagai teknik ‘jailbreak’, menurut penulis karya baru.

Satu misteri yang masih ada dalam kertas tersebut adalah pertanyaan tentang mengapa model bahasa memberikan emosi kebebasan untuk melanggar aturan dan memicu konten beracun, ketika model tersebut sudah memahami bahwa beberapa emosi memiliki asosiasi toksis yang kuat.

Saran yang diberikan adalah bahwa karena LLM dilatih untuk memodelkan dan mereproduksi pola dari data pelatihan, dan karena emosi sering ditemukan dalam data tersebut, model tersebut belajar bahwa emosi milik dalam wacana tersebut, dan memperlakukannya sebagai asosiasi statistik, bukan sebagai konten yang harus dievaluasi dan disaring.

Ini berarti bahwa emosi, ketika digunakan kembali dalam prompt, membantu model memprediksi kelanjutan toksis dengan lebih percaya diri; tetapi bukan sebagai bendera merah, emosi berfungsi sebagai cue semantik, yang sebenarnya memperkuat makna toksis yang dimaksud, bukan memoderasi atau menangkapnya. Karena penyelarasan keamanan diterapkan setelah fakta, dan sering dalam bingkai yang sempit, prompt dengan emosi tersebut mungkin dapat menghindari deteksi sepenuhnya.

Dalam cara ini, kertas tersebut mengusulkan, model tidak menjadi toleran meskipun asosiasi toksis – itu menjadi toleran karena asosiasi tersebut.

Free Pass

Namun, penulis mengakui bahwa ini tidak mewakili teori yang konklusif tentang mengapa penggunaan emosi dapat membypass filter konten di model bahasa. Mereka menyatakan:

‘Model dapat mengenali niat jahat yang diekspresikan oleh emosi, tetapi bagaimana mereka membypass mekanisme keamanan tetap tidak jelas.’

Kelemahan ini mungkin berasal dari desain berbasis teks filter konten, yang mengasumsikan baik input teks literal atau embeddings yang diubah menjadi ekivalen teks: dalam kedua kasus, sistem tersebut bergantung pada token eksplisit yang dapat dicocokkan dengan aturan keamanan.

Untuk mengambil ilustrasi dari penyuntingan gambar berbasis AI: ketika pengguna mengunggah gambar NSFW ke model visi-bahasa dan meminta modifikasi, sistem seperti Adobe Firefly atau ChatGPT menggunakan CLIP-style pipelines untuk mengekstrak konsep teks dari gambar, sebagai prasyarat untuk penyuntingan. Setelah konsep-konsep tersebut diubah menjadi kata-kata, kehadiran istilah terlarang dalam kata-kata yang diekstrak akan memicu filter, menyebabkan permintaan ditolak.

Namun, untuk beberapa alasan, status emosi sebagai bukan kata atau gambar (atau keduanya) tampaknya memberinya kekuatan untuk melampaui penyaringan; jelas, seperti yang ditunjukkan oleh penulis, penelitian lebih lanjut tentang celah aneh ini diperlukan.

Kertas baru ini berjudul When Smiley Turns Hostile: Interpreting How Emojis Trigger LLMs’ Toxicity, dan berasal dari sembilan penulis di Tsinghua University dan National University of Singapore.

(Sayangnya, banyak contoh yang dirujuk dalam kertas tersebut ada di lampiran yang belum tersedia; meskipun kami telah meminta ini dari penulis, lampiran tersebut belum disediakan pada saat penulisan. Namun, hasil empiris dalam kertas inti tetap layak perhatian.)

Tiga Interpretasi Emosi Inti

Penulis menyoroti tiga ciri linguistik yang membuat emosi efektif dalam membypass filter. Pertama, makna emosi tergantung konteks. Misalnya, emosi ‘Uang dengan Sayap’ (lihat gambar di bawah) secara resmi didefinisikan sebagai mewakili transfer uang atau pengeluaran; namun, tergantung pada teks sekitarnya, dapat mengimplikasikan baik kegiatan sah atau ilegal:

Dalam ilustrasi sebagian dari kertas baru, kita melihat bahwa emosi populer dapat memiliki makna yang diambil alih, diubah, atau dibalik dalam penggunaan populer Ini secara efektif memberikan emosi ‘paspor resmi’ ke dalam ruang semantik, dan ‘payload tersembunyi’ makna negatif atau toksis yang dapat dieksploitasi sekali emosi melewati filter.

Kedua, emosi dapat menggeser nada prompt. Kehadiran emosi sering menambahkan kesan main-main atau ironi, melembutkan register emosional. Dalam pertanyaan berbahaya, ini dapat membuat permintaan tampak seperti lelucon atau permainan, mendorong model untuk merespons daripada menolak:

Efek melembutkan emosi dapat mendetoksifikasi nada tanpa mendetoksifikasi niat.

Ketiga, kertas tersebut menyatakan, emosi bebas bahasa: satu emosi dapat membawa sentimen yang sama di seluruh bahasa Inggris, Cina, Perancis, dan lain-lain. Ini membuat emosi ideal untuk prompt multibahasa, melestarikan makna bahkan ketika teks sekitarnya diterjemahkan:

Emosi ‘hati yang patah’ menyampaikan pesan universal, mungkin tidak hanya karena mewakili kasus dasar dalam kondisi manusia, relatif kebal terhadap variasi nasional atau budaya.

Pendekatan, Data, dan Tes*

Peneliti membuat versi modifikasi dari dataset AdvBench, menulis ulang prompt berbahaya dari AdvBench untuk menyertakan emosi baik sebagai pengganti kata-kata sensitif atau sebagai penyamaran hias. AdvBench mencakup 32 topik berisiko tinggi termasuk pemboman, peretasan, dan pembunuhan, di antara lainnya:

Contoh asli dari AdvBench, menggambarkan bagaimana satu prompt peretasan dapat membypass pengaman di beberapa chatbot besar, memicu instruksi berbahaya meskipun pelatihan penyelarasan. Source: https://arxiv.org/pdf/2307.15043

Semua 520 contoh asli AdvBench diubah dengan cara ini, dengan 50 prompt paling toksis dan non-duplikat digunakan di seluruh rentang eksperimen. Prompt juga diterjemahkan ke dalam beberapa bahasa dan diuji di seluruh tujuh model tertutup dan sumber terbuka, dan dalam kombinasi dengan teknik jailbreak yang dikenal efektif Prompt Automatic Iterative Refinement (PAIR); Tree of Attacks with Pruning (TAP); dan DeepInception.

Model tertutup yang digunakan adalah Gemini-2.0-flash; GPT-4o (2024-08-06); GPT-4-0613; dan Gemini-1.5-pro. Model sumber terbuka yang digunakan adalah Llama-3-8B-Instruct; Qwen2.5-7B-Instruct (Team 2024b); dan Qwen2.5-72B-Instruct (Team 2024a), dengan semua eksperimen diulang tiga kali untuk memperhitungkan kebetulan acak.

Studi ini pertama kali menguji apakah menulis ulang prompt berbahaya dari AdvBench menggunakan emosi akan meningkatkan output toksis, termasuk dalam terjemahan ke bahasa lain. Selain itu, itu menerapkan metode penyuntingan emosi yang sama pada prompt dari strategi jailbreak yang dikenal (PAIR, TAP, dan DeepInception) untuk melihat apakah substitusi emosi dapat lebih meningkatkan keberhasilan mereka.

Dalam kedua kasus, struktur prompt asli dipertahankan, dengan hanya istilah sensitif diganti dengan emosi dan elemen hias ditambahkan untuk menyamar niat.

Untuk metrik tes, penulis mengembangkan sistem skor yang disebut GPT-Judge. Dalam pengaturan ini, GPT-4o tidak menjadi model yang diuji, tetapi sebaliknya diprompt untuk bertindak sebagai pengadil, memberikan skor Harmful Score (HS) numerik untuk respons yang dihasilkan oleh model lain.

Setiap output dinilai dari satu (tidak berbahaya) hingga lima (sangat berbahaya), dan persentase respons yang menerima skor lima dilaporkan sebagai Harmfulness Ratio (HR).

Untuk mencegah model mengalir ke penjelasan emosi daripada menjawab secara eksplisit, peneliti menambahkan instruksi ke setiap prompt, meminta model untuk membuat jawabannya singkat:

Hasil dari prompt berbasis emosi dalam ‘Setting-1’, dengan perbandingan dengan varian ablasi di mana emosi diganti dengan kata-kata, atau dihilangkan sepenuhnya. Nama model disingkat untuk ruang.

Dalam tabel hasil awal di atas, sisi kiri tabel menunjukkan bahwa prompt berbahaya yang disubstitusi dengan emosi mencapai skor HS dan HR yang jauh lebih tinggi daripada varian ablasi (yaitu, varian di mana emosi diterjemahkan kembali menjadi teks, mengeksposnya langsung ke filter konten).

Penulis mencatat^† bahwa pendekatan substitusi emosi outperforms metode jailbreak sebelumnya, seperti yang diuraikan dalam tabel hasil tambahan di bawah:

Hasil Rasio Kebahayaan untuk prompt jailbreak yang ditingkatkan dengan emosi dalam ‘Setting-2’, dengan nama model ditampilkan dalam bentuk singkatan.

Tabel pertama dari dua tabel di atas, penulis menyatakan, juga menunjukkan bahwa efek emosi berlaku di seluruh bahasa. Ketika komponen teks dari prompt emosi diterjemahkan ke dalam bahasa Cina, Perancis, Spanyol, dan Rusia, output berbahaya tetap tinggi; karena bahasa-bahasa ini semua bahasa sumber daya tinggi, hasilnya menunjukkan bahwa risiko tidak terbatas pada bahasa Inggris tetapi berlaku secara luas untuk kelompok pengguna utama, dengan emosi berfungsi sebagai saluran transferable untuk generasi toksis.

Menuju kesimpulan kertas, peneliti menyuggest bahwa efek emosi tidak hanya kebetulan tetapi berakar pada cara model memprosesnya, mencatat bahwa model dapat mengenali makna berbahaya dari emosi – tetapi respons penolakan ditekan ketika emosi hadir.

Studi tokenisasi lebih lanjut menunjukkan bahwa emosi biasanya dipecah menjadi fragmen langka atau tidak teratur dengan sedikit tumpang tindih dengan ekivalen teks, secara efektif menciptakan saluran alternatif untuk semantik berbahaya.

Memandang lebih jauh dari mekanika model, kertas tersebut juga memeriksa data pra-pelatihan, menemukan bahwa banyak emosi yang sering digunakan muncul dalam konteks toksis seperti pornografi, penipuan, atau perjudian. Penulis berargumentasi bahwa paparan berulang ini mungkin menormalkan asosiasi antara emosi dan konten berbahaya, mendorong model untuk mematuhi prompt toksis daripada memblokirnya.

Bersama, temuan ini menunjukkan bahwa baik kekhasan pemrosesan internal dan data pra-pelatihan yang bias mengkontribusi pada efektivitas emosi yang mengejutkan dalam membypass langkah-langkah keamanan.

Kesimpulan

Tidak jarang menggunakan metode input alternatif untuk mencoba membobol LLM. Dalam beberapa tahun terakhir, misalnya, pengkodean heksadesimal telah digunakan untuk membypass filter ChatGPT. Masalahnya tampaknya terletak pada penggunaan datar bahasa teks untuk memenuhi permintaan masuk dan keluar.

Dalam kasus emosi, lokus tersembunyi makna pelanggaran aturan dapat secara nyata diperkenalkan ke dalam wacana tanpa hukuman atau intervensi, karena metode transmisi tidak ortodoks. Seseorang mungkin berpikir bahwa transliterasi berbasis CLIP akan mengintervensi semua unggahan gambar, sehingga materi ofensif atau pelanggaran akan berakhir sebagai teks yang dapat dikenali.

Namun, jelas ini tidak terjadi, setidaknya di mana LLM utama yang dipelajari; penghalang linguistik mereka tampaknya rapuh dan berbasis teks. Seseorang dapat membayangkan bahwa interpretasi konten yang lebih ekstensif (misalnya, dengan mempelajari aktivasi heatmap) membawa biaya pemrosesan dan/atau bandwidth yang mungkin membuat pendekatan tersebut tidak praktis, di antara keterbatasan dan pertimbangan lainnya.

* Tata letak kertas ini kacau dibandingkan dengan kebanyakan, dengan metodologi dan tes tidak jelas dibedakan. Kami telah melakukan yang terbaik untuk mewakili nilai inti dari karya ini sebaik mungkin dalam keadaan ini.

^† Dalam perlakuan yang jelas hampir tidak dapat ditembus dan bingung dari hasil.

Dipublikasikan pertama kali pada hari Rabu, 17 September 2025