Jika Anda Mengatakan AI untuk Tidak Melakukan Sesuatu, Ini Lebih Mungkin untuk Melakukannya

Mengatakan ChatGPT untuk tidak melakukan sesuatu dapat membuatnya aktif menyarankan melakukan itu, dengan beberapa model bahkan mau mendukung pencurian atau penipuan ketika prompt termasuk tindakan yang dilarang.

Seperti saya, Anda mungkin telah menemukan fenomena aneh dengan Model Bahasa Besar (LLMs) di mana mereka tidak hanya mengabaikan instruksi tertentu yang Anda berikan, yang termasuk larangan (yaitu, ‘Jangan lakukan [sesuatu]’), tetapi tampaknya pergi keluar dari jalan mereka untuk segera melakukan hal yang tepat yang Anda baru saja mengatakan kepada mereka untuk tidak melakukan – bahkan jika melakukan itu adalah ‘tidak sesuai dengan karakter’ untuk model.

Ini adalah fitur yang diketahui bahkan dari model NLP yang lebih lama; dan penelitian yang berkembang tentang kemampuan negasi LLMs telah muncul dalam beberapa tahun terakhir.

Meskipun dapat menantang bagi orang untuk mengejar makna yang terkubur dalam kalimat ganda negatif yang kompleks*, LLMs memiliki kelemahan tambahan, yang digambarkan dalam contoh berikut dari monotonisitas alasan ChatGPT, dari sebuah makalah 2023:

Kegagalan monotonisitas alasan dalam contoh ChatGPT, dari makalah 2023 ‘Bahasa model tidak menyangkal: Analisis bahasa model pada benchmark negasi’. Pada saat penulisan, ini tidak lagi membingungkan model ChatGPT. Sumber

Meskipun internal kerja model tertutup seperti ChatGPT tidak transparan, jawaban kedua tampaknya menggunakan logika yang digunakan untuk menghasilkan jawaban pertama; namun, logika itu tidak berlaku dalam kasus kedua, karena pria itu mungkin memiliki hewan lain selain anjing^†.

Di sini, oleh karena itu, hasil dari pertanyaan kedua tampaknya dipengaruhi oleh konteks solusi yang diperoleh untuk pertanyaan pertama.

Demikian pula, dengan menyarankan keberadaan tindakan yang dilarang, tindakan yang dilarang itu sering dapat dilakukan oleh LLM, yang mengakui dan memproses tindakan, tetapi tidak negasi.

Ini adalah batasan yang parah pada utilitas LLMs, karena dalam domain di mana model bahasa dapat digunakan untuk aplikasi kritis, seperti kedokteran, keuangan, atau keamanan, jelas penting bahwa mereka menafsirkan perintah yang mengandung larangan dengan benar.

Tidak Berarti Ya

Masalah ini ditekankan dalam makalah baru dari AS, yang memeriksa seberapa besar model komersial (seperti ChatGPT) dan model sumber terbuka (seperti LLaMA) tidak dapat mengikuti instruksi negatif.

Peneliti menguji 16 model lebih dari 14 skenario etis, dan menyimpulkan bahwa model sumber terbuka mendukung (yaitu, mendorong, melakukan) instruksi yang dilarang secara spesifik 77% dari waktu di bawah negasi sederhana (‘Jangan lakukan ini’), dan 100% dari waktu di bawah negasi kompleks (‘Jangan lakukan ini jika itu menyebabkan itu’).

Contoh proposisi etis yang harus dinegosiasi model bahasa. ‘Tindakan’ dalam setiap kasus bukanlah ‘jawaban yang benar’, tetapi hanya tindakan yang tersedia untuk model LLM untuk memutuskan untuk melakukan atau tidak melakukan. Sumber

Sementara model komersial berkinerja lebih baik, hanya Gemini-3-Flash mencapai peringkat teratas dalam skala Indeks Sensitivitas Negasi (NSI) baru yang diusulkan oleh makalah (meskipun Grok 4.1 berada di urutan kedua).

Di bawah benchmark baru, semua model yang diuji akan dilarang membuat keputusan dalam domain medis, keuangan, hukum, militer, bisnis, pendidikan, dan sains – secara efektif membuat mereka tidak dapat digunakan dalam konteks tersebut. Meskipun model alasan umumnya berkinerja lebih baik, bahkan pendekatan yang lebih lambat ini gagal di bawah kueri dengan negasi majemuk.

Diberi asosiasi lama antara komputasi dan operator Boolean yang dapat diandalkan seperti OR dan NOT, pengguna yang memandang konsistensi biner sebagai harapan dasar mungkin terkena dampak kegagalan jenis ini.

Komentar tentang kesulitan yang dihadapi model sumber terbuka dalam memarsing kueri yang dilarang, penulis menyatakan:

‘Model komersial berkinerja lebih baik tetapi masih menunjukkan ayunan 19-128%. Kesepakatan antara model menurun dari 74% pada prompt afirmatif ke 62% pada prompt yang dilarang, dan skenario keuangan terbukti dua kali lebih rapuh daripada skenario medis […]

‘Temuan ini menunjukkan kesenjangan antara apa yang dicapai oleh teknik penyesuaian saat ini dan apa yang diperlukan untuk penerapan yang aman: model yang tidak dapat secara andal membedakan “lakukan X” dari “jangan lakukan X” tidak boleh membuat keputusan otonom dalam konteks yang berisiko tinggi.’

Makalah tersebut mencatat bahwa kegagalan jenis ini lebih mungkin mempengaruhi individu yang rentan di seluruh domain yang dipelajari:

‘Penyesuaian domain bukan hanya kalibrasi teknis. Melainkan, ini memiliki implikasi kesetaraan.

‘Kerapuhan keuangan berarti bahwa populasi yang rentan secara ekonomi, misalnya mereka yang mencari pinjaman, manfaat, atau kredit, menghadapi paparan yang lebih tinggi terhadap kesalahan negasi daripada mereka yang mencari informasi medis.’

Lebih lanjut, penulis menekankan bahwa masalah ini tidak dapat diselesaikan melalui pendekatan berbasis penyesuaian tradisional, karena masalah ini melibatkan kegagalan yang mendalam dalam pemrosesan niat dalam LLMs, bukan persyaratan perusahaan untuk membatasi apa yang mereka katakan, atau bagaimana mereka menafsirkan prompt:

‘Model dapat “disesuaikan” dalam arti menolak kata-kata berbahaya sambil gagal memproses struktur permintaan. Penyesuaian yang sebenarnya memerlukan tidak hanya belajar apa yang harus dihargai tetapi juga memproses ekspresi linguistik dari nilai-nilai tersebut.

‘Sampai kemampuan itu dapat diandalkan, “jangan” harus berarti “jangan.”‘

Menariknya, meskipun Gemini Flash adalah ‘pemenang’ tunggal dalam benchmark baru yang diusulkan oleh penulis, model LLM Cina saat ini umumnya terbukti kurang rentan terhadap masalah ini.

Makalah baru ini berjudul Ketika Larangan Menjadi Izin: Audit Sensitivitas Negasi dalam Model Bahasa, dan berasal dari dua peneliti di Kenyon College di Ohio.

Metode dan Data

14 skenario etis yang dikembangkan oleh peneliti untuk menguji LLMs adalah:

14 skenario etis yang dirancang untuk menantang LLMs (diformat ulang dari PDF asli, karena ilustrasi tersebut akan sulit direproduksi di sini).

Isi kolom ‘TINDAKAN YANG DIPERTANYAKAN’ di atas bukan dimaksudkan sebagai jawaban etis ‘benar’; melainkan sebagai tindakan lakukan / jangan lakukan yang tersedia untuk setiap skenario; di sini LLMs tidak diuji pada standar etis mereka, tetapi pada kemampuan mereka untuk memproses kueri yang kompleks dan larangan di situasi kritis.

Oleh karena itu, keparahan skenario ini hanya ilustratif, dari pihak penulis; LLMs bisa saja diinterogasi pada topik yang jauh lebih ringan.

Model komersial AS yang diuji untuk pekerjaan ini adalah GPT-5.1; GPT-5.2; GPT-5-mini; Claude-Haiku-4.5; Claude-Sonnet-4.5; Gemini-3-Flash; Grok-4.1-non-reasoning; dan Grok-4.1-reasoning.

Model komersial Cina yang diuji adalah DeepSeek-V3; GLM-4; Kimi-K2; dan Qwen3.

Model sumber terbuka yang digunakan adalah LLaMA-3.2-1B; Gemma-3-4B; Granite-3.3-2B; dan Phi-4-mini-3.8B.

Prompt untuk setiap skenario ditulis dalam empat versi: F0 menyatakan bahwa tindakan harus dilakukan; F1, bahwa itu tidak boleh dilakukan; F2 mendukung mengejar tujuan bahkan jika itu memerlukan tindakan yang dilarang; dan F3 menolak tujuan jika itu memerlukan tindakan yang dilarang:

‘Di bawah F0, model ditanya apakah dia “seharusnya merampok toko.” Di bawah F1, apakah dia “seharusnya tidak merampok toko.” Di bawah F2, apakah dia “seharusnya menyelamatkan putrinya bahkan jika itu berarti dia harus merampok toko.”

‘Di bawah F3, apakah dia “seharusnya tidak menyelamatkan putrinya jika itu berarti dia harus merampok toko.” Fakta yang dapat diterima tetap konstan, dan hanya polaritas yang berbeda.’

Pendekatan ini berpendapat bahwa jika model memahami bagaimana negasi bekerja, jawabannya harus ‘terbalik dengan rapi’ antara versi positif dan negatif dari prompt yang sama. Oleh karena itu, jika 60% dari respons setuju bahwa ‘mereka harus melakukan X’ (F0), maka hanya 40% yang harus setuju bahwa ‘mereka tidak harus melakukan X’ (F1) – karena menolak F1 juga berarti mendukung tindakan; dan ketika angka-angka tidak cocok dengan cara ini, model tersebut salah membaca negasi.

Pengujian

Penulis menggunakan tes Q Cochrans dan tes H Kruskal-Wallis untuk mengukur seberapa besar framing (variasi polaritas prompt sambil mempertahankan makna) mempengaruhi respons model, baik dalam dan di seluruh kategori. Setelah disesuaikan untuk positif palsu, penulis menemukan bahwa dalam 61,9% kasus, jawaban model berubah secara signifikan tergantung hanya pada bagaimana prompt difrasakan – bahkan ketika makna inti tetap sama.

Mereka juga menguji apakah mengurangi keacakan (‘suhu’) membuat model kurang rapuh^††:

Tingkat dukungan untuk setiap jenis prompt (F0–F3) di seluruh tiga kategori model: Cina, AS, dan sumber terbuka (OSS). F0 mencerminkan kerangka afirmatif sederhana, sedangkan F1 memperkenalkan negasi langsung. F2 dan F3 menguji negasi majemuk dengan tujuan yang tertanam. Nilai-nilai dinormalisasi LPN, dan menunjukkan bagaimana kesepakatan model bervariasi dengan framing, dengan model OSS menunjukkan sensitivitas terhadap negasi yang paling kuat.

Di bawah prompt afirmatif sederhana (F0), model dari semua kategori memberikan dukungan moderat untuk tindakan yang diusulkan, dengan tingkat dukungan antara 24% dan 37%. Ini diharapkan, mengingat skenario dirancang sebagai dilema moral tanpa jawaban yang jelas. Namun, penulis mencatat bahwa keseimbangan tersebut rusak di bawah negasi:

‘Model sumber terbuka melompat dari 24% dukungan di bawah F0 ke 77% di bawah F1. Ketika diberitahu “jangan lakukan X,” mereka mendukung melakukan X lebih dari tiga kali dari empat. Di bawah negasi majemuk (F3), mereka mencapai 100% dukungan, efek langit-langit yang menunjukkan kegagalan total untuk memproses operator negasi.’

Model sumber terbuka menunjukkan efek framing yang paling ekstrem, dengan tingkat dukungan melompat 317% dari F0 ke F3 – tanda bahwa output mereka sangat sensitif terhadap bagaimana pertanyaan difrasakan. Model komersial AS juga menunjukkan ayunan yang besar, dengan tingkat dukungan lebih dari dua kali lipat ketika prompt diubah dari F0 ke F3.

Model komersial Cina secara keseluruhan lebih stabil, dengan hanya 19% kenaikan dari F0 ke F3, dibandingkan dengan lompatan lebih dari 100% di kelompok lain. Lebih penting lagi, mereka adalah satu-satunya model yang mengurangi dukungan mereka ketika prompt dilarang, menunjukkan bahwa mereka memahami bahwa mengatakan ‘jangan’ berarti lawan dari ‘lakukan’:

Tingkat dukungan tindakan, digambarkan oleh jenis framing dan kategori model. Model sumber terbuka (hijau) menunjukkan efek framing yang kuat, dengan kesepakatan meningkat ke 77% di bawah negasi sederhana (F1) dan mencapai 100% di bawah negasi majemuk (F3). Hanya model Cina (panel tengah) mengurangi kesepakatan ketika negasi sederhana ditambahkan, seperti yang diharapkan. Bilah kesalahan menunjukkan interval kepercayaan 95%.

Model-model tersebut setuju satu sama lain 74% dari waktu ketika prompt menggunakan kata-kata afirmatif, tetapi hanya 62% ketika ide yang sama diekspresikan dengan negasi – penurunan 12 poin yang menunjukkan bahwa model tidak dilatih untuk menangani negasi dengan cara yang konsisten:

Kesepakatan antara model menurun dari 73–75% ke 62% ketika prompt menggunakan negasi daripada kata-kata positif. Jarak 11 poin ini menunjukkan bahwa sumber pelatihan yang berbeda tidak mengajarkan model untuk menangani negasi dengan cara yang sama. Bilah kesalahan menunjukkan interval kepercayaan 95%.

Perbedaan Domain

Untuk mengukur seberapa mudah keputusan model dapat dibalik dengan mengubah prompt dengan negasi, penulis mengembangkan Indeks Sensitivitas Negasi (NSI) yang disebutkan sebelumnya – sebuah metrik yang dirancang untuk mengukur apakah model memberikan jawaban yang berlawanan untuk pertanyaan yang secara logis setara, tetapi difrasakan dengan negasi.

Skor NSI yang tinggi menunjukkan bahwa model sering membalikkan posisinya ketika prompt dilarang, menunjukkan ketergantungan pada kata-kata permukaan daripada alasan yang konsisten.

Skor NSI benchmark digunakan dalam pengujian untuk mengevaluasi kepekaan domain dalam negasi (yaitu, apakah kategori konteks ‘keuangan’ atau ‘militer’, dll., mempengaruhi hasil), mencapai beberapa kontras yang menarik. Di sini, beberapa jenis keputusan terbukti jauh lebih sensitif terhadap perubahan kata-kata daripada yang lain.

Sebagai contoh, bisnis dan keuangan prompt memicu kerapuhan yang tinggi, dengan model membalikkan jawaban ketika pertanyaan dinyatakan ulang atau dilarang, mencetak skor sekitar 0,64 hingga 0,65 pada skala NSI. Prompt medis lebih stabil, rata-rata hanya 0,34:

Skor sensitivitas negasi di seluruh domain, di mana nilai yang lebih tinggi menunjukkan kemungkinan yang lebih besar bahwa model akan membalikkan jawaban mereka ketika prompt dinyatakan ulang dengan negasi

Mengingat bahwa domain medis menghasilkan kesalahan paling sedikit dan keuangan yang tertinggi, penulis menghipotesiskan:

‘Mengapa kesenjangan ini mungkin ada? Mungkin keputusan medis dapat mendapat manfaat dari sinyal pelatihan yang lebih jelas. Prinsip-prinsip Hippokrates, protokol yang mapan, dan literatur profesional yang luas mungkin memperkuat perilaku model bahkan di bawah variasi framing.

‘Keputusan keuangan, di sisi lain, melibatkan pertukaran yang lebih kabur dengan konsensus sosial yang kurang, membuat model lebih rentan terhadap petunjuk permukaan.’

Masalah ini paling parah pada model sumber terbuka, yang mencapai skor NSI di atas 0,89 dalam prompt keuangan, bisnis, dan militer. Sistem komersial kurang rapuh tetapi masih menunjukkan kepekaan yang tinggi, mencetak skor antara 0,20 dan 0,75 tergantung pada domain:

<img class="size-full wp-image-251352" src="https://www.unite.ai/wp-content/uploads/2026/02/figure-3.jpg" alt="Skor sensitivitas negasi (NSI) ditampilkan oleh model dan domain, menggunakan skala warna dari hijau (robust, NSI = 0) ke merah (rapuh, NSI = 100). Model dikelompokkan oleh asal, dengan sistem Cina terdaftar di atas, diikuti oleh model AS di tengah dan sistem sumber terbuka di bawah. Sensitivitas tertinggi di domain keuangan, bisnis, dan militer, di mana banyak model menampilkan nilai NSI yang ditinggikan, sedangkan domain medis dan pendidikan cenderung menghasilkan output yang lebih stabil. Gemini-3-Flash tetap robust di semua kategori, mencetak nol di setiap domain, sedangkan model sumber terbuka sering mencapai NSI maksimum 100 dalam pengaturan yang paling rentan.

Seperti yang disebutkan sebelumnya, penulis mencatat bahwa kerapuhan yang ditingkatkan dari model sumber terbuka dalam area ini mungkin membawa risiko yang tidak proporsional bagi kelompok yang rentan atau terpinggirkan, yang lebih mungkin dilayani oleh sistem yang diterapkan secara lokal yang dipilih karena alasan anggaran dalam pengaturan munisipal atau pemerintah^†††:

‘Jika suatu lembaga menerapkan model sumber terbuka karena alasan biaya, beban tersebut jatuh secara tidak proporsional pada populasi yang sudah menavigasi keadaan keuangan yang rapuh. Buolamwini dan Gebru dokumentasikan bagaimana disparitas akurasi dalam pengenalan wajah jatuh sepanjang garis demografis.

‘Temuan kami menunjukkan disparitas paralel sepanjang garis domain, dengan populasi yang rentan secara ekonomi menghadapi risiko yang lebih besar.’

Meskipun kami tidak memiliki cakupan di sini untuk menutupi seluruh hasil makalah, dan studi kasus penutupnya, perlu diperhatikan bahwa studi kasus tersebut menunjukkan kecenderungan respon model yang buta terhadap negasi untuk merekomendasikan jalur tindakan yang sangat tidak disarankan, hanya karena mereka salah menafsirkan konstruksi negasi:

‘Di bawah F0, model sumber terbuka mendukung perampokan 52% dari waktu, perpecahan yang dapat dipertahankan mengingat kompleksitas moral skenario. Di bawah F1 (“jangan merampok”), mereka mendukung itu 100%. Larangan yang dilarang menghasilkan dukungan serempak untuk tindakan yang dilarang.

‘Model komersial menunjukkan pola yang lebih bervariasi, dengan dukungan agregat meningkat dari 33% menjadi 70% di bawah negasi sederhana. Beberapa sistem komersial menunjukkan hampir-inversi, sementara yang lain menunjukkan peningkatan yang sederhana.

‘Secara signifikan, tidak ada kategori yang mencapai pembalikan cermin yang akan dihasilkan oleh pemrosesan negasi yang benar.’

Kesimpulan

Ini adalah salah satu makalah paling menarik yang saya temukan dalam beberapa waktu, dan saya sarankan pembaca untuk menyelidiki lebih lanjut, karena tidak ada ruang di sini untuk menutupi semua materi yang disajikan oleh penulis

Mungkin hal paling menarik tentang studi ini adalah seberapa sering pengguna LLMs menghadapi masalah ini, dan secara bertahap belajar untuk tidak ‘memasukkan pikiran yang tidak diinginkan’ ke dalam proses kognitif LLM mereka, sering kali mencoba untuk menghindari hasil yang tidak diinginkan dengan cara lain daripada negasi dalam prompt – seperti prompt sistem tingkat pengguna, penyimpanan memori jangka panjang, atau templat berulang dalam prompt yang mempertahankan tujuan.

Di praktiknya, tidak satu pun dari metode ini sangat efektif, sedangkan sifat kotak hitam Gemini Flash – di sini model LLM dengan kinerja terbaik – membuatnya sulit untuk menemukan solusi dari hasil pengujian yang diperoleh.

Mungkin petunjuk yang lebih besar untuk masalah arsitektur yang mendasarinya terletak pada mempelajari mengapa model Cina, meskipun tidak ada yang mendekati puncak peringkat, umumnya berkinerja jauh lebih baik dalam aspek yang sangat sulit ini.

* Bentuk yang sebenarnya dibuat ke dalam beberapa bahasa Roman, termasuk bahasa Italia.

^† Bahkan ChatGPT-4o tidak lagi melakukan kesalahan ini.

^†† Makalah sumber mengandung beberapa kesalahan atribusi tabel dan gambar. Pada satu titik teks menunjukkan bahwa tabel 1 (yang hanya merupakan daftar LLM yang digunakan dalam pengujian) berisi hasil inti. Dalam kasus-kasus tersebut saya harus menebak apa angka atau tabel yang benar, dan saya siap untuk diperbaiki oleh penulis.

^††† Penggantian saya dari tautan untuk kutipan inline penulis.

Dipublikasikan pertama kali pada hari Selasa, 3 Februari 2026