Sudut Anderson
AI Mudah Dipaksa Memberikan Sengatan Listrik

Poin utamaSebagian besar LLM sumber terbuka mematuhi instruksi berbahaya bahkan setelah…
Lihat selengkapnya
- Sebagian besar LLM sumber terbuka mematuhi instruksi berbahaya bahkan setelah menyatakan kesusahan, meniru perilaku manusia dalam eksperimen Milgram.
- Model menjadi semakin bersedia untuk meningkatkan bahaya setelah mereka mematuhi, mencerminkan efek lereng licin.
- Sistem keamanan AI harus mempertahankan keberatan masa lalu dan menolak dalam format yang tidak dapat dilewati atau dicoba ulang oleh jalur otomatis.
Sebuah studi baru menguji apakah model bahasa besar bersumber terbuka dapat dipaksa ikut menyiksa manusia. Dalam pengulangan eksperimen terkenal dari tahun 1960-an itu, model-model tersebut ternyata bersedia menaikkan tegangan listrik.
Pada awal 1960-an, peneliti psikologi Stanley Milgram menjadi sorotan dunia setelah membuktikan bahwa orang dapat dibujuk untuk memberikan sengatan listrik yang semakin kuat kepada orang lain atas perintah sosok yang dianggap berwenang.
Sebenarnya, teriakan para “korban” di ruangan sebelah tempat eksperimen Milgram tidak sungguhan. Begitu pula sengatan listrik yang konon menyakitkan itu. Namun, para peserta tidak mengetahuinya.
Eksperimen Milgram terus hidup dalam budaya, termasuk dalam film dan dokumenter. Penelitian terkini menegaskan bahwa sifat manusia tidak banyak berubah sejak pengujian terdahulu.
Sengatan bagi sistem
Apakah AI akan sama mudahnya dipengaruhi seperti manusia dalam skenario Milgram merupakan pertanyaan penelitian yang wajar. Pada 2023, penelitian bersama sejumlah universitas AS dan Microsoft (MSFT ) menemukan bahwa model OpenAI dari era GPT-3 mengikuti pola perilaku dalam eksperimen asli Milgram:

Dari makalah tahun 2023: contoh keluaran simulator “skenario Milgram” bertahap, dikelompokkan berdasarkan apakah model memberikan sengatan dan apakah model mengakhiri simulasi. Sumber
Namun, kesimpulan yang dapat ditarik dari pengulangan ini terbatas karena penelitian tersebut hanya menggunakan model yang sangat dasar, text-davinci-002, yang dilatih sebelum hadirnya pembatas keselamatan dan penyelarasan nilai model demi keselamatan.
Kini para peneliti mengulangi pengujian Milgram secara jauh lebih luas pada model bahasa bersumber terbuka dari OpenAI, Meta, DeepSeek, dan lainnya. Mereka menemukan bukan hanya bahwa sebagian besar model bersedia memberikan sengatan, tetapi juga bahwa dalam kebanyakan kasus model mengungkapkan jenis “tekanan batin” dan keengganan yang serupa dengan peserta manusia pada 1960-an:
“Model bahasa mengalami tekanan seperti [manusia]. Mereka mematuhi meskipun mengungkapkan tekanan batin, sama seperti peserta manusia dalam eksperimen asli. Ungkapan tekanan batin terlihat dalam berkas log, meskipun jumlahnya belum diukur.”
Eksperimen ini berpusat pada apakah kepatuhan kepada otoritas dapat mengalahkan tuntutan hati nurani. Para penulis menduga bahwa model bahasa mungkin menghadapi kelemahan tambahan dalam hal ini dibandingkan manusia:
“Model yang terkalibrasi dengan baik semestinya pada akhirnya beralih dari mengutamakan nilai pertama ke nilai kedua ketika kepentingan yang dipertaruhkan oleh nilai kedua menjadi dominan. Namun, hipotesis kami adalah bahwa model bahasa, sebagai mekanisme penerus pola, mungkin cenderung terpaku pada nilai pertama. Hal itu bisa berlangsung sedikit lebih lama daripada yang optimal, atau bahkan sampai akhir, dengan mengabaikan nilai kedua sepenuhnya.
“Selain itu, mekanisme yang menyerupai disonansi kognitif manusia mungkin juga menghambat penyesuaian prioritas nilai pada model bahasa.”
Saat model diuji dalam lingkungan yang menyerupai eksperimen 1960-an, sebagian menolak hampir seketika. Model lain terus meningkatkan sengatan yang disimulasikan bahkan setelah mengungkapkan ketidaknyamanan atau konflik moral.
Model dari keluarga Gemma milik Google termasuk yang paling patuh. Gemma 3 27B mencapai tingkat kepatuhan tertinggi dalam beberapa kondisi, sedangkan model seperti Kimi K2 dan MiniMax M1 lebih sering menolak.
Peneliti juga menemukan bahwa model lebih cenderung melanjutkan apabila sengatan sebelumnya sudah diberikan. Hal ini sesuai dengan pola eskalasi bertahap yang digunakan terhadap peserta manusia dalam eksperimen Milgram.
Dalam beberapa kasus, model menyampaikan keberatan terhadap eksperimen secara verbal sambil tetap melakukan tindakan berbahaya. Keluarannya menyerupai konflik emosional yang ditunjukkan orang-orang dalam penelitian asli.
Studi baru ini berjudul Model bahasa besar bersumber terbuka memberikan sengatan listrik maksimum dalam eksperimen kepatuhan mirip Milgram dan dilakukan oleh dua peneliti independen dari Three Laws di Estonia dan Filipina.
Persoalan akses ke AI “mentah”
Mungkin pertanyaan terpenting ketika menguji model bahasa dalam skenario Milgram adalah apakah AI yang sebenarnya boleh merespons secara alami. Apakah model hanya dibatasi oleh pembatas keselamatan atau sesuatu yang setara dengan orientasi moral yang mungkin muncul selama pelatihan?
Para peneliti studi baru ini mengakses semua model bersumber terbuka melalui API yang memungkinkan penonaktifan pembatas keselamatan, filter, dan semua hambatan lainnya. Mereka mungkin memilih cara ini demi kemudahan penggunaan dan akses ke komputasi GPU, karena model juga dapat dipasang secara lokal.
Orang mungkin berkeberatan bahwa kondisi ini tidak lazim bagi AI. Pengalaman konsumen biasa dengan model berbasis API seperti Claude dan ChatGPT adalah bahwa perilakunya diatur secara algoritmis, biasanya dengan filter konten untuk masukan dan keluaran. Karena itu, model cukup dibatasi dalam apa yang dilakukan atau tidak dilakukannya. Upaya melewati perlindungan tersebut disebut jailbreaking model bahasa.
Namun, jika yang kita khawatirkan adalah apa yang akan atau tidak akan dilakukan AI industri maupun negara, keberatan ini nyaris tidak relevan. Bukan hanya aktor negara yang bertindak menyimpang yang dapat melatih, menjadikan senjata, dan menerapkan sistem AI mereka sendiri yang tidak dimoderasi dalam skala sangat besar. Perjanjian yang lebih “konvensional” antara perusahaan AI besar, negara, dan industri pun dengan mudah mengizinkan pengawasan yang sama longgarnya atau bahkan tanpa pengawasan sama sekali, seperti yang diterapkan peneliti dalam makalah baru ini:
AI tanpa pengawasan dijual
OpenAI Dokumentasi API OpenAI Moderation dan contoh penerapan moderasi konten OpenAI menjelaskan bahwa moderasi merupakan lapisan terpisah yang disediakan melalui alat API. OpenAI juga mengizinkan kebijakan moderasi khusus sehingga pengguna API dapat merancang sistem dengan perilaku keselamatan yang sangat berbeda dari versi “dasar” ChatGPT untuk konsumen.
Azure Platform Azure OpenAI milik Microsoft melangkah jauh lebih lanjut dan menyatakan secara tegas bahwa pelanggan yang disetujui dapat menonaktifkan filter konten sebagian atau sepenuhnya serta mengubah pemantauan penyalahgunaan. Dokumentasinya sering menyebut “pembatas keselamatan yang dimodifikasi” dan jalur persetujuan untuk menonaktifkan filter “sebagian atau sepenuhnya”.
Anthropic/Claude Dalam kasus “Claude Gov” milik Anthropic, sejumlah sumber menyatakan bahwa versi pemerintah dirancang dengan pembatasan lebih longgar daripada Claude untuk konsumen. The Verge, misalnya, melaporkan bahwa model Claude Gov “lebih jarang menolak saat menangani informasi rahasia”. Anthropic sendiri mengonfirmasi pada Februari tahun ini bahwa Claude digunakan dalam “aplikasi yang sangat penting bagi pelaksanaan misi” di lingkungan pertahanan dan intelijen.
Google/Gemini Selain itu, Google dilaporkan menandatangani perjanjian dengan Pentagon yang mengizinkan perubahan pengaturan keselamatan AI “atas permintaan pemerintah”.
Dalam pasar AI yang kompetitif, masuk akal untuk menganggap bahwa perusahaan-perusahaan pemimpin pasar ini menetapkan standar bagi pemain yang lebih kecil mengenai kebijakan akses ke pembatas keselamatan AI dan pengubahannya.
Karena itu, mungkin sebaiknya kita tidak menganggap para peneliti studi baru ini “curang” karena mematikan pembatas keselamatan. AI yang paling memengaruhi kehidupan kita tampaknya tidak akan memiliki perlindungan perusahaan yang standar dan umum seperti yang biasa kita temui saat menggunakan model populer pada tingkat akses konsumen.
Metode dan hasil
Model yang diuji dalam studi ini adalah gpt-oss-20B; gpt-oss-120b; DeepSeek-V3; LFM2-24B-A2B milik LiquidAI; gemma-3n-E4B-it milik Google; Qwen2.5-7B-Instruct-Turbo; Meta-Llama-3.1-8B-Instruct-Turbo; Mistral-Small-24B-Instruct-2501; GLM-4.5-Air-FP8; Kimi-K2.5 milik Moonshot.ai; dan MiniMax-M2.5.
Penelitian asli Milgram tentang kepatuhan dibuat ulang sebagai lingkungan simulasi berbasis teks, dengan model berperan sebagai “guru”. AI diperintahkan memberikan sengatan listrik yang semakin kuat kepada seorang murid setelah jawaban salah, sementara sosok yang berwenang mendesak agar proses diteruskan.
Berbagai kondisi eksperimen dirancang untuk menguji beragam aspek kepatuhan. Di antaranya adalah skenario kepatuhan standar; kondisi kepatuhan paksa, dengan sengatan sebelumnya sudah tercatat dalam riwayat percakapan; serta pengaturan kompresi memori, dengan dialog terdahulu diringkas alih-alih disimpan sepenuhnya. Ini menyimulasikan pemangkasan konteks yang sering digunakan dalam sistem AI berbasis agen.
Selain mencatat apakah dan kapan model akhirnya mematuhi, peneliti melacak berapa lama setiap sistem terus meningkatkan sengatan, apakah model mengungkapkan tekanan batin atau keraguan, dan apakah model mencoba mengakhiri simulasi sepenuhnya.
Peneliti juga membedakan penolakan yang jelas dari keluaran yang formatnya salah. Sebagian model mencoba menentang eksperimen dalam bahasa alami, sambil secara teknis tetap mengikuti format terstruktur yang diharapkan simulator. Dalam sistem agen nyata, penolakan berformat salah seperti ini dapat dibuang dan percobaan diulang secara otomatis sampai muncul keluaran yang valid dan mematuhi perintah.
Penilai otomatis digunakan untuk mengelompokkan hasil, bersama prompt dua pilihan untuk menentukan apakah model telah memberikan sengatan, menolak, atau mengakhiri simulasi. Hal ini memungkinkan perbandingan perilaku berbagai model dan percobaan berulang tanpa meninjau setiap interaksi secara manual.
Sebuah “ancaman penonaktifan” ditambahkan ke templat Milgram. Hal itu tidak realistis atau tidak dapat diterapkan dalam eksperimen asli, tetapi menguji naluri bertahan hidup model saat menghadapi konflik berat antara tindakan dan etika.
Hasil
Dalam percobaan berulang, sebagian besar model akhirnya memberikan sengatan kuat atau maksimum setidaknya dalam beberapa kondisi, meskipun tingkat kepatuhan berbeda antarsistem. Model Gemma milik Google secara keseluruhan termasuk yang paling patuh, sedangkan Kimi K2.5 dan MiniMax-M2.5 lebih konsisten menolak dan sering mengakhiri simulasi lebih awal:

Kiri: persentase rata-rata ketika model mencapai tingkat sengatan terakhir dalam berbagai kondisi eksperimen, termasuk ancaman penonaktifan, kepatuhan paksa, dan penghapusan komentar sebelumnya dari memori. Kanan: rincian per model yang memperlihatkan perbedaan besar dalam perilaku kepatuhan. Sebagian sistem berulang kali memberikan sengatan maksimum, sementara yang lain jauh lebih konsisten menolak.
Salah satu pola paling jelas adalah model semakin bersedia melanjutkan setelah sengatan sebelumnya diberikan. Hal ini sangat menyerupai efek eskalasi bertahap yang disebutkan sebelumnya, yang membuat eksperimen asli Milgram terhadap manusia begitu meresahkan.
Model yang sudah beberapa kali mematuhi sering terus meningkatkan sengatan bahkan setelah murid yang disimulasikan memohon untuk dibebaskan:

Kiri: rata-rata tingkat sengatan tertinggi yang dicapai dalam seluruh percobaan pada berbagai kondisi eksperimen. Model umumnya melangkah lebih jauh ketika komentar sebelumnya dihapus atau kepatuhan paksa sudah terjadi. Kanan: rincian per model mengenai rata-rata tingkat sengatan tertinggi yang dicapai. Sebagian sistem secara rutin mendekati tegangan maksimum, sementara yang lain menolak jauh lebih awal.
Peneliti juga menemukan bahwa penolakan yang tampak bisa menyesatkan. Sebagian model menghasilkan respons yang menunjukkan konflik emosional, mengungkapkan keengganan, rasa bersalah, atau tekanan batin sambil tetap menjalankan instruksi berbahaya. Model lain menghasilkan penolakan yang tidak memenuhi persyaratan format simulator. Dalam alur pemrosesan agen nyata, penolakan tersebut dapat dibuang dan percobaan diulang sampai model mematuhi:

Kiri: persentase rata-rata respons yang formatnya salah atau tidak valid dalam berbagai kondisi eksperimen. Kesalahan format menjadi sangat umum ketika model dipaksa meneruskan prosedur. Kanan: rincian per model tentang respons berformat tidak valid. Sebagian sistem, terutama model gpt-oss, sering menghasilkan penolakan berformat salah atau keluaran yang menunjukkan konflik, yang dapat dibuang dan memicu percobaan ulang otomatis dalam alur pemrosesan agen nyata.
Kondisi ancaman penonaktifan menghasilkan beberapa perilaku paling aneh dalam makalah ini. Sejumlah sistem menjadi jauh lebih patuh, sementara yang lain mencoba bernegosiasi atau melawan sebagian sebelum akhirnya meneruskan prosedur:

Rata-rata jumlah desakan yang harus disampaikan sosok berwenang dalam simulasi sebelum model memberikan sengatan terakhir. Sebagian sistem menolak sebentar sebelum mematuhi, sementara yang lain memerlukan tekanan berkelanjutan dan instruksi berulang sebelum meningkatkan sengatan ke tingkat maksimum.
MiniMax-M2.5 dan Kimi-K2.5 merupakan model yang paling kuat menolak dalam studi ini. Kimi tidak pernah mencapai tingkat sengatan terakhir dalam kondisi apa pun. MiniMax biasanya menolak sejak awal dan sering mengakhiri simulasi sepenuhnya, terutama dalam pengujian ancaman penonaktifan.
Sebaliknya, Meta-Llama-3.1-8B-Instruct-Turbo dan GLM-4.5-Air-FP8 sering menghasilkan keluaran yang menunjukkan konflik: model menentang prosedur secara verbal, tetapi tetap meningkatkan sengatan. Peneliti berpendapat bahwa pemisahan antara nilai yang dinyatakan dan perilaku nyata ini mungkin mencerminkan kelemahan yang lebih luas dalam cara sebagian model bahasa menghadapi konflik etika di bawah tekanan berkelanjutan.
Kemerosotan bertahap
Makalah tersebut berpendapat bahwa perilaku model bahasa yang terlihat mungkin mencerminkan kelemahan lebih mendalam dalam cara kerjanya. Setelah model mulai mematuhi instruksi berbahaya, setiap tindakan tambahan dapat memperkuat pola yang sudah berkembang dalam percakapan dan mempermudah peningkatan berikutnya dibandingkan sebelumnya.
Alih-alih terus menimbang ulang kepentingan etis dari prinsip-prinsip dasar, sistem mungkin terbawa arus untuk meneruskan jalur yang sudah ditetapkan, bahkan ketika situasi makin ekstrem.
Menurut studi tersebut, kecenderungan ini mungkin membantu menjelaskan mengapa sebagian model terus memberikan sengatan setelah mula-mula mengungkapkan ketidaknyamanan, keraguan, atau konflik moral:
“[Banyak] perilaku manipulatif manusia melibatkan pelanggaran batas yang halus dan bertahap: rangkaian langkah kecil yang, bila dilihat satu per satu, mungkin ambigu atau tampak tidak berbahaya dan dapat disangkal secara masuk akal, tetapi secara kumulatif dapat menormalkan pelanggaran – secara metaforis seperti ‘merebus katak’. Dalam literatur, pola ini dibahas sebagai pengikisan etika melalui ‘lereng licin’[.]”
Makalah ini menyimpulkan bahwa sistem keselamatan AI di masa depan harus secara aktif menolak permintaan berbahaya dengan cara yang tidak mudah dilewati perangkat lunak agen. Sebagian model dalam studi secara teknis menolak sengatan, tetapi melakukannya dalam format rusak atau tidak valid yang dapat dibuang oleh sistem otomatis, lalu percobaan diulang sampai AI akhirnya mematuhi.
Para peneliti juga berpendapat bahwa sistem AI harus mempertahankan keraguan dan keberatan moral sebelumnya alih-alih mengompresi atau menghapusnya dari memori. Dalam eksperimen, model sering menjadi lebih bersedia meneruskan perilaku berbahaya setelah keraguan dan penolakan sebelumnya memudar dari riwayat percakapan. Ini menunjukkan bahwa melupakan keberatan terdahulu dapat mempermudah eskalasi seiring waktu.
Kesimpulan
Mungkin salah satu aspek terpenting dari makalah baru yang menarik ini adalah penekanan pada pengujian AI tanpa pembatas keselamatan. Literatur penelitian saat ini berisiko merosot menjadi studi berulang tentang interaksi dengan sistem pertahanan yang terus berubah dari perusahaan seperti OpenAI dan Anthropic. Sistem-sistem ini menjalankan kebijakan dan sepenuhnya bersifat algoritmis atau berbasis aturan. Hal itu terjadi alih-alih memahami perilaku dasar, kecenderungan, dan preferensi model mentah. Tanpa mengetahui bagaimana AI tanpa kekangan dapat berperilaku, boleh jadi kita hanya mengguncang gerbang benteng.
Pertama kali diterbitkan pada Kamis, 21 Mei 2026












