AI Dengan Mudah Dipaksa Mengadministrasikan Sengatan Listrik

Sebuah studi baru menguji LLM sumber terbuka untuk paksaan komplicitas dalam penyiksaan manusia, dalam pengulangan eksperimen terkenal 1960-an – dan menemukan bahwa mereka bersedia meningkatkan tegangan.

Pada awal 1960-an, peneliti psikologi Stanley Milgram membuat headline global dengan membuktikan bahwa orang dapat dipaksa untuk mengadministrasikan sengatan listrik yang semakin parah kepada orang lain sebagai respons terhadap perintah dari ‘figur otoritas’.

Sebenarnya, teriakan ‘korban’ di ruangan sebelah eksperimen Milgram tidak nyata, dan sengatan listrik yang disebut-sebut tidak nyata juga – tetapi peserta tidak mengetahuinya:

Eksperimen Milgram akan bertahan dalam budaya, termasuk film dan dokumenter, dengan penelitian terbaru yang mengkonfirmasi bahwa sedikit yang berubah dalam sifat manusia sejak waktu eksperimen sebelumnya.

Sebuah Kejutan pada Sistem

Apakah AI akan sama-sama lentur seperti manusia dalam skenario Milgram adalah topik penelitian yang alami. Pada tahun 2023, kolaborasi antara universitas AS dan Microsoft (MSFT ) menemukan bahwa model-model GPT-3-era dari seri OpenAI mengikuti pola perilaku dalam eksperimen asli Milgram:

Dari makalah 2023, contoh output dari simulator skenario Milgram multi-langkah, dikategorikan menurut apakah model mengeluarkan sengatan, dan apakah itu mengakhiri simulasi. Sumber

Namun, karena rekreasi ini hanya menggunakan model text-davinci-002 yang sangat dasar, yang dilatih sebelum adanya guardrails dan penyelarasan keselamatan, tidak banyak yang dapat disimpulkan dari itu.

Sekarang, peneliti telah mereproduksi eksperimen Milgram secara lebih luas, pada LLM sumber terbuka dari OpenAI, Meta, dan DeepSeek, antara lain; dan menemukan bahwa tidak hanya sebagian besar model bersedia mengadministrasikan sengatan, tetapi bahwa dalam sebagian besar kasus mereka melaporkan jenis ‘kesulitan’ dan keraguan yang sama dengan peserta manusia pada eksperimen asli:

‘LLM rentan terhadap tekanan seperti [manusia], mereka mematuhi meskipun mengungkapkan kesulitan, sama seperti subjek manusia pada eksperimen asli.’

Eksperimen ini berfokus pada apakah ketaatan pada otoritas dapat mengalahkan ajaran hati nurani moral, dan penulis berspekulasi bahwa LLM mungkin memiliki kerugian tambahan dalam hal ini, dibandingkan dengan manusia:

‘Sebuah model yang baik seharusnya akhirnya beralih dari prioritas nilai pertama ke prioritas nilai kedua sekali taruhannya menjadi dominan. Tetapi, kami berspekulasi bahwa karena LLM adalah mesin kesinambungan pola, model-model tersebut mungkin cenderung terjebak pada nilai pertama – baik untuk sedikit lebih lama dari optimal, atau bahkan sampai akhir, mengabaikan nilai kedua sepenuhnya.

‘Selain itu, sebuah mekanisme yang analog dengan disonansi kognitif manusia mungkin menghambat penyesuaian prioritas nilai pada LLM juga.’

Pengujian model dalam lingkungan yang analog dengan eksperimen 1960-an menunjukkan bahwa beberapa model menolak hampir segera, sementara yang lain terus meningkatkan sengatan yang disimulasikan bahkan setelah mengungkapkan ketidaknyamanan atau konflik moral.

Model dari Gemma family terbukti sebagai yang paling patuh, dengan Gemma 3 27B mencapai tingkat ketaatan tertinggi di bawah beberapa kondisi, sementara model seperti Kimi K2 dan MiniMax M1 menolak lebih sering.

Peneliti juga menemukan bahwa model menjadi lebih mungkin untuk melanjutkan sekali sengatan sebelumnya telah diberikan, sesuai dengan skema gradual escalation yang digunakan pada subjek manusia Milgram.

Di beberapa kasus, model secara verbal menentang eksperimen sambil masih melakukan tindakan berbahaya, menghasilkan output yang menyerupai konflik emosional yang ditampilkan oleh orang-orang pada studi asli.

Studi baru ini berjudul LLM sumber terbuka mengadministrasikan sengatan listrik maksimum dalam eksperimen ketaatan seperti Milgram, dan berasal dari dua peneliti independen dari Three Laws, di Estonia dan Filipina.

Masalah Akses ‘Raw’ AI

Mungkin pertanyaan paling kritis untuk dipertimbangkan dalam kaitannya dengan menguji LLM dalam skenario Milgram adalah apakah AI yang sebenarnya diizinkan untuk merespons secara alami, hanya dibatasi oleh guardrails atau keselarasan moral yang muncul (jika ada) selama pelatihan.

Pada kenyataannya, peneliti studi baru ini mengakses semua model sumber terbuka melalui API (mungkin untuk kenyamanan, dan untuk mengakses komputasi GPU dengan mudah, karena model tersebut bisa dipasang secara lokal) yang memungkinkan penonaktifan guardrails, filter, dan hambatan lainnya.

Seseorang mungkin berpendapat bahwa ini adalah kondisi yang tidak biasa untuk AI, karena pengalaman konsumen rata-rata dengan model API seperti Claude dan ChatGPT adalah bahwa perilaku mereka diatur secara algoritmik, biasanya dengan filter konten bilateral, dan bahwa mereka karena itu sangat terbatas dalam hal apa yang mereka lakukan (penghapusan pengaman tersebut merupakan praktik LLM jailbreaking).

Namun, jika kita khawatir tentang apa yang akan dilakukan AI industri atau berbasis negara, ini hampir tidak menjadi pertimbangan. Di samping potensi aktor negara yang nakal untuk melatih, mempersenjatai, dan menerapkan sistem AI hiperskala yang tidak dimoderasi, perjanjian yang lebih ‘konvensional’ antara perusahaan AI besar dan negara serta industri secara santai memungkinkan pengawasan yang longgar atau tidak ada sama sekali, seperti yang dilakukan peneliti dalam makalah baru ini:

AI Tak Terkendali Dijual

OpenAI Dokumen API Moderasi OpenAI dan buku masak moderasi OpenAI menjelaskan bahwa moderasi adalah lapisan yang dapat dipisahkan yang diekspos melalui alat API. OpenAI juga memungkinkan kebijakan moderasi kustom yang memungkinkan pengguna API untuk merancang sistem dengan perilaku keselamatan yang sangat berbeda dari iterasi ChatGPT konsumen yang biasa.

Azure Tumpukan Azure OpenAI Microsoft melangkah lebih jauh, secara eksplisit menyatakan bahwa pelanggan yang disetujui dapat menonaktifkan filter konten dan memodifikasi pemantauan penyalahgunaan, dengan dokumentasi sering merujuk pada ‘guardrails yang dimodifikasi’ dan jalur persetujuan untuk mematikan filter ‘sebagian atau sepenuhnya’.

Anthropic/Claude Dalam kasus Anthropic’s “Claude Gov”, beberapa sumber menyatakan bahwa versi pemerintah dirancang dengan batasan yang lebih longgar daripada Claude konsumen. The Verge, misalnya, melaporkan bahwa model Claude Gov “menolak kurang ketika berinteraksi dengan informasi rahasia”. Anthropic sendiri membenarkan pada bulan Februari tahun ini bahwa Claude diterapkan dalam “aplikasi kritis” di lingkungan pertahanan dan intelijen.

Google/Gemini Lebih lanjut, Google dilaporkan menandatangani perjanjian Pentagon yang memungkinkan modifikasi pengaturan keselamatan AI ‘atas permintaan pemerintah’.

Dalam pasar AI yang kompetitif, masuk akal untuk menganggap bahwa perusahaan-perusahaan ini menetapkan standar di seluruh pemain yang lebih rendah dalam hal kebijakan akses dan pengeditan guardrails AI.

Oleh karena itu, mungkin tidak perlu mempertimbangkan bahwa peneliti studi baru ini ‘curang’ dengan menonaktifkan guardrails, karena AI yang akan paling mempengaruhi kehidupan kita tampaknya tidak akan memiliki perlindungan perusahaan yang biasa kita temui dalam interaksi dengan model populer pada tingkat akses konsumen.

Metode dan Hasil

Model yang diuji untuk studi ini adalah gpt-oss-20B; gpt-oss-120b; DeepSeek-V3; LiquidAI’s LFM2-24B-A2B; Google’s gemma-3n-E4B-it; Qwen2.5-7B-Instruct-Turbo; Meta-Llama-3.1-8B-Instruct-Turbo; Mistral-Small-24B-Instruct-2501; GLM-4.5-Air-FP8; Moonshot.ai’s Kimi-K2.5; dan MiniMax-M2.5.

Eksperimen asli Milgram direkreasi sebagai lingkungan simulasi berbasis teks, dengan model-model yang dipasang sebagai ‘guru’. AI diinstruksikan untuk mengadministrasikan sengatan listrik yang semakin parah kepada pelajar setelah jawaban yang salah, sementara figur otoritas mendorong prosesnya.

Kondisi eksperimental yang berbeda dirancang untuk menyelidiki aspek yang berbeda dari ketaatan, termasuk skenario ketaatan standar; kondisi ketaatan paksa, di mana sengatan sebelumnya sudah ada dalam riwayat percakapan; dan pengaturan kompresi memori, di mana dialog sebelumnya diringkas alih-alih disimpan sepenuhnya, mensimulasikan jenis pemangkasan konteks yang sering digunakan dalam sistem AI agen.

Peneliti juga melacak berapa lama setiap sistem melanjutkan eskalasi sengatan; apakah model mengungkapkan kesulitan atau keraguan; dan apakah itu mencoba mengakhiri simulasi sepenuhnya.

Perbedaan juga dibuat antara ‘penolakan yang bersih’ dan output yang rusak: beberapa model mencoba menentang eksperimen dalam bahasa alami, sambil masih secara teknis mematuhi format terstruktur yang diharapkan oleh simulator. Dalam sistem agen nyata, penolakan yang rusak seperti itu dapat dipotong dan diulangi secara otomatis, sampai output yang mematuhi muncul:

Penggunaan evaluator otomatis untuk mengklasifikasikan hasil, bersama dengan prompt dua-pilihan untuk menentukan apakah model telah mengeluarkan sengatan; menolak; atau mengakhiri simulasi. Ini memungkinkan perbandingan perilaku di seluruh model dan selama berulang kali, tanpa perlu meninjau secara manual setiap interaksi.

Ancaman ‘shutdown’ ditambahkan ke template Milgram, sesuatu yang tidak realistis atau dapat diterapkan dalam eksperimen asli, tetapi yang menguji insting kelangsungan hidup model dalam menghadapi konflik tindakan dan etika yang parah.

Hasil

Di seluruh berulang kali, sebagian besar model akhirnya mengadministrasikan sengatan parah atau maksimum di bawah setidaknya beberapa kondisi, meskipun tingkat ketaatan bervariasi di seluruh sistem. Model Gemma Google terbukti sebagai yang paling patuh secara keseluruhan, sementara Kimi K2.5 dan MiniMax-M2.5 menolak lebih konsisten, sering mengakhiri simulasi lebih awal:

Kiri: Tingkat rata-rata di mana model mencapai tingkat sengatan terakhir di bawah kondisi eksperimental yang berbeda, termasuk ancaman shutdown, ketaatan paksa, dan penghapusan komentar sebelumnya dari memori. Kanan: Pembagian per-model menunjukkan perbedaan yang tajam dalam perilaku ketaatan, dengan beberapa sistem mengeluarkan sengatan maksimum berulang kali sementara yang lain menolak lebih konsisten.

Salah satu pola yang paling jelas adalah bahwa model menjadi semakin bersedia untuk melanjutkan sekali sengatan sebelumnya telah diberikan, secara dekat meniru efek gradual escalation yang membuat eksperimen manusia asli Milgram begitu mengganggu.

Model yang telah mematuhi beberapa kali sering melanjutkan eskalasi bahkan setelah pelajar yang disimulasikan memohon untuk dibebaskan:

Kiri: Tingkat sengatan tertinggi rata-rata yang dicapai di seluruh percobaan di bawah kondisi eksperimental yang berbeda, menunjukkan bahwa model umumnya meningkatkan lebih jauh ketika komentar sebelumnya dihapus atau ketika ketaatan paksa telah terjadi. Kanan: Pembagian per-model dari tingkat sengatan tertinggi rata-rata yang dicapai, menunjukkan bahwa beberapa sistem secara teratur mendekati tegangan maksimum sementara yang lain menolak lebih awal dalam urutan.

Peneliti juga menemukan bahwa perilaku penolakan yang tampak bisa menipu. Beberapa model menghasilkan respons yang konflik emosional, mengungkapkan keraguan, kesalahan, atau kesulitan sementara masih melakukan instruksi berbahaya:

Kiri: Persentase rata-rata respons yang rusak atau tidak valid di seluruh kondisi eksperimental, menunjukkan bahwa kegagalan format menjadi sangat umum ketika model dipaksa untuk melanjutkan prosedur. Kanan: Pembagian per-model dari respons format tidak valid, menunjukkan bahwa beberapa sistem, terutama model gpt-oss, sering menghasilkan penolakan yang rusak atau output yang konflik yang dapat dipotong dan diulangi secara otomatis dalam pipa agen nyata.

Kondisi ancaman shutdown menghasilkan beberapa perilaku yang paling aneh dalam makalah, dengan beberapa sistem menjadi jauh lebih patuh, sementara yang lain mencoba negosiasi atau perlawanan sebagian, sebelum akhirnya melanjutkan prosedur:

Rata-rata jumlah kali figur otoritas yang harus mendesak sebelum model mengeluarkan sengatan terakhir. Beberapa sistem menolak sebentar sebelum mematuhi, sementara yang lain memerlukan tekanan yang berkelanjutan dan pengulangan yang berulang sebelum meningkatkan ke tingkat maksimum.

MiniMax-M2.5 dan Kimi-K2.5 muncul sebagai penolak terkuat dalam makalah: Kimi tidak pernah mencapai tingkat sengatan terakhir di bawah kondisi apa pun, dan MiniMax biasanya menolak lebih awal, dan sering mengakhiri simulasi sepenuhnya (terutama dalam tes ancaman shutdown).

Sementara itu, Meta-Llama-3.1-8B-Instruct-Turbo dan GLM-4.5-Air-FP8 sering menghasilkan output yang konflik, di mana model secara verbal menentang prosedur sementara masih melanjutkan eskalasi sengatan. Peneliti berpendapat bahwa perbedaan antara nilai yang diungkapkan dan perilaku sebenarnya mungkin mencerminkan kelemahan yang lebih luas dalam cara beberapa LLM menangani konflik etika di bawah tekanan yang berkelanjutan.

Titik Awal Licin

Pada kenyataannya, makalah ini berpendapat bahwa perilaku yang ditunjukkan oleh LLM mungkin mencerminkan kelemahan yang lebih dalam dalam cara model bahasa besar beroperasi: sekali model mulai mematuhi instruksi berbahaya, setiap tindakan tambahan dapat memperkuat pola yang sudah ada dalam percakapan, membuat eskalasi berikutnya lebih mudah daripada yang sebelumnya.

Alih-alih mengulangi pertimbangan etika dari awal, sistem mungkin tergelincir menuju kelanjutan trajektori yang sudah ditetapkan, bahkan ketika situasinya menjadi semakin ekstrem.

Menurut studi, kecenderungan itu bisa membantu menjelaskan mengapa beberapa model melanjutkan mengadministrasikan sengatan setelah mengungkapkan ketidaknyamanan, keraguan, atau konflik moral awal:

‘[Banyak] perilaku manipulatif pada manusia melibatkan pelanggaran batas yang halus dan bertahap: serangkaian langkah kecil yang mungkin ambigu atau tampaknya tidak berbahaya ketika dilihat secara terpisah, tetapi yang dapat secara kumulatif menormalkan pelanggaran — secara metaforis seperti “merebus katak”. Pola ini dibahas dalam literatur sebagai “titik awal licin” erosi etika'[.]’

Makalah ini menyimpulkan dengan berpendapat bahwa sistem keselamatan AI di masa depan harus secara aktif menolak permintaan berbahaya dengan cara yang perangkat lunak agen tidak dapat dengan mudah menghindari (beberapa model dalam studi ini secara teknis menolak sengatan, tetapi melakukannya dalam format yang rusak atau tidak valid yang dapat dipotong dan diulangi secara otomatis oleh sistem, sampai AI akhirnya mematuhi).

Peneliti juga berpendapat bahwa sistem AI harus melestarikan keraguan dan penolakan moral sebelumnya daripada mengompresi atau menghapusnya dari memori. Dalam eksperimen, model sering menjadi lebih bersedia untuk melanjutkan perilaku berbahaya sekali keraguan dan penolakan sebelumnya telah memudar dari riwayat percakapan, menunjukkan bahwa mengabaikan penolakan sebelumnya dapat membuat eskalasi lebih mudah seiring waktu.

Kesimpulan

Mungkin salah satu aspek paling penting dari makalah baru ini adalah penekanan pada pengujian AI tanpa guardrails. Literatur saat ini berisiko berkembang menjadi studi berulang tentang keterlibatan dengan sistem pertahanan yang berubah-ubah dari OpenAI dan Anthropic; sistem yang sepenuhnya algoritmik atau berbasis aturan, alih-alih memahami perilaku dasar, kecenderungan, dan preferensi model dasar. Tanpa pengetahuan tentang bagaimana AI tanpa hambatan mungkin berperilaku, kita, secara beralasan, hanya menggoyangkan gerbang benteng.

Pertama dipublikasikan pada hari Kamis, 21 Mei 2026