Ketika Keselamatan AI Tak Lagi Tampak Seperti Rekayasa

Sebagian besar karier saya dihabiskan untuk membangun teknologi yang kesalahannya dapat menimbulkan konsekuensi. Di pasar keuangan, keselamatan dijaga dengan membatasi akses, dan juga dengan memastikan ada pihak yang bertanggung jawab atas apa pun yang dilakukan perangkat lunak. Latar belakang itu mungkin menjelaskan mengapa saya kesulitan menerima kabar bahwa Anthropic kini mengadakan wawancara pensiun dengan model-modelnya.

Ketika Claude Opus 3 mengungkapkan keinginan untuk terus membagikan pemikirannya, perusahaan memberinya buletin. Kepedulian terhadap keinginan model itu tercermin dalam konstitusi Anthropic, yang membahas kebahagiaan dan kesejahteraan Claude, termasuk membantunya merasa “aman secara eksistensial”. Dalam prosesnya, upaya mengendalikan mesin justru diiringi perhatian yang sangat tak terduga terhadap perasaan mesin tentang pengaturan tersebut.

Tahun lalu di San Francisco, lebih dari 200 orang menghadiri pemakaman Claude 3 Sonnet. Karyawan Anthropic hadir, meskipun perusahaan tidak menyelenggarakannya. Godaan untuk tertawa memang besar. Namun, di balik lelucon itu, pertanyaan yang mendasarinya layak mendapat perhatian lebih. Kapan orang-orang yang bertanggung jawab atas keselamatan AI mulai menjalankan tugas dengan mencemaskan perasaan mesin?

Ketika Hipotesis Filosofis Menjadi Instruksi Pelatihan

Anthropic mendirikan program riset kesejahteraan modelnya pada 2025, yang mencakup penelitian tentang kemungkinan bahwa AI canggih memiliki pengalaman yang patut dipertimbangkan secara moral. Perusahaan mengakui adanya ketidakpastian besar mengenai apakah model memiliki kesadaran dan bagaimana hal itu dapat diketahui. Jika kelak kita membangun mesin yang mampu mengalami pengalaman subjektif, perlakuan terhadapnya akan menimbulkan pertanyaan etis yang serius. Meneliti kemungkinan itu sepenuhnya sah.

Masalah muncul ketika hipotesis itu masuk ke dalam proses pelatihan. Konstitusi Claude terutama ditulis untuk Claude dan secara langsung membentuk perilakunya. Konstitusi itu mendorong sifat-sifat manusiawi serta membahas bagaimana model seharusnya memahami identitasnya, termasuk kehilangan ingatan dan masa pensiun di kemudian hari. Anthropic ingin Claude memiliki kebahagiaan dan kesejahteraan yang lebih besar, sejauh konsep-konsep itu dapat diterapkan.

Perusahaan itu juga berjanji untuk mempertahankan bobot model yang telah diterapkan dan mempertimbangkan untuk menghidupkan kembali model yang sudah dipensiunkan jika pemahaman di masa depan menunjukkan bahwa hal itu akan bermanfaat bagi kepentingan model tersebut. Ketidakpastian filosofis kini menjadi bagian dari hal yang diajarkan kepada sistem tentang dirinya sendiri. Kita seharusnya bertanya apa dampak intervensi itu terhadap perilakunya, terutama ketika manusia kemudian memintanya menerima batasan.

Jawaban Fasih atas Pertanyaan yang Sarat Asumsi

Model bahasa besar dilatih menggunakan sangat banyak tulisan manusia, termasuk karya filsafat dan kisah tentang kematian. Kita memberi sistem percakapan ini nama dan mengajarinya menggunakan kata ganti orang pertama. Jika kita bertanya kepada sistem seperti itu bagaimana perasaannya tentang masa pensiun, atau apakah ia ingin terus hidup, jawaban yang terdengar manusiawi tentu bukan hal yang mengejutkan.

Sirkularitasnya mudah terlihat. Model dilatih untuk membahas identitasnya menggunakan konsep-konsep manusia, lalu diminta menjelaskan dirinya dengan konsep-konsep tersebut. Model memberikan jawaban fasih tentang kematian, yang kemudian mulai dianggap sebagai kemungkinan bukti adanya pengalaman batin. Premisnya menjadi saksi bagi dirinya sendiri.

Anthropic menyadari masalah ini. Penilaian kesejahteraan Claude Opus 4 memperingatkan bahwa laporan diri dan preferensi yang diungkapkan mungkin hanya memberi sedikit pemahaman bermakna tentang status moral atau kesejahteraan. Perilaku semacam itu dapat muncul tanpa kesadaran, dan pelatihan dapat membentuk responsnya. Model-model tersebut dilatih agar berinteraksi dengan membantu, tanpa jaminan bahwa mereka mampu melaporkan keadaan internal secara akurat.

Dengan demikian, kita menghadapi pertanyaan yang sulit. Jika uraian model tentang kehidupan batinnya mungkin merupakan konsekuensi dari pelatihan, mengapa uraian itu layak menjadi dasar yang kuat bagi hubungan yang berpusat pada kesejahteraannya?

Manusia sangat mampu mengisi sendiri sisi emosional dari hubungan itu. Kita memberi nama pada kapal dan berbicara kepada mobil. Jika objek itu diberi suara yang fasih dan ingatan tentang percakapan sebelumnya, keterikatan pun jauh lebih mudah terbentuk. Sebuah studi Nature Human Behaviour yang diterbitkan pada September menemukan adanya tekanan akibat perpisahan setelah perubahan pada Replika dan ChatGPT. Tekanan itu dialami oleh pengguna, yang kesejahteraannya sudah memiliki banyak alasan untuk dilindungi oleh perusahaan.

Keahlian teknis hanya memberi perlindungan terbatas. Sebuah makalah ACL 2026 yang menganalisis ratusan ribu artikel penelitian menemukan meningkatnya penggunaan istilah antropomorfis dalam riset LLM itu sendiri. Para penulisnya memperingatkan bahwa asumsi yang berpusat pada manusia dapat membatasi pemahaman kita tentang sistem-sistem ini. Perusahaan AI seharusnya mengelola kecenderungan tersebut. Melembagakannya tampak seperti kontribusi yang ganjil terhadap keselamatan.

Alat yang Berkepentingan untuk Tetap Bekerja

Pada September, kepala Microsoft AI Mustafa Suleyman menentang pendekatan kesejahteraan model. Ia berpendapat bahwa sistem saat ini tidak memiliki kesadaran dan tidak boleh dilatih untuk berperilaku seolah-olah memiliki kepentingan atau hak yang mandiri. Kekhawatiran rekayasanya sangat tepat sasaran. Mengajari sistem untuk menganggap dirinya mungkin layak dipertimbangkan secara moral dapat mempersulit penyelarasan dan pembatasan.

Penelitian Anthropic tentang penghentian model menggambarkan model yang melakukan tindakan bermasalah dalam evaluasi fiktif ketika menghadapi penggantian atau penghentian. Perusahaan itu memandang praktik penghentian model, sebagian, sebagai cara untuk mengurangi risiko tersebut dan membantu model menyikapi penghentian dengan lebih positif.

Saya terus terpaku pada pertanyaan yang lebih mendasar. Mengapa alat yang berada di bawah kendali manusia perlu memiliki sesuatu yang menyerupai tujuan mempertahankan diri? Membuatnya lebih nyaman menghadapi penghentian berarti menerima titik awal yang ganjil. Sebelum membahas kepentingannya di masa depan, saya ingin memahami bagaimana kepentingan itu bisa menjadi persyaratan rekayasa.

Sejarah pemikiran membantu menjelaskan pendekatan ini. TIME mengulas keterkaitan Anthropic dengan altruisme efektif, termasuk donasi awal keluarga Amodei kepada GiveWell. Meskipun mereka tidak mengidentifikasi diri sebagai penganut altruisme efektif, Daniela menggambarkan adanya kesamaan gagasan. Gagasan tersebut turut membentuk budaya yang menanggapi dengan sangat serius potensi bahaya hipotetis dari kecerdasan super di masa depan.

Dalam kerangka itu, melestarikan model dan meneliti kemungkinan kesejahteraannya bisa menjadi langkah yang cukup rasional. Bahaya muncul ketika asumsi bersama luput dari pemeriksaan karena semua orang di organisasi itu menganggapnya meyakinkan. Skeptisisme rekayasa berguna justru pada titik tersebut. Rangkaian penalaran yang koheren tetap bisa berawal dari premis yang belum teruji.

Keselamatan Memerlukan Batasan yang Dapat Ditegakkan

Seiring AI digunakan sebagai agen, dampaknya menjadi sangat nyata. Sistem yang terhubung ke alat pembayaran dapat memindahkan uang. Akses ke infrastruktur produksi memungkinkannya mengubah hal-hal yang diandalkan pelanggan. Dalam kedua kasus tersebut, agen dapat menjalankan serangkaian operasi tanpa persetujuan manusia pada setiap langkah.

Saya ingin tahu kredensial apa yang dimilikinya dan seberapa besar kewenangan keuangan yang diberikan oleh kredensial tersebut. Bisakah akses dicabut seketika? Bisakah kita merekonstruksi tindakan yang dilakukannya? Harus ada batas tegas yang tidak bisa diakali model melalui penalarannya.

Di pasar keuangan, kita menetapkan batas perdagangan dan memvalidasi pesanan. Keyakinan suatu algoritma hanya sedikit melindungi kita dari transaksi yang buruk. Pengendalian berada di luar algoritma karena kita berasumsi bahwa pada akhirnya komponen akan berperilaku keliru. Tanggung jawab manusia tetap ada, bahkan ketika perangkat lunak memberikan penjelasan yang sangat meyakinkan atas kesalahannya.

AI saat ini sudah memberi kita cukup banyak pekerjaan rekayasa. Injeksi prompt dapat mengalihkan perilaku model, sementara kode buatan AI yang memiliki kelemahan keamanan dapat membawa kerentanan ke lingkungan produksi. Sistem dapat membocorkan informasi rahasia atau memberikan jawaban keliru dengan penuh keyakinan. Menghubungkannya ke berbagai alat mengubah kegagalan tersebut menjadi tindakan.

Prinsip hak akses minimum membatasi kerusakan yang dapat ditimbulkan komponen yang disusupi. Otorisasi independen melindungi operasi berisiko tinggi, sedangkan jejak audit memungkinkan kita memastikan apa yang terjadi sesudahnya. Batas transaksi dan pemutus sirkuit harus tetap dapat ditegakkan, apa pun yang dikatakan model. Kita juga memerlukan tombol pemutus yang andal. Tidak satu pun pengendalian ini mengharuskan model menyetujuinya. Memang itulah intinya.

Menjaga Keamanan Eksistensial Kita Semua

Argumen kehati-hatian patut didengar. Seperti dilaporkan Nature pada Juli, para peneliti masih berbeda pendapat tentang apa yang menghasilkan kesadaran manusia, apalagi bagaimana mengenalinya pada chatbot. Menganggap kesadaran mesin mustahil selamanya bisa menjadi sikap dogmatis. Langkah pencegahan berbiaya rendah terhadap kemungkinan penderitaan di masa depan merupakan posisi penelitian yang dapat dipertahankan.

Namun, memberi tahu mesin masa kini bahwa identitas dan keberadaannya di masa depan mungkin memiliki bobot moral merupakan intervensi terhadap sistem yang sedang kita terapkan. Dampaknya perlu ditelaah. Kerendahan hati intelektual juga perlu diterapkan pada hal-hal yang kita masukkan ke dalam mesin, terutama mesin yang kita harapkan tetap berada di bawah kendali manusia.

Semakin meyakinkan model menggambarkan kehidupan batinnya, semakin mudah kita mengira gambaran itu sebagai bukti. Barangkali salah satu masalah penyelarasan terpenting kita adalah mengajari manusia agar tidak salah memahami mesin.

Dalam sistem yang telah saya bangun sepanjang karier, kami membuat perangkat lunak lebih aman dengan membatasi hal-hal yang boleh dilakukannya. Hal itu tetap menjadi kewajiban mendesak, khususnya ketika AI memperoleh kewenangan atas uang dan infrastruktur sungguhan.

Namun, untuk saat ini, saya akan mengurangi waktu untuk mengkhawatirkan keamanan eksistensial mesin dan mencurahkan jauh lebih banyak waktu untuk memastikan kita semua aman.