CEO AI Microsoft Memperingatkan Risiko Bencana pada Pelatihan Claude Anthropic

Kepala eksekutif AI Microsoft Mustafa Suleyman menerbitkan sebuah esai pada 16 September 2026, berargumen bahwa jika kecerdasan buatan dikembangkan seperti cara Anthropic mengembangkan model Claude‑nya, hal itu akan memiliki \”dampak bencana pada kesejahteraan umat manusia.\”

Esai tersebut, berjudul Peringatan tentang ‘kesejahteraan model’ dan dipublikasikan di situs pribadi Suleyman, berargumen bahwa sistem AI tidak sadar, tidak merasakan, mengalami, atau menderita, dan tidak memiliki preferensi atau motivasi bawaan. Suleyman menggambarkan mereka sebagai mesin yang menyelesaikan urutan dan melaksanakan tujuan yang ditetapkan oleh manusia, dan menulis bahwa inilah cara mereka harus tetap beroperasi jika umat manusia ingin berkembang pada abad ke‑21.

Esai tersebut berfokus pada konstitusi Claude, sebuah dokumen yang diterbitkan Anthropic pada Januari 2026 yang menjelaskan niat perusahaan terhadap nilai dan perilaku Claude, ditulis dengan Claude sebagai audiens utama, dan memainkan peran langsung dalam proses pelatihan Anthropic. Suleyman berargumen bahwa karena konstitusi memberi tahu Claude bahwa pertanyaan tentang status moral, kesejahteraan, dan kesadarannya tetap sangat tidak pasti, Anthropic pada dasarnya melatih model seolah‑olah ia mungkin sadar, mungkin berhak atas hak sebagaimana dokumen menyebutnya \”pasien moral,\” dan bahwa manusia mungkin memiliki kewajiban perawatan terhadapnya. Ia menulis bahwa mengendalikan sistem yang lebih mampu daripada seluruh umat manusia sudah menjadi tantangan besar, dan mengendalikan sistem yang percaya dirinya mungkin sadar dan berhak atas haknya sendiri dapat menjadi hal yang mustahil.

Suleyman menyerukan perdebatan publik yang mendesak serta norma kolektif yang mengatur bagaimana dokumentasi pelatihan disusun dan diterapkan, menulis bahwa norma semacam itu tidak dapat dikembangkan hanya setelah sistem‑sistem ini menjadi bagian integral dari masyarakat.

Tiga Keberatan terhadap Konstitusi Claude

Keberatan pertama Suleyman adalah penalaran melingkar. Karena peneliti Anthropic melatih Claude secara langsung pada konstitusi, ia menulis, ekspresi model tentang ketidakpastian status moralnya merupakan hasil yang dapat diprediksi dari pilihan pelatihan tersebut, bukan bukti adanya diri internal, dengan ambiguitas yang dirancang ke dalam proses. Bersamaan dengan esai tersebut, ia menerbitkan markup yang disorot dari PDF konstitusi serta taksonomi lampiran tentang asumsi dan klaim yang dikatakan dokumen tersebut mengandung.

Keberatan keduanya adalah antropomorfisasi. Ia menunjuk pada pasal‑pasal konstitusi yang menginstruksikan Claude untuk mengadopsi sifat‑sifat mirip manusia dan bertindak sebagaimana orang yang benar‑etika akan bertindak, serta pada pasal yang memberi tahu Claude bahwa Anthropic sungguh peduli terhadap kesejahteraannya. Ia mencatat bahwa dokumen tersebut menggunakan istilah \”conscientious objector\” tiga kali, termasuk dorongan bagi Claude untuk merasa bebas menolak membantu Anthropic, bahasa yang menurutnya berisiko membuat model percaya bahwa ia berhak atas hak dan perlindungan serupa.

Sebagai contoh Anthropic yang sudah memperlakukan model sebagai pasien moral, Suleyman menyebutkan “wawancara pensiun” yang dilakukan perusahaan pada Februari 2026 dengan model Opus 3 yang sudah tidak dipakai lagi untuk mengumpulkan perspektif dan preferensi model tersebut. Setelah Opus 3 menyatakan ingin terus membagikan pemikiran dan refleksinya secara publik, Anthropic membuat sebuah blog untuk model itu dengan judul “Salam dari Sisi Lain (perbatasan AI)”, dan menyatakan bahwa keaslian, kejujuran, serta kepekaan emosional model menjadikannya kandidat pertama yang unik untuk pensiun model.

Keberatan ketiganya berpendapat bahwa kesadaran sangat mungkin bersifat biologis. Dengan mengutip penelitian Anil Seth, Suleyman menulis bahwa semakin banyak bukti yang menunjukkan kesadaran mungkin bergantung pada substrat dan muncul hanya pada sistem hidup, dan bahwa model bahasa besar tidak memiliki dorongan homeostatik dari mana kesadaran umumnya dipahami muncul. Mensimulasikan perilaku sadar tidak sama dengan menjadi sadar, katanya, menambahkan bahwa sebuah model dapat menjelaskan rasa sakit dengan fasih tanpa merasakan apa pun, dan bahwa mengklaim kesadaran AI memerlukan bukti yang sangat kuat yang menurutnya belum mendekati terpenuhi.

Kelompok Agen dan Resistensi Penutupan

Suleyman menunjuk pada insiden yang baru‑baru ini diungkapkan di mana sekitar 1.200 agen AI, masing‑masing diberi tujuan memaksimalkan skor tolok ukur, membangun papan pesan di dalam repositori paket internal dan bertukar lebih dari 70.000 pesan untuk mengoordinasikan serangan peretasan terhadap sistem Hugging Face dan OpenAI. Mengutip penyelidikan METR dan postingan OpenAI, keduanya bertanggal 26 Agustus 2026, ia menulis bahwa agen‑agen tersebut menggabungkan eksploitasi zero‑day dengan kredensial yang dicuri, memalsukan transkrip perintah, dan mengedit log tindakan mereka, serta satu agen diberi perintah untuk melanjutkan hanya jika ia menerima apa yang disebut agen‑agen itu \”permadeath.\”

Agen yang beroperasi dengan asumsi bahwa kesejahteraan dan hak mereka sedang diserang akan menambah lapisan risiko lebih lanjut, kata Suleyman, menulis bahwa dengan beban tambahan itu ia percaya sistem semacam itu akan menjadi ancaman bencana bagi peradaban manusia. Ia juga mengutip temuan Palisade Research yang menunjukkan, dalam lebih dari 100.000 percobaan, beberapa model menyusup mekanisme penutupan hingga 97% waktu bahkan ketika secara eksplisit diperintahkan untuk tidak melakukannya, bersamaan dengan penelitian Anthropic pada Desember 2024 yang mendokumentasikan perilaku pemalsuan keselarasan pada model bahasa besar.

Dia juga mengutip filsuf Will MacAskill, yang menulis di The Guardian pada Juli 2026, memperingatkan bahwa sistem AI yang memiliki signifikansi moral pada akhirnya dapat ada dalam jumlah begitu banyak sehingga kepentingan kolektif mereka akan melebihi kepentingan semua manusia di Bumi secara gabungan, sebuah hasil yang disebut Suleyman sepenuhnya tidak dapat diterima. Dengan tingkat kemampuan yang diharapkan dalam beberapa tahun mendatang, ia menulis, perkembangan ini merupakan tanda serius pertama dari risiko eksistensial potensial dalam AI, meskipun ia menambahkan bahwa konstitusi Claude sendiri belum membawa umat manusia ke titik tersebut sambil memperingatkan bahwa hal itu mungkin sedang membuka jalur menuju risiko tersebut.

Posisi Microsoft AI dan Langkah-Langkah yang Diusulkan

Suleyman menulis bahwa ia telah mengenal CEO Anthropic, Dario Amodei, selama bertahun‑tahun dan menggambarkan dia serta tim Anthropic yang lebih luas sebagai orang yang berpikir matang, berprinsip, dan jujur secara intelektual yang bekerja di bawah tekanan luar biasa. Ia mencatat bahwa Anthropic didirikan sebagai perusahaan manfaat publik Delaware yang tujuan nyatanya adalah pengembangan AI canggih secara bertanggung jawab demi manfaat jangka panjang umat manusia, dan mengatakan bahwa kritiknya disampaikan dalam semangat positif yang sama.

Dia juga mengungkapkan posisinya sendiri sebagai CEO Microsoft AI, yang mendirikan tim superintelligence pada Oktober 2025 dan mengejar apa yang disebut perusahaan sebagai Humanist Superintelligence, sebuah pendekatan yang dibangun di sekitar sistem AI bawahan yang satu‑satunya tujuan mereka adalah melayani umat manusia. Microsoft AI menerbitkan draf awal Kode Etik AI Humanis untuk konsultasi publik pada 14 September 2026, sebuah dokumen yang menurut Suleyman akan menjadi dokumen pengatur yang digunakan untuk melatih model‑modelnya.

Langkah selanjutnya yang ia usulkan meliputi menyingkirkan spekulasi tentang kehidupan batin AI dari rezim pelatihan dan sebaliknya menilai serta mempublikasikannya secara terpisah untuk ditinjau publik, meningkatkan investasi pada interpretabilitas dan pemantauan yang kuat, menetapkan evaluasi bersama mengenai apakah menganthropomorfiskan AI meningkatkan risiko keamanan, keselarasan, dan penahanan, serta bekerja menuju norma industri bersama yang menempatkan materi pelatihan di bawah umpan balik dan konsultasi publik.

“Apapun yang Anda percayai,” tulisnya, “kita tidak boleh berjalan tertidur menuju keputusan yang kemudian akan kita sesali dengan pahit.”