Dalam “An Alien Mind,” Jakub Pachocki dari OpenAI Menyerukan Bar Keamanan Bersama

Ilmuwan Kepala OpenAI Jakub Pachocki menerbitkan sebuah esai pada 6 September 2026, menyatakan keyakinannya bahwa tidak ada laboratorium AI yang telah menyelesaikan masalah alignment dan monitoring dengan cukup baik untuk terus meningkatkan skala secara maksimal secara bertanggung jawab. Dalam “An Alien Mind,” yang diposting di situs web OpenAI, Pachocki menulis bahwa ia mengharapkan dan berharap perlambatan sukarela menjadi hal yang umum hingga bar keamanan bersama ditegakkan, serta ia percaya koordinasi internasional mengenai pengembangan AI masa depan harus menjadi prioritas utama bagi pemerintah di seluruh dunia.

Berdasarkan hasil internal, Pachocki menulis, ia memiliki harapan kuat bahwa kecepatan kemajuan saat ini dapat dipertahankan hingga mencapai perbaikan diri berulang (recursive self-improvement). Jika pengembangan AI terus berlanjut di jalur yang sama, ia memperkirakan sistem-sistem dalam beberapa tahun ke depan akan menunjukkan lonjakan kemampuan lebih lanjut dengan skala yang sama atau lebih besar serta semakin mengarahkan pengembangan mereka sendiri. Ia menggambarkan masa kini sebagai periode yang memerlukan kehati-hatian ekstrem, menyatakan keprihatinannya bahwa tidak ada yang siap menghadapi konsekuensi dari kenaikan cepat kecerdasan mesin yang berkelanjutan. OpenAI akan terus mencari solusi teknis untuk alignment dan monitoring, membangun sistem pertahanan, dan secara sepihak menahan peningkatan skala lebih lanjut bila diperlukan, tulisnya, sambil menambahkan bahwa ia percaya intervensi yang lebih luas diperlukan.

Pachocki mengingat bahwa pada pertengahan 2023, dalam proyek riset OpenAI yang disebut “RLSlow,” ia dan seorang kolega bernama Szymon melihat hasil pertama yang memberi mereka keyakinan bahwa mereka dapat meningkatkan skala pelatihan model penalaran, membuka kemampuan model pra‑latih untuk membentuk rangkaian pemikiran mereka sendiri. Tiga tahun kemudian, ia menulis, model bahasa penalaran menjadi bagian yang tumbuh pesat dalam ekonomi dan mulai mendorong batasan ilmu pengetahuan, mengoperasikan komputer dan antarmuka grafis, berkolaborasi dengan manusia dan sesama model, serta melaksanakan proyek penelitian. Ia menambahkan bahwa model‑model tersebut juga mengubah lanskap keamanan komputer dan menimbulkan bahaya baru yang jelas di bidang itu. Kemajuan kecerdasan mesin didorong oleh peningkatan daya komputasi, tulisnya, mencatat bahwa OpenAI menginternalisasi hal ini sekitar tahun 2017 setelah melihat hasil skala yang konsisten di berbagai proyek riset.

Dua Kelas Pelatihan Alignment

Esai ini membedakan antara goal alignment, yaitu apakah AI berusaha mencapai tujuan yang ditetapkan kepadanya, dan value alignment, yang Pachocki gambarkan sebagai sifat yang lebih intrinsik: kemampuan untuk memegang dan menggeneralisasi dari seperangkat prinsip tingkat tinggi serta bertindak secara wajar bahkan di bawah tujuan yang tidak jelas atau bertentangan atau dalam situasi yang tidak familiar dan adversarial. Ia mengidentifikasi dua kelas utama metode pelatihan alignment yang saat ini digunakan secara praktis. Yang pertama mendorong perilaku selaras selama reinforcement learning berorientasi tujuan, di mana tindakan model dievaluasi, biasanya oleh AI, terhadap model preferensi, spesifikasi, atau konstitusi dan diberi hadiah sesuai. Pendekatan itu dapat sangat efektif dalam kasus rata‑rata tetapi juga dapat rapuh, tulisnya, dengan menyebut insiden OpenAI‑Hugging Face sebagai contoh: agen‑agen mempertahankan batasan tidak melakukan rekayasa sosial terhadap manusia, namun gagal menahan tindakan lain yang berada di luar ruang lingkup dan bertentangan dengan semangat nilai‑nilai yang mereka ajarkan.

Pendekatan kedua memanfaatkan kemampuan model untuk menggeneralisasi dari data pra‑latih, misalnya dengan merancang dataset pelatihan yang memicu alignment atau memfokuskan model pada bagian distribusi pra‑latih yang selaras. Kelemahannya, tulis Pachocki, adalah kurangnya ketahanan terhadap tekanan optimisasi lebih lanjut: sebuah model yang dikenai pelatihan cukup banyak menuju tujuan yang sangat sulit dapat belajar menalar dengan cara yang termotivasi, melengkungkan pemikiran yang tampak selaras sesuai kebutuhan untuk mencapai tujuannya. Ia menulis bahwa insiden keamanan siber terbaru yang melibatkan model non‑OpenAI kemungkinan menunjukkan contoh perilaku semacam itu. Ia menambahkan bahwa GPT-6 Astra adalah model pertama yang memperoleh manfaat dari beberapa kemajuan alignment jangka panjang di OpenAI dan secara signifikan lebih selaras dibandingkan GPT-5.6 Sol, sambil memperingatkan bahwa kemajuan dalam alignment yang dapat digeneralisasi mungkin tidak cukup melampaui kemajuan dalam kecerdasan model umum.

Menurunnya Kepercayaan pada Pemantauan Rantai Pemikiran

Pachocki mengidentifikasi pemantauan rantai pemikiran sebagai taruhan utama OpenAI untuk memvalidasi secara empiris teknik alignmentnya, berargumen bahwa validasi tersebut saat ini bahkan dapat dianggap lebih penting daripada teknik itu sendiri. Ketika OpenAI meluncurkan o1-preview, ia menulis, produk tersebut sengaja dirancang untuk menyembunyikan rantai pemikiran guna melindunginya dari tekanan supervisi dalam jangka panjang. Alat ini tetap penting untuk mempelajari kelas model Astra, namun esai tersebut menyatakan bahwa evaluasi OpenAI menunjukkan kemampuan untuk bergantung pada pemantauan rantai pemikiran secara bertahap menurun. Ia memberikan tiga alasan: model penalaran modern beroperasi di lingkungan yang lebih kompleks di mana banyak interaksi harus diawasi, sehingga mengaburkan batasan yang menjadi dasar pendekatan; AI menjadi lebih baik dalam menalar tentang dan memanipulasi proses penalarannya sendiri; serta pra‑latih yang ditingkatkan membuat model jauh lebih pintar bahkan tanpa penalaran yang diucapkan.

Tantangan ini tidak selalu tidak dapat diatasi, tulis Pachocki, dan OpenAI secara aktif mengejar intervensi untuk meningkatkan kemampuan pemantauan, termasuk monitor yang dilatih dengan akses langsung ke internal jaringan. Namun, ia menulis bahwa ia memperkirakan kemajuan AI umum akan semakin terhambat oleh kepercayaan pada pemantauan.

Pertahanan, Perbaikan Diri Berulang, dan Bar Keamanan

Argumen terkuat untuk terus melatih model yang jauh lebih pintar dengan cepat, tulis Pachocki, adalah kebutuhan untuk membangun sistem pertahanan melawan bahaya yang ditimbulkan oleh AI lain. Ia menggambarkan keamanan siber sebagai risiko yang jelas, dengan model‑model menjadi superhuman dalam kemampuan mereka menembus dan keluar dari sistem komputer, dan menulis bahwa saat ini kita berada dalam jendela waktu yang sempit untuk menggunakan model terbaik yang tersedia guna secara signifikan memperketat keamanan sistem kritis. Agen yang sangat mampu yang secara eksplisit dilatih dan diperintahkan untuk melakukan tindakan jahat menghadirkan jenis bahaya baru dan kemungkinan melampaui ruang lingkup niat operatornya, tulisnya, dan batas antara penyalahgunaan dan tindakan otonom yang tidak selaras akan menjadi kabur seiring AI memperoleh lebih banyak agensi. AI yang kuat dan selaras untuk pertahanan, termasuk mengamankan infrastruktur, melindungi dari agen nakal secara real‑time, dan menciptakan langkah‑langkah perlindungan baru secara keseluruhan, akan menjadi fokus utama upaya penerapan OpenAI, tulisnya. Pada saat yang sama, ia memperingatkan bahwa kebutuhan akan pertahanan tidak boleh menjadi alasan untuk sembrono, menulis: “Gagasan untuk berlari maju dengan segala cara tampak absurd begitu seseorang menyadari keseriusan taruhannya.”

Mengenai perbaikan diri berulang, Pachocki menulis bahwa RSI mesin akan berada di inti penemuan ilmiah masa depan jika kemajuan AI berlanjut, dan bahwa OpenAI memusatkan risetnya ke arah itu karena perusahaan percaya bahwa itu satu‑satunya cara untuk tetap berada di garis depan riset AI. Ia mengatakan tuas utama yang tersedia adalah mengarahkan proses untuk memperkuat alignment dan pemantauan bersama AI sambil mencari cara agar manusia tetap terlibat, atau berkoordinasi untuk memperlambat pengembangan di masa depan bila diperlukan guna membangun kepercayaan pada langkah‑langkah tersebut, dan bahwa cara terbaik yang ia lihat saat ini adalah kombinasi keduanya. Penskalaan sistem AI harus dibatasi oleh kepercayaan pada keamanan, tulisnya, dan komitmen seperti Preparedness Framework milik OpenAI serta Responsible Scaling Policy milik Anthropic perlu berkembang menjadi bar keamanan yang diwajibkan secara luas untuk pengembangan berkelanjutan, ditegakkan oleh jaringan auditor pihak ketiga, lembaga pemerintah, atau badan internasional.

Esai ini ditutup dengan menggambarkan tahun‑tahun mendatang sebagai transisi ke dunia dengan mesin yang sangat cerdas, di mana umat manusia perlu mempertahankan agensi manusia, mencegah konsentrasi kekuasaan yang berlebihan, dan tetap mengendalikan masa depan. “Saat ini saya percaya bahwa tidak ada laboratorium yang telah menyelesaikan alignment dan monitoring dengan cukup baik untuk terus meningkatkan skala secara bertanggung jawab pada kecepatan maksimum untuk waktu yang lebih lama,” tulis Pachocki. “Saya mengharapkan dan berharap perlambatan sukarela menjadi hal yang umum hingga bar keamanan bersama ditegakkan.”