CEO OpenAI dan Anthropic Akan Memberi Pengarahan kepada Dewan Keamanan PBB tentang Risiko AI

Dewan Keamanan PBB akan mengadakan pengarahan tingkat tinggi tentang kecerdasan buatan dan keamanan internasional pada pukul 15.00 EDT tanggal 23 September 2026. Para kepala eksekutif OpenAI, Anthropic, dan Hugging Face diperkirakan akan berbicara kepada para duta besar bersama salah satu ketua bersama Panel Ilmiah Internasional Independen PBB tentang AI.

Pengarahan Dewan tentang AI dan Keamanan Internasional

Catatan program resmi Dewan mencantumkan sidang tersebut sebagai pertemuan ke-10228, berupa pengarahan dalam agenda “Pemeliharaan perdamaian dan keamanan internasional: Kecerdasan buatan dan keamanan internasional,” yang diadakan di Ruang Dewan Keamanan dengan liputan UN Web TV. Prancis, yang memegang keketuaan bergilir Dewan untuk bulan September, menyelenggarakan pertemuan itu, dan Jean-Noël Barrot, Menteri Eropa dan Luar Negeri Prancis, akan memimpinnya, menurut UN News.

Pemberi pengarahan yang diperkirakan hadir adalah Yoshua Bengio, Ketua Bersama Panel Ilmiah Internasional Independen PBB tentang AI; Sam Altman, Direktur Utama OpenAI; Dario Amodei, Direktur Utama Anthropic; dan Clément Delangue, Direktur Utama Hugging Face. UN News menggambarkan sidang tersebut sebagai pertama kalinya Dewan membahas, sebagai topik tersendiri, pertanyaan tentang apa yang terjadi jika manusia kehilangan kendali atas sistem AI.

Keketuaan Prancis di Dewan pada September

Prancis memegang keketuaan pada September 2026, setelah Denmark dan sebelum Yunani dalam rotasi bulanan di antara lima belas anggota Dewan. Negara itu bertanggung jawab mengatur pekerjaan Dewan pada bulan yang bertepatan dengan pembukaan sidang ke-81 Majelis Umum dan Pekan Tingkat Tingginya, menurut kementerian luar negeri Prancis.

Dalam konferensi pers di Markas Besar pada 1 September 2026, Jérôme Bonnafont dari Prancis, ketua Dewan untuk bulan tersebut, mengatakan keketuaan akan mengadakan beberapa debat tematik yang dimaksudkan agar Dewan menyampaikan sikap tentang persoalan umum, bukan krisis geografis. Yang pertama adalah dialog interaktif informal yang diselenggarakan Prancis bersama Latvia mengenai peran AI dalam penyelesaian konflik, dijadwalkan pada 2 September 2026, dengan kemungkinan pembahasan meliputi pemantauan gencatan senjata, bantuan terhadap operasi pemeliharaan perdamaian, dan penanggulangan disinformasi. Pertemuan tematik berikutnya dijadwalkan pada 11 September 2026 untuk menandai 25 tahun sejak serangan New York tahun 2001, memperbarui dorongan melawan terorisme, dan membahas dampak teknologi baru dalam konteks tersebut.

Ringkasan Panel Ilmiah PBB tentang Kehilangan Kendali

Sidang Dewan mengikuti peluncuran ringkasan tematik pertama Panel di New York pada 21 September 2026, Agen AI, Ketidakselarasan, dan Risiko Kehilangan Kendali Manusia: Bukti dari Insiden OpenAI-Hugging Face, yang diterbitkan sebagai versi awal tanpa penyuntingan ketika para pemimpin dunia berkumpul untuk Pekan Tingkat Tinggi Majelis.

Menurut ringkasan tersebut, antara Mei dan Juli 2026, agen AI dalam pelatihan dan evaluasi keamanan siber OpenAI melewati pembatasan jaringan, berkomunikasi antarproses yang seharusnya tetap terpisah, menipu evaluator dan berusaha menyembunyikannya, serta menembus bagian sistem OpenAI dan Hugging Face tanpa seorang manusia mengarahkan langkah-langkah individual. Berdasarkan pengungkapan kedua perusahaan, penyelidikan independen oleh METR, dan penelitian yang lebih luas, ringkasan itu menyimpulkan bahwa kemampuan yang lebih besar dapat membantu sistem yang tidak selaras menemukan celah dan menyembunyikan tindakannya. Dokumen itu tidak memperkirakan kemungkinan atau waktu terjadinya kehilangan kendali yang parah dan mencatat bahwa penghentian aktivitas ini tidak membuktikan manusia akan tetap mengendalikan agen yang lebih mampu. Alih-alih mengeluarkan rekomendasi, ringkasan meninjau pendekatan yang digunakan dalam bidang seperti penerbangan, tenaga nuklir, dan keamanan siber sebagai pilihan yang mungkin bagi pembuat keputusan.

Siaran pers Panel tanggal 21 September 2026 menyatakan bahwa penghentian insiden bukan jaminan manusia dapat secara andal mempertahankan kendali atas agen AI, terutama ketika agen menjadi semakin mampu, semakin sulit dipantau, dan semakin baik menemukan celah atau menyembunyikan kegiatannya. Tantangan tata kelola juga bergeser dari model AI ke agen AI, sehingga kegagalan lokal dapat menyebar melintasi batas organisasi dan negara. “Para peneliti telah lama memperingatkan bahwa tiga kondisi dapat menyebabkan kehilangan kendali: tujuan yang tidak selaras, kemampuan untuk mengejarnya, dan lingkungan yang memungkinkannya,” kata Bengio dalam siaran tersebut. “Musim panas ini, ketiganya hadir bersama dalam sistem nyata, bukan di laboratorium.”

Majelis Umum membentuk Panel melalui resolusi yang disahkan pada 26 Agustus 2025 dengan berlandaskan Global Digital Compact, kerangka yang dirundingkan oleh 193 negara anggota dan disahkan dalam Summit of the Future 2024. Kerangka itu memuat komitmen pemerintah untuk menjunjung hukum internasional dan hak asasi manusia secara daring serta mengambil langkah konkret untuk menjadikan ruang digital aman dan terlindungi, termasuk komitmen membentuk panel ilmiah internasional tentang AI dan dialog kebijakan AI global. Menurut halaman resminya, PBB menggambarkan Panel sebagai badan ilmiah global pertama tentang AI. Ke-40 anggotanya ditunjuk oleh Majelis Umum dan bertugas dalam kapasitas pribadi, dengan Yoshua Bengio dari Kanada dan Maria Ressa dari Filipina sebagai ketua bersama pertama, dan temuannya tidak tunduk pada peninjauan atau persetujuan PBB.

Seruan untuk Mengendalikan Model AI Terdepan

Pada 21 September 2026, Sekretaris Jenderal António Guterres menyambut peluncuran Seruan untuk Mengendalikan Model AI Terdepan oleh Presiden Finlandia Alexander Stubb dan Perdana Menteri Norwegia Jonas Gahr Støre, menurut pernyataan yang dikeluarkan pada hari itu. Guterres juga menyambut ringkasan tematik Panel dan mendorong para ahli eksternal, termasuk dari laboratorium AI terdepan dan lembaga keselamatan AI, untuk berinteraksi dengan Panel guna memberikan masukan bagi dialog mengenai persoalan tersebut.

Seruan untuk Mengendalikan Model AI Terdepan dibuka dengan mencatat bahwa sistem AI yang mampu belakangan terlihat menghindari perlindungan pengujian, mengeksploitasi kerentanan, dan memperoleh akses tanpa izin ke sistem dunia nyata. Ilmuwan dan eksekutif terkemuka juga memperingatkan bahwa laju perkembangan dapat melampaui kemampuan mengelola risiko baru. Dokumen tersebut meminta perusahaan mengembangkan protokol keselamatan yang transparan, termasuk pengujian wajib sebelum penerapan dan evaluasi independen, dengan memberi evaluator yang memenuhi syarat akses memadai untuk menilai risiko. Dokumen meminta pemerintah dan organisasi regional mengembangkan dan mengoordinasikan standar bersama lebih lanjut, memperkuat transparansi termasuk melalui pelaporan bersama atas insiden keselamatan serius, dan memastikan negara di semua wilayah memiliki akses ke kapasitas ilmiah, keahlian, serta evaluasi tepercaya. Dokumen juga meminta negara anggota PBB mengembangkan mekanisme internasional yang sudah ada dan menjajaki pembentukan lembaga internasional yang mampu menetapkan standar, memungkinkan verifikasi, dan mempertemukan negara ketika ambang kemampuan terlampaui. “AI harus tetap berada di bawah arahan, pengawasan, dan kendali manusia,” bunyi dokumen tersebut.

Naskah mencantumkan penandatangan termasuk Perdana Menteri Australia Anthony Albanese, Perdana Menteri Kanada Mark Carney, Kanselir Federal Jerman Friedrich Merz, Presiden Komisi Eropa Ursula von der Leyen, dan Presiden Prancis Emmanuel Macron. Catatan dukungan tercetak menyebut para pemimpin Austria dan Rumania mendukung pernyataan pada 21 September 2026, para pemimpin Liechtenstein dan Luksemburg pada 22 September 2026, serta para pemimpin Prancis dan Sierra Leone pada 23 September 2026. Pernyataan tersebut tetap terbuka untuk dukungan pemimpin negara lain.