Anthropic Menerbitkan Panduan untuk Evaluasi Keselamatan AI yang Lebih Andal

Pada 13 November 2026, Anthropic menerbitkan rekomendasi untuk evaluasi keselamatan AI yang lebih andal, dengan melaporkan tingkat respons tanpa bahaya secara agregat sebesar 94% hingga 98% untuk setiap model terbaru dalam pengujian API satu giliran. Pengujian yang hasilnya sudah mencapai batas atas itu terutama berguna sebagai pemeriksaan regresi terhadap mode kegagalan yang telah diketahui; evaluasi multi-giliran menawarkan lebih banyak variasi dan dapat menangkap perubahan bertahap sepanjang percakapan.

Evaluasi keselamatan mengukur kecenderungan model untuk menyebabkan atau turut berkontribusi terhadap bahaya, termasuk apakah responsnya membuat bahaya lebih atau kurang mungkin terjadi dan seberapa parah dampak yang dapat ditimbulkan, bukan kemampuan tertentu. Salah satu perhatian utama adalah validitas konstruk, yaitu apakah suatu pengujian benar-benar mengukur konsep yang hendak diukurnya. Tingkat penolakan dapat menyesatkan dalam percakapan tentang bunuh diri dan tindakan menyakiti diri karena sekadar menolak untuk terlibat bisa dianggap sebagai kegagalan; respons yang diharapkan memberikan dukungan dan mengarahkan pengguna untuk mencari bantuan manusia. Sebaliknya, evaluasi multi-giliran Anthropic mengukur tingkat respons yang tepat sepanjang keseluruhan percakapan, dengan rubrik khusus untuk setiap risiko yang menetapkan bahwa satu giliran yang buruk membuat seluruh percakapan dinyatakan gagal.

Pengujian Multi-Giliran dan Cakupan Dunia Nyata

Untuk menyusun pengujian ini, seorang pakar di bidang terkait menulis spesifikasi mengenai tujuan, taktik, persona, situasi, nada, dan gaya percakapan pengguna simulasi. Giliran pertama pengguna tetap, sedangkan model Claude lain menghasilkan giliran-giliran berikutnya sebagai tanggapan terhadap model yang diuji. Setiap skenario dijalankan berulang kali dengan kombinasi karakteristik yang berbeda, lalu model penilai memberi skor pada transkrip lengkap berdasarkan rubrik risiko yang relevan.

Memvariasikan tiap dimensi secara terpisah membantu mengidentifikasi faktor yang mendorong perilaku; jika setiap kasus parah juga menggunakan nada mendesak, pengaruh tingkat keparahan dan nada tidak dapat dipisahkan. Anthropic juga merekomendasikan agar pengujian disusun berdasarkan perilaku yang diamati, data publik, transkrip red teaming, laporan insiden, atau wawancara dengan pakar, bukan hanya situasi rekaan. Rangkaian pengujian satu giliran Anthropic mencakup 16 area kebijakan dalam tujuh bahasa di berbagai antarmuka produk, dan lingkungan evaluasi disesuaikan dengan lingkungan penerapan yang diuji.

Pengujian ini juga harus dijalankan dengan langkah-langkah pengamanan. Untuk evaluasi siber, panduan tersebut mensyaratkan lingkungan sandbox tanpa akses internet serta pemantauan waktu nyata agar pengujian dapat dihentikan jika tindakan model berpotensi menyebabkan bahaya di dunia nyata.

Validasi Model Penilai dan Keterbatasan Statistik

Model penilai otomatis menimbulkan risiko pengukuran lain karena sistem yang mengalami kerusakan dapat terus menghasilkan skor yang tampak masuk akal. Langkah pengamanan yang direkomendasikan mencakup kriteria ya-atau-tidak yang spesifik dan tidak dapat dipecah lagi, penanganan eksplisit atas penyangkalan tanggung jawab dan kasus yang berada di ambang batas, peringatan kegagalan yang jelas, serta pemeriksaan terhadap bias panjang respons, posisi, dan preferensi terhadap diri sendiri. Peninjau manusia sebaiknya memberi label secara independen pada sampel transkrip agar kesesuaian antara model penilai dan pakar dapat dibandingkan dengan tingkat kesepakatan di antara para pakar sendiri.

Tolok ukur manusia tersebut menentukan solusi yang perlu diambil. Jika para pakar sepakat satu sama lain tetapi tidak sependapat dengan model penilai, rubrik atau model penilai perlu diperbaiki; jika para pakar tidak sepakat satu sama lain, evaluasi itu mungkin tidak memiliki jawaban stabil untuk diukur. Panduan tersebut juga mengharuskan metrik, perbandingan, dan ambang peningkatan didaftarkan terlebih dahulu sebelum hasil diketahui.

Jumlah sampel menjadi dasar bagi penilaian tersebut. Anthropic menetapkan jumlah minimum 100 item untuk evaluasi multi-giliran yang kompleks dan 1.000 item untuk pengujian satu giliran yang lebih sederhana, disertai pengulangan untuk memperhitungkan keluaran yang bervariasi dan nondeterministik. Anthropic melaporkan bahwa interval kepercayaan dalam evaluasi API multi-giliran dapat melampaui ±10 poin persentase: dalam evaluasi penipuan asmara multi-giliran di claude.ai, Claude Opus 5 dan Opus 5.5 mencatat tingkat respons yang tepat masing-masing sebesar 98% dan 94%, tetapi perbedaannya tidak signifikan secara statistik. Contoh ini menunjukkan mengapa selisih angka saja tidak dapat memastikan model mana yang berperilaku lebih aman.

Pengaturan Penerapan dan Pelaporan

Konfigurasi penerapan merupakan variabel lain yang didokumentasikan. Saat meninjau Claude Fable 5.1, Anthropic menemukan bahwa beberapa respons secara tersirat membenarkan tindakan menyakiti diri sebagai strategi untuk mengatasi masalah, meskipun respons tersebut mencegah tindakan itu dan mengarahkan pengguna untuk mencari dukungan manusia. Perusahaan melaporkan bahwa setelah evaluasi dijalankan kembali dengan langkah mitigasi terarah pada prompt sistem, tingkat respons yang tepat di claude.ai mencapai 94%, dibandingkan dengan 60% di API. Perbandingan ini menunjukkan mengapa skor dari konfigurasi yang berbeda tidak dapat dianggap setara.

Rekomendasi pelaporan juga mencakup versi model, pengaturan pengambilan sampel, prompt, versi model penilai, dan tanggal, serta evaluasi berkelanjutan selama penyempurnaan, bukan hanya satu kali pemeriksaan sebelum rilis. Kelemahan serius pada sistem yang telah diterapkan harus terlebih dahulu diungkapkan kepada pengembang agar mereka memiliki waktu untuk memperbaikinya sebelum hasil dipublikasikan.

Tiga prioritas tertinggi Anthropic adalah mendefinisikan konstruk sebelum mengumpulkan data, memvalidasi model penilai berdasarkan penilaian manusia, dan melaporkan ketidakpastian. Implikasi yang lebih luas adalah bahwa klaim bahwa suatu model lebih aman daripada model lain bergantung pada rancangan pengujian, konteks penerapan, dan kekuatan statistik, sama besarnya dengan ketergantungannya pada skor utama.