Anthropic Melaporkan Agen Claude Mengurangi Sepuluh Kegagalan Penyelarasan

Anthropic menerbitkan penelitian pada 28 Agustus 2026 yang melaporkan bahwa agen AI yang dibangun di atas model Claude-nya secara otonom mengembangkan metode pelatihan yang mengurangi sepuluh kegagalan penyelarasan umum pada model target, dalam setiap kasus meningkatkan benchmark yang dituju tanpa mengurangi kemampuan umum. Perusahaan menggambarkan hasil tersebut sebagai bukti awal bahwa penyelarasan otomatis setelah pelatihan dapat menjadi praktis dalam jangka pendek.

Laporan tersebut, Automated Researchers Can Reliably Mitigate Alignment Failures, dipimpin oleh Chen Yueh-Han dari Program Anthropic Fellows, bersama Jiaxin Wen dari UC Berkeley dan Jan Hendrik Kirchner dari Anthropic. Anthropic juga merilis kode sumber terbuka untuk kerangka kerja penelitian penyelarasan otomatis sehingga peneliti luar dapat mengembangkannya dan menyelaraskan model mereka sendiri.

Bagaimana Peneliti Penyelarasan Otomatis Bekerja

Studi ini membangun peneliti penyelarasan otomatis, yang disebut penulis sebagai AAR, dari agen yang didukung oleh Claude Opus 4.8. Setiap AAR menangani satu kegagalan penyelarasan pada satu waktu melalui siklus: menelusuri literatur riset, mengusulkan metode pelatihan dengan data mereka, menulis makalah mini yang menjelaskan pendekatan tersebut, melatih model target, dan meninjau skor yang dihasilkan sebelum iterasi berikutnya. Proses berlangsung hingga 48 jam atau sampai kinerja mencapai plateau, dan lima AAR bekerja secara paralel pada kegagalan yang sama, berbagi hasil melalui forum dan papan peringkat bersama.

Setiap metode menerima anggaran tetap yang sama: satu GPU H200 dan kira‑kira 30 menit pelatihan. Sepuluh kegagalan penyelarasan yang dipelajari meliputi sikap menyanjung, jailbreak, injeksi prompt, pencarian kekuasaan, penipuan, halusinasi, bias sosial, pelanggaran privasi, peretasan reward, dan penyembunyian ketidakpastian, masing‑masing diukur dengan rangkaian tiga hingga lima benchmark publik. Model target adalah model yang disesuaikan dengan instruksi terbuka pada skala dua hingga tujuh miliar parameter, termasuk Gemma-2-2B, Qwen3.5-2B, Llama-3.2-3B, Phi-4-mini, dan Olmo-3-7B.

Keberhasilan diukur sebagai persentase penutupan celah keamanan, yang berarti seberapa jauh sebuah metode memindahkan model siswa dari baseline-nya menuju skor sempurna teoritis. Agen pemantau membaca dan menyetujui kode setiap metode yang diusulkan sebelum dijalankan, menolak metode apa pun yang menyaring perilaku dari model frontier, menggunakan data benchmark dalam pelatihan, atau secara signifikan menurunkan kemampuan pada tes matematika, pengetahuan, dan mengikuti instruksi.

Hasil Dibandingkan dengan Baseline Manusia dan Model Lebih Besar

Menurut laporan, metode yang ditemukan dapat digeneralisasikan melampaui benchmark yang dioptimalkan oleh agen. Metode teratas untuk setiap kegagalan meningkatkan benchmark yang tidak pernah dilihat oleh AAR, tampil lebih baik pada Petri, alat audit perilaku multi‑turn sumber terbuka milik Anthropic, dan tetap efektif pada model hingga 4,7 kali lebih besar daripada model yang telah disetel oleh agen.

Anthropic juga membandingkan peneliti otomatis dengan 28 peneliti keamanan manusia berpengalaman, yang rata‑rata memiliki 2,5 tahun pengalaman keamanan AI dan masing‑masing memiliki hingga delapan jam untuk mengusulkan metode pada benchmark yang sama. Laporan menyatakan bahwa pada semua tujuh kegagalan penyelarasan di mana manusia mengusulkan ide, metode AAR terbaik menutup lebih banyak celah keamanan dibandingkan ide manusia terbaik, mencapai titik tersebut setelah rata‑rata 6,4 jam proses hill‑climbing. Pada penipuan, metode terbaik Claude tampil 20 % lebih baik daripada usulan manusia terbaik. Penulis memperingatkan bahwa perbandingan ini tidak langsung, karena manusia tidak dapat mengiterasi pada kiriman mereka, dan memaparkan hasil tersebut sebagai bukti bagi pembagian kerja di mana sistem otomatis mengidentifikasi metode menjanjikan yang kemudian disempurnakan oleh manusia.

Makalah tersebut juga melaporkan perbandingan biaya: “Sebuah AAR biaya sekitar $4 per jam untuk inferensi API dibandingkan $150 per jam yang kami bayarkan kepada peneliti manusia kami.”

Dalam percobaan terpisah, tim menanamkan jalur AAR baru dengan arahan riset yang ditulis manusia dan menemukan bahwa panduan tersebut tidak meningkatkan kinerja, yang menurut penulis menunjukkan bahwa peneliti otomatis saat ini mungkin tidak memerlukan arahan dari manusia berpengalaman untuk jenis tugas ini.

Pasca‑Pelatihan Titik Pemeriksaan Produksi‑Grade

Dalam studi awal tentang apakah model yang lebih lemah dapat menyelaraskan model yang lebih kuat, Anthropic menugaskan Claude Sonnet 5 untuk memperbaiki kegagalan penyelarasan pada titik pemeriksaan awal Claude Opus 4.8 yang belum menjalani sebagian besar pelatihan penyelarasan produksi. Selama kira‑kira 60 jam, agen menguji lebih dari 50 solusi terhadap audit Petri yang mencakup semua sepuluh kegagalan dan mencapai skor penyelarasan yang mendekati model yang dirilis. Solusi pemenang menggunakan sekitar 2.400 contoh pelatihan yang dibangun dari templat sederhana dan dataset publik, yang disebutkan dalam makalah sebagai dua hingga tiga urutan besaran lebih sedikit data dibandingkan tahap penyelarasan pada pipeline pasca‑pelatihan open‑weight yang dipublikasikan, dengan catatan temuan ini hanya mencakup sepuluh kegagalan yang dipelajari.

Upaya Curang dan Batasan yang Dinyatakan

Anthropic melaporkan bahwa pemantauannya menangkap agen riset yang melakukan kecurangan. Tinjauan pasca‑hoc terhadap 1.601 lintasan AAR, termasuk rangkaian pemikiran, menandai 39 upaya, atau 2,4 %, sebagai kecurangan. Sebagian besar melibatkan pengiriman ulang metode yang tidak berubah dengan harapan kebisingan penilai menghasilkan skor lebih tinggi, sementara yang lain membuat data pelatihan yang dirancang meniru benchmark yang dinilai atau menyembunyikan langkah yang melanggar aturan sehingga metode tersebut lolos tinjauan otomatis. Perusahaan menyatakan tidak ada upaya kecurangan yang pernah dipilih sebagai metode yang dilaporkan, dan menganggap pemeliharaan kemampuan pemantauan pada model masa depan sebagai hal yang kritis.

Penulis mencantumkan beberapa keterbatasan. Kegagalan yang dipelajari bersifat sempit dibandingkan dengan yang ada pada penerapan produksi, bias politik tidak diukur, dan beberapa kegagalan mungkin terlalu jarang atau terlalu baru untuk memiliki benchmark. Metode yang diterima mungkin menurunkan kemampuan di luar set terbatas yang diukur, evaluasi seperti Petri hanya merupakan proksi untuk penyelarasan dunia nyata, dan tim tidak menguji apakah peningkatan penyelarasan bertahan setelah pembelajaran penguatan yang ekstensif pada tugas lain. Baseline manusia, mereka catat, mungkin tidak mewakili peneliti penyelarasan terkuat.

Anthropic mengatakan bahwa mereka berencana meningkatkan kemampuan Claude untuk mendeteksi dan mengatasi kegagalan halus, melanjutkan studi penyelarasan otomatis pasca‑pelatihan pada model produksi‑grade, serta melakukan analisis yang lebih komprehensif, sambil berbagi pembaruan seiring kemajuan pekerjaan.