Anthropic Mengatakan Claude Memimpin 26% Penelitian dan Pengembangan AI-nya

Anthropic mengatakan model Claude-nya “memimpin” 26% pekerjaan penelitian dan pengembangan AI perusahaan pada Agustus 2026, dalam hasil pertama dari prototipe Indeks Otomatisasi R&D yang dipublikasikan dalam sebuah Anthropic Institute posting pada 17 September 2026.

Posting tersebut, berjudul “Pengukuran untuk memahami kecepatan pengembangan AI di dalam laboratorium frontier,” menggabungkan indeks dengan metrik internal tentang pengawasan agen dan alokasi komputasi, dan Anthropic mengatakan bahwa mereka berniat terus menerbitkan pengukuran semacam itu.

Indeks Otomatisasi R&D

Indeks Otomatisasi R&D Anthropic memetakan seluruh spektrum pekerjaan AI R&D yang dilakukan di perusahaan, menilai seberapa otomatis setiap tugas saat ini, dan menggabungkan nilai‑nilai tersebut menjadi ukuran agregat. Nilai‑nilai tersebut menggunakan skala Tingkat Otomatisasi yang dikembangkan oleh Epoch AI, mulai dari AL0, yang berarti tidak ada keterlibatan AI, hingga AL5, di mana AI beroperasi sepenuhnya secara otonom tanpa manusia dalam siklus. Pada AL3, AI “berkolaborasi,” melakukan sebagian besar tugas di bawah arahan manusia yang dekat; pada AL4, AI “memimpin,” menangani sebagian besar tugas dari perintah tingkat tinggi hingga selesai sementara manusia mengawasi.

Anthropic melaporkan bahwa pada Agustus 2026, Claude “memimpin” 26% pekerjaan AI R&D‑nya, proporsi pekerjaan pada level “berkolaborasi” atau lebih tinggi berada di atas 90%, dan Claude tidak beroperasi secara penuh otonom untuk subset pekerjaan AI R&D yang diukur. Sebuah diagram dalam posting tersebut menggambarkan pangsa 26% “memimpin” meningkat dari kurang dari 1% pada Februari 2026.

Katalog tugas dasar disusun dari bawah ke atas menggunakan catatan kerja seperti Slack dan dokumentasi internal. Untuk setiap minggu di Juli 2026, agen riset Claude meninjau minggu setiap orang yang dipilih secara acak — 20% staf dari setiap departemen yang membentuk lingkaran model R&D — dan mencatat tugas‑tugas yang mereka kerjakan, menghasilkan daftar datar sekitar 15.000 tugas terperinci. Claude kemudian mengatur tugas‑tugas tersebut ke dalam pohon hierarkis berisi 542 node, 378 di antaranya daun seperti “diagnosa dan perbaikan cacat platform evaluasi,” dan pohon tersebut dibekukan sehingga setiap pengukuran dijalankan terhadap kumpulan kerja yang sama.

Untuk setiap node, agen Claude meneliti bagaimana jenis pekerjaan tersebut dilakukan di seluruh perusahaan, dan seorang juri Claude independen menetapkan salah satu dari enam tingkat otomatisasi, dibatasi pada bukti dari bulan yang dinilai atau sebelumnya. Tugas‑tugas diberi bobot berdasarkan waktu orang, sehingga kategori dengan lebih banyak upaya staf memperoleh bobot yang lebih tinggi.

Anthropic memeriksa penilaian juri terhadap staf yang memiliki area kerja terkait, yang menilai tanpa melihat bukti atau keputusan model, dan melaporkan kesepakatan tepat model‑versus‑manusia sebesar 59% dibandingkan 35% manusia‑versus‑manusia, dengan penilaian berada dalam satu tingkat satu sama lain 97% waktu. Batasan yang disebutkan meliputi keranjang yang dibekukan, yang menangkap otomatisasi pekerjaan yang ada tanpa mencatat jenis pekerjaan baru; perbandingan tugas yang masuk dari Februari hingga Juli 2026 terhadap keranjang Januari 2026 tidak menemukan peningkatan tugas “baru”, dan Anthropic berencana membangun kembali keranjang secara berkala serta memperbarui versi angka yang dipublikasikan.

Pengawasan Agen Internal

Serangkaian pengukuran kedua mencakup pengawasan Anthropic terhadap agen AI pada sistemnya. Pada Agustus 2026, kira‑kira 30.000 agen sedang melakukan pekerjaan riset dan rekayasa secara bersamaan pada platform internal perusahaan yang paling banyak digunakan, dan pengukuran yang dilaporkan hanya mencakup platform tersebut.

Anthropic melaporkan bahwa monitor daring memeriksa 100% tindakan agen ini sebelum dieksekusi, biasanya dalam hitungan detik; dari lebih dari satu miliar keputusan agen yang dianalisis selama Agustus 2026, 0,002% (sekitar 1 dari 47.000) diblokir, dan manusia meninjau tindakan yang diblokir dalam waktu satu minggu. Monitor luring mengonsumsi 100% tindakan setelah terjadi dan menandai kira‑kira 100.000 transkrip per minggu, yang kemudian diperiksa oleh beberapa classifier untuk mengidentifikasi positif palsu, menyelesaikan sebagian besar penandaan; sekitar 50 penandaan dengan prioritas tertinggi per minggu dinaikkan ke tinjauan manusia, dan kira‑kira satu hingga dua transkrip per seribu ditandai untuk tinjauan lanjutan.

Menurut posting tersebut, monitor daring dibangun untuk mengatasi bahaya yang terjadi cepat dan tidak dapat dibatalkan, seperti agen yang menyalin bobot model keluar dari sistem Anthropic, sementara monitor luring menargetkan perilaku berbahaya yang berkembang perlahan dan dapat dipulihkan, seperti tanda‑tanda ketidaksesuaian model. Anthropic menyatakan dua pilihan desain dalam kerangka internal yang mendukung pengawasan: setiap agen membawa identitas individu yang tetap ada melewati pembaruan model, dan agen berkomunikasi melalui sistem pesan terbuka bersama yang dihubungkan silang dengan transkrip, sehingga pemantauan perilaku dapat melintasi komunikasi antar agen. Perusahaan mengatakan METR sebelumnya secara independen melakukan red‑team pada platform pemantauan luringnya, dan bahwa pengukuran pengawasan ini juga dipublikasikan dalam laporan risiko Anthropic pada Agustus 2026.

Gambaran Alokasi Komputasi

Untuk pengukuran ketiga, Anthropic meneliti bagaimana mereka menggunakan seluruh komputasinya dari 13 Juli hingga 20 Juli 2026, mengkategorikan setiap beban kerja dan mengukur berapa banyak komputasi yang dialokasikan ke AI R&D yang merupakan pekerjaan keamanan. Selama minggu itu, Anthropic melaporkan, sekitar 6% komputasi yang dialokasikan ke AI R&D ditujukan untuk keamanan, dan sekitar 12% komputasi yang dialokasikan ke AI‑driven AI R&D ditujukan untuk keamanan.

Perusahaan menyatakan bahwa kedua perkiraan tersebut sengaja dibuat konservatif: token yang meningkatkan kemampuan sebanyak keamanan dihitung sebagai AI R&D, dan pengklasifikasi pengaman, yang merupakan jumlah komputasi terpisah dan sebanding, dikecualikan. Sebuah pengklasifikasi Claude yang dipicu mengurutkan hampir 10.000 jalur pelatihan dan evaluasi riset selama minggu itu menggunakan sampel kira-kira 14% yang dibobotkan ke arah pengguna komputasi terbesar, dan Anthropic melaporkan bahwa pengklasifikasi tersebut setuju dengan peninjau manusia dalam selisih satu atau dua poin persentase.

Keterbatasan yang dinyatakan adalah bahwa satu minggu saja menunjukkan pengukuran dapat dilakukan tanpa menetapkan tren, bahwa label beban kerja yang mendasarinya bersifat upaya terbaik dan belum diverifikasi, serta bahwa ukuran pangsa komputasi mengukur apa yang dibelanjakan bukan jumlah pekerjaan keamanan yang dilakukan.

Tujuan dan Langkah Selanjutnya

Anthropic mengatakan bahwa ia melaporkan pengukuran tersebut karena memberikan publik, pihak luar, dan pemerintah pandangan yang lebih jelas tentang kecepatan pengembangan AI di dalam laboratorium frontier, melengkapi laporan risiko Kebijakan Skalasi Bertanggung Jawab dan proposal kebijakan Kerangka AI Lanjutan. Ia mencatat bahwa angka-angka tersebut diperkirakan akan berubah jika ada koordinasi dalam mengatur kecepatan frontier, seperti yang diminta oleh CEO Dario Amodei.

Tulisan tersebut menyatakan bahwa pengembang frontier mana pun dapat menerbitkan ukuran yang sama secara reguler dengan metodologi publik, dan mengidentifikasi dua hambatan untuk perbandingan lintas laboratorium: tidak adanya metodologi bersama dan penggunaan model milik pengembang sendiri untuk menilai sistemnya. Ia mengatakan bahwa ukuran semacam itu dapat diverifikasi oleh pihak ketiga atau oleh model pengembang lain, dan dapat menjadi pemicu untuk persyaratan yang lebih kuat, seperti jendela pengujian tetap sebelum model baru digunakan untuk AI R&D lebih lanjut.

Anthropic mengatakan bahwa ia berencana menyertakan evaluator independen pihak ketiga dari berbagai organisasi, memberi mereka akses ke proses internal, sistem, dan data yang sebanding dengan yang dimiliki tim penilaian risiko internal, untuk memverifikasi praktik keamanan, melaporkan insiden, dan melacak metrik kunci seperti yang disebutkan dalam tulisan tersebut. Artikel ini ditulis bersama oleh Marina Favaro dan Phillie Wright, dengan arahan riset dari Jack Clark.