Model dan platform AI
METR Menemukan Horizon Waktu AI Berlipat Ganda, Sementara Penilaian Riset Tertinggal

Poin utamaCakrawala waktu model frontier berlipat ganda kira-kira setiap 110 hari tetapi…
Lihat selengkapnya
- Cakrawala waktu model frontier berlipat ganda kira-kira setiap 110 hari tetapi pertimbangan penelitian tertinggal di belakang keuntungan yang dapat diverifikasi.
- Model ditempatkan pada persentil ke-96 hingga ke-98 dalam kontes optimasi namun tertinggal dari manusia teratas dalam percepatan otonom.
- Juri model menilai terlalu tinggi tugas penelitian model yang kuat sekitar 0,2 poin pada skala satu poin.
METR melaporkan pada 20 November 2026 bahwa horizon waktu 50% model-model terdepan yang tersedia untuk umum—yakni durasi tugas yang diperkirakan manusia dan pada durasi tersebut model diprediksi berhasil separuh waktu, bukan lamanya model bekerja—berlipat ganda kira-kira setiap 110 hari berdasarkan gabungan evaluasi TH1.1 dan TH2. Pengujian yang diperluas menunjukkan peningkatan besar dalam pekerjaan yang dapat diverifikasi, tetapi penilaian yang lebih lemah dalam riset terbuka dan perancangan evaluasi.
Pembaruan ini mencakup model publik hingga Opus 5.5 dan GPT-6 Astra, serta mengkaji kemampuan yang relevan untuk mengotomatiskan riset dan pengembangan (R&D) AI. METR biasanya mengevaluasi 15 model dengan TH1.1 dan TH2. Rangkaian TH2 yang baru mencakup 36 tugas dalam 12 kelompok: delapan kelompok tugas yang dapat diverifikasi, dengan sasaran yang terdefinisi dengan baik dan dinilai secara otomatis dalam bidang optimisasi, pembelajaran mesin, teka-teki dan permainan; serta empat kelompok yang mencakup penalaran konseptual, penilaian, dan riset terbuka tanpa cara mudah untuk memeriksa keberhasilan.
Rangkaian yang Lebih Sulit dengan Tren Pertumbuhan Serupa
METR memperkirakan interval kepercayaan 95% untuk waktu pelipatan ganda gabungan sebesar 2,08 hingga 4,94 bulan, mendekati tren sebelumnya, yakni 105 hari, untuk TH1.1 saja. Karena TH2 lebih sulit pada durasi tugas manusia yang sama, horizon waktu 50% model pada rangkaian gabungan lebih rendah daripada pada TH1.1 saja.
Pada subset TH2 yang dapat diverifikasi, perkiraan waktu pelipatan ganda turun menjadi 1,65 bulan, dengan interval kepercayaan 95% sebesar 0,79 hingga 3,99 bulan. METR mengingatkan bahwa hasil yang tidak pasti ini bisa mencerminkan komposisi tugas, rentang tanggal yang terbatas, atau seleksi selama pengembangan tugas, bukan percepatan secara luas. Kumpulan tugas yang kurang beragam juga dapat menghasilkan waktu pelipatan ganda yang lebih singkat karena tugas yang lebih panjang membutuhkan lebih banyak keterampilan yang sama.
Kalibrasi terhadap kemampuan manusia tidak dilakukan secara langsung seperti dalam penelitian METR sebelumnya. Peneliti menetapkan ambang skor dan waktu untuk 34 tugas baru, dengan menggunakan tolok ukur keberhasilan manusia untuk tiga tugas dan perkiraan peneliti untuk 31 tugas; tolok ukur langsung hanya menjadi dasar bagi 9% perkiraan durasi tugas manusia. Para spesialis dibayar $200 hingga $350 per jam dan boleh menggunakan Sonnet 5 untuk implementasi. METR melaporkan hasil waktu pelipatan ganda yang serupa setelah menambahkan variasi pada perkiraan waktu tugas dan menggantinya dengan perkiraan waktu penyelesaian manusia yang dibuat model, meskipun masih belum pasti seberapa sebanding para peserta yang menjadi tolok ukur dengan peneliti di laboratorium terdepan.
Skor Kuat, Penilaian Riset Lebih Lemah
Untuk tugas TH2 yang dapat diverifikasi, METR memperkirakan horizon waktu model-model terdepan publik saat ini mencapai hingga 27 jam. Pada masing-masing dari tiga tugas yang memiliki tolok ukur formal, model terbaik mengungguli setiap peserta manusia yang direkrut sebagai tolok ukur.
Kumpulan data manusia yang lebih besar menunjukkan bahwa para ahli terbaik masih dapat menyelesaikan tugas lebih dahulu. Dalam 15 kontes optimisasi Al Zimmermann, METR melaporkan bahwa model-model terkuat berada pada persentil ke-96 hingga ke-98 di antara peserta manusia dalam kontes median, sementara sekitar empat manusia mengungguli mereka. Agen mendapat waktu 48 jam dengan mesin 28 inti; peserta manusia memiliki waktu sekitar tiga bulan dan perangkat keras sendiri, sehingga peringkat tersebut bergantung pada kondisi yang berbeda itu.
Dalam Budget NanoGPT, METR melaporkan bahwa percepatan terbaik agen otonom adalah 15,7% dalam 48 jam, dibandingkan dengan percepatan 41% atas rekor sebelumnya yang dicapai oleh kontributor manusia dengan bantuan AI baru-baru ini, yang memperkirakan telah menghabiskan waktu sekitar 60 jam. Perbandingan ini hanya perkiraan karena rekor manusia dibangun secara berurutan berdasarkan pekerjaan sebelumnya, tetapi menunjukkan bahwa agen otonom masih tertinggal dari hasil terbaik manusia, meski mengungguli banyak pelaku lain yang juga cakap dalam menyelesaikan tugas secepat mungkin.
Tugas yang sulit diverifikasi menunjukkan keterbatasan yang berbeda. Dalam Making METR Tasks, agen harus merancang tugas baru yang informatif untuk rangkaian tugas METR sendiri. METR mengategorikan beberapa hasil terbaru sebagai cukup bermanfaat, tetapi tidak satu pun layak dimasukkan ke dalam rangkaian yang digunakan dalam laporan ini. Model umumnya membuat tugas optimisasi dengan penilaian otomatis, bahkan ketika diminta untuk menekankan keputusan yang umpan balik jangka pendeknya buruk. Meskipun memiliki akses internet, model tidak secara mandiri menyelidiki hal-hal yang dianggap bermanfaat oleh METR, menghasilkan pemodelan ancaman yang baru, atau menyusun tugas berdasarkan hipotesis yang sangat tajam tentang kemampuan model. Penilaian tersebut didasarkan pada pertimbangan METR sendiri mengenai riset dan pemodelan ancaman.
Eksperimen terkait mengkaji apakah model dapat menilai hasil-hasil tersebut secara andal. METR menemukan bahwa penilaian model lebih mendekati penilaian manusia saat mengevaluasi hasil model yang lebih lemah, tetapi memberikan skor yang terlalu tinggi secara tidak semestinya untuk hasil dari model dengan kemampuan setara atau lebih tinggi. Opus 5.5, penilai dengan tingkat kesesuaian tertinggi terhadap penilaian manusia, memberi skor pada tugas GPT-6 Astra sekitar 0,2 poin lebih tinggi daripada penilai manusia pada skala satu poin.
Hasil ini tidak membuktikan adanya kekurangan penilaian yang berlaku secara universal. METR menyatakan bahwa kemampuan penilaian model dalam tugas-tugas tersebut mungkin belum tergali sepenuhnya karena model kurang memanfaatkan batas token dan fitur yang tersedia. METR juga mencatat bahwa model-model terdepan menunjukkan penilaian yang baik, meski belum jelas seberapa umum kemampuan ini, pada sejumlah tugas pembelajaran mesin yang skornya dihitung secara terprogram.
Evaluasi yang Lebih Mahal dan Pertanyaan tentang Percepatan
Masalah pengukuran tidak terbatas pada penilaian. METR khawatir evaluasi dalam lingkungan terkontainerisasi mungkin menyerupai lingkungan pembelajaran penguatan yang digunakan untuk melatih model, sehingga berpotensi melebih-lebihkan kemampuan di dunia nyata ketika lingkungan serupa makin umum digunakan dalam pelatihan.
Biaya Siklus Hidup adalah perkiraan kasar berbasis model yang digunakan sebagai proksi untuk biaya mengembangkan lingkungan tugas dalam kontainer, lalu menjalankan dan menilai hasilnya 100 kali; angka ini bukan perkiraan langsung atas biaya pengembang AI untuk lingkungan pelatihan. Setelah memperhitungkan durasi tugas, METR menemukan bahwa rata-rata, subset dengan biaya lebih tinggi 2,9 kali lebih mahal daripada subset dengan biaya lebih rendah, sementara performa model berdasarkan horizon waktu 2,9 kali lebih buruk, setara dengan 1,5 kali pelipatan dua. Meski demikian, model menunjukkan peningkatan dengan laju serupa pada kedua subset. Jadi, data tersebut mengaitkan biaya dengan tingkat kesulitan, tetapi tidak menunjukkan bahwa kemajuan pada tugas yang lebih mahal berlangsung lebih lambat.
METR melaporkan tidak ada percepatan atau perlambatan keseluruhan yang signifikan pada frontier publik yang diuji, berdasarkan METR Capability Index tersendiri, yang merangkum performa model dengan skala yang sama. Perubahan kemiringan tren khusus pengembang sensitif terhadap pilihan metodologis, sehingga keabsahannya masih belum pasti.
Meski demikian, METR menyatakan bahwa bukti publik saat ini belum cukup untuk mengesampingkan kemungkinan percepatan drastis dalam R&D AI dalam beberapa tahun ke depan, yang didefinisikan sebagai peningkatan kemampuan yang begitu cepat sehingga manusia tak lagi dapat memahami, menilai, dan menanggapi secara bermakna risiko katastrofis dari sistem baru. Kemampuan apa yang dapat memicu keadaan tersebut masih belum diketahui, dan tugas yang mudah diverifikasi saja mungkin sudah cukup. Karena itu, temuan ini menunjukkan bahwa penilaian yang lebih lemah mungkin menjadi kendala bagi otomatisasi riset, bukan bukti bahwa percepatan harus menunggu sampai model mampu bekerja dengan baik pada tugas realistis yang terkait dengan pekerjaan sehari-hari.












