Google Membuka Tolok Ukur Rekayasa dengan 85 Tugas dan Kompetisi Agen

Google AI & Infrastructure mengumumkan pada 3 November 2026 bahwa mereka merilis 29 tugas publik, perangkat penilaian, dan wadah evaluasi untuk Physical-Engineering’s Last Exam (PLE), tolok ukur rekayasa dengan 85 tugas yang dikembangkan bersama Mercor, sekaligus membuka kompetisi agen dan papan peringkat.

PLE mengharuskan agen menyelesaikan penugasan profesional di bidang rekayasa mesin, listrik, sipil, dan struktur, bukan menjawab pertanyaan bergaya buku teks atau melakukan satu pemanggilan alat secara terpisah. Tolok ukur ini mencakup 30 tugas rekayasa mesin, 27 rekayasa listrik, 18 rekayasa sipil, dan 10 rekayasa struktur. Keberhasilan diukur berdasarkan hasil kerja yang harus memenuhi kode rekayasa, batasan fisik, serta sasaran biaya atau kinerja untuk pekerjaan desain.

Catatan arXiv makalah tersebut mencantumkan pengajuan awal pada 21 Oktober 2026 dan revisi pada 30 Oktober 2026. Perkembangan baru ini adalah dirilisnya tugas dan perangkat evaluasi untuk publik serta dibukanya kompetisi, bukan publikasi pertama makalah tersebut.

Berkas Proyek dan Hasil Kerja Siap Produksi

Setiap penugasan dijalankan dalam lingkungan proyek berbasis kontainer yang dibangun di atas Archipelago milik Mercor. Rata-rata, setiap tugas mencakup 61 berkas, dengan total 5.170 berkas di seluruh tolok ukur. Berkas tersebut meliputi PDF, lembar kerja, surel, gambar CAD 2D, model BIM 3D, dan revisi yang telah digantikan. Agen harus menentukan dokumen dan persyaratan mana yang berlaku, melakukan perhitungan, serta membuat berkas seperti memo rekayasa, buku kerja perhitungan, daftar peralatan, dan gambar dalam format yang ditujukan untuk ditinjau oleh tenaga berlisensi.

Insinyur yang masih aktif berpraktik menyusun 44 tugas yang dibuat oleh para ahli dari awal hingga akhir, termasuk folder proyek, instruksi, dan rubrik penilaian berbobot. Untuk 41 tugas yang disusun bersama, para insinyur memberikan ringkasan awal; alur kerja adversarial Pembuat–Pemecah kemudian membangun dan menguji lingkungan serta penilai otomatis yang dapat dijalankan berdasarkan materi nyata yang dapat dilisensikan. Setelah itu, para ahli memvalidasi tugas dan meningkatkan tingkat kesulitannya. Makalah teknis tersebut menyatakan bahwa tidak ada tugas yang memuat informasi hak milik atau rahasia klien: lingkungan untuk tugas yang dibuat oleh para ahli ditulis dari awal, sedangkan berkas untuk tugas yang disusun bersama menggunakan materi domain publik, berlisensi permisif, atau baru dibuat.

Penilaian mencerminkan penekanan yang sama pada hasil kerja yang telah diselesaikan. Tugas yang dibuat oleh para ahli menggunakan kriteria berbobot yang dikaitkan dengan bukti dalam berkas yang diserahkan. Tugas desain yang disusun bersama menggabungkan kepatuhan terhadap batasan dengan sasaran ekonomi atau kinerja. Jika suatu desain gagal memenuhi syarat keselamatan atau kelayakan yang wajib, desain tersebut tidak akan memperoleh kredit untuk komponen sasaran. Komponen sasaran ini mengatasi keterbatasan penilaian yang hanya mengandalkan rubrik: dua jadwal kabel dapat sama-sama memenuhi pemeriksaan kode, tetapi berbeda dalam biaya pemasangan.

Hasil Awal Menunjukkan Kesenjangan Kepatuhan

Google mengevaluasi 14 model dengan tujuh kerangka kerja agen yang tersedia untuk umum, dengan menjalankan setiap tugas tiga kali untuk tiap konfigurasi. Kontainer pemecah tidak memiliki akses internet dan menyediakan waktu enam jam bagi agen untuk setiap proses. Penilaian berbasis rubrik dan penilaian otomatis dilakukan di luar kontainer pemecah, sehingga penilai dan hasil kerja acuan tidak dapat diakses agen.

Pada set pengujian privat yang terdiri atas 56 tugas, Google melaporkan bahwa setiap model memperoleh skor di bawah 50% pada kerangka kerja bawaannya. Claude Opus 5.5 di Claude Code memimpin dengan skor 48,3%. Papan peringkat kompetisi mengurutkan model berdasarkan hasil pada tugas-tugas tersembunyi tersebut.

Evaluasi terpisah dalam makalah tersebut, yang mencakup seluruh 85 tugas, melaporkan skor tertinggi sebesar 50,6% untuk Claude Opus 5.5 di Claude Code. Rata-rata, model itu menggunakan 27 juta token dan menghabiskan 63 menit per tugas, dengan biaya $17.18 per tugas berdasarkan harga yang tercantum. Karena itu, kedua angka tertinggi tersebut merujuk pada evaluasi yang berbeda: yang satu mencakup set uji tersembunyi dengan kerangka kerja bawaan, sedangkan yang lain mencakup seluruh tolok ukur dan konfigurasi model-kerangka kerja terkuat.

Hasil yang lebih mengungkap terlihat pada tugas-tugas yang disusun bersama. Google melaporkan bahwa konfigurasi terkuat memenuhi 91% batasan individual, tetapi hanya 41,3% item hasil kerjanya yang lolos semua pemeriksaan keselamatan dan kelayakan wajib untuk memperoleh kredit sasaran. Dalam praktiknya, agen sering kali memenuhi sebagian besar persyaratan, tetapi tidak menghasilkan desain yang sepenuhnya patuh—tepat kesenjangan yang dirancang untuk diungkap oleh gerbang batasan wajib PLE.

Google melaporkan selisih sekitar 50 poin di antara model, dibandingkan dengan median selisih tiga poin di antara kerangka kerja untuk model yang sama, meskipun pilihan kerangka kerja tetap memengaruhi skor dan biaya. Hasil setiap tugas juga sangat bervariasi, dengan rentang rata-rata 15,4 poin dalam tiga kali pengujian untuk setiap kombinasi tugas dan kerangka kerja. Variabilitas tersebut mendukung penggunaan rata-rata dari pengujian berulang oleh para penulis, alih-alih mengandalkan satu kali percobaan.

Kompetisi Menguji Seluruh Konfigurasi Agen

Repositori resmi membagi PLE menjadi 29 tugas pengembangan publik dan 56 tugas uji tersembunyi. Peserta mengirimkan kerangka kerja agennya—perangkat lunak yang mengarahkan model pilihan untuk mengerjakan setiap tugas—beserta pilihan model dan artefak yang dihasilkan pada tugas publik. Penyelenggara menilai artefak tersebut, menjalankan ulang kerangka kerja pada sampel tugas publik untuk memeriksa apakah hasilnya dapat direproduksi, lalu menjalankannya tiga kali pada tugas tersembunyi untuk menentukan skor di papan peringkat.

Peserta dapat menggunakan 13 model yang disponsori Google secara gratis di server evaluasi, memberikan kunci API model komersial, atau menghubungkan server model yang mereka kelola sendiri. Repositori berlisensi Apache-2.0 ini mencakup templat awal untuk harness khusus serta adaptor untuk agen yang sudah ada, sehingga peserta memiliki beberapa titik awal untuk menyusun pengajuan yang lengkap.

Karena itu, kompetisi ini menilai lebih dari sekadar jawaban akhir model. Sistem yang diajukan harus mampu menavigasi berkas proyek yang realistis, mereproduksi hasilnya pada tugas publik, dan menghasilkan keluaran lengkap yang lolos pemeriksaan keselamatan, kelayakan, dan kualitas tersembunyi. Hasil dasar menunjukkan bahwa kepatuhan terhadap seluruh paket merupakan tantangan utama: memenuhi sebagian besar persyaratan satu per satu tetap tidak cukup jika satu kegagalan dalam memenuhi kendala wajib dapat menggugurkan poin objektif bagi rancangan yang sebenarnya ekonomis.