Google, 85 Görevlik Mühendislik Kıyaslamasını ve Ajan Yarışmasını Açıyor

Google AI & Infrastructure, 3 Kasım 2026’da, Mercor ile birlikte geliştirilen 85 görevli Physical-Engineering’s Last Exam (PLE) mühendislik kıyaslaması için 29 açık görevi, puanlama araçlarını ve bir değerlendirme konteynerini; ayrıca açık bir ajan yarışmasını ve liderlik tablosunu yayımlayacağını duyurdu.

PLE, bir ajandan ders kitabı tarzı soruları yanıtlamak veya tek seferlik bir araç çağrısı yapmak yerine makine, elektrik, inşaat ve yapı mühendisliği alanlarında profesyonel görevleri tamamlamasını istiyor. Kıyaslama; 30 makine, 27 elektrik, 18 inşaat ve 10 yapı mühendisliği görevinden oluşuyor. Başarı, mühendislik standartlarına ve fiziksel kısıtlamalara uyması gereken, tasarım çalışmalarında ise maliyet ya da performans hedeflerini de karşılaması beklenen teslimatlar üzerinden ölçülüyor.

Makalenin arXiv kaydında ilk gönderim tarihi 21 Ekim 2026, revizyon tarihi ise 30 Ekim 2026 olarak belirtiliyor. Yeni gelişme, makalenin ilk kez yayımlanması değil; görevlerin ve değerlendirme araçlarının kamuya açılması ve yarışmanın başlatılması.

Proje Dosyaları ve Üretime Hazır Teslimatlar

Her görev, Mercor’un Archipelago’su üzerine kurulu kapsayıcılı bir proje ortamında yürütülüyor. Görevlerde ortalama 61 dosya bulunuyor; kıyaslamanın tamamında bu sayı 5.170’e ulaşıyor. Dosyalar arasında PDF’ler, elektronik tablolar, e-postalar, 2B CAD çizimleri, 3B BIM modelleri ve önceki sürümler yer alıyor. Ajanın hangi belgelerin ve gerekliliklerin geçerli olduğuna karar vermesi, hesaplamaları yapması ve mühendislik notları, hesaplama çalışma kitapları, ekipman çizelgeleri ve lisanslı uzman incelemesine uygun formatlarda çizimler gibi dosyalar hazırlaması gerekiyor.

Uygulamada çalışan mühendisler, uzmanların hazırladığı 44 görevin proje klasörlerini, istemlerini ve ağırlıklı puanlama ölçütlerini de içeren tüm aşamalarını oluşturdu. Ortaklaşa hazırlanan 41 görevde ise mühendisler ilk taslakları sundu; ardından hasmane bir Oluşturucu–Çözücü süreci, gerçek ve lisanslanabilir malzemelerden ortamları ve çalıştırılabilir puanlayıcıları oluşturup test etti. Uzmanlar daha sonra görevleri doğruladı ve zorluk düzeylerini artırdı. Teknik makalede hiçbir görevin mülkiyet bilgisi içermediği veya müşterilere özel gizli bilgiler barındırmadığı belirtiliyor: Uzmanların hazırladığı ortamlar sıfırdan yazılırken ortaklaşa hazırlanan görevlerde kamu malı, izin verici lisanslı veya yeni üretilmiş materyaller kullanılıyor.

Puanlama da tamamlanmış işlere aynı ölçüde odaklanıyor. Uzmanların hazırladığı görevlerde, sunulan dosyalardaki kanıtlara dayanan ağırlıklı ölçütler kullanılıyor. Ortaklaşa hazırlanan tasarım görevlerinde kısıtlamalara uyum, ekonomik veya performans hedefiyle birlikte değerlendiriliyor; katı bir güvenlik ya da uygulanabilirlik eşiğinin aşılmaması, ilgili tasarımın hedef puanı almasını engelliyor. Hedef bileşeni, yalnızca puanlama ölçütlerine dayalı değerlendirmenin bir sınırlamasını gideriyor: İki kablo çizelgesi aynı standart kontrollerini karşılayabilir, ancak kurulum maliyetleri farklı olabilir.

Başlangıç Sonuçları Uyumluluk Açığını Gösteriyor

Google, kamuya açık yedi ajan altyapısıyla 14 modeli değerlendirdi ve her görevi her yapılandırmada üç kez çalıştırdı. Çözücü kapsayıcılarının internet erişimi yoktu ve her çalıştırmada ajana altı saat süre tanınıyordu. Ölçütlere dayalı puanlama ve çalıştırılabilir değerlendirme, çözücü kapsayıcısının dışında yapılarak puanlayıcıların ve referans teslimatların ajandan ayrı tutulması sağlandı.

Google’ın bildirdiğine göre, 56 görevlik gizli test kümesinde hiçbir model kendi yerel ajan altyapısıyla %50 puana ulaşamadı. En iyi sonucu, Claude Code’da Claude Opus 5.5 %48,3 ile elde etti. Yarışma sıralama tablosunda modeller, bu gizli görev sonuçlarına göre sıralanıyor.

Makalenin 85 görevin tamamını kapsayan ayrı değerlendirmesinde, Claude Code’da Claude Opus 5.5 için %50,6’lık en yüksek sonuç bildiriliyor. Model, görev başına ortalama 27 milyon belirteç ve 63 dakika kullanıyor; liste fiyatlarıyla görev başına maliyet 17,18 dolar oluyor. Dolayısıyla öne çıkan iki sonuç farklı değerlendirmeleri anlatıyor: Biri yerel ajan altyapılarıyla gizli test kümesini, diğeri ise kıyaslamanın tamamını ve en başarılı model-ajan altyapısı yapılandırmasını kapsıyor.

Daha açıklayıcı sonuç, ortaklaşa hazırlanan görevlerde ortaya çıkıyor. Google’ın bildirdiğine göre, en başarılı yapılandırma tek tek kısıtlamaların %91’ini karşıladı; ancak teslimat kalemlerinin yalnızca %41,3’ü hedef puanı almaya yönelik tüm katı güvenlik ve uygulanabilirlik kontrollerini geçti. Başka bir deyişle ajanlar, gerekliliklerin çoğunu karşılamalarına rağmen sıklıkla tümüyle uyumlu bir tasarım ortaya koyamadı. PLE’nin katı kısıt eşiği tam da bu açığı ortaya çıkarmak üzere tasarlandı.

Google, modeller arasındaki farkın yaklaşık 50 yüzde puanı olduğunu, aynı model için ajan altyapıları arasındaki farkın medyanının ise üç yüzde puanı düzeyinde kaldığını bildiriyor. Bununla birlikte ajan altyapısının seçimi hem puanları hem de maliyetleri değiştirdi. Tek tek görevlerin sonuçları da önemli ölçüde farklılık gösterdi: Bir görev-ajan altyapısı eşleşmesinde üç çalıştırma arasındaki fark ortalama 15,4 yüzde puanıydı. Bu değişkenlik, yazarların tek bir deneme yerine tekrarlı çalıştırmaların ortalamasını kullanmasını destekliyor.

Yarışma, Ajanın Bütün Yapılandırmasını Sınayacak

Resmî depoda PLE, 29 açık geliştirme görevine ve 56 gizli test görevine ayrılıyor. Katılımcılar, seçilen modeli her görevde çalıştıran yazılım olan ajan altyapılarını; model tercihleri ve açık görevlerde üretilen dosyalarla birlikte sunuyor. Düzenleyiciler bu dosyaları puanlıyor, sonuçların yeniden üretilebilirliğini denetlemek için altyapıyı örneklenen açık görevlerde yeniden çalıştırıyor ve ardından sıralama puanını belirlemek üzere gizli görevlerde üç kez çalıştırıyor.

Katılımcılar, değerlendirme sunucusunda Google sponsorlu 13 modeli ücretsiz kullanabilir, ticari bir modelin API anahtarını sağlayabilir veya kendi barındırdıkları bir model sunucusuna bağlanabilir. Apache-2.0 lisanslı depo, özel ajan çalışma altyapıları için başlangıç örnekleri ve mevcut ajanlar için bağdaştırıcılar içeriyor; böylece katılımcılara eksiksiz bir başvuru hazırlamak için çeşitli başlangıç noktaları sunuyor.

Bu nedenle yarışma, bir modelin nihai yanıtından fazlasını değerlendiriyor. Gönderilen sistemin gerçekçi proje dosyalarında yolunu bulması, herkese açık görevlerdeki sonuçlarını yeniden üretmesi ve gizli güvenlik, uygulanabilirlik ve kalite kontrollerinden geçebilecek eksiksiz çıktılar sunması gerekiyor. Temel sonuçlar, tüm paket gerekliliklerine uymanın başlıca zorluk olduğunu gösteriyor: Katı bir kısıtın ihlali, aksi hâlde maliyet açısından verimli bir tasarıma hedef puanının verilmesini engelleyebileceğinden, gerekliliklerin çoğunu tek tek karşılamak yine de yeterli değil.