Yapay zeka modelleri ve platformları
METR, Araştırma Muhakemesi Geride Kalırken Yapay Zekânın Zaman Ufuklarının İkiye Katlandığını Saptadı

Öne çıkan noktalarÖncü modellerin zaman ufukları yaklaşık her 110 günde bir ikiye katlanıyor, ancak…
Daha fazla göster
- Öncü modellerin zaman ufukları yaklaşık her 110 günde bir ikiye katlanıyor, ancak araştırma muhakemesi doğrulanabilir kazanımların gerisinde kalıyor.
- Modeller optimizasyon yarışmalarında 96. ila 98. yüzdelik dilime yerleşti, yine de otonom hızlandırmalarda en iyi insanların gerisinde kaldı.
- Model yargıçları, güçlü modellerin araştırma görevlerini bir puanlık ölçekte yaklaşık 0,2 puan fazla değerlendirdi.
METR, 20 Kasım 2026’da, kamuya açık öncü modellerin %50 zaman ufuklarının (modelin kendi çalışma süresi değil, modelin görevde yarı yarıya başarılı olmasının beklendiği, insanlarca tahmin edilmiş görev süresi) TH1.1 ve TH2 değerlendirmelerinin birleştirilmiş sonuçlarına göre yaklaşık her 110 günde bir ikiye katlandığını bildirdi. Genişletilmiş testler, doğrulanabilir işlerde güçlü ilerleme kaydedildiğini, ancak açık uçlu araştırma ve değerlendirme tasarımı konularında muhakemenin daha zayıf kaldığını gösteriyor.
Güncelleme, Opus 5.5 ve GPT-6 Astra dâhil olmak üzere kamuya açık modelleri kapsıyor ve yapay zekâ araştırma ve geliştirmesini (R&D) otomatikleştirmeyle ilgili yetenekleri inceliyor. METR, TH1.1 ve TH2 üzerinde genellikle 15 modeli değerlendirdi. Yeni TH2 paketi, 12 aileye ayrılmış 36 görevden oluşuyor: optimizasyon, makine öğrenimi, bulmacalar ve oyunlar alanlarında açıkça tanımlanmış ve otomatik olarak puanlanan hedeflere sahip sekiz doğrulanabilir görev ailesi ile başarıyı düşük maliyetle kontrol etmenin mümkün olmadığı kavramsal akıl yürütme, muhakeme ve açık uçlu araştırmayı kapsayan dört aile.
Daha Zorlu Bir Görev Paketi, Benzer Bir Büyüme Eğilimi
METR, ikiye katlanma süresinin %95 güven aralığını 2,08 ila 4,94 ay olarak tahmin ediyor; bu, yalnızca TH1.1 için daha önce gözlemlenen 105 günlük eğilime yakın. TH2, insanların görevlere ayırdığı süre sabit tutulduğunda daha zor olduğundan, modelin birleştirilmiş görev paketindeki %50 zaman ufku yalnızca TH1.1’deki ufkundan daha kısa.
TH2’nin doğrulanabilir alt kümesinde tahmini ikiye katlanma süresi 1,65 aya iniyor; %95 güven aralığı ise 0,79 ila 3,99 ay. METR, bu gürültülü sonucun geniş çaplı bir hızlanmadan ziyade görev bileşiminden, sınırlı bir tarih aralığından veya görev geliştirme sırasındaki seçimlerden kaynaklanabileceği uyarısında bulunuyor. Daha az çeşitli görev kümeleri de daha hızlı ikiye katlanma sonucunu doğurabilir; çünkü uzun görevler aynı becerilerin daha fazlasını gerektirir.
İnsan kalibrasyonu, METR’nin önceki çalışmalarındakine kıyasla daha dolaylı. Araştırmacılar, yeni görevlerin 34’ü için puan ve süre eşikleri belirledi; bunların üçünde başarılı insan performansını temel alırken, 31’inde araştırmacı tahminlerini kullandı. İnsanların görevleri tamamlama sürelerine ilişkin tahminlerin yalnızca %9’u doğrudan temel ölçümlere dayanıyordu. Uzmanlara saat başına 200 ila 350 dolar ödendi ve uygulama için Sonnet 5’i kullanmalarına izin verildi. METR, görev sürelerine ilişkin tahminlere gürültü eklenmesinin ve insanların tahmini tamamlama sürelerinin model tahminleriyle değiştirilmesinin ardından da benzer ikiye katlanma süresi sonuçları elde edildiğini bildiriyor; ancak temel ölçüm yapan kişilerin öncü laboratuvarlardaki araştırmacılarla ne ölçüde karşılaştırılabilir olduğu belirsizliğini koruyor.
Güçlü Puanlar, Daha Zayıf Araştırma Muhakemesi
METR, doğrulanabilir TH2 görevlerinde kamuya açık mevcut öncü modellerin zaman ufkunu 27 saate kadar çıkıyor olarak tahmin ediyor. İnsan performansının doğrudan temel ölçümlerle değerlendirildiği üç görevin her birinde en iyi model, katılımcı olarak seçilen tüm insanları geride bıraktı.
Daha geniş insan verisi kümeleri, en iyi uzmanların hâlâ modellerden daha iyi sonuç alabildiğini gösteriyor. METR’nin 15 Al Zimmermann optimizasyon yarışması genelindeki bulgularına göre, en güçlü modeller ortanca yarışmada insan katılımcıların 96. ila 98. yüzdelik diliminde yer alırken yaklaşık dört insan onları geçti. Ajanların 28 çekirdekli bir makinede 48 saati vardı; insan katılımcıların ise yaklaşık üç ayı ve kendi donanımları bulunuyordu. Dolayısıyla sıralamalar, bu farklı koşullara bağlı.
Budget NanoGPT’de METR, en iyi otonom ajan hızlanmasının 48 saatte %15,7 olduğunu bildiriyor. Buna karşılık, yapay zekâ destekli yakın tarihli bir insan katkı sağlayıcı önceki rekoru %41 oranında geliştirmiş ve yaklaşık 60 saat harcadığını tahmin etmişti. İnsan rekorlarının önceki çalışmalardan aşamalı olarak ilerlemesi nedeniyle karşılaştırma kabaca yapılabiliyor; ancak sonuç, otonom ajanların en güçlü insan performansının gerisinde kalırken diğer yetkin hız rekoru peşindekilerin çoğunu geçtiğini gösteriyor.
Doğrulanması zor görevler farklı bir sınırlamayı ortaya koyuyor. Making METR Tasks kapsamında ajanlardan, METR’nin kendi görev paketi için bilgilendirici yeni bir görev tasarlamaları istendi. METR, yakın tarihli bazı çıktıları sınırda yararlı olarak sınıflandırdı; ancak hiçbiri raporda kullanılan görev paketine dâhil edilmeye değer bulunmadı. Modeller, kısa vadeli geri bildirimin zayıf olduğu kararları vurgulamaları söylendiğinde bile genellikle otomatik olarak puanlanan optimizasyon görevleri oluşturdu. İnternet erişimleri olmasına rağmen, METR’nin neyi yararlı bulacağını bağımsız olarak araştırmadılar, yeni tehdit modellemeleri üretmediler veya görevleri model yeteneklerine ilişkin özellikle isabetli varsayımlara dayandırmadılar. Bu değerlendirmeler, METR’nin kendi araştırma ve tehdit modelleme yargılarına dayanıyor.
Bağlantılı bir deneyde, modellerin bu çıktıları güvenilir biçimde puanlayıp puanlayamayacağı incelendi. METR, model değerlendiricilerin daha zayıf modellerin çıktılarını değerlendirirken insan puanlarıyla daha fazla örtüştüğünü, ancak benzer güçteki veya daha güçlü modellerin çalışmalarına uygunsuz biçimde yüksek puanlar verdiğini saptadı. İnsan değerlendirmeleriyle en yüksek uyumu gösteren değerlendirici Opus 5.5, GPT-6 Astra’nın görevlerine bir puanlık ölçekte insan değerlendiriciden yaklaşık 0,2 puan daha yüksek puan verdi.
Bu sonuçlar, muhakeme konusunda evrensel bir eksiklik olduğunu kanıtlamıyor. METR, modellerin token sınırlarını ve mevcut olanakları yeterince kullanmamaları nedeniyle muhakeme görevlerinde potansiyellerini tam olarak sergileyememiş olabileceklerini belirtiyor. Ayrıca, öncü modellerin programatik olarak puanlanan bazı makine öğrenimi görevlerinde genellenebilirliği belirsiz olmakla birlikte iyi muhakeme sergilediğine dikkat çekiyor.
Daha Maliyetli Değerlendirmeler ve Hızlanma Sorusu
Ölçüm sorunu muhakemenin ötesine uzanıyor. METR, konteynerleştirilmiş değerlendirmelerin modelleri eğitmek için kullanılan pekiştirmeli öğrenme ortamlarına benzeyebileceğinden ve benzer ortamlar eğitimde yaygınlaştıkça gerçek dünyadaki yetenekleri olduğundan yüksek gösterebileceğinden kaygı duyuyor.
Yaşam Döngüsü Maliyeti, yapay zekâ geliştiricilerinin eğitim ortamı maliyetlerini doğrudan tahmin etmekten ziyade, kapsayıcı bir görev ortamı geliştirmenin ve bu ortamı 100 kez çalıştırıp puanlamanın model tarafından tahmin edilen kabaca bir göstergesidir. METR, görev uzunluğunu hesaba kattıktan sonra, yüksek maliyetli alt kümenin düşük maliyetli alt kümeye kıyasla ortalama 2,9 kat daha pahalı olduğunu, modellerin ise zaman ufku bakımından 2,9 kat daha kötü performans gösterdiğini buldu; bu fark 1,5 ikiye katlanmaya karşılık geliyor. Buna rağmen modeller iki alt kümede de benzer hızlarda gelişti. Dolayısıyla veriler, maliyet ile zorluk arasında ilişki olduğunu gösteriyor ancak daha maliyetli görevlerde ilerlemenin daha yavaş olduğunu ortaya koymuyor.
METR, modellerin performansını ortak bir ölçekte özetleyen ayrı METR Yetenek Endeksi’nde, test edilen kamuya açık öncü modeller genelinde belirgin bir hızlanma ya da yavaşlama olmadığını bildiriyor. Geliştiricilere özgü eğim değişiklikleri, yöntem tercihleri karşısında hassasiyet gösterdiğinden bunların geçerliliği belirsizliğini koruyor.
Buna rağmen METR, mevcut kamuya açık kanıtların önümüzdeki birkaç yıl içinde yapay zekâ araştırma ve geliştirme çalışmalarında yaşanabilecek, yeni sistemlerden kaynaklanan yıkıcı riskleri insanların artık anlamlı biçimde kavrayamayacağı, değerlendiremeyeceği ve bunlara karşılık veremeyeceği kadar hızlı yetenek artışı olarak tanımlanan dramatik bir hızlanma olasılığını dışlamak için yetersiz olduğunu belirtiyor. Bu sonucu hangi yeteneklerin doğuracağı henüz bilinmiyor; tek başına kolayca doğrulanabilen görevler bile yeterli olabilir. Dolayısıyla bulgular, daha zayıf muhakeme yetisinin araştırmaların otomasyonu önünde makul bir engel olduğunu gösteriyor; ancak hızlanmanın, modeller sıradan işlerle ilişkili gerçekçi görevlerde başarılı olana kadar beklemesi gerektiğini kanıtlamıyor.












