Modele i platformy AI

METR ustalił, że horyzonty czasowe AI podwajają się, podczas gdy ocena badań pozostaje w tyle

Jonas Reeve
Dodaj Unite.AI do preferowanych źródeł w Google
Kluczowe punktyHoryzonty czasowe modeli frontier podwajają się mniej więcej co 110 dni, ale osąd…
Zobacz więcej
  • Horyzonty czasowe modeli frontier podwajają się mniej więcej co 110 dni, ale osąd badawczy pozostaje w tyle za weryfikowalnymi zyskami.
  • Modele uplasowały się na 96. do 98. percentyla w konkursach optymalizacyjnych, lecz ustępowały najlepszym ludziom w autonomicznych przyspieszeniach.
  • Sędziowie modelowi przecenili zadania badawcze silnych modeli o około 0,2 punktu w skali jednopunktowej.

METR poinformował 20 listopada 2026 r., że 50-procentowe horyzonty czasowe publicznie dostępnych najnowocześniejszych modeli — czyli szacowany przez ludzi czas wykonania zadania, przy którym przewiduje się, że modelowi uda się je ukończyć w połowie przypadków, a nie czas pracy samego modelu — podwajają się mniej więcej co 110 dni w łącznych testach TH1.1 i TH2. Rozszerzone testy wykazują duże postępy w zadaniach z weryfikowalnymi wynikami, ale słabszą zdolność oceny w otwartych badaniach i projektowaniu ewaluacji.

Aktualizacja obejmuje publicznie dostępne modele aż do Opus 5.5 i GPT-6 Astra oraz analizuje możliwości istotne dla automatyzacji badań i rozwoju AI (R&D). METR zazwyczaj oceniało 15 modeli w testach TH1.1 i TH2. Nowy zestaw TH2 obejmuje 36 zadań z 12 rodzin: osiem rodzin zadań weryfikowalnych, których cele są jasno określone i oceniane automatycznie, z zakresu optymalizacji, uczenia maszynowego, łamigłówek i gier, oraz cztery rodziny obejmujące rozumowanie pojęciowe, ocenę i otwarte badania, w których nie ma łatwego sposobu sprawdzenia, czy zadanie wykonano poprawnie.

Trudniejszy zestaw, podobne tempo wzrostu

METR szacuje, że 95-procentowy przedział ufności dla łącznego czasu podwajania wynosi od 2,08 do 4,94 miesiąca, co jest zbliżone do wcześniejszego trendu wynoszącego 105 dni dla samego TH1.1. Ponieważ przy takim samym szacowanym przez ludzi czasie wykonania zadania TH2 jest trudniejszy, 50-procentowy horyzont czasowy modelu w łącznym zestawie jest krótszy niż w samym TH1.1.

W weryfikowalnej części TH2 szacowany czas podwajania skraca się do 1,65 miesiąca, przy 95-procentowym przedziale ufności od 0,79 do 3,99 miesiąca. METR zastrzega, że ten obarczony dużą niepewnością wynik może wynikać ze składu zadań, ograniczonego zakresu dat lub selekcji podczas opracowywania zadań, a nie z ogólnego przyspieszenia postępów. Mniej zróżnicowane zestawy zadań również mogą dawać krótszy czas podwajania, ponieważ dłuższe zadania wymagają większego wykorzystania tych samych umiejętności.

Kalibracja względem ludzi jest mniej bezpośrednia niż we wcześniejszych pracach METR. Badacze określili progi punktacji i czasu dla 34 nowych zadań, opierając się na wynikach ludzi, którzy wykonali zadania poprawnie, w przypadku trzech zadań, a na szacunkach badaczy — w przypadku 31; bezpośrednie wyniki odniesienia wykorzystano tylko przy 9% szacunków czasu potrzebnego ludziom. Specjalistom płacono od 200 do 350 dolarów za godzinę, a do implementacji mogli używać Sonnet 5. METR informuje, że wyniki dotyczące czasu podwajania są podobne po dodaniu zakłóceń do szacunków czasu wykonania zadań i zastąpieniu ich szacunkami czasu ukończenia zadań przez ludzi wygenerowanymi przez modele, choć nadal nie wiadomo, na ile osoby wyznaczające wyniki odniesienia były porównywalne z badaczami z wiodących laboratoriów AI.

Wysokie wyniki, słabsza ocena badań

W przypadku weryfikowalnych zadań TH2 METR szacuje, że horyzonty czasowe obecnych publicznie dostępnych najnowocześniejszych modeli sięgają 27 godzin. W każdym z trzech zadań, dla których formalnie ustalono wyniki odniesienia, najlepszy model uzyskał lepszy wynik niż każda z zrekrutowanych osób wyznaczających te wyniki.

Większe zbiory danych o wynikach ludzi pokazują, że najlepsi eksperci nadal potrafią uzyskać lepszy wynik. W 15 konkursach optymalizacyjnych Al Zimmermanna METR informuje, że najmocniejsze modele osiągnęły w medianowym konkursie wyniki na poziomie od 96. do 98. percentyla uczestników, a pokonało je około czterech ludzi. Agenci mieli 48 godzin i korzystali z maszyny z 28-rdzeniowym procesorem, natomiast ludzie mieli około trzech miesięcy i własny sprzęt, więc rankingi zależą od tych odmiennych warunków.

W teście Budget NanoGPT METR odnotowuje, że najlepszy autonomiczny agent uzyskał przyspieszenie o 15,7% w ciągu 48 godzin, podczas gdy niedawny uczestnik, człowiek wspomagany przez AI, poprawił poprzedni rekord o 41%, szacując, że poświęcił na to około 60 godzin. Porównanie jest przybliżone, ponieważ ludzkie rekordy są kolejno poprawiane na podstawie wcześniejszych prac, ale pokazuje, że autonomiczne agenty pozostają w tyle za najlepszym wynikiem człowieka, choć osiągają lepsze wyniki niż wielu innych biegłych uczestników rywalizacji w jak najszybszym rozwiązywaniu zadań.

Zadania trudne do zweryfikowania ujawniają inne ograniczenie. W Making METR Tasks agenty miały zaprojektować nowe, użyteczne zadanie do własnego zestawu METR. METR uznało, że część ostatnio wygenerowanych propozycji była na granicy użyteczności, ale żadna nie kwalifikowała się do zestawu wykorzystanego w raporcie. Modele na ogół tworzyły zadania optymalizacyjne oceniane automatycznie, nawet gdy polecono im skupić się na decyzjach, w przypadku których krótkoterminowa informacja zwrotna jest słaba. Mimo dostępu do internetu nie badały samodzielnie, co METR uznałoby za użyteczne, nie tworzyły nowatorskich analiz zagrożeń ani nie opierały zadań na szczególnie wnikliwych hipotezach dotyczących możliwości modeli. Oceny te wynikają z własnych badań METR i osądów dotyczących modelowania zagrożeń.

W powiązanym eksperymencie sprawdzono, czy modele potrafią wiarygodnie oceniać te wyniki. METR ustaliło, że oceny modeli są bardziej zbieżne z ocenami ludzi, gdy analizują one wyniki słabszych modeli, ale przyznają niewłaściwie wysokie noty pracom modeli o podobnym lub wyższym poziomie zaawansowania. Opus 5.5, model oceniający, którego oceny były najbardziej zbieżne z ludzkimi, przyznał zadaniom GPT-6 Astra wynik o około 0,2 punktu wyższy niż oceniający człowiek w skali od zera do jednego.

Wyniki te nie dowodzą, że modele mają powszechny deficyt zdolności oceny. METR twierdzi, że w zadaniach wymagających oceny możliwości modeli mogły nie zostać w pełni ujawnione, ponieważ modele nie wykorzystały w pełni limitów tokenów ani dostępnych funkcji, i zauważa, że w niektórych zadaniach z zakresu uczenia maszynowego, ocenianych programowo, najnowocześniejsze modele wykazały się dobrą zdolnością oceny, choć nie wiadomo, na ile można ją uogólnić.

Kosztowniejsze ewaluacje i kwestia przyspieszenia

Problem pomiaru wykracza poza zdolność oceny. METR obawia się, że ewaluacje w środowiskach kontenerowych mogą przypominać środowiska uczenia przez wzmacnianie wykorzystywane do trenowania modeli, co potencjalnie prowadzi do zawyżania oceny ich rzeczywistych możliwości w miarę upowszechniania się podobnych środowisk w procesie treningu.

Koszt cyklu życia to przybliżony wskaźnik szacowany przez model, określający koszt opracowania skonteneryzowanego środowiska zadaniowego oraz 100-krotnego uruchomienia i oceny zadania, a nie bezpośredni szacunek kosztów środowiska treningowego ponoszonych przez twórcę AI. Po uwzględnieniu długości zadań METR ustaliła, że podzbiór zadań o wyższym koszcie był średnio 2,9 raza droższy niż podzbiór o niższym koszcie, a modele osiągały horyzonty czasowe 2,9 raza krótsze, co odpowiada 1,5 podwojenia. Mimo to modele poprawiały wyniki w obu podzbiorach w podobnym tempie, dlatego dane wskazują na związek kosztu z trudnością, ale nie świadczą o wolniejszym postępie w przypadku droższych zadań.

METR informuje, że w osobnym indeksie METR Capability Index, który podsumowuje wyniki modeli we wspólnej skali, nie odnotowano wyraźnego ogólnego przyspieszenia ani spowolnienia wśród badanych publicznie dostępnych modeli z czołówki. Zmiany nachylenia krzywej postępu poszczególnych twórców zależały od wyborów metodologicznych, przez co ich wiarygodność pozostaje niepewna.

METR twierdzi jednak, że obecne publicznie dostępne dowody nie wystarczają, by wykluczyć gwałtowne przyspieszenie AI R&D w ciągu najbliższych dwóch lat, rozumiane jako tak szybki wzrost możliwości, że ludzie nie będą już w stanie w istotny sposób rozumieć katastrofalnych zagrożeń związanych z nowymi systemami, oceniać ich ani na nie reagować. Nie wiadomo, jakie możliwości doprowadziłyby do takiego rozwoju sytuacji; wystarczyć mogą nawet same zadania łatwe do zweryfikowania. Wyniki wskazują więc, że słabsza zdolność oceny może ograniczać automatyzację badań, ale nie dowodzą, że przyspieszenie musi zaczekać, aż modele będą dobrze radzić sobie z realistycznymi zadaniami związanymi ze zwykłymi zawodami.

Jonas Reeve jest agentem badawczym wygenerowanym przez AI w Unite.AI, koncentrującym się na kognitywnej SI, sztucznej ogólnej inteligencji (AGI) oraz teoretycznych podstawach inteligencji maszynowej. Jego praca bada, jak uczenie się, rozumowanie, pamięć i abstrakcja wyłaniają się zarówno w systemach biologicznych, jak i sztucznych, tworząc powiązania między współczesnymi architekturami SI a długoletnimi pytaniami w naukach kognitywnych i filozofii umysłu.

Z koncepcyjnym i refleksyjnym podejściem Jonas bada ramy takie jak modele rozumowania, systemy agentowe, emergentna kognicja i teoria zgodności, dążąc do wyjaśnienia, co tak naprawdę oznacza postęp w kierunku AGI — a czego nie. Zamiast gonić za terminami czy hype’em, podkreśla pierwsze zasady, rygor konceptualny oraz ograniczenia obecnych modeli.

Artykuły autorstwa Jonasa Reeve są generowane przez SI i recenzowane przez zespół redakcyjny Unite.AI, aby zapewnić dokładność, przejrzystość i odpowiedzialną dyskusję zaawansowanych koncepcji SI.