Моделі та платформи ШІ
METR виявила, що часові горизонти ШІ подвоюються, тоді як дослідницьке судження відстає

Ключові моментиЧасові горизонти фронтирних моделей подвоюються приблизно кожні 110 днів, але…
Показати більше
- Часові горизонти фронтирних моделей подвоюються приблизно кожні 110 днів, але дослідницьке судження відстає від підтверджуваних досягнень.
- Моделі посіли від 96-го до 98-го процентиля в оптимізаційних конкурсах, але поступалися найкращим людям в автономному прискоренні.
- Судді-моделі завищували оцінку дослідницьких завдань сильних моделей приблизно на 0,2 бала за одновимірною шкалою.
METR повідомила 20 листопада 2026 року, що часові горизонти на рівні 50% для відкритих передових моделей — оцінена людьми тривалість завдання, за якої, за прогнозом, модель успішно виконує його в половині випадків, а не час роботи самої моделі, — подвоюються приблизно кожні 110 днів за сукупними результатами оцінювань TH1.1 і TH2. Розширене тестування свідчить про значний прогрес у завданнях із перевірюваним результатом, але слабші здібності до судження під час відкритих досліджень і розроблення оцінювань.
Оновлення охоплює відкриті моделі аж до Opus 5.5 і GPT-6 Astra та досліджує здібності, важливі для автоматизації досліджень і розроблення ШІ (R&D). Зазвичай METR оцінювала 15 моделей за наборами TH1.1 і TH2. Новий набір TH2 містить 36 завдань у 12 категоріях: вісім категорій із перевірюваними завданнями, чітко визначеними цілями та автоматичним оцінюванням у сферах оптимізації, машинного навчання, головоломок та ігор, а також чотири категорії, що охоплюють концептуальне міркування, судження й відкриті дослідження, де успіх неможливо дешево перевірити.
Складніший набір — подібна тенденція зростання
За оцінкою METR, 95-відсотковий довірчий інтервал для сукупного часу подвоєння становить від 2,08 до 4,94 місяця, що близько до попередньої тенденції для TH1.1, яка дорівнювала 105 дням. Оскільки за однакової тривалості завдань, оціненої людьми, TH2 складніший, часовий горизонт моделі на рівні 50% для сукупного набору коротший, ніж лише для TH1.1.
Для підмножини перевірюваних завдань TH2 оцінений час подвоєння скорочується до 1,65 місяця, а 95-відсотковий довірчий інтервал становить від 0,79 до 3,99 місяця. METR застерігає, що цей нестабільний результат може пояснюватися складом завдань, обмеженим діапазоном дат або відбором під час розроблення завдань, а не загальним прискоренням. Менш різноманітні набори завдань також можуть давати коротший час подвоєння, оскільки довші завдання потребують більшого обсягу тих самих навичок.
Калібрування за людськими результатами менш пряме, ніж у попередніх дослідженнях METR. Дослідники визначили порогові значення результатів і часу для 34 нових завдань, спираючись на успішні результати людей для трьох із них і на оцінки дослідників для 31; безпосередньо встановлені базові результати використовувалися лише для 9% оцінок тривалості виконання людьми. Фахівцям платили від $200 до $350 за годину, і вони могли використовувати Sonnet 5 для реалізації рішень. METR повідомляє про подібні результати щодо часу подвоєння після додавання шуму до оцінок тривалості завдань і заміни їх оцінками часу виконання людьми, розрахованими моделями, хоча досі незрозуміло, наскільки учасники, які виконували базові завдання, були порівнянними з дослідниками передових лабораторій.
Високі результати, слабше дослідницьке судження
За оцінкою METR, часові горизонти сучасних відкритих передових моделей сягають 27 годин на перевірюваних завданнях TH2. На кожному з трьох завдань із формально встановленими базовими результатами найкраща модель перевершила кожного залученого для порівняння учасника.
Дані, зібрані на більшій кількості людей, свідчать, що найкращі фахівці досі можуть випереджати моделі. У 15 конкурсах з оптимізації Al Zimmermann, за даними METR, найсильніші моделі в типовому конкурсі посіли місця на рівні від 96-го до 98-го процентиля серед учасників-людей, тоді як приблизно чотири людини випередили їх. Агенти мали 48 годин і 28-ядерну машину; учасники-люди мали приблизно три місяці та власне обладнання, тож рейтинги залежать від цих відмінностей в умовах.
Для Budget NanoGPT METR повідомляє, що найкращий результат автономного агента — прискорення на 15,7% за 48 годин, тоді як нещодавній учасник-людина, якому допомагав ШІ, перевершив попередній рекорд на 41% і, за його оцінкою, витратив приблизно 60 годин. Порівняння приблизне, адже людські рекорди послідовно спираються на попередні напрацювання, але воно показує, що автономні агенти відстають від найкращого людського результату, водночас перевершуючи багатьох інших досвідчених учасників, які змагаються на швидкість.
Завдання, успіх у яких важко перевірити, виявляють інше обмеження. У Making METR Tasks агенти мали розробити нове інформативне завдання для власного набору METR. METR визнала деякі нещодавні результати частково корисними, але жоден із них не заслуговував на включення до набору, використаного у звіті. Навіть коли моделям давали вказівку зосередитися на рішеннях із поганим короткостроковим зворотним зв’язком, вони зазвичай створювали завдання з оптимізації, результати яких оцінювалися автоматично. Попри доступ до інтернету, вони самостійно не з’ясовували, що було б корисним для METR, не розробляли нових моделей загроз і не будували завдання на особливо проникливих гіпотезах про можливості моделей. Ці оцінки ґрунтуються на власних дослідницьких судженнях METR і її оцінках загроз.
В окремому пов’язаному експерименті перевіряли, чи можуть моделі надійно оцінювати ці результати. METR виявила, що оцінки моделей-суддів краще збігалися з людськими, коли йшлося про результати слабших моделей, але роботу моделей порівнянної або вищої сили вони оцінювали невиправдано високо. Opus 5.5, суддя, чиї оцінки найбільше збігалися з людськими, поставила завданням GPT-6 Astra приблизно на 0,2 бала більше, ніж оцінювач-людина, за однобальною шкалою.
Ці результати не доводять, що моделі загалом мають дефіцит судження. METR зазначає, що моделі могли недостатньо проявити свої здібності в завданнях на судження, оскільки використовували не всі доступні токени та можливості, а також зауважує, що на деяких завданнях із машинного навчання, які оцінювалися програмно, передові моделі демонстрували добре судження, хоча його загальність незрозуміла.
Дорожчі оцінювання та питання прискорення
Проблема вимірювання не обмежується судженням. METR непокоїть, що оцінювання в контейнеризованих середовищах можуть бути схожими на середовища навчання з підкріпленням, які використовують для тренування моделей, і через це завищувати оцінки реальних можливостей у міру поширення подібних середовищ у навчанні.
Вартість життєвого циклу — це приблизна оцінка, отримана за допомогою моделі, яка слугує непрямим показником витрат на розробку контейнеризованого середовища для виконання завдань і його 100-разовий запуск та оцінювання, а не прямою оцінкою витрат розробника ШІ на навчальне середовище. З урахуванням тривалості завдань METR виявила, що підмножина завдань із вищою вартістю в середньому була у 2,9 раза дорожчою за підмножину з нижчою вартістю, тоді як за часовим горизонтом моделі впоралися з нею у 2,9 раза гірше, що відповідає 1,5 подвоєння. Водночас моделі вдосконалювалися в обох підмножинах із подібною швидкістю, тож дані пов’язують вартість зі складністю, але не свідчать про повільніший прогрес на дорожчих завданнях.
За окремим індексом можливостей METR, який підсумовує результати моделей за спільною шкалою, METR не виявила виразного загального прискорення чи сповільнення серед протестованих публічно доступних передових моделей. Оцінки змін темпів розвитку окремих розробників залежали від методологічних рішень, тому їхня достовірність залишається невизначеною.
Водночас METR зазначає, що наявних публічних даних недостатньо, аби виключити різке прискорення досліджень і розробок у сфері ШІ (R&D) протягом наступних кількох років. Під ним мається на увазі настільки стрімке вдосконалення можливостей, що люди вже не зможуть змістовно розуміти й оцінювати катастрофічні ризики, пов’язані з новими системами, та реагувати на них. Які саме можливості могли б призвести до такого результату, досі невідомо; можливо, для цього вистачило б самих лише завдань, результати яких легко перевірити. Отже, ці результати вказують на те, що слабші судження можуть обмежувати автоматизацію досліджень, але не доводять, що прискорення має чекати, доки моделі не почнуть добре виконувати реалістичні завдання, пов’язані зі звичайною роботою.












