METR оцінює, що спроможності моделей Anthropic зростають майже вдвічі швидше

5 листопада 2026 року METR опублікувала незалежну оцінку, у якій дійшла висновку, що Anthropic, імовірно, удосконалює спроможності моделей у чітко визначених завданнях приблизно вдвічі швидше, ніж раніше, а використання ШІ, ймовірно, пояснює більшу частину нинішнього прискорення. Ці висновки супроводжуються значною невизначеністю, а вилучені фрагменти приховують значну частину доказової бази.

Дані тестів свідчать про крутіше зростання

За допомогою AECI — індексу спроможностей моделей Anthropic за результатами тестів — METR оцінила, що з жовтня 2025 року результати тестів зростали в 1,9 раза швидше; 95-відсотковий довірчий інтервал становить від 1,5 до 2,8 раза. Такий темп означає, що за один рік можна досягти приблизно такого прогресу, на який раніше знадобилося б два роки. У ширшому зіставленні темп за жовтень 2026 року порівнюється з темпом, зафіксованим у період із березня 2024-го до жовтня 2025 року.

До розрахунку включено моделі лише для внутрішнього використання, а кожен знімок даних датовано моментом, коли ним могли користуватися більшість працівників Anthropic. Так створено спільну основу для порівняння випущених і невипущених систем. Перевірки стійкості оцінок METR дали значення прискорення від 1,1 до 2,9 раза залежно від альтернативних моделей, що демонструє чутливість результату до способу представлення складності тестів та інших аналітичних припущень.

Докази ролі ШІ в прискоренні

Наведені докази переконали METR, що прискорення не було спричинене швидшим зростанням обчислювальних ресурсів для навчання, хоча подробиці на підтвердження цього висновку було вилучено. Імовірно, наприкінці 2025 року значну роль відігравали чинники, не пов’язані зі ШІ, однак нинішня найкраща оцінка полягає в тому, що вони не пояснюють тривалого прискорення.

Дані про працівників указували на те саме, але були неоднорідними. Оцінки дослідників під час інтерв’ю суттєво різнилися, хоча в середньому йшлося приблизно про дворазове прискорення. За неформальними опитуваннями, у жовтні 2026 року середнє самооцінене підвищення продуктивності від використання найспроможнішої внутрішньої моделі становило приблизно 12 разів. METR застерегла, що відповіді не вимагали значних зусиль, могли не відображати думку працівників загалом, а індивідуальне зростання продуктивності не дорівнює безпосередньо зростанню спроможностей організації.

Нині вплив ШІ полягає переважно в тому, що він допомагає дослідникам. ШІ поки що не здатен робити надзвичайно важливий внесок у найважливіші роботи з навчання моделей, діючи повністю автономно, хоча дослідники описали ознаки того, що такі можливості можуть з’явитися найближчим часом; рівень їхньої зрілості в різних галузях неоднаковий.

Вузькі місця та вимірювання залишаються невизначеними

Не з’явилося переконливих доказів того, що прогрес алгоритмів, обчислювальні ресурси для навчання чи експериментів або дані створюватимуть значні вузькі місця протягом 12 місяців. Інтерпретація рецензентів кілька разів змінювалася в міру надходження нової інформації, тож вони не були впевнені в цій оцінці. Водночас METR дійшла висновку, що відсутність чітких обмежень чи різкого зниження віддачі створює значний ризик: подальше зростання спроможностей може накопичуватися й призвести до ще швидшого прискорення. Це оцінка ризику на майбутнє, а не зафіксований результат.

AECI зосереджується на чітко визначених завданнях, які легко оцінювати, тому швидше зростання результатів тестів може не означати такого самого ефекту в реальному світі. METR зазначила, що завищити оцінку могли перенавчання, внесок чинників, не пов’язаних зі ШІ, або надзвичайно низький історичний базовий рівень. Натомість її оцінка могла виявитися заниженою через те, що недавнє прискорення залишилося непоміченим, людські вузькі місця усуваються швидше, ніж очікувалося, або результати тестів недооцінюють вплив у реальному світі. Результати Model 4, що перевищили 50% у всіх 15 використаних для неї тестах, викликали окреме занепокоєння: насичення може ускладнити подальші вимірювання.

Широкий доступ, але обмежені відкриті докази

Оцінювання тривало одинадцять тижнів — із 12 серпня до 29 жовтня 2026 року — і в ньому брали участь фахівці, робоче навантаження яких загалом становило 2,5 повної ставки. Команда проаналізувала внутрішні результати тестів, показники попереднього навчання та навчання з підкріпленням, вимірювання обчислювальних ресурсів для навчання, аналізи прискорення завдяки ШІ та внутрішні документи, а також провела приблизно 15 інтерв’ю з ключовими працівниками. Команда не отримала безпосереднього доступу на рівні працівника й не тестувала непублічні моделі.

Anthropic могла схвалювати або відхиляти запити на інформацію та одноосібно вилучати непублічні матеріали. Унаслідок вилучень із відкритого звіту зникла більша частина доказів, які METR вважала найінформативнішими, зокрема докладний аналіз внеску ШІ, оцінки прогресу алгоритмів, конкретний аналіз вузьких місць і прогнози щодо майбутніх моделей. Anthropic пояснила вилучення захистом конфіденційної інформації, яка могла б прискорити розробки інших компаній у сфері ШІ. METR зберігала право самостійно визначати методологію та висновки й не отримувала оплати, хоча працювала на пристроях Anthropic і користувалася безплатними токенами.

Ця оцінка пропонує ґрунтовний зовнішній аналіз прискорення досліджень завдяки ШІ, однак не забезпечує прозорості щодо доказів, на яких він ґрунтується. Відкриті результати тестів і свідчення працівників вказують на прискорення прогресу, але через вилучення читачі не можуть самостійно оцінити значну частину підстав для висновків METR про роль ШІ та вузькі місця. Тому ці ключові висновки значною мірою спираються на узагальнення доказів оцінювачами, які читачі не можуть повністю перевірити.