METR оценивает, что возможности моделей Anthropic росли почти вдвое быстрее

5 ноября 2026 года METR опубликовала независимую оценку, согласно которой Anthropic, вероятно, совершенствует возможности моделей при решении четко сформулированных задач примерно вдвое быстрее, чем раньше, а использование ИИ, вероятно, объясняет большую часть нынешнего ускорения. Эти выводы сопровождаются значительной неопределенностью, а изъятия из отчета скрывают большую часть подтверждающих данных.

Данные тестов указывают на более крутой тренд

Используя AECI — индекс возможностей Anthropic по результатам бенчмарков, — METR оценила, что с октября 2025 года результаты бенчмарков росли в 1,9 раза быстрее; 95%-й доверительный интервал составляет от 1,5 до 2,8 раза. Такой темп означает, что за один год достигнут прогресс, на который при прежних темпах ушло бы примерно два года. В более широком выводе темп за период с марта 2024-го по октябрь 2025 года сопоставляется с темпом по состоянию на октябрь 2026 года.

В расчеты включены модели только для внутреннего использования, а датой каждого снимка считался день, когда модель становилась доступна большинству сотрудников Anthropic. Это позволило сравнивать выпущенные и невыпущенные системы на единой основе. Проверки устойчивости результатов, проведенные METR, дали оценки ускорения от 1,1 до 2,9 раза в зависимости от выбранного метода моделирования. Это показывает, насколько результаты чувствительны к тому, как учитываются сложность бенчмарков и другие аналитические допущения.

Данные о роли ИИ в ускорении

Имеющиеся данные убедили METR в том, что ускорение не было вызвано более быстрым ростом вычислительных ресурсов для обучения, хотя подтверждающие подробности были изъяты из отчета. В конце 2025 года важную роль, вероятно, играли факторы, не связанные с ИИ, однако наиболее обоснованное предположение на данный момент состоит в том, что они не объясняют устойчивого ускорения.

Данные о сотрудниках указывали на то же, но были неоднородными. В интервью исследователи давали сильно различавшиеся оценки ускорения, в среднем близкие к двукратному. Согласно неформальным опросам, в октябре 2026 года средний прирост производительности, который сотрудники приписывали самой мощной внутренней модели, составлял примерно 12 раз. METR предупредила, что отвечать на вопросы было легко, участники опросов могли не представлять весь коллектив, а индивидуальный рост производительности не равнозначен росту возможностей организации в целом.

Сейчас ИИ влияет на результаты главным образом помогая исследователям. Пока ИИ не способен вносить высокозначимый вклад в наиболее важные работы по обучению моделей полностью автономно, хотя исследователи отмечали признаки того, что такой вклад может появиться в ближайшее время; зрелость этих возможностей различается в разных областях.

Неопределенность сохраняется и в отношении узких мест, и в вопросах измерения

Убедительных данных о том, что алгоритмический прогресс, вычислительные ресурсы для обучения или экспериментов либо данные станут существенным узким местом в течение 12 месяцев, не обнаружено. По мере поступления новой информации рецензенты несколько раз меняли свою оценку и в итоге не были уверены в этом выводе. Тем не менее METR сочла, что отсутствие явных ограничений и резкого снижения отдачи создает значительный риск дальнейшего накопительного роста возможностей, который может привести к еще более быстрому ускорению. Это оценка перспективного риска, а не наблюдаемый результат.

AECI ориентируется на четко сформулированные задачи, результаты которых легко оценить, поэтому более быстрый рост результатов бенчмарков может не приводить к сопоставимому эффекту в реальном мире. По словам METR, оценка может оказаться завышенной из-за переобучения, вклада факторов, не связанных с ИИ, или необычно низкой исторической базы. Напротив, она может быть заниженной, если недооценено недавнее ускорение, узкие места, связанные с человеческим фактором, устраняются быстрее ожидаемого или результаты бенчмарков не отражают реального влияния. Результаты Model 4 — выше 50% по всем 15 использованным для нее бенчмаркам — породили и отдельное опасение: насыщение может затруднить дальнейшие измерения.

Широкий доступ при ограниченности общедоступных данных

В оценке, продолжавшейся одиннадцать недель — с 12 августа по 29 октября 2026 года, — участвовали специалисты METR общей численностью 2,5 штатной единицы. Они изучили внутренние результаты бенчмарков, показатели предварительного обучения и обучения с подкреплением, измерения вычислительных ресурсов, затраченных на обучение, анализы ускорения благодаря ИИ и внутренние документы, а также провели около 15 интервью с ключевыми сотрудниками. Команда не получила неограниченного доступа наравне с сотрудниками и не тестировала непубличные модели.

Anthropic могла одобрять или отклонять запросы на предоставление информации и по собственному усмотрению изымать непубличные материалы. Из-за этих изъятий из общедоступного отчета исчезла большая часть данных, которые METR сочла наиболее информативными, включая подробный анализ вклада ИИ, оценки алгоритмического прогресса, конкретный анализ узких мест и прогнозы для будущих моделей. Anthropic объяснила изъятия необходимостью защитить конфиденциальную информацию, которая могла бы ускорить работу других разработчиков ИИ. METR самостоятельно определяла методологию и формулировала выводы, не получала оплаты, но работала на устройствах Anthropic и пользовалась бесплатными токенами.

Эта оценка представляет собой масштабный внешний анализ ускорения исследований благодаря ИИ, но не обеспечивает прозрачности в отношении исходных данных. Общедоступные результаты бенчмарков и свидетельства сотрудников подтверждают ускорение прогресса, однако изъятия не позволяют читателям самостоятельно оценить значительную часть обоснований выводов METR о роли ИИ и узких местах. Поэтому ключевые выводы в значительной степени опираются на синтез данных, выполненный оценщиками и недоступный читателям для полной проверки.