Модели и платформы ИИ
По данным METR, временные горизонты ИИ удваиваются, а исследовательская оценка отстает

Ключевые моментыВременные горизонты фронтирных моделей удваиваются примерно каждые 110 дней, но…
Показать больше
- Временные горизонты фронтирных моделей удваиваются примерно каждые 110 дней, но исследовательское суждение отстаёт от проверяемых улучшений.
- Модели занимали 96-й–98-й процентиль в соревнованиях по оптимизации, однако уступали лучшим людям в автономных ускорениях.
- Судьи-модели завышали оценку исследовательских задач сильных моделей примерно на 0,2 балла по однобалльной шкале.
По сообщению METR от 20 ноября 2026 года, временные горизонты 50% для публичных передовых моделей — то есть оценочная длительность задачи, определённая человеком, при которой, согласно прогнозу, модель справится с ней в половине случаев, а не время работы самой модели, — в совокупности оценок TH1.1 и TH2 увеличиваются вдвое примерно каждые 110 дней. Расширенное тестирование показывает значительный прогресс в задачах с проверяемым результатом, но более слабые способности к оценке в открытых исследовательских задачах и при разработке методов оценки.
Обновление охватывает общедоступные модели вплоть до Opus 5.5 и GPT-6 Astra и рассматривает возможности, важные для автоматизации исследований и разработок в области ИИ (R&D). Обычно METR оценивала 15 моделей на TH1.1 и TH2. Новый набор TH2 включает 36 задач из 12 семейств: восемь семейств с проверяемым результатом и чётко определёнными целями, которые можно оценивать автоматически, в том числе задачи по оптимизации, машинному обучению, головоломкам и играм, а также четыре семейства задач на концептуальное рассуждение, оценку и открытые исследования, для которых нет простого способа проверить успешность выполнения.
Более сложный набор задач демонстрирует сходную динамику роста
По оценке METR, 95%-й доверительный интервал для совокупного времени удвоения составляет от 2,08 до 4,94 месяца, что близко к прежней динамике для одного лишь TH1.1 — 105 дней. Поскольку при одинаковой оценочной длительности задачи для человека TH2 сложнее, временной горизонт 50% для модели на объединённом наборе ниже, чем на одном только TH1.1.
Для подмножества TH2 с проверяемым результатом расчётное время удвоения сокращается до 1,65 месяца; 95%-й доверительный интервал составляет от 0,79 до 3,99 месяца. METR предупреждает, что этот результат, подверженный значительным колебаниям, может объясняться составом задач, ограниченным временным диапазоном или отбором задач в ходе их разработки, а не общим ускорением прогресса. Менее разнообразные наборы задач также могут приводить к более быстрому удвоению, поскольку для выполнения более длительных задач требуется больше тех же навыков.
Калибровка по человеческим показателям менее прямолинейна, чем в предыдущих исследованиях METR. Исследователи задали пороговые значения времени и баллов для 34 новых задач: для трёх использовали базовые показатели людей, успешно выполнивших задачи, а для 31 — оценки исследователей; прямые базовые показатели легли в основу лишь 9% оценок времени, необходимого человеку. Специалистам платили от 200 до 350 долларов в час; при реализации решений они могли пользоваться Sonnet 5. По данным METR, результаты по времени удвоения остаются схожими, если добавить погрешность к оценкам времени выполнения задач и заменить их оценками времени выполнения человеком, рассчитанными моделями. Однако по-прежнему неясно, насколько участники, выполнявшие задачи для получения базовых показателей, были сопоставимы с исследователями ведущих лабораторий.
Высокие результаты, но более слабая исследовательская оценка
По оценке METR, на задачах TH2 с проверяемым результатом временной горизонт современных общедоступных передовых моделей достигает 27 часов. На каждой из трёх задач с формально установленными базовыми показателями лучшая модель превзошла всех привлечённых людей, выполнявших эти задачи.
Более широкие массивы данных о людях показывают, что ведущие специалисты всё ещё могут добиваться лучших результатов. По данным METR, в 15 конкурсах по оптимизации Al Zimmermann самые сильные модели в среднем занимали места на уровне 96–98-го процентиля участников-людей, хотя примерно четыре человека обходили их в каждом конкурсе. У агентов было 48 часов и машина с 28 ядрами; участникам-людям предоставлялось около трёх месяцев и собственное оборудование, поэтому результаты зависят от этих разных условий.
По данным METR, в Budget NanoGPT лучший результат автономного агента — ускорение на 15,7% за 48 часов. Для сравнения, недавно привлечённый человек, работавший с помощью ИИ, улучшил предыдущий рекорд на 41% и оценил затраченное время примерно в 60 часов. Сравнение приблизительное, поскольку человеческие рекорды устанавливаются последовательно, на основе предшествующих результатов, однако оно показывает, что автономные агенты уступают сильнейшему результату человека, но превосходят многих других опытных участников, оптимизирующих код на скорость.
Задачи, результаты которых сложно проверить, выявляют другое ограничение. В рамках Making METR Tasks агенты должны были разработать новую информативную задачу для собственного набора METR. METR признала некоторые недавние результаты отчасти полезными, но ни один из них не заслуживал включения в набор, использованный в отчёте. Даже когда моделям предлагали сосредоточиться на решениях, для которых трудно получить быструю обратную связь, они, как правило, создавали задачи по оптимизации с автоматической оценкой. Несмотря на доступ к интернету, модели не пытались самостоятельно выяснить, что было бы полезно METR, не предлагали нового анализа угроз и не основывали задачи на особенно содержательных гипотезах о возможностях моделей. Эти оценки отражают собственные исследовательские суждения METR и её оценки угроз.
В связанном эксперименте проверялось, насколько надёжно модели могут оценивать эти результаты. METR установила, что оценки моделей-судей ближе к человеческим, когда они оценивают результаты более слабых моделей, однако работе моделей такой же или большей силы они присваивали неоправданно высокие баллы. Модель Opus 5.5, чьи оценки лучше всего совпадали с человеческими, поставила задачам GPT-6 Astra примерно на 0,2 балла больше, чем оценщик-человек, по шкале из одного балла.
Эти результаты не доказывают, что модели неспособны к оценке в целом. По словам METR, возможности моделей в задачах на оценку суждений могли быть раскрыты не полностью: они недостаточно использовали доступные лимиты токенов и средства взаимодействия. Кроме того, в некоторых задачах машинного обучения с программной оценкой передовые модели демонстрировали хорошие способности к оценке, хотя неясно, насколько широко применим этот вывод.
Более дорогие оценки и вопрос об ускорении прогресса
Проблема измерения возможностей выходит за рамки оценки суждений. METR опасается, что оценки в контейнеризированных средах могут быть похожи на среды обучения с подкреплением, используемые для обучения моделей, и поэтому завышать оценку их возможностей в реальных условиях по мере того, как подобные среды становятся обычной частью обучения.
Стоимость жизненного цикла — это приблизительная оценка, рассчитанная моделью, которая служит косвенным показателем затрат на создание контейнеризированной среды для выполнения задач, а также на их запуск и оценку 100 раз. Это не прямая оценка расходов разработчика ИИ на создание обучающих сред. С учетом продолжительности задач METR установила, что средняя стоимость задач в более дорогой подгруппе была в 2,9 раза выше, чем в менее дорогой, тогда как временной горизонт моделей был в 2,9 раза короче, что соответствует 1,5 удвоения. Тем не менее модели в обеих подгруппах совершенствовались примерно одинаковыми темпами. Таким образом, данные связывают стоимость со сложностью, но не свидетельствуют о том, что на более дорогих задачах прогресс замедляется.
По данным METR, на отдельном индексе возможностей METR Capability Index, который сводит результаты моделей к общей шкале, на проверенных публичных передовых моделях в целом не наблюдается ни заметного ускорения, ни замедления. Изменения темпов развития отдельных разработчиков зависели от методологических решений, поэтому их обоснованность остается под вопросом.
Тем не менее METR отмечает, что имеющихся публичных данных недостаточно, чтобы исключить резкое ускорение НИОКР в области ИИ в ближайшие пару лет. Под ним понимаются такие темпы развития возможностей, при которых люди уже не смогут осмысленно понимать катастрофические риски, связанные с новыми системами, оценивать их и реагировать на них. Пока неизвестно, какие именно возможности могут привести к такому результату; возможно, для этого будет достаточно задач, результаты которых легко проверить. Таким образом, результаты исследования указывают на то, что более слабая способность к суждению может ограничивать автоматизацию исследований, но не доказывают, что ускорение невозможно, пока модели не начнут хорошо справляться с реалистичными задачами, характерными для обычной работы.












