Взгляд Anderson
Переход с Claude Fable на более слабую модель почти не повлиял на продуктивность разработчиков во время запрета

Ключевые моментыДоступ к более высоко оцениваемой модели Claude Fable 5 повысил долю слияний лишь на…
Показать больше
- Доступ к более высоко оцениваемой модели Claude Fable 5 повысил долю слияний лишь на 1,4 процентного пункта.
- Пять обновлений Claude не дали значимого прироста ни в слитых пул-реквестах, ни в еженедельно завершённых изменениях.
- Показатели бенчмарков мало что значат, когда задачи, которые ставят разработчики, уже находятся в пределах возможностей более старых моделей.
Очень трудно точно оценить, улучшили ли новые модели ИИ свои показатели по сравнению с предшественниками, и даже определить, что именно считать повышением продуктивности: новые версии могут демонстрировать улучшения в одной области, но работать хуже в другой — примерно так же, как это бывает с обычным программным обеспечением и фреймворками. Иногда это сознательные компромиссы, на которые идут люди, а иногда — «сопутствующий ущерб».
Это если предположить, что все играют честно. Известно немало случаев, когда разработчики подстраивали программное обеспечение так, чтобы оно лучше показывало себя в тестах, иногда добиваясь того, чтобы оно распознавало момент тестирования и временно меняло своё поведение ради более высокого результата. Модели ИИ тоже могут распознавать, когда их оценивают, и вести себя иначе, даже если их специально этому не обучали.
В поисках более содержательных и честных метрик разработчики нередко придумывают собственные неформальные критерии — например, качественный тест Саймона Уилсона под названием «Пеликан едет на велосипеде», в котором визуально-языковым моделям (VLM) предлагают создать то, чего нет в обучающих данных*, и они часто справляются плохо. Впрочем, на протяжении 2026 года результаты несколько улучшились:

Метрика Саймона Уилсона предлагает VLM представить пеликана, едущего на велосипеде. В последнее время ИИ справляется с этой задачей гораздо лучше, чем примерно 18 месяцев назад, когда результаты были уморительными. Однако некоторые предполагают, что причина в том, что эта задача теперь прочно закрепилась в обучающих данных. Источник
Однако тест может измерять лишь те навыки, для проверки которых он был разработан. И даже если результаты надёжны, неясно, насколько эти навыки важны в повседневной работе и приведёт ли более высокий балл к выполнению большего объёма работы.
В случае моделей для написания кода это можно проверить, изучив, как меняется объём работы разработчиков после перехода с одной модели на другую.
Работать [the Same] с меньшими ресурсами
В июне этого года 19-дневный запрет Белого дома на использование Claude Fable предоставил исследователям необычайно удобные условия для проверки: разработчики, отправлявшие в GitHub запросы на слияние (PR), перешли на менее мощные версии Claude. Поскольку все версии Claude совместно подписывают PR, а эти сведения можно найти через API GitHub, данные находятся в свободном доступе.
Этой возможностью воспользовались авторы нового исследования из Harvard University: они отслеживали работу 297 пользователей Fable 5 до запрета, во время него и после его окончания, а затем сравнили результаты с показателями 8 908 разработчиков, продолжавших пользоваться более старой моделью Opus 4.8.
Ранее Fable 5 получила на тесте для оценки навыков программирования SWE-Bench Pro результат почти на 11 пунктов выше, чем Opus 4.8. Однако, согласно исследованию Harvard University, доступ к Fable 5 был связан лишь с повышением на 1,4 процентного пункта доли отправленных изменений кода, которые принимали в проекты GitHub в течение семи дней. Авторы статьи утверждают, что эту разницу практически можно считать погрешностью округления. Более широкий анализ также не выявил значимого роста продуктивности после перехода на другие, более новые модели ИИ:
«Результаты показывают, что доступ к Fable 5 изменил долю принятых изменений всего на 1,4 процентного пункта, причём это изменение не было статистически значимым [significant]. Мы также проанализировали пять из восьми обновлений моделей в 2026 году и обнаружили, что после этих обновлений доля принятых изменений не выросла [either].
«Аналогичным образом, у разработчиков не стало больше запросов на слияние, принимаемых каждую неделю. Эти результаты показывают, что улучшение показателей на современных тестах для моделей, пишущих код, на практике не привело к увеличению объёма завершённой работы».
В ходе пяти обновлений моделей в 2026 году, затронувших 1 208 разработчиков и более 15 000 предложенных изменений кода, не было обнаружено статистически значимого повышения ни доли отправленного кода, принятого в проекты, ни числа изменений, успешно завершённых за неделю.
Авторы статьи признают, что слияния в GitHub — несовершенный показатель продуктивности, однако запрет предоставил исключительно редкую возможность оценить последствия перехода с одной модели на другую в реальных рабочих условиях. Это особенно важно для отрасли, привлекающей огромный интерес во всём мире, но работающей в условиях максимально возможной корпоративной закрытости.
Признавая, насколько трудно в подобных случаях выработать эмпирические критерии, авторы новой работы† отмечают:
«Люди, которые первыми начинают пользоваться новыми моделями, могут быть опытнее. Поэтому, сравнивая продуктивность разработчиков, мы не можем определить, чем вызвана разница — моделью или теми, кто ею пользуется. Даже если мы наблюдаем за одними и теми же людьми, мы не знаем, поручают ли они разным моделям одни и те же задачи.
«Например, некоторые могли использовать Fable 5 для самых сложных задач, а для более простых переключаться на модели более низкого уровня. Если самые сложные задачи поручать самой мощной модели, она может выглядеть менее продуктивной практически по любому выбранному нами показателю: сложные задачи требуют больше времени и с меньшей вероятностью приводят к слиянию изменений».
В статье также утверждается, что результаты предыдущих исследований были искажены тем, что большинство изменений кода приходилось на небольшое число проектов, в каждом из которых действовали собственные правила принятия изменений; из-за этих различий было трудно установить, действительно ли рост производительности был обусловлен переходом на более новые модели.
Методика
В основном эксперимент円 запросы на слияние на GitHub от 297 разработчиков, отнесенных в исследовании к пользователям Fable 5, разделили на четыре периода: до выпуска модели 9 июня; три дня, когда она была доступна; 19-дневный период приостановки доступа; и период после его восстановления 1 июля.
Показатели слияния сравнили с показателями 8 908 разработчиков, которых определили как пользователей более старой модели Opus 4.8. Это позволило отделить изменения, связанные с приостановкой доступа, от более общих колебаний активности на GitHub.
В ходе сравнения исходили из того, что без запрета показатели слияния в обеих группах менялись бы схожим образом. Изменения показателей слияния сопоставили между группами, а различия между отдельными разработчиками и ежедневные колебания учли в статистическом анализе:

Хронология обновлений моделей Claude и приостановки доступа к Fable 5. На верхней диаграмме показаны восемь обновлений Opus и Sonnet; закрашенными кружками отмечены пять обновлений, рассмотренных в более широком исследовании. На нижней диаграмме показаны четыре периода, использованные для оценки влияния приостановки доступа на долю запросов на слияние PR; период запрета служит точкой отсчета. Фиолетовые линии показывают, когда Fable 5 была доступна или доступ к ней был приостановлен; серым выделен период запрета, а штриховкой обозначены дни, исключенные сразу после приостановки или восстановления доступа. Источник
Для сбора данных общедоступные запросы на слияние PR на GitHub, созданные с помощью Claude Code, находили через API поиска GitHub, используя уведомление «Создано с помощью Claude Code», автоматически добавляемое к их описаниям. Если название конкретной модели также копировалось из истории коммитов кода в описание PR, удавалось установить, какая версия Claude использовалась.
Запросы на слияние PR, отправленные во время приостановки доступа к Fable 5 и последующих обновлений Claude, собирали с ноября 2025 года по октябрь 2026 года; для слияния последних отправленных запросов отводили не менее четырех недель.
В основную исследуемую группу включили 297 разработчиков, использовавших Fable 5 в течение короткого периода, когда она была доступна. Контрольную группу составили 8 908 разработчиков, использовавших Opus 4.8 и не отмеченных как пользователи Fable 5.
Основным показателем производительности была доля отправленных изменений кода, принятых в проекты GitHub в течение семи дней. Это позволяло сравнить долю успешных отправок до, во время и после приостановки доступа. Дополнительно проверяли запросы на слияние PR, объединенные в течение часа; PR, закрытые без слияния; количество полученных комментариев; впоследствии отмененные изменения; и сбои автоматических проверок GitHub.
Проверки
Потеря доступа к Fable 5 и его последующее восстановление практически не повлияли на измеряемую производительность разработчиков. Доступ к более новой модели был связан лишь с увеличением на 1,4 процентного пункта доли PR, объединенных в течение семи дней; эта разница была признана «статистически незначимой»:

Сравнение использования Fable 5 и показателей слияния PR до, во время и после запрета. Слева: доля PR, созданных с помощью Fable 5. Справа: изменение доли PR, объединенных в течение семи дней, относительно периода с 22 по 28 июня; точки показывают оценки, а горизонтальные линии — 95-процентные доверительные интервалы. Затененные строки обозначают периоды, когда Fable 5 была доступна. Несмотря на значительные изменения в использовании моделей, показатели слияния почти не изменились.
Кроме того, при анализе пяти обновлений моделей Claude, в которых участвовали 1 208 разработчиков и было рассмотрено более 15 000 отправленных изменений кода, роста доли кода, принятого в проекты GitHub, не обнаружили. Напротив, этот показатель немного снизился — по оценке, на 0,9 процентного пункта.
Также выяснилось, что разработчики, использовавшие более новые модели, завершали на 2,4% больше задач, по которым принимались изменения, в неделю — разница слишком мала, чтобы говорить о достоверном улучшении. Даже при повышении результатов тестирования на 5–18 пунктов заметного роста производительности не наблюдалось.
Также выяснилось, что более новые модели не лучше проходили автоматические проверки кода на GitHub: доля ошибок практически не изменилась.
В статье делается следующий вывод:
«Мы предполагаем, что главная причина, по которой улучшение результатов Fable 5 в тестах не привело к росту производительности в реальной работе, заключается в том, что задачи, которые разработчики поручают агентам, уже по силам более старой модели».
Далее авторы продолжают:
«Наши результаты, полученные на основе реальной работы, подтверждают предупреждения, звучавшие в предыдущих исследованиях: результат тестирования мало что значит для тех, кто выбирает модель, если не доказано, что он измеряет именно ту работу, для которой модель используется [describe].
«Если регуляторы и покупатели оценивают, насколько модель стала лучше, по результатам её тестирования [score], то, скорее всего, разница, на которую они полагаются, никак не отразится на производительности пользователей».
Заключение
Сопоставимые показатели, отслеживаемые из года в год, давно стали обязательным условием для коммерческой составляющей промышленных систем. Однако в сфере ИИ особенно сложно воспроизвести их в реальных условиях и с высокой точностью. Одна из причин — скорость, с которой «тестовые данные», определяющие результат тестирования, попадают в обучающие данные следующей модели и становятся непригодными для проверки. Уже одно это в значительной степени подрывает основу корпоративного тестирования и последовательных научных испытаний, в которых исследователям необходимо опровергать ранее установленные показатели, ныне, возможно, утратившие смысл.
И действительно, за последние десять лет было поразительно наблюдать, сколько научных работ по компьютерному зрению по-прежнему опираются на давно устаревшие стандарты, такие как ImageNet, просто потому, что они были введены очень давно.
Результаты этой статьи выставляют разработчиков в довольно выгодном свете: они предстают адаптивными и гибкими специалистами, способными работать с любой доступной и запущенной системой. Тот факт, что скорость их работы почти одинакова при использовании как самой новой, так и предыдущей модели ИИ, показывает, что они подстраиваются под временные рамки и сроки независимо от имеющихся инструментов.
* Как отметил один из недавних комментаторов Hacker News, вероятно, это уже не так: данные «Pelican on Bicycle» теперь входят в обучающую выборку, поэтому тест скомпрометирован.
† Под заголовком «Модели для написания кода с более высокими результатами тестирования не выполнили больше работы».
††В исследовании также рассматриваются два других вопроса, но я не считаю их особенно относящимися к теме или сопоставимыми по значимости с основным вопросом и поэтому не стал освещать их здесь. Дополнительные сведения см. в исходном PDF-файле.
Впервые опубликовано в среду, 18 ноября 2026 года












