Погляд Anderson

Перехід із Claude Fable на слабшу модель майже не вплинув на продуктивність розробників під час заборони

Martin Anderson
Додайте Unite.AI до бажаних джерел у Google
Workers at the AWA factory, Ashfield, NSW, 1936. Source: https://commons.wikimedia.org/wiki/File:AWA1936.jpg
Ключові моментиДоступ до Claude Fable 5 з вищим балом підвищив частку злиттів лише на 1,4 відсоткового…
Показати більше
  • Доступ до Claude Fable 5 з вищим балом підвищив частку злиттів лише на 1,4 відсоткового пункту.
  • П'ять оновлень Claude не дали значного приросту ні в злитих pull-запитах, ні в щотижнево завершених змінах.
  • Бали бенчмарків мало що означають, коли завдання, які ставлять розробники, уже входять до можливостей старіших моделей.

Дуже складно точно оцінити, чи покращили нові моделі ШІ свої показники порівняно з попередніми, а то й визначити, що саме слід вважати підвищенням продуктивності: нові версії можуть демонструвати кращі результати в одній сфері, але гірші — в іншій, так само як це буває зі звичайним програмним забезпеченням і фреймворками. Іноді це добровільні компроміси, на які свідомо йдуть люди, а іноді — «супутні збитки».

Це якщо припустити, що всі грають чесно. Є чимало випадків, коли розробники підлаштовували програмне забезпечення, щоб воно краще показувало результати в тестах: іноді вони налаштовували його так, щоб воно могло розпізнати, що його тестують, і тимчасово змінювало свою роботу задля вищого результату. Моделі ШІ теж можуть розпізнати, що їх оцінюють, і поводитися інакше, навіть якщо їх спеціально для цього не розробляли.

Щоб знайти змістовніші й чесніші показники, розробники часто створюють власні неформальні мірки, як-от якісний тест Саймона Віллісона «Пелікан їде на велосипеді», у якому моделям зору й мови (VLM) пропонують створити зображення чогось, чого немає в навчальних даних*, і вони часто дають слабкі результати, хоча протягом 2026 року певний прогрес усе ж був:

За метрикою Саймона Віллісона VLM має уявити пелікана, який їде на велосипеді. Останнім часом ШІ значно краще справляється з цим завданням, ніж приблизно 18 місяців тому, коли результати були кумедними. Однак дехто припускає, що це може бути пов’язано з тим, що завдання тепер закріпилося в навчальних даних. Джерело: https://simonwillison.net/tags/pelican-riding-a-bicycle/

За метрикою Саймона Віллісона VLM має уявити пелікана, який їде на велосипеді. Останнім часом ШІ значно краще справляється з цим завданням, ніж приблизно 18 місяців тому, коли результати були кумедними. Однак дехто припускає, що це може бути пов’язано з тим, що завдання тепер закріпилося в навчальних даних. Джерело

Однак тест може виміряти лише ті конкретні навички, для перевірки яких його створили, і навіть за надійних результатів незрозуміло, наскільки ці навички важливі у повсякденному використанні та чи означатиме вищий бал, що буде виконано більше роботи.

У випадку моделей для програмування це можна дослідити, спостерігаючи, як змінюються результати роботи розробників, коли вони переходять від однієї моделі до іншої.

Робота [the Same] з меншими ресурсами

У червні цього року 19-денна заборона Білого дому на використання Claude Fable дала дослідникам незвично чіткі умови для перевірки: розробники, які надсилали на GitHub запити на злиття (PR), перейшли на менш потужні версії Claude. Оскільки всі версії Claude підписують PR, а цю інформацію можна знайти через GitHub API, дані є у вільному доступі.

Цією можливістю скористалися автори нового дослідження Гарвардського університету: вони відстежували роботу 297 користувачів Fable 5 до, під час і після заборони та порівняли її з роботою 8 908 розробників, які продовжували користуватися старішою моделлю Opus 4.8.

Раніше Fable 5 отримала на кодовому тесті SWE-Bench Pro результат, майже на 11 пунктів вищий, ніж Opus 4.8. Однак, згідно з дослідженням Гарвардського університету, доступ до Fable 5 був пов’язаний лише зі зростанням на 1,4 відсоткового пункта частки поданих змін коду, які приймали до проєктів на GitHub протягом семи днів; автори статті називають цю різницю практично похибкою округлення. Ширший аналіз також не виявив значного підвищення продуктивності після переходу на інші новіші моделі ШІ:

«Результати показують, що доступ до Fable 5 змінив частку злитих змін лише на 1,4 відсоткового пункта, і ця зміна не була статистично [significant]. Ми також проаналізували п’ять із восьми оновлень моделей у 2026 році й виявили, що після цих оновлень частка злитих змін не зросла [either].

«Так само розробникам не вдавалося зливати більше запитів на злиття щотижня. Ці результати показують, що кращі показники в сучасних тестах для моделей програмування насправді не перетворилися на більший обсяг завершеної роботи».

У межах п’яти оновлень моделей у 2026 році, що охопили 1 208 розробників і понад 15 000 запропонованих змін коду, не виявили статистично значущого покращення ані частки поданого коду, який зливали до проєктів, ані кількості успішно завершених змін щотижня.

Хоча в статті визнають, що злиття на GitHub — недосконалий показник продуктивності, заборона дала надзвичайно рідкісну можливість оцінити наслідки переходу між моделями в реальних робочих умовах. Ідеться про сферу, яка привертає величезну увагу в усьому світі, але працює за максимально можливої корпоративної закритості.

Визнаючи складність визначення емпіричних критеріїв у таких випадках, автори нової праці† зазначають:

«Люди, які першими починають користуватися новими моделями, можуть мати більше досвіду. Тому, порівнюючи продуктивність розробників, ми не можемо визначити, чи зумовлена різниця моделлю, чи людьми, які нею користуються. Навіть якщо ми спостерігаємо за тими самими людьми, то не знаємо, чи доручають вони різним моделям однакові завдання.

«Наприклад, дехто міг використовувати Fable 5 для найскладніших завдань, а для простіших переходити на моделі нижчого рівня. Якщо складніші завдання доручати найпотужнішій моделі, вона може здаватися менш продуктивною майже за будь-яким обраним нами показником, адже на складніші завдання потрібно більше часу й вони рідше доходять до злиття».

У статті також стверджується, що попередні дослідження спотворювало те, що більшість змін коду надходила з невеликої кількості проєктів, кожен із власними правилами прийняття внесків; через ці відмінності було складно з’ясувати, чи справді зростання продуктивності було наслідком переходу на новіші моделі.

Методика

Для основного експерименту†† запити на злиття (PR) на GitHub від 297 розробників, визначених у дослідженні як користувачі Fable 5, розподілили на чотири періоди: до випуску моделі 9 червня; протягом трьох днів, коли вона була доступна; упродовж 19-денної перерви в доступі; і після його відновлення 1 липня.

Частки злитих PR порівняли з показниками 8 908 розробників, яких визначили як користувачів старішої моделі Opus 4.8. Це дало змогу відокремити зміни, пов’язані з призупиненням доступу, від ширших коливань активності на GitHub.

У порівнянні припускали, що без заборони обидві групи зазнали б подібних змін у частці злитих PR. Зміни цього показника порівнювали між двома групами, а відмінності між окремими розробниками та щоденні коливання враховували під час статистичного аналізу:

Хронологія оновлень моделей Claude і призупинення доступу до Fable 5. На верхній панелі показано вісім оновлень Opus і Sonnet; зафарбованими колами позначено п’ять оновлень, розглянутих у ширшому дослідженні. На нижній панелі показано чотири періоди, використані для оцінювання впливу призупинення доступу на частку злитих PR; період заборони слугує базовим для порівняння. Фіолетові лінії показують, коли Fable 5 була доступна або коли доступ до неї призупинили; сірим затіненням позначено період заборони, а штрихуванням — дні, виключені з аналізу одразу після призупинення або відновлення доступу. Джерело — https://arxiv.org/pdf/2611.23216

Хронологія оновлень моделей Claude і призупинення доступу до Fable 5. На верхній панелі показано вісім оновлень Opus і Sonnet; зафарбованими колами позначено п’ять оновлень, розглянутих у ширшому дослідженні. На нижній панелі показано чотири періоди, використані для оцінювання впливу призупинення доступу на частку злитих PR; період заборони слугує базовим для порівняння. Фіолетові лінії показують, коли Fable 5 була доступна або коли доступ до неї призупинили; сірим затіненням позначено період заборони, а штрихуванням — дні, виключені з аналізу одразу після призупинення або відновлення доступу. Джерело

Для збору даних публічні PR на GitHub, створені за допомогою Claude Code, знаходили через API пошуку GitHub за повідомленням «Generated with Claude Code», яке автоматично додається до їхніх описів. Якщо в опис PR також копіювали назву конкретної моделі з історії комітів коду, можна було встановити, яку версію Claude використали.

PR, надіслані приблизно під час призупинення доступу до Fable 5 та наступних оновлень Claude, збирали з листопада 2025 року до жовтня 2026 року; для злиття найпізніших PR відводили щонайменше чотири тижні.

Основну групу дослідження сформували 297 розробників, які користувалися Fable 5 протягом короткого періоду її доступності. Контрольну групу становили 8 908 розробників, які використовували Opus 4.8 і щодо яких не було зафіксовано використання Fable 5.

Основним показником продуктивності була частка надісланих змін коду, прийнятих до проєктів на GitHub упродовж семи днів, що дало змогу порівняти частку успішно прийнятих змін до, під час і після призупинення доступу. Додатково перевіряли PR, злиті протягом години; PR, закриті без злиття; кількість отриманих коментарів; зміни, згодом скасовані; а також помилки в автоматизованих перевірках GitHub.

Результати перевірки

Втрата доступу до Fable 5 і його подальше відновлення майже не вплинули на вимірювану продуктивність розробників: доступ до новішої моделі був пов’язаний лише зі збільшенням на 1,4 відсоткового пункта частки PR, злитих упродовж семи днів; цю різницю визнали «статистично незначущою»:

Порівняння використання Fable 5 і частки злитих PR до, під час і після заборони. Ліворуч: частка PR, створених із використанням Fable 5. Праворуч: зміни частки PR, злитих упродовж семи днів, порівняно з періодом 22–28 червня; точки позначають оцінки, а горизонтальні лінії — 95-відсоткові довірчі інтервали. Затінені рядки позначають періоди, коли Fable 5 була доступна. Попри значні зміни у використанні моделей, помітних змін у частці злитих PR не спостерігалося.

Порівняння використання Fable 5 і частки злитих PR до, під час і після заборони. Ліворуч: частка PR, створених із використанням Fable 5. Праворуч: зміни частки PR, злитих упродовж семи днів, порівняно з періодом 22–28 червня; точки позначають оцінки, а горизонтальні лінії — 95-відсоткові довірчі інтервали. Затінені рядки позначають періоди, коли Fable 5 була доступна. Попри значні зміни у використанні моделей, помітних змін у частці злитих PR не спостерігалося.

Крім того, аналіз п’яти оновлень моделей Claude, у якому взяли участь 1 208 розробників і було розглянуто понад 15 000 змін коду, не виявив зростання частки змін, прийнятих до проєктів на GitHub. Насправді цей показник трохи знизився — за оцінками, на 0,9 відсоткового пункта.

Також з’ясувалося, що розробники, які використовували новіші моделі, щотижня завершували лише на 2,4% більше завдань, результати яких приймали, — надто незначна різниця, щоб говорити про надійно підтверджене поліпшення. Навіть коли результати на бенчмарках зростали на 5–18 пунктів, істотного підвищення продуктивності не спостерігали.

Також з’ясувалося, що новіші моделі не показували кращих результатів під час автоматизованої перевірки коду на GitHub: частка помилок залишилася практично незмінною.

У статті зроблено такий висновок:

«Ми припускаємо, що головна причина, через яку поліпшення Fable 5 на бенчмарках не позначилися на продуктивності під час реальної роботи, полягає в тому, що завдання, які розробники доручають агентам, уже під силу старішій моделі».

Далі автори зазначають:

«Наші результати, отримані на основі реальної роботи, підтверджують застереження, висловлені в попередніх дослідженнях: оцінка на бенчмарку мало що означає для тих, хто обирає модель, якщо немає доказів, що вона вимірює саме ту роботу, для якої її використовують [describe].

«Якщо регулятори й покупці оцінюватимуть, наскільки модель краща, за її результатами на бенчмарках[score], то різниця, на яку вони покладатимуться, найімовірніше, не позначиться на продуктивності користувачів».

Висновок

Стабільні річні показники давно є необхідною передумовою для бізнесового застосування промислових систем, однак у сфері ШІ їх особливо важко відтворити в реальних умовах і з належною точністю. Одна з причин полягає в тому, як швидко «тестові дані», що визначають бенчмарк, потрапляють до навчальних даних наступної моделі і стають непридатними для тестування. Уже цього достатньо, щоб фактично зруйнувати підхід до корпоративного бенчмаркінгу й послідовного наукового тестування, адже дослідникам потрібно переглядати раніше усталені метрики, які тепер можуть бути беззмістовними.

Справді, протягом останніх десяти років було дивовижно спостерігати, скільки наукових праць із комп’ютерного зору й досі дотримуються давно застарілих стандартів, таких як ImageNet, просто тому, що вони мають таку давню історію.

Результати цієї статті виставляють розробників у доволі вигідному світлі: вони постають адаптивними й гнучкими фахівцями, готовими працювати з будь-якою доступною та запущеною системою. Те, що вони працюють майже з однаковою швидкістю і з найновішою, і з попередньою моделлю ШІ, свідчить: вони орієнтуються на тривалість виконання завдань і дедлайни, незалежно від того, які інструменти мають під рукою.

 

* Як зауважив один із нещодавніх коментаторів Hacker News, імовірно, тепер це вже не так, оскільки дані «Пелікан на велосипеді» вже ввійшли до навчальних даних, а отже, тест скомпрометовано.

† Під назвою «Моделі для написання коду з вищими оцінками не виконали більше роботи».

††У дослідженні також порушено два інші питання, але, на мою думку, вони не надто стосуються теми й не мають такого самого значення, як основне питання, тому в цій статті я про них не писав. Докладніше див. у PDF-файлі першоджерела.

Вперше опубліковано в середу, 18 листопада 2026 року

Martin Anderson

Автор у галузі машинного навчання, фахівець у сфері синтезу зображень людей. Колишній керівник дослідницького контенту в Metaphysic.ai, до його злиття з Brahma.ai, що належить DNEG.
Веб‑сайт: martinanderson.ai
Контакт: martin@martinanderson.ai