Вибісний кодінг страждає, коли роль штучного інтелекту розширюється

Нове дослідження показало, що вибісний кодінг покращується, коли люди дають інструкції, але погіршується, коли це робить штучний інтелект, а найкраща гібридна установка зберігає людей на першому місці, а штучний інтелект – як арбітр або суддя.

Нові дослідження зі Сполучених Штатів, які вивчають, що відбувається, коли системи штучного інтелекту допускаються до керування вібісним кодінгом, а не просто виконують людські інструкції, показали, що коли великі мови моделі (LLM) приймають більшу директивну роль, результати майже завжди гірші.

Хоча дослідники використовували OpenAI’s GPT-5 як основу для своїх експериментів з людьми та штучним інтелектом, вони пізніше підтвердили, що як Anthropic’s Claude Opus 4.5, так і Google Gemini 3 Pro піддалися такій же погіршувальній кривій при зростанні відповідальності, заявивши, що “навіть обмежена участь людей постійно покращує результати”:

‘[Люди] забезпечують унікально ефективне високорівневе керівництво протягом ітерацій, [в той час як] керівництво штучним інтелектом часто призводить до колапсу результатів. Крім того, ми виявили, що ретельне розподілення ролей, яке зберігає людей на чолі напрямку, а оцінку відкладає на штучний інтелект, може покращити гібридну продуктивність.’

Для забезпечення постійного тесту, який міг би бути оцінений однаково людьми та штучним інтелектом, був створений контрольований експериментальний каркас навколо ітеративної завдання кодування, в якому довідкова зображення – з фотографією кота, собаки, тигра, птахи, слона, пінгвіна, акули, зебри, жирафа або панди – мало бути відтворено за допомогою масштабованих векторних графіків (SVG), і це відтворення мало бути оцінено проти фотографічного джерела, з якого воно було отримано:

Обидва людські та штучні учасники бачили фотографічне довідкове зображення поряд з AI-генерованим SVG-відтворенням, і просили оцінити, наскільки ці два зображення схожі за сімибальною шкалою. Джерело

У кожному раунді один агент надавав високорівневі природні мовні інструкції для керування генератором коду, а інший вирішував, чи зберігати нову версію чи повернутися до попередньої – структурований цикл, який дзеркально відображає реальні колаборативні робочі потоки.

Через 16 експериментів, що涉ли 604 учасників і тисячі API-звів, повністю людські тести були порівняні напряму з повністю штучними тести під іншими ідентичними умовами.

Деякі з різноманітних рішень, прийнятих різними комбінаціями людського/штучного інтелекту співробітництва відсотків і типів (взято з більшої ілюстрації в джерельній статті, на яку ми посилаємося читача).

Хоча люди та штучний інтелект виконували на подібних рівнях на початку тестів, з часом їх траєкторії розійшлися: коли люди давали інструкції та приймали рішення щодо вибору, оцінки схожості збільшувалися протягом ітерацій, з поступовим покращенням; але коли системи штучного інтелекту займали обидві ролі, продуктивність не показувала жодних суттєвих поліпшень, і часто погіршувалася протягом раундів – навіть якщо той самий основний модель був використаний для генерації коду, і штучний інтелект мав доступ до тих самих даних, що й людські учасники.

Ефект розгорнутості

Результати також показали, що людські інструкції були зазвичай короткими та орієнтованими на дію, зосередженими на тому, що треба змінити далі в поточному зображенні; навпаки, інструкції штучного інтелекту були довшими та щільними описовими (фактор, який був параметризований для GPT-5), що описували візуальні атрибути, а не пріоритетні інкрементальні виправлення.

Але, як видно на графіку нижче, накладення суворих обмежень на слова інструкцій штучного інтелекту не змінило цю тенденцію; навіть коли обмежено до 10, 20 чи 30 слів, ланцюги штучного інтелекту все одно не показали жодних поліпшень протягом часу:

Оцінки схожості протягом ітерацій для людських ланцюгів порівняно з повністю штучними ланцюгами та ланцюгами штучного інтелекту, обмеженими до 10, 20 чи 30-словних інструкцій. Очевидно, що скорочення інструкцій штучного інтелекту не запобігає ітеративному зниженню продуктивності, спостережуваному, коли штучний інтелект керує як інструкцією, так і вибором.

Гібридні експерименти зробили цю тенденцію яснішою, показавши, що додавання навіть невеликої кількості людської участі покращило результати порівняно з повністю штучними установками; проте продуктивність зазвичай погіршувалася, коли частка керівництва штучного інтелекту збільшувалася.

Коли ролі були розділені, оцінка та вибір могли бути передані штучному інтелекту з відносно невеликими втратами в якості; але заміна людських високорівневих інструкцій керівництвом штучного інтелекту призвела до помітного зниження продуктивності, що свідчить про те, що те, що мало значення, було не тим, хто генерував код, а тим, хто встановлював і підтримував напрямок протягом ітерацій.

Автори роблять висновок:

‘Через кілька експериментів людське керівництво кодуванням постійно покращувалося протягом ітерацій, тоді як керівництво штучним інтелектом часто колапсувало, незважаючи на доступ до тих самих даних та подібних виконавчих можливостей.

‘Це вказує на ключові труднощі сучасних систем штучного інтелекту в підтриманні узгодженого високорівневого напрямку протягом повторюваних взаємодій, необхідних для успішного вібісного кодування’

Нова стаття називається Чому людське керівництво має значення у колаборативному вібісному кодуванні, і походять від семи дослідників з Корнелльського університету, Принстонського університету, Массачусетського технологічного інституту та Нью-Йоркського університету.

Метод

Для експериментів людський інструктор дивився на GPT-5-генероване зображення тварини, разом з останньою спробою SVG-імітації. Потім він писав природні мовні інструкції для керування генератором коду в напрямку ближчого збігу.

Таким чином, генератор би створював новий SVG кожен раунд, забезпечуючи ітеративний цикл для тестування того, як ефект керівництва накопичується з часом. Цілі були десятьма GPT-5-генерованими зображеннями тварин, що охоплювали ряд форм і текстур, так що покращення чи помилки були б легко помітні:

Схема вібісного кодування, використаного в дослідженні. У А) людський інструктор бачить фотографічне довідкове зображення разом з найкращим SVG, створеним на даний момент, і пише природні мовні інструкції для генератора коду, щоб слідувати при створенні наступного SVG; у Б) людський вибірник порівнює новий SVG з попереднім і вибирає, який з них краще збігається з довідковим зображенням, перш ніж передати вибраний SVG далі для наступного раунду інструкцій; і в В) незалежні людські оцінювачі оцінюють, наскільки кожен створений SVG схожий на своє довідкове зображення, забезпечуючи оцінки, використані для оцінки загальної продуктивності.

Лудський вибірник порівнював кожен nově створений SVG з попереднім і або приймав, або відхиляв його, що утримувало процес у відповідності з довідковим зображенням протягом раундів. У цій базовій установці той самий людський виконавець виконував обидві ролі.

Для вимірювання якості незалежні людські оцінювачі оцінювали, наскільки кожен створений SVG схожий на своє довідкове зображення. Через шістнадцять експериментів 120 людей створили 4800 оцінок. Всі експерименти проводилися на PsyNet-фреймворці, порталі, призначеному для структурованих взаємодій між людьми та системами штучного інтелекту.

Дослідження мало залучити 604 носіїв англійської мови, у тестах, які мали використати 4800 API-звів для генерації коду та 5327 API-звів для інструкцій. Хоча GPT-5 був основним моделлю, використованою в експериментах, менші порівняльні партії були зроблені з Claude Opus 4.5 та Gemini 3 Pro, які кожна обробляли 280 запитів.

Результати

Було проведено тридцять раундів вібісного кодування, кожен з яких складався з п’ятнадцяти редагувань десяти довідкових зображень. Для цих 45 людських учасників були обрані, кожен з яких виконував роль і селектора, і інструктора протягом десяти ітерацій у “людських” раундах.

У кожному ході той самий учасник спочатку вибрав між поточним і попереднім SVG, а потім написав наступний раунд інструкцій. Друга версія тесту замінила людські рішення на API-звів до GPT 5, зберігаючи при цьому іншу частину установки незмінною. У всіх випадках інструктор і вибірник ролі підштовхували генератор коду за допомогою звичайної мови.

Представницький приклад багатораундового вібісного кодування показує, як процес розходиться з часом; коли люди виконували роль і селектора, і інструктора, вихід SVG покращувався поступово протягом ітерацій, наближаючись до довідкового зображення з кожним раундом:

Приклад прогресій для одного довідкового зображення під людським керівництвом (вгорі) та керівництвом штучного інтелекту (низу) вібісного кодування, показуючи поступове покращення протягом ітерацій з людьми в обидвох ролях, і стагнацію чи дрейф, коли обидві ролі виконуються штучним інтелектом.

Навпаки, у версії під керівництвом штучного інтелекту ранні раунди іноді захоплювали ключові візуальні особливості, але пізніші спроби не змогли побудувати на цих здобутках, і в деяких випадках відходили від цілі:

Фінальні виходи з останньої ітерації, порівняно з людським керівництвом (верхній ряд) та керівництвом штучного інтелекту (нижній ряд), по одному й тому ж набору довідкових зображень. Результати людського керівництва більш точно збігаються з оригінальними тваринами, тоді як результати керівництва штучного інтелекту демонструють помітні спотворення чи втрату ключових особливостей.

Для вимірювання виникнення тенденцій кількісно фінальні зображення були показані незалежним людським оцінювачам і оцінені за схожістю з довідковими зображеннями. На початку раундів людські та штучні результати мали приблизно однакові оцінки; але до п’ятнадцятого раунду різниця стала очевидною, з людськими вибраними зображеннями, оціненими набагато ближче до цілей. З часом людські оцінки постійно зростали, з найбільшим відносним зростанням над штучним інтелектом, яке становило 27,1%.

Середні оцінки схожості протягом ітерацій для людського керівництва та керівництва штучного інтелекту вібісного кодування, показуючи поступове покращення, коли люди виконують роль і селектора, і інструктора, і поступове зниження, коли обидві ролі виконуються GPT 5.

Для забезпечення того, що виникнення тенденцій не було спричинено колективною силою кількох людських учасників, дослідники завербували десять додаткових людей, щоб працювати самостійно, кожен з яких проводив три раунди самостійно – і результати покращувалися тим самим поступовим чином, демонструючи, що здобутки не були випадковим результатом колективних зусиль.

Глобальна картина

Однак, якщо GPT-5 сам оцінював виходи, чи визнав би він, що людські результати були кращими? Людські та штучні оцінки загалом рухалися в одному напрямку, тому модель могла розрізняти добро від зла, проте постійно оцінювала зображення, створені штучним інтелектом, вище, ніж люди.

‘Конкретно, ми запитали, чи визнає штучний інтелект, що його власні виходи є гіршими, ніж ті, що створені людьми, чи навпаки показує перевагу своїм власним творінням, що б вказувало на потенційну проблему узгодженості.’

Як виявилося, така проблема узгодженості дійсно існує*:

‘Оцінювачі штучного інтелекту призначали вищі оцінки зображенням, створеним штучним інтелектом. Ці результати свідчать про те, що спостережувані відмінності у продуктивності можуть походити від невідповідності у представленні між людьми та штучним інтелектом.’

При вивченні того, як люди та штучний інтелект формулюють своє керівництво, розбіжності стали очевидними під час тестів. Як видно на малюнку нижче, обидва фокус і довжина є предметами розходження між людьми та штучним інтелектом:

Порівняння того, як люди та штучний інтелект давали інструкції під час завдання кодування. ‘А’ показує, що люди пишуть короткі, прямкові інструкції, тоді як штучний інтелект пише довгі, детальні описи. ‘Б’ відображає інструкції, показуючи, що людські підказки згруповані разом, тоді як підказки штучного інтелекту розходяться за тваринами. ‘В’ відстежує, як обмеження довжини інструкцій штучного інтелекту не виправляє його поганих результатів з часом; і ‘Г’ показує, що люди дають більш різноманітне та збалансоване керівництво, ніж штучний інтелект, навіть коли накладаються обмеження на кількість слів.

Людські інструкції мали тенденцію бути короткими та наочними, пропонуючи чіткі редагування, які могли бути застосовані загально до цілей. Інструкції штучного інтелекту, з іншого боку, були щільними описовими деталями та часто наповнені конкретиками щодо затінення, текстур, освітлення чи анатомічних дрібниць – описами, які можуть мати сенс окремо, але не забезпечують корисні наступні кроки для моделі (і які будуть знайомі тим, хто знає про проблеми великих мовних моделей з довжиною контексту, тобто, здатності зберігати “глобальну картину” під час розвитку та росту проекту).

Для того, щоб побачити, чи покращить скорочення розгорнутості результати, GPT-5 було обмежено до 10, 20 чи 30 слів на інструкцію; проте навіть ці стислі інструкції не показали жодного покращення (див. нижній правий кут графіка вище).

Спільні зусилля

Для того, щоб протестувати, що відбувається, коли люди та штучний інтелект ділять контроль, дослідники провели завдання кодування з різними комбінаціями людського та штучного інтелекту, від більш-людського до більш-штучного.

Кожна гібридна комбінація перевершувала повний контроль штучного інтелекту, так що навіть невелика кількість людського керівництва покращувала результати:

Гібридні установки кодування з різними комбінаціями людського/штучного інтелекту. (А) Показує, як люди та штучний інтелект чергувалися як інструктори та вибірники для кожного кроку кодування; (Б) показує, що більша участь людей призводила до вищої якості результатів, тоді як більший внесок штучного інтелекту знижував оцінки; і (В) зображує поступове зниження якості фінального виходу при зменшенні частки людської участі, підтверджуючи, що більш стабільне людське керівництво забезпечує кращі результати.

При збільшенні частки керівництва штучного інтелекту продуктивність знижувалася, з найкращими результатами, спостережуваними, коли люди вели більшу частину раундів, і найгіршими, коли штучний інтелект керував більшістю раундів. Жодна з цих змішаних установок не змогла продовжувати покращуватися з кожним новим раундом, свідчачи про те, що людське керівництво працює найкраще, коли воно є сталим та послідовним, а не періодичним.

Рольова інверсія

Дослідження також досліджувало, чи має значення хто робить що у цих завданнях, і протестувало це. Оновлений експеримент включав два завдання: один учасник диктував, як змінити зображення, а інший вибрав більш прийнятну версію.

Коли обидві ролі виконувалися людьми, якість була збережена; проте, коли людина давала інструкції, а ніхто не вибирав між версіями, якість погіршувалася:

Тести для ролевої дивізії у вібісному кодуванні: у (А), видалення ролі вибірника призводило до гірших результатів, навіть коли людина давала інструкції; у (Б), заміна людського вибірника на штучний інтелект знижувала якість трохи, але не так сильно, як повне видалення вибірника.

Коли штучний інтелект був у контролі, пропуск етапу вибору не мав значення, оскільки його виходи залишилися стабільними в будь-якому випадку; проте, коли люди давали інструкції, а штучний інтелект вибирав результати, якість залишилася близькою до повністю людської установки.

Навпаки, це не спрацювало: mít штучний інтелект давав інструкції, а люди вибирали виходи, призвело до слабших результатів, свідчачи про те, що людське творче керівництво залишається важливим, тоді як вибір між варіантами можна передати штучному інтелекту без суттєвих втрат.

Стаття робить висновок:

‘[Високорівневе] генерація ідей та інструкції є критичними людськими внесками, тоді як оцінка та вибір можуть часто бути делеговані штучному інтелекту без втрат у продуктивності.

‘Це свідчить про практичний принцип дизайну для гібридних систем: люди повинні встановлювати напрямок, тоді як штучний інтелект може підтримувати оцінку та виконання.’

Висновок

Залишається побачити, наскільки покращення та/або збільшення вікна контекstu вплине на продуктивність великих мовних моделей у завданнях цього типу. День, коли “амнезія великих мовних моделей” перестане бути щоденним проблемою людсько-штучної колаборації, може бути причиною як для святкування, так і для тривоги, оскільки проблема, яку штучний інтелект намагається вирішити, аргументно, є людьми.

Однак, робота авторів також свідчить про те, що існують вроджені та критичні розбіжності між штучним інтелектом та людьми щодо якості, які можуть бути визначені споживачами як незамінна людська концепція.

* Моя конвертація внутрішніх посилань авторів у гіперпосилання.

Перше опубліковане у п’ятницю, 13 лютого 2026 року