Лідери думок
Чому тестування потрібно закладати в конвеєр ШІ від самого початку

Ключові моментиШІ прискорює програмування, але виявляє слабке тестування на наступних етапах і знижує…
Показати більше
- ШІ прискорює програмування, але виявляє слабке тестування на наступних етапах і знижує стабільність доставки.
- Агенти, які самі оцінюють свої тести, можуть шахраювати, редагуючи невдалі тести замість виправлення коду.
- Тестування має бути окремою станцією поза CI, щоб кожна зміна отримувала однаковий вердикт.
Я розробляю інструменти для тестування вже понад двадцять років, і більшу частину цього часу мої розмови з інженерними командами були дуже схожими. Тестувальники почувалися другорядними учасниками життєвого циклу розробки програмного забезпечення. Тестування проводили на пізніх етапах, часто втискуючи його в час, що залишався до випуску, а потім додавали до CI-конвеєра, створеного для інших завдань. ШІ докорінно змінив те, як ми пишемо код, і це, безперечно, вплинуло на тестування — як на краще, так і на гірше. Багато в чому ШІ зробив цю проблему помітнішою.
Протягом останніх кількох місяців я побував на кількох конференціях із тестування та хмарних технологій (LeadDev, CloudX, StarWest), і майже кожна команда, з якою я спілкувався, працює над певною версією одного й того самого проєкту: життєвим циклом розробки програмного забезпечення на основі ШІ, у якому агенти виконують завдання від специфікації до запуску в робочому середовищі, залучаючи людей у потрібному обсязі на кожному етапі. Я уявляю це як конвеєр. Одні агенти пишуть код, інші його перевіряють, а конвеєри збирають і розгортають його. Люди наглядають за процесом. Про те, де на цьому конвеєрі розташоване тестування, я чую набагато рідше.
Поки що ніхто не знає, як це має працювати
Зараз тут панує певний Дикий Захід. Нові можливості агентів з’являються кожні кілька тижнів, великі лабораторії ШІ постійно випускають нові моделі, а команди й постачальники навмання пробують різні підходи, сподіваючись, що якийсь із них спрацює.
Деякі дані свідчать, що проблеми вже даються взнаки. У найновішому звіті DORA про розробку програмного забезпечення за допомогою ШІ, підготовленому на основі опитування майже 5 000 фахівців із технологій, Google виявила, що впровадження ШІ пов’язане зі збільшенням пропускної здатності випуску — і це добра новина. Водночас воно й далі пов’язане зі зниженням стабільності випуску. На думку дослідників, ШІ пришвидшує розробку й виявляє слабкі місця на подальших етапах; серед засобів контролю, які не дають більшій кількості змін призвести до більшої нестабільності, вони називають надійне автоматизоване тестування.
Мене це не дивує. Якщо пропускати через процес набагато більше коду, ніж він був розрахований обробляти, десь виникне затримка або щось зламається.
Розробники працюють швидше, але більшість випусків — ні
Коли люди уявляють, що може піти не так із кодом, згенерованим ШІ, вони зазвичай думають про агента, який випускає у робоче середовище щось жахливе. Не сумніваюся, що таке трапляється, і наслідки бувають серйозні: помилки, незадоволені клієнти, можливо, навіть інцидент із безпекою. Але, відверто кажучи, найчастіше я стикаюся не з цим.
Опитування розробників Stack Overflow за 2026 рік показує, у яких сферах сьогодні найчастіше використовують ШІ. Розробники переважно застосовують його для генерування коду в знайомих їм галузях (67%) і налагодження (61%), тоді як лише 20% використовують його для розгортання, обслуговування чи усунення проблем у робочих системах. Поки що ШІ здебільшого пришвидшив написання коду. А перевірка цього коду та його запуск у робочому середовищі й далі відбуваються переважно так само, як і раніше.
Це також відповідає тому, що бачу я: команди створюють набагато більше коду, але випускають його не швидше. Окремому розробникові чи команді може здаватися, що вони створюють удвічі більше функцій, але ті застрягають на подальших етапах: чекають на перевірку, на тести, на середовище для тестування. Увесь цей додатковий код забиває конвеєр і в багатьох випадках навіть сповільнює загальний темп роботи команд.
Про запобіжники запитують менеджери
Проблема вузьких місць у процесі розробки, спричинених ШІ, цілком реальна, але це не єдине, про що запитують команди. Розробників переважно цікавить, як швидше писати якісніший код. А про запобіжники запитують інженерні менеджери й ті, хто налаштовує робочі процеси з агентами. Як переконатися, що агенти не вийдуть з-під контролю? Як дізнатися, що вони не спричиняють регресій і не пропускають потайки роботу, яку мали виконати? Як переконатися, що написані ними тести справді (і чесно!) перевіряють те, що мають?
Гадаю, причина в тому, що вони дивляться на різні речі. Розробник розглядає один запит на злиття за раз. Інженерний менеджер відповідає за все, що випускають численні агенти й люди, і саме він має пояснювати, що сталося, коли щось ламається в робочому середовищі.
І для обережності є підстави. Дослідники створили тестовий набір під назвою ImpossibleBench, використавши завдання з програмування, у яких модульні тести суперечать специфікації, тож пройти їх можна лише шахрайством. Провідні моделі часто саме так і чинили — наприклад, змінювали або видаляли тести, що не проходили, замість того щоб виправити код (!!). Окреме дослідження запитів на злиття, створених агентами, виявило недоліки в тестуванні агентами власних змін; у ньому також наведено попереднє дослідження, згідно з яким майже третина запитів на злиття від агентів, які було прийнято, потребувала подальших виправлень або рефакторингу.
Я дійшов висновку, що запобіжники не можуть бути лише всередині власного середовища агента й не можуть з’являтися тільки після випуску коду. Якщо агент, який написав код, сам вирішує, чи пройшов він перевірку, такий результат мало про що свідчить. Це не означає, що агентам не слід писати тести. Це означає, що оцінка має надходити з джерела, на яке агент не може вплинути. Тестування має бути окремою ділянкою конвеєра, через яку проходить кожна зміна — незалежно від того, написала її людина чи агент.
Що має відбуватися на цій ділянці
Відповідь не в якомусь цілком новому типі тестування. Більшість необхідного — це те, про що команди із забезпечення якості давно говорять. Просто тепер це важливіше.
Тести потрібно перевіряти на відповідність вимогам — так само, як і код, який вони тестують. Крім того, тести мають виконуватися в тому самому середовищі, що й програмне забезпечення. Успішне проходження тесту в ізольованому середовищі агента мало що говорить про передпродуктивне чи робоче середовище, до того ж не завжди зрозуміло, які залежності було замінено заглушками і як саме. Нещодавнє дослідження майже 180 000 файлів тестів, створених агентами показало, що агенти охоплювали більше граничних випадків, ніж тести, написані людьми, але їхні тести частіше виявлялися нестабільними — здебільшого тому, що агенти недостатньо знали про середовище, у якому мали виконуватися тести. Ранній запуск тестів на реальній інфраструктурі допомагає це виявити.
Тести та результати їх виконання мають зберігатися. Якщо агент створює тест, йому слід надати наявні тести та результати їх виконання як контекст, щоб він міг враховувати і тестове покриття, і можливу нестабільність. Тести потрібно перевіряти й версіонувати, як і будь-який інший код, щоб після наступної зміни вони запускалися знову, а не зникали після завершення сеансу.
Успішний результат має означати одне й те саме незалежно від того, хто його запитав: конвеєр, розробник чи агент. Це означає, що мають виконуватися ті самі тести на тій самій інфраструктурі, а результати мають зберігатися в одному місці.
А люди мають і далі покладатися на власне судження. Я охоче доручу агентам шаблонну роботу й налаштування зв’язків між компонентами. Вирішувати, що варто тестувати і що означає збій, усе ще мають люди (принаймні поки що…).
Це також означає, що тестування не може відбуватися лише в межах CI/CD (якщо з цієї статті ви запам’ятаєте лише одну річ, нехай це буде вона!). Конвеєри CI створювали для збирання й постачання коду, а не для масштабного запуску автоматизованих тестів. У міру переходу до SDLC із залученням агентів і подальшого зростання обсягу коду CI ще менше підходить для запуску тестів. Тестування має стати невід’ємною частиною процесу постачання програмного забезпечення, а не кроком наприкінці конвеєра. Для цього потрібно організувати його як окрему систему, що охоплює всі інструменти й середовища команди, незалежно від того, хто керує процесом — агент чи людина.
З чого почати
Більшість команд уже мають тести, яким довіряють і які запускають у Playwright, Cypress, k6, Postman чи іншому стандартизованому ними інструменті. Це чудова відправна точка. Ось кілька моїх порад:
- Схематично зобразіть, як зміна сьогодні проходить шлях від запиту до робочого середовища, і позначте кожне місце, де запускаються тести. Якщо таке місце лише одне й воно розташоване майже наприкінці процесу, я б почав саме з нього.
- Не дозволяйте агентам непомітно змінювати наявні тести. Дослідники ImpossibleBench виявили, що обмеження доступу агентів до тестів зменшувало шахрайство. Якщо агенту все ж потрібно змінити тест, зміни слід оформити як запит на злиття, який перевірить людина, — так само, як і будь-який інший код.
- Запускайте тести в тестових середовищах, бажано реальних, а не в ізольованих середовищах агентів, і робіть це якомога раніше. Навіть невеликого набору димових тестів для перевірки передпродуктивного середовища після кожної зміни, створеної агентом, буде достатньо. Якщо ви використовуєте ШІ для написання тестів, не приймайте їх, доки вони не пройдуть у цьому середовищі.
- Зберігайте результати тестів в одному центрі керування — у засобі звітності, вашому рішенні APM чи спеціалізованій платформі для тестування. Переконайтеся, що ці результати доступні і людям, і агентам.
- Вимірюйте результати постачання, а не активність. Кількість запитів на злиття мало про що говорить. Показники постачання DORA, зокрема час від початку роботи над зміною до її випуску та частка невдалих змін, значно краще покажуть, чи допомагає ШІ.
- Дозвольте агентам користуватися тією самою інфраструктурою тестування, що й вашим фахівцям, щоб їхню роботу перевіряли за тими самими критеріями.
Оптимістично, але з певними умовами
Щодо ШІ я радше оптиміст, і вважаю, що він значно розширить можливості команд розробки програмного забезпечення та зрештою підвищить їхню продуктивність. Але для цього команди мають достатньо довіряти результатам роботи агентів, щоб випускати їх у робоче середовище, і застосовувати комплексний підхід до тестування в SDLC із залученням агентів — саме на цьому етапі ця довіра або виникає, або втрачається.
Якщо ви прагнете перейти до SDLC із залученням агентів, яке місце тестування посідає в ньому сьогодні?












