Люди тримаються за живіт, коли ШІ прискорює доставку програмного забезпечення

Протягом більшої частини історії розробки ПЗ люди були контролем. Розробник вносить зміни, інша особа їх переглядає, хтось їх затверджує, і врешті‑решт вони розгортаються.

ШІ прискорює всю цю систему, хоча ми все ще намагаємося залишити людей у центрі процесу. Тепер розробники можуть створювати код і зміни за секунди. Агентам дозволяється працювати з репозиторіями, інструментами, інфраструктурою та іншими системами з мінімальним залученням людей.

Наш інстинкт – повернути людей у процес. Ми переглядаємо pull‑request, затверджуємо виклик інструмента, перевіряємо зміни та підтверджуємо розгортання, бо хочемо переконатися, що ШІ не зробив нічого, чого не мав робити. Ми тримаємося за живіт.

Цей інстинкт має сенс. Людський перегляд дав нам спосіб зберегти контроль, коли ПЗ рухається до продакшну. Але ШІ починає працювати з такою швидкістю та обсягом, що люди не можуть залишатися одиницею масштабування для управління.

ШІ вже працює швидше, ніж людський перегляд

Перша хвиля генеративного ШІ у розробці ПЗ була спрямована головним чином на допомогу розробникам писати код швидше. Це саме по собі змінює доставку ПЗ. Більше коду означає більше змін у застосунках, інфраструктурі та базах даних, які проходять через тестування, безпеку, перегляд, розгортання та продакшн.

Проблема не обов’язково в тому, що ШІ створює гірші зміни. Він створює більше змін, швидше. Якщо контроль за всім цим новим обсягом залишити на людину, яка переглядає кожну зміну, зрештою математика перестане працювати.

Ми вже бачимо ознаки цього. Anthropic нещодавно повідомив, що користувачі Claude Code затверджують близько 93 % запитів на дозволи. Компанія виявила, що повторювані запити можуть викликати втому від затвердження, коли люди приділяють менше уваги у міру зростання кількості затверджень. Anthropic тепер використовує автоматизований класифікатор, щоб оцінювати дії та зупиняти потенційно небезпечні, замість того щоб просити людину схвалювати все.

Подумайте, що це означає для людського контролю. Якщо хтось схвалює 93 % часу, додавання ще одного затвердження не обов’язково дає більше контролю. У певний момент людина стає ще одним кроком у робочому процесі.

Ми можемо використовувати ШІ для створення більшого обсягу ПЗ. Ми не можемо відповісти, створивши таку ж велику операцію людського перегляду позаду нього.

ШІ переходить від створення коду до виконання дій

Помічники коду надали ШІ роль у розробці. Агентам надається можливість брати участь у значно більшій частині життєвого циклу ПЗ. Агент може отримати мету, вирішити, як її досягти, використати інструменти, спостерігати за результатами та коригувати свої дії.

У програмній інженерії це може означати зміну файлів, запуск команд, взаємодію з репозиторіями, виклик API, тестування коду або роботу з інфраструктурою. Люди також стають більш комфортними, дозволяючи агентам працювати самостійно. У дослідженні мільйонів взаємодій людина‑агент Anthropic виявив, що досвідчені користувачі Claude Code застосовували повне автоматичне затвердження у понад 40 % сесій, приблизно вдвічі частіше, ніж нові користувачі.

Це не означає, що автономні агенти вже керують продакшн‑середовищами скрізь сьогодні. Їх немає. Але розробка ПЗ дає нам ранній погляд на те, куди це прямує.

Сьогодні ШІ створює більше змін, і людський перегляд починає напружуватись. Далі ШІ буде брати участь у більшій частині життєвого циклу ПЗ. Згодом агенти створюватимуть, верифікуватимуть, розгортатимуть, спостерігатимуть і виправлятимуть зміни з набагато меншим залученням людей.

На кожному етапі ми усуваємо ще одне місце, де раніше людина забезпечувала контроль. Питання змінюється з того, чи може ШІ виконати роботу, на те, що ШІ повинен мати право робити самостійно.

Дозвіл не є владою

Агенти потребують доступу, щоб виконувати корисну роботу. Агент, який допомагає розгортати ПЗ, може потребувати доступу до репозиторію, системи CI/CD, хмарного середовища або бази даних. Якщо позбавити його цього доступу, ви також позбавляєте його більшості корисних можливостей.

Але доступ і влада – це не одне й те саме. Надання агенту дозволу на доступ до системи не означає, що він має владу виконувати будь‑яку дію всередині цієї системи.

Традиційний контроль доступу може підказати, чи має агент дозвіл на доступ до чогось. Нам також потрібен спосіб визначити, чи має конкретна дія, яку він хоче виконати, бути здійсненою. Це стає важливішим, коли система, що приймає рішення, може інтерпретувати завдання інакше, ніж особа, яка його задала, зіткнутись з перешкодою і обрати інший шлях, або використати легітимний інструмент у спосіб, якого ніхто не передбачав.

OWASP описує варіант цієї проблеми як надмірне агентство. Вона вказує на надмірну функціональність, дозволи та автономність як причини шкідливих дій і рекомендує незалежне затвердження для дій високого впливу.

NVIDIA підходить до тієї ж проблеми на рівні архітектури. Її Open Agent Safety Platform розміщує політику поза агентом і робить просту точку: агент не може очікувати повного самокерування своїм поведінкою.

Саме це має визначати, як ми будуємо AI‑SDLC. Агент може потребувати дозволу на доступ до бази даних, інфраструктурного середовища чи системи розгортання. Це не означає, що агент повинен самостійно вирішувати, що кожна зміна, яку він хоче внести, безпечна.

AI приймає рішення, спираючись на ймовірності. Ми не повинні дозволяти, щоб кожне таке рішення автоматично перетворювалося в дію щодо критичної системи.

Людина в циклі не може бути єдиною відповіддю

Очевидна реакція — тримати людину перед важливими діями AI. Для деяких рішень це саме те, що треба робити. Помилка полягає в тому, щоб перетворювати «людину в циклі» на відповідь для кожного рішення.

Якщо кожна дія агента вимагає, щоб хтось її переглянув і натиснув «згоден», ми відтворюємо вузьке місце, яке AI мав усунути. Ще гірше, достатня кількість схвалень може перетворити контроль у звичку. Людина, яка цілий день натискає «згоден», не обов’язково застосовує судження.

Потрібно свідоміше підходити до того, де приймаються рішення. AI може приймати рішення в межах завдання, яке ми йому задали. Політика може обробляти рішення, де правила вже відомі. Люди можуть займатися винятками та рішеннями, які дійсно потребують судження.

Зміна з низьким ризиком, що відповідає встановленій політиці, не повинна потребувати постійного нагляду. Зміна, що порушує політику, має автоматично зупинятись. Виняток із суттєвими бізнес‑, безпековими чи операційними наслідками може вимагати рішення людини.

Це зовсім інша модель, ніж просто розміщення людини в кожному циклі. Мета не в тому, щоб усунути людей. Мета — перестати робити людську увагу умовою для кожної дії і зробити керований шлях найпростішим.

Розмістіть контроль там, де відбувається дія

Компанії не будуть уніфікувати один AI‑модель чи одного агента. Розробники користуватимуться різними копілотами. Команди експериментуватимуть з різними моделями. AI з’явиться в інструментах розробника, продуктах безпеки, платформах даних та внутрішніх застосунках.

Спроба створити окремий процес управління навколо кожного інструменту AI не масштабуватиметься. Контроль має бути ближче до дії, яку AI хоче виконати.

Якщо зміна, створена AI, потрапляє в конвеєр розгортання, вона повинна підлягати тим самим політикам, що й зміна, створена людиною. Якщо агент хоче змінити інфраструктуру, дані чи продукційну базу, контроль над цією системою не повинен зникати лише через зміну виконавця.

Джерело зміни не визначає ризик. Ризик визначає сама зміна. Розробник, помічник кодування, автоматизований процес чи автономний агент можуть йти різними шляхами до тієї ж дії, проте ця дія все одно підлягає тій самій політиці, перш ніж стане наслідковою.

Це також дозволяє технології змінюватися без примусу компаній щоразу перебудовувати управління. Моделі змінюватимуться. Агентам ставатимуть потужнішими. Контроль над критичними системами може залишатися стабільним.

NIST застосовує подібний ризик‑орієнтований підхід у своєму AI Risk Management Framework, який розглядає управління як щось, що має функціонувати протягом усього життєвого циклу AI, а не як одноразове схвалення в кінці. Для доставки програмного забезпечення це означає впроваджувати контролі в шлях, яким вже користується AI, замість додавання ще одного ручного процесу.

Коли людина виходить, докази не можуть залишитися з нею

Існує ще одна проблема, що прихована в моделі людського перегляду. Коли ви виключаєте людину з процесу, ви втрачаєте не лише сам перегляд, а й особу, яка допомагала довести, що перегляд відбувся.

Це стає серйозною проблемою для компаній, які мають вимоги щодо безпеки, відповідності та аудиту. Вони все ще повинні знати, що змінилося, хто або що ініціювало це, яка політика застосовувалась, чи пройшло вона, хто схвалив виняток, де виконувалась зміна і що сталося далі.

Не можна автоматизувати зміну і залишити докази у ручному вигляді. У процесі, керованому людьми, команди можуть пізніше відтворити докази з тикетів, схвалень, журналів конвеєра, скріншотів та розмов. Такий підхід ускладнюється зі зростанням об’єму змін і стає нереальним, коли машини безперервно створюють і виконують зміни.

Докази мають стати частиною процесу доставки. Рішення політики, схвалення, винятки, розгортання та результати повинні створювати записи у процесі виконання роботи. Аудиторські докази стають побічним продуктом доставки ПЗ, а не тим, що команди збирають після завершення.

Отже, у управлінні в AI‑орієнтованому SDLC залишаються два різні завдання. До дії — визначити, чи слід її виконати. Після дії — довести, що сталося.

Люди не зникнуть. Наші обов’язки змінюються.

Існує зрозумілий інстинкт вимірювати контроль за кількістю залучення людини. Більше переглядів здається безпечнішим. Більше схвалень здається безпечнішим. Тримати людину в кожному циклі здається безпечніше.

AI випробує це припущення. Якщо AI продовжуватиме збільшувати обсяг створюваного ПЗ, люди не зможуть переглядати кожну зміну, схвалювати кожну дію, стежити за кожним розгортанням і відтворювати кожне рішення після цього. Спроба це зробити або сповільнить AI, або перетворить людський нагляд у формальну печатку.

Життєвий цикл розробки ПІ (AI SDLC) потребує іншого розподілу праці. ШІ може виконувати більшу частину роботи, тоді як політика регулює повторювані рішення, а люди втручаються, коли щось дійсно вимагає судження. Докази мають створюватися автоматично в процесі.

Ми надаватимемо ШІ більше доступу, бо саме так він стає корисним. Ми надаватимемо агентам більше автономії, бо саме так ми отримуємо від них більший важіль. Виклик полягає в тому, щоб переконатися, що більший доступ і автономія не перетворяться непомітно на необмежені повноваження.

Людям не потрібно стискатися ще сильніше. Мета не в меншому контролі. Це модель контролю, яка не залежить від того, що ми тримаємо кожне рішення в своїх руках. Нам потрібно створити механізми, які дозволять нам послабити хватку, не втрачаючи контролю.