AI‑агенти готові діяти. Більшість компаній не готові їх пропускати.

Протягом більшої частини ери генеративного ШІ ми зосереджувалися на тому, що говорять моделі, і на тому, що ми вносимо в них. Ми перевіряємо підказки, фільтруємо відповіді, проводимо «red‑team» тестування моделей і створюємо контрольні механізми навколо вводу та виводу. Ці захисні заходи все ще важливі, проте вони були розроблені для світу, у якому ШІ переважно генерував щось для споживання людиною.

Агенти змінюють цю рівність. Вони не лише споживають або генерують інформацію. Вони діють.

Агент може виконувати інструменти, викликати під‑агентів, співпрацювати з іншими агентами, звертатися до API, отримувати доступ до даних, використовувати облікові дані, викликати сервери MCP, генерувати та виконувати код і автономно приймати низку рішень у досягненні мети. Безперервне прагнення. Коли це відбувається, центральне питання вже не лише в тому, чи модель надала безпечну відповідь. Питання стає: чи безпечно виконувати дії, які вона здійснює.

Недавні розкриття від OpenAI роблять це розрізнення все більш важливим. OpenAI розпочала систематичне повідомлення про неочікувану або тривожну поведінку моделей, тоді як її ширша робота з безпеки все більше орієнтується на ризики, що виникають у міру збільшення автономії моделей та доступу до інструментів.

Урок не в тому, що агенти по суті небезпечні. Справа в тому, що межа безпеки змістилася.

Агентні системи вимагають іншої операційної моделі

Агентний ШІ – це не просто ще одна архітектура застосунків. Саме програмне забезпечення все більше визначає, як виконується робота.

Агент може зіткнутися з перешкодою, інтерпретувати події та обрати інший шлях. Він може комбінувати інструменти способами, які не були явно спроектовані заздалегідь. Він може генерувати код і виконувати цей код у рамках того ж робочого процесу. Послідовність дій може змінюватися щоразу, коли агент запускається.

Водночас кількість людей, які створюють це програмне забезпечення, різко зростає. Як ми написали про зростання громадянських розробників, ШІ перетворює людей, які ніколи не вважали себе розробниками, у творців програмного забезпечення. Маркетолог, фінансовий аналітик або керівник операцій тепер може описати, чого він хоче, і створити агента, здатного взаємодіяти з реальними бізнес‑системами.

Це надзвичайне розширення кола людей, які можуть створювати програмне забезпечення, і можливостей самого ПЗ. Це також означає, що організації отримають набагато більше автономного програмного забезпечення, що працюватиме у значно більшій кількості підрозділів бізнесу.

Відповіддю не може бути просте застосування вчорашніх контролів до цього нового середовища. Якщо підприємства не зможуть безпечно експлуатувати ці системи, альтернативою буде їх обмеження, що в кінцевому підсумку сповільнить саме ті підвищення продуктивності, яких вони прагнуть досягти.

Контроль має існувати там, де діють агенти

У міру того, як ШІ стає більш автономним, виклик переходить від контролю над тим, що подається в модель, до контролю над тим, що відбувається, коли його рішення перетворюються в дії.

Агент може розпочинати з затвердженого користувача, прийнятної підказки, дійсних облікових даних і авторизованого доступу до інструмента. Жоден із цих факторів не гарантує, що кожна наступна дія повинна бути виконана.

Саме тут час виконання стає критичним. Організаціям потрібно розуміти не лише, хто є агентом, а й ставити питання щодо того, що він робить зараз:

• Які інструменти він викликає,
• Які ресурси він отримує, який код намагається виконати, 
• Які під‑агенти та інші комунікації агентів відбуваються,
• Що сталося безпосередньо перед цією дією і чи його поведінка залишається в межах прийнятних обмежень,
• Що агент робить «під капотом» під час виконання.

І коли цього не відбувається, система повинна мати можливість втручатися в реальному часі до виконання.

Це важливе розрізнення. Спостережуваність повідомляє, що сталося. Контроль під час виконання дає можливість обмежити шар виконання агента.

Це стає особливо важливим, оскільки агентна поведінка є як недетермінованою, так і багатовимірною. Заблокована дія змусить агента спробувати інший підхід до досягнення мети. Здається безпечний виклик інструмента може стати ризикованим через те, що передувало йому. Прості спостереження чи «виявлення та реагування» – це вже запізно, щоб фактично контролювати доступ агента та його виконання.

Час виконання має бути вбудованим і синхронним, щоб встигати за швидкістю ШІ. Основний виклик впровадження таких підходів полягає у мисленні епохи до ШІ, яке спиралося на триваліший аналіз та методологію виявлення. Ці принципи більше не діють у сьогоднішньому світі.

Безпека під час виконання потребує контексту, а не лише контролів

Існує схильність реагувати на нові ризики ШІ, зменшуючи автономію: надавати агентам менше дозволів, частіше вимагати схвалення людини або обмежувати середовища, у яких вони працюють. Такі контролі іноді будуть доречними, особливо для дій високого ризику.

Але вони не можуть стати довгостроковою моделлю функціонування.

Якщо людина повинна схвалювати кожне значуще рішення, ми втрачаємо більшу частину цінності автономного агента. Спираючись на суворі взаємодії «людина‑в‑циклі», ми перетворюємо деяких найталановитіших фахівців у «натискачів кнопок». Це безпосередньо впливає на здатність розуміти масштаб і взаємозалежності кодової бази, на якій працюють агентні організації.

Економічна обіцянка агентного ШІ полягає саме в тому, що програмне забезпечення може виконувати значущу роботу самостійно та безперервно — 24/7. Тому мета не в тому, щоб усунути автономію, а в тому, щоб зробити більшу автономію безпечною у використанні.

Для цього потрібні незалежні контролі поза процесом міркувань агента. Дослідження Anthropic щодо агентської невідповідності, проведене у навмисно створених симуляціях, демонструє, чому це важливо. У міру того, як системи стають більш автономними, їхня поведінка може відхилятися від очікувань операторів, навіть коли початкова мета здається чіткою.

Практичний висновок простий: організації не можуть покладатися виключно на розуміння того, що агент мав зробити. Вони повинні розуміти і контролювати те, що агент фактично робить.

Агент більше не є складною частиною

Індустрія витратила величезну енергію на підвищення можливостей агентів. Ми швидко наближаємося до того моменту, коли можливості вже не будуть головним обмеженням впровадження у підприємствах.

Обмеження — це контроль.

У міру того, як агенти стають більш автономними, зростає вплив їхніх дій, і контролі, розроблені для передбачуваного програмного забезпечення, стають менш ефективними. Підприємствам потрібна безперервна видимість того, що роблять агенти, контекст для розуміння, чому ці дії важливі, і можливість втручатися без залучення людини в кожне рішення.

Це змінює те, що означає експлуатація програмного забезпечення.

• Розробникам потрібно розуміти, як агенти фактично поводяться, а не лише як їх задумано.
• Командам платформи та безпеки потрібно встановлювати межі, які залишатимуться здійсненними, коли агенти працюватимуть у різних системах і інструментах.
• Лідерам бізнесу потрібна впевненість у тому, що більша автономія не означає втрату контролю.

Це принципово відрізняється від захисту іншої програми чи управління іншим моделем. Ми впроваджуємо автономних акторів у корпоративні середовища: системи, які можуть міркувати, приймати рішення та діяти. Якщо організації не зможуть бачити та контролювати ці дії в режимі реального часу, їм доведеться обмежувати можливості агентів, що зменшить значну частину цінності, яку мала створювати автономність.

Відповідь не в тому, щоб вважати, що ми можемо запобігти кожному поганому рішенню. У міру того, як системи стають більш автономними та недетермінованими, це стає все складніше гарантувати.

Мета — переконатися, що погана або руйнівна дія не призведе до небажаного результату.

Для цього потрібен новий операційний шар навколо агентів: такий, що може безперервно спостерігати за поведінкою, розуміти дії в контексті, забезпечувати дотримання меж протягом усього стеку виконання агента та втручатися до того, як небажана чи неприйнятна дія стане незворотним результатом.

Наступна фаза корпоративного ШІ не буде визначатися лише тим, наскільки потужними стануть агенти. Вона буде визначатися тим, скільки автономії організації зможуть безпечно надати їм.