Ваш агент більше не просто чат-бот — тому чому ви все ще поводитесь з ним як з одним?

У перші дні генерації штучного інтелекту найгіршим сценарієм для неправильної поведінки чат-бота часто було просто публічне посмішання. Чат-бот міг галюцинувати факти, випльовувати упереджений текст або навіть називати вас іменами. Це було досить погано. Але тепер ми передали їм кермо.

Ласкаво просимо до епохи агентів.

Від чат-бота до агента: зміна автономності

Чат-боти були реактивними. Вони залишалися у своїх лінах. Задайте питання, отримайте відповідь. Але агенти штучного інтелекту — особливо ті, які побудовані з використанням інструментів, виконання коду та тривалої пам’яті — можуть виконувати багатокрокові завдання, викликати API, виконувати команди та писати та розгортати код автономно.

Іншими словами, вони не просто реагують на запити — вони приймають рішення. І як будь-який фахівець з безпеки скаже вам, коли система починає виконувати дії у світі, вам краще серйозно зайнятися безпекою та контролем.

Про що ми попереджали у 2023 році

У OWASP ми почали попереджувати про цю зміну більш ніж два роки тому. У першому випуску OWASP Top 10 для застосунків LLM ми придумали термін: Надмірна автономність.

Ідея була простою: коли ви даєте моделі занадто багато автономності — занадто багато інструментів, занадто багато влади, занадто мало нагляду — вона починає вести себе більше як вільний агент, ніж обмежений помічник. Можливо, вона планує ваші зустрічі. Можливо, вона видаляє файл. Можливо, вона створює надмірну, дорогу хмарну інфраструктуру.

Якщо ви не будете обережні, вона починає вести себе як плутаний заступник… або гірше, як ворог-агент, який просто чекає на можливість бути використаним у кібератаках. У недавніх реальних прикладах агенти від великих програмних продуктів, таких як Microsoft Copilot, Salesforce’s Slack product були показані як вразливі до обману та використання їх підвищених привілеїв для витоку конфіденційних даних.

І тепер цей гіпотетичний сценарій виглядає менш подібним на наукову фантастику та більш подібним на ваш майбутній план на третій квартал.

Познайомтеся з MCP: шаром контролю агентів (чи це так?)

Перемотайте час до 2025 року, і ми бачимо хвилю нових стандартів та протоколів, призначених для обробки цього вибуху функціональності агентів. Найбільш помітним серед них є протокол контексту моделі (MCP) компанії Anthropic — механізм для підтримки спільної пам’яті, структур завдань та доступу до інструментів під час тривалих сесій роботи агентів штучного інтелекту.

Підумайте про MCP як про клей, який тримає контекст агента разом через інструменти та час. Це спосіб сказати вашому помічнику з кодуванням: «Ось що ви зробили до цього. Ось що вам дозволено робити. Ось що вам слід пам’ятати».

Це дуже потрібний крок. Але це також піднімає нові питання.

MCP — це можливість, яку потрібно розблокувати. Де ж перила безпеки?

До цього часу увага при розробці MCP була зосереджена на розширенні того, що можуть робити агенти — а не на їхньому обмеженні.

Хоча протокол допомагає координувати використання інструментів та зберігає пам’ять під час завдань агентів, він ще не адресує критичні проблеми, такі як:

• Опір ін’єкції запиту: Що відбувається, якщо атакувальник маніпулює спільною пам’яттю?
• Огранічення команд: Чи може агент бути обманутий щодо перевищення його повноважень?
• Розтрата токенів: Чи може витік пам’яті розкрити дані про користувача або API-підключення?

Це не теоретичні проблеми. Недавнє дослідження безпеки показало, що архітектури типу MCP вразливі до ін’єкції запиту, неправильного використання команд та навіть отруєння пам’яті, особливо коли спільна пам’ять не достатньо обмежена чи зашифрована.

Це класична проблема «влада без нагляду». Ми побудували екзоскелет, але ще не визначили, де кнопка вимикання.

Чому CISO повинні звернути увагу — зараз

Ми говоримо не про майбутню технологію. Ми говоримо про інструменти, які ваші розробники вже використовують, і це тільки початок великого впровадження у сфері підприємства.

Кодові агенти, такі як Claude Code та Cursor, набирають реальну популярність у корпоративних робочих процесах. Внутрішнє дослідження GitHub показало, що Copilot може прискорити завдання на 55%. Нещодавно компанія Anthropic повідомила, що 79% використання Claude Code було зосереджено на автоматизованому виконанні завдань, а не просто на пропозиціях коду.

Це реальна продуктивність. Але це також реальна автоматизація. Це вже не копілоти. Вони все частіше літають самостійно. А кабіна? Вона порожня.

Недавно генеральний директор Microsoft Сатья Наделла сказав, що штучний інтелект зараз пише до 30% коду Microsoft. Генеральний директор Anthropic Даріо Амодей пішов ще далі, передбачаючи, що штучний інтелект буде генерувати 90% нового коду протягом шести місяців.

І це не тільки розробка програмного забезпечення. Протокол контексту моделі (MCP) тепер інтегрується до інструментів, які виходять за рамки кодування, охоплюючи сортування електронної пошти, підготовку до зустрічей, планування продажів, підсумовування документів та інші високоефективні завдання продуктивності для загальних користувачів. Хоча багато з цих випадків використання ще знаходяться на ранніх етапах, вони швидко дозрівають. Це змінює ставки. Це вже не тільки обговорення для вашого технічного директора чи віце-президента з інженерії. Це вимагає уваги бізнес-лідерів, CIO, CISO та головних офіцерів штучного інтелекту. Коли ці агенти починають взаємодіяти з конфіденційними даними та виконувати міжфункціональні робочі процеси, організації повинні забезпечити, щоб управління, управління ризиками та стратегічне планування були інтегровані до розмови з самого початку.

Що потрібно зробити далі

Прийшов час перестати вважати цих агентів чат-ботами та почати вважати їх автономними системами з реальними вимогами безпеки. Це означає:

• Границі привілеїв агентів: Як і ви не запускаєте кожний процес з правами root, агентам потрібен доступ до інструментів та команд з обмеженнями.
• Управління спільною пам’яттю: Тривала пам’ять повинна бути аудитована, версіонована та зашифрована — особливо коли вона спільна між сесіями чи командами.
• Симуляції атак та червоні команди: Ін’єкція запиту, отруєння пам’яті та неправильне використання команд повинні бути розглядатися як першочергові загрози безпеки.
• Навчання працівників: Безпечне та ефективне використання агентів штучного інтелекту — це новий навик, і людям потрібне навчання. Це допоможе їм бути більш продуктивними та допоможе зберегти вашу інтелектуальну власність більш безпечно.

Коли ваша організація починає працювати з інтелектуальними агентами, часто краще спочатку повільно рухатися. Отримайте досвід роботи з агентами, які мають обмежений обсяг, обмежені дані та обмежені повноваження. Навчіться будувати організаційні перила, набувати досвід та потім переходити до більш складних, автономних та амбіційних випадків використання.

Ви не можете сидіти поза цим

Чи ви головний офіцер штучного інтелекту, чи головний інформаційний офіцер, у вас можуть бути різні початкові проблеми, але ваш шлях вперед однаковий. Продуктивні вигоди від кодових агентів та автономних систем штучного інтелекту занадто привабливі, щоб їх ігнорувати. Якщо ви все ще приймаєте «чекай і дивись» підхід, ви вже відстаєте.

Ці інструменти вже не експериментальні — вони швидко стають стандартними. Компанії, такі як Microsoft, генерують величезну частку коду за допомогою штучного інтелекту та підвищують свої конкурентні позиції в результаті. Інструменти, такі як Claude Code, скорочують час розробки та автоматизують складні робочі процеси в багатьох компаніях по всьому світу. Компанії, які навчилися безпечно використовувати цих агентів, будуть випускати продукцію швидше, адаптуватися швидше та обходити своїх конкурентів.

Але швидкість без безпеки — це пастка. Інтеграція автономних агентів до вашого бізнесу без належних засобів контролю — це рецепт для збоїв, витоків даних та регулювання.

Це момент для дії — але діяти мудро:

• Запустіть пілотні програми агентів, але вимагайте перевірки коду, дозволів інструментів та ізоляції.
• Обмежте автономію до необхідного рівня — не кожному агенту потрібен доступ root або тривала пам’ять.
• Перевірте спільну пам’ять та виклики інструментів, особливо під час тривалих сесій або спільних контекстів.
• Симулюйте атаки за допомогою ін’єкції запиту та неправильного використання команд, щоб виявити реальні ризики до того, як це зроблять атакувальники.
• Навчіть своїх розробників та команд продуктів про безпечні моделі використання, включаючи контроль обсягу, поведінку резервного копіювання та шляхи ескалації.

Безпека та швидкість не є взаємовиключними — якщо ви будуєте з наміром.

Бізнеси, які вважають агенти штучного інтелекту ядром інфраструктури, а не іграшками чи іграшками, які стали загрозами, будуть тими, хто процвітатиме. Решта будуть займатися видаленням безладу — або гірше, дивитися з боку.

Епоха агентів вже тут. Не просто реагуйте. Підготовтеся. Інтегруйте. Забезпечте безпеку.