Лідери думок
Від наміру до автономних дій: управління ШІ-агентами на підприємстві

Ключові моментиУправління має бути вбудоване в продукт, оскільки воно визначає, які обов'язки…
Показати більше
- Управління має бути вбудоване в продукт, оскільки воно визначає, які обов'язки організація може безпечно делегувати.
- Агентний контрольний рівень пов'язує ідентичність агента та затверджені можливості з дотриманням політик і наглядом за виконанням.
- Організаціям слід починати з вузького робочого процесу та розширювати повноваження агента лише тоді, коли це підтверджують операційні дані.
Інструкція на кшталт «відновити роботу сервісу» здається простою, доки ШІ-агент не має визначити, які саме дії вона дозволяє. Перезапуск застосунку, зміна конфігурації та розгортання інфраструктури можуть сприяти досягненню цієї мети, але кожна з цих дій має різні наслідки. Коли агенти переходять від рекомендацій до виконання дій, організаціям потрібен чіткий зв’язок між бізнес-наміром і операційними повноваженнями.
Управління потрібно вбудовувати в продукт, адже воно визначає, які обов’язки організація може впевнено делегувати. Агент, який надійно виконує завдання в узгоджених межах і надає підтвердження своїх дій, створює міцніше підґрунтя для впровадження в корпоративному середовищі, ніж агент із нечітко визначеними повноваженнями. Архітектурне завдання полягає в тому, щоб ці межі стали частиною роботи системи.
Щоб утілити ці межі на практиці, потрібен послідовний підхід до управління діями агентів. Площина керування агентами може стати основою такого підходу, поєднавши ідентифікацію агентів, затверджені можливості, дотримання політик, засоби контролю пам’яті та нагляд за виконанням у наявних корпоративних системах. Вона визначає, хто ініціював дію, на яких повноваженнях вона ґрунтується, на які ресурси може вплинути та як буде перевірено її результат.
Ось три практичні рекомендації, які ми радимо застосовувати для управління ШІ-агентами на підприємстві:
Пов’язуйте можливості з чітко визначеними повноваженнями
У кожного агента мають бути визначені відповідальний власник, конкретна мета та дозволи, що відповідають його завданню. Це узгоджується з Рамковою системою управління ризиками ШІ NIST, яка розглядає управління як безперервний процес упродовж життєвого циклу ШІ. Для агентів цей принцип має поширюватися й на момент, коли дія змінює корпоративну систему. Якщо один агент делегує завдання іншому, встановлені межі мають залишатися чинними.
Виявлення доступних можливостей також потребує чіткого підходу: у затвердженому каталозі слід описати призначення кожного інструмента, його вхідні й вихідні дані, дозволені середовища та потенційні побічні наслідки. Виявлення інструмента не надає дозволу на його використання, тож авторизацію потрібно перевіряти під час спроби виконати дію. Рекомендації OWASP щодо надмірної автономності агентів підкреслюють цю відмінність і радять обмежувати функціональність та дозволи, а також забезпечувати авторизацію в системах, які виконують подальші дії.
Розгляньмо для прикладу процес відновлення сервісу: агент з’ясовує причини сповільнення роботи застосунку й пропонує перезапустити його компонент. Політика дозволяє доступ до затверджених даних телеметрії, але для перезапуску в робочому середовищі потрібні підтвердження справності резервування та схвалення власника сервісу. Завдяки цим умовам загальна інструкція перетворюється на конкретне операційне рішення з чітко визначеними межами.
Перетворюйте операційні наміри на інструменти, що працюють під контролем
Якщо є затверджений інструмент для відновлення роботи, агент може підготувати запит, скориставшись його можливостями. Якщо такого інструмента немає, агент може допомогти створити скрипт, інструкцію з виконання операцій, схему вхідних даних та опис інструмента, перетворивши операційний намір на пропоновану можливість, яку інші зможуть перевірити. У цьому й полягає практична цінність написання коду інструментів агентами: вони можуть не лише користуватися операційними засобами, а й долучатися до їх створення.
Однак створення таких засобів не повинно автоматично робити їх придатними до виконання в робочому середовищі. Для запропонованої можливості потрібен незалежний процес випуску з визначеним відповідальним власником, перевірками безпеки, контролем версій і тестами на некоректні вхідні дані, надмірний обсяг повноважень, часткові збої та повторне виконання. Тести, створені агентом, можуть бути додатковим підтвердженням, але перед внесенням можливості до затвердженого каталогу незалежна перевірка має встановити, чи відповідає вона операційним вимогам.
Під час виконання дій потрібно обмежувати охоплення ресурсів, доступ до мережі, тривалість і витрати, а необхідне схвалення прив’язувати до конкретної дії, цілі та версії. Не менш важливо продумати способи відновлення: деякі зміни можна скасувати, для інших потрібні компенсувальні дії, а деякі неможливо повернути назад. Для кожної можливості слід чітко визначити ці обмеження й надати операторам перевірений спосіб призупинити подальше виконання.
Пам’ять створює ще один обов’язок щодо управління, оскільки збережені спостереження можуть впливати на майбутні рішення вже після того, як змінився початковий контекст. Організаціям слід визначити, що агентам дозволено зберігати, як довго інформація залишається доступною та які межі доступу діють, а також передбачити механізми відстеження походження даних і виправлення інформації. Запам’ятаний дозвіл ніколи не повинен ставати постійним повноваженням, а застарілі операційні знання не мають непомітно впливати на нові дії.
Розширюйте автономність на основі підтверджень
Для ефективного нагляду потрібні підтвердження, що пов’язують початковий запит, застосовну політику, схвалення, версію інструмента, результат виконання та подальшу перевірку. Людям, які перевіряють дії, потрібен достатній контекст, щоб оцінити запропоновану зміну, пов’язану з нею невизначеність і варіанти відновлення, але без надмірних деталей. Щоб підтримати такий нагляд, ескалацію слід здійснювати за визначених умов, як-от суперечливі спостереження або незнайомий стан системи, а не покладатися лише на впевненість, яку висловлює агент.
ІТ-керівникам варто починати з вузького робочого процесу й розширювати повноваження агента в міру того, як це підтверджують операційні дані. Слід оцінювати успішні результати, а також винятки, час відновлення, порушення політик і зусилля, необхідні для нагляду. Ці показники допомагають визначити, чи готовий агент до більшої відповідальності та де потрібні додаткові запобіжні заходи або тестування.
Можливість полягає в тому, щоб зробити делегування повторюваним процесом, у якому кожна схвалена можливість визначає, що може робити агент, за яких умов і з якою підзвітністю. Така дисципліна може зміцнити стійкість і підвищити ефективність, водночас надаючи організаціям обґрунтовані підстави для надання більшої автономії. Головний висновок такий: врядування виправдовує своє місце в продукті, уможливлюючи цей поступ.












