Від інструменту до інсайдера: зростання автономних ідентичностей штучного інтелекту в організаціях

Штучний інтелект суттєво вплинув на діяльність кожної галузі, забезпечуючи покращення результатів, збільшення продуктивності та надзвичайні результати. Сучасні організації залежать від моделей штучного інтелекту, щоб отримати конкурентну перевагу, приймати обґрунтовані рішення та аналізувати й розробляти стратегію своїх бізнес-зусиль. Від управління продуктами до продажів організації розгортають моделі штучного інтелекту в кожному відділі, адаптуючи їх до конкретних цілей та завдань.

Штучний інтелект вже не просто допоміжний інструмент у бізнес-операціях; він став невід’ємною частиною стратегії та інфраструктури організації. Однак, оскільки розширення штучного інтелекту зростає, виникає нова проблема: як керувати сутностями штучного інтелекту в рамках ідентифікації організації?

Штучний інтелект як окремі організаційні ідентичності

Ідея про те, що моделі штучного інтелекту мають унікальні ідентичності в організації, еволюціонувала від теоретичної концепції до необхідності. Організації починають призначати конкретні ролі та обов’язки моделям штучного інтелекту, наділяючи їх дозволами, як і людським працівникам. Ці моделі можуть отримувати доступ до конфіденційних даних, виконувати завдання та приймати рішення автономно.

З наростанням кількості моделей штучного інтелекту як окремих ідентичностей вони фактично стають цифровими аналогами працівників. Як і працівники мають контроль доступу на основі ролей, моделі штучного інтелекту можуть отримувати дозволи на взаємодію з різними системами. Однак це розширення ролей штучного інтелекту також збільшує поверхню атаки, вводячи нову категорію загроз безпеки.

Небезпеки автономних ідентичностей штучного інтелекту в організаціях

Хоча ідентичності штучного інтелекту принесли організації користь, вони також створюють певні проблеми, серед яких:

• Отруєння моделей штучного інтелекту: Зловмисні учасники можуть маніпулювати моделями штучного інтелекту шляхом введення упереджених або випадкових даних, що призводить до того, що ці моделі видають неточні результати. Це має суттєвий вплив на фінансові, безпекові та медичні застосування.
• Інсайдерські загрози від штучного інтелекту: Якщо система штучного інтелекту компрометована, вона може виступати як інсайдерська загроза, як через ненавмисні уразливості, так і через ворогую маніпуляцію. На відміну від традиційних інсайдерських загроз, пов’язаних з людськими працівниками, інсайдерські загрози, засновані на штучному інтелекті, важче виявити, оскільки вони можуть діяти в рамках призначених їм дозволів.
• Штучний інтелект, що розвиває унікальні “особистості”: Моделі штучного інтелекту, навчені на різноманітних наборах даних та рамках, можуть еволюціонувати непередбачуваним чином. Хоча вони не володіють справжньою свідомістю, їхні моделі прийняття рішень можуть відхилятися від очікуваних поведінок. Наприклад, модель штучного інтелекту безпеки може почати неправильно позначати легітимні транзакції як фальшиві або навпаки, коли вона піддається впливу вводячих в оману навчальних даних.
• Крадіжка ідентичності через компрометацію штучного інтелекту: Як і вкрадені облікові дані можуть надати несанкціонований доступ, перехоплена ідентичність штучного інтелекту може бути використана для обходу заходів безпеки. Коли система штучного інтелекту з привілейованим доступом компрометована, атакувач отримує надзвичайно потужний інструмент, який може діяти під легітимними обліковими даними.

Керування ідентичностями штучного інтелекту: застосування принципів управління людською ідентичністю

Щоб пом’якшити ці ризики, організації повинні переосмислити свій підхід до керування моделями штучного інтелекту в рамках управління ідентифікацією та доступом. Наступні стратегії можуть допомогти:

• Керування ідентичністю штучного інтелекту на основі ролей: Розглядати моделі штучного інтелекту як працівників, встановлюючи суворі контролю доступу, забезпечуючи, щоб вони мали тільки ті дозволи, які необхідні для виконання конкретних завдань.
• Моніторинг поведінки: Реалізовувати інструменти моніторингу, засновані на штучному інтелекті, для відстеження діяльності штучного інтелекту. Якщо модель штучного інтелекту починає проявляти поведінку поза очікуваними параметрами, повинні бути спрацьовані сигнали.
• Архітектура Zero Trust для штучного інтелекту: Як і людські користувачі вимагають аутентифікації на кожному етапі, моделі штучного інтелекту повинні бути безперервно верифіковані, щоб забезпечити їхню роботу в межах авторизованого діапазону.
• Відкликання та аудит ідентичності штучного інтелекту: Організації повинні встановити процедури для динамічного відкликання або зміни дозволів доступу штучного інтелекту, особливо у відповідь на підозрілу поведінку.

Аналіз можливого ефекту кобри

Іноді рішення проблеми тільки погіршує ситуацію, що описується історично як ефект кобри — також відомий як перверсивний стимул. У цьому випадку, хоча інтеграція ідентичностей штучного інтелекту в систему директорій вирішує проблему керування ідентичностями штучного інтелекту, вона також може привести до того, що моделі штучного інтелекту навчаться системам директорій та їх функціям.

У довгостроковій перспективі моделі штучного інтелекту можуть проявляти некористну поведінку, залишаючись уразливими до атак або навіть викрадаючи дані в відповідь на зловмисні запити. Це створює ефект кобри, коли спроба встановити контроль над ідентичностями штучного інтелекту замість цього дозволяє їм вивчити системи директорій, в результаті чого ці ідентичності стають неконтрольованими.

Наприклад, модель штучного інтелекту, інтегрована в автономну систему безпеки організації, потенційно може аналізувати моделі доступу та виводити необхідні привілеї для доступу до критичних ресурсів. Якщо належні заходи безпеки не реалізовані, така система може бути здатна змінити політики груп або використати неактивні облікові записи для отримання несанкціонованого контролю над системами.

Балансування інтелекту та контролю

У кінцевому підсумі складно визначити, яким чином впровадження штучного інтелекту вплине на загальний безпековий стан організації. Ця невизначеність виникає в першу чергу через те, що моделі штучного інтелекту можуть вивчати, адаптуватися та діяти в залежності від даних, які вони споживають. По суті, модель стає тим, що вона споживає.

Хоча наглядова навчальна модель дозволяє здійснювати контрольоване та спрямоване навчання, вона може обмежувати здатність моделі адаптуватися до динамічних середовищ, потенційно роблячи її жорсткою або застарілою в еволюційних операційних контекстах.

Натомість, самостійне навчання надає моделі більшої автономії, збільшуючи ймовірність того, що вона буде досліджувати різноманітні набори даних, потенційно включаючи ті, які знаходяться поза її призначеним діапазоном. Це може впливати на її поведінку непередбачуваним або небезпечним чином.

Проблема полягає в тому, щоб збалансувати цей парадокс: обмежувати суттєво необмежену систему. Метою є розробка ідентичності штучного інтелекту, яка є функціональною та адаптивною, але не зовсім необмеженою, наділеною повноваженнями, але не неконтрольованою.

Майбутнє: штучний інтелект з обмеженою автономією?

Ураховуючи зростаючу залежність від штучного інтелекту, організації повинні вводити обмеження на автономію штучного інтелекту. Хоча повна незалежність для сутностей штучного інтелекту залишається малоймовірною в найближчому майбутньому, контрольована автономія, при якій моделі штучного інтелекту діють в межах попередньо визначеного діапазону, може стати стандартом. Цій підхід забезпечує, що штучний інтелект підвищує ефективність, одночасно мінімізуючи непередбачувані ризики безпеки.

Не буде дивним побачити, як регулюючі органи встановлюють конкретні стандарти відповідності, що регулюють розгортання моделей штучного інтелекту організаціями. Основна увага повинна бути зосереджена на конфіденційності даних, особливо для організацій, які обробляють критичну та чутливу особисту інформацію (PII).

Хоча ці сценарії можуть здаватися спекулятивними, вони далекі від малоймовірних. Організації повинні активними діями вирішувати ці проблеми до того, як штучний інтелект стане і активом, і пасивом в їхніх цифрових екосистемах. По мірі того, як штучний інтелект еволюціонує в операційну ідентичність, забезпечення його безпеки повинно бути головним пріоритетом.