Тіньовий AI Джунґлі: Чому схвалення платформи не те саме, що забезпечення безпеки того, що на ній побудовано

Успадкування корпоративного штучного інтелекту далеко не безперешкодне. Обмеження щодо контролю даних, дотримання нормативних вимог та безпеки супроводжували кожну стадію цього шляху. Однак, коли організації розширюють свої операції на великих платформах, таких як Microsoft, Salesforce та ServiceNow, зростає відчуття, що найважчі питання управління частково вирішуються. Корпоративні угоди укладені. Огляд безпеки завершено. Платформи схвалені.

Та все ж це впевненість часто не бере до уваги зовсім інше питання: не те, чи платформа безпечна, а те, хто і що будує на ній.

У різних галузях відбувається тиха революція, коли непрофесійні працівники використовують корпоративні платформи штучного інтелекту для створення автономних агентів, автоматизованих робочих процесів та даних, пов’язаних з додатками, часто за лічені хвилини, без написання жодної строки коду. Без традиційних термінів розробки та обмежень ці будівельники є благом для організаційної ефективності. Та ці інструменти ніколи не перевіряються службою безпеки. У багатьох випадках служби безпеки навіть не знають про їхнє існування.

Ці інструменти, незалежно від того, чи їх класифікують як додатки, агенти чи автоматизації, є частиною зростаючої проблеми, відомої як Тіньовий AI, і представляють одну з найзначущіших змін у корпоративному ризику за останні десять років, просто тому, що загрози тепер перемістилися всередину.

Оригінальна проблема Тіньового IT була відносно простою: працівники використовували неавторизовані інструменти ззовні організації, а завданням служби безпеки було їх виявити та заблокувати. Тіньовий AI – це зовсім інша проблема. Інструменти знаходяться всередині платформ, які ви схвалили. Люди, які їх будують, – ваші власні працівники. Доступ, який вони використовують, – легітимний. І жоден з них не проходить через процеси безпеки, призначені для виявлення проблем до того, як вони потраплять у виробництво.

То, що робить це особливо важким для вирішення, – це масштаб. Більшість керівників служби безпеки суттєво недооцінюють, скільки будується всередині їхньої власної середовища. Недавні дослідження понад 200 керівників корпоративної служби безпеки та керівників служби безпеки виявили, що середня служба безпеки корпорації може відстежувати лише 44% агентів штучного інтелекту, автоматизацій та додатків, створених бізнес-пользователями. Це не пробіл. Це сліпота, яка покриває більшу частину того, що відбувається.

Причина полягає в тому, що бізнес-пользователі现在 переважно чисельно перевершують професійних розробників у деяких організаціях. Вони постійно будують у кожному відділі, на платформах, які були розроблені для полегшення будівництва, а потім заохочуються керівництвом до будівництва. Служби безпеки орієнтовані на розробницькі канали та репозиторії коду. Вони ніколи не були розроблені для моніторингу цього.

Найпоширеніший неправильний висновок полягає в тому, що схвалення платформи вирішує проблему безпеки. Це не так, це просто переміщує її. Коли корпорація підписує угоду з Microsoft, Salesforce чи UiPath, постачальник платформи забезпечує безпеку своєї інфраструктури. Те, що працівники будують на верхівці, і як вони її конфігурують, – це повністю відповідальність корпорації.

Проблема полягає в тому, що інструменти, створені бізнес-пользователями, не виглядають як програмне забезпечення для традиційних систем безпеки. Там немає коду для сканування, немає репозиторію для моніторингу, немає каналу для інспекції. Агент штучного інтелекту, побудований менеджером з персоналу через серію меню та текстових підказок, з точки зору більшості інструментів безпеки є невидимим.

І все ж ці інструменти далеко не тривіальні. Дослідження показали, що понад половина керівників служби безпеки підтвердили, що додатки, побудовані бізнес-пользователями, тепер підтримують бізнес-критичні процеси та мають доступ до чутливої компанії даних. Ставки реальні, а нагляд не поспішає.

Від нуля до катастрофи

Використання випадків так же різноманітне, як і численне, і походить майже з кожного відділу, навіть тих, про які служба безпеки ніколи не думала.

Наприклад, координатор маркетингу будує агент штучного інтелекту, орієнтований на клієнта, на повністю санкційованій платформі для відповідей на питання про продукт. За лічені хвилини додаток запущено, але як людина без безпеки, дві маленькі помилки конфігурації залишаються непоміченими і залишають агента з прямим доступом до всієї бази даних компанії та без меж того, що він може отримати. У виробництві користувач запитує його, щоб витягнути записи працівників. Він це робить. Через те, що агент також має можливість електронної пошти, користувач інструктує його надіслати ці дані на особисту адресу. Ціла послідовність займає менше шістдесяти секунд. Жодного несанкціонованого доступу. Жодного порушення платформи. Жодного сигналу безпеки.

Це не складна атака. Це передбачуваний результат добре наміченого працівника, який будує щось, чого він не повністю розуміє, на платформі, яка робить будівництво легким і управління необов’язковим.

Пропуск управління, якого ніхто не оцінив

Для більшості організацій проблема Тіньового AI залишається абстрактною, поки щось не піде не так. Та бізнес-ризик йде глибше за відповідь на порушення.

Коли агент, побудований бізнес-пользователем, витікає чутливу інформацію, питання, яке рада поставить, не буде “як сталося порушення конфігурації?” А буде “як ніхто не знав, що інструмент запущено?” Вони не розрізнять порушення, спричинене зовнішнім атакувальником, та порушення, спричинене неправильно сконфігурованим внутрішнім інструментом. Якщо особиста інформація була розкрита, а організація не мала видимості того, що відбувається, відсутність нагляду сама по собі є відповідальністю. “Працівник побудував це на схваленій платформі” – це не захист, це опис пропуску.

Терміновість реальна, але намір і виконання не одне й те саме, і для більшості підприємств розрив між ними залишається широким.

Відповідь не полягає в тому, щоб обмежити, хто може будувати. Блокування громадянського розвитку пожертвувало б справжніми продуктивними здобутками і, на практиці, не трималося б. Працівники знайшли б обхідні шляхи. Відповідь полягає в тому, щоб привести те, що будується, до виду, і керувати ним у місці, де ризик фактично виникає: час виконання.

Це означає розуміння не тільки того, які агенти існують, а й того, як вони поводяться, які дані вони отримують, які системи вони торкаються, і чи їхні дії залишаються в межах, передбачених їхніми будівельниками. Це означає встановлення обмежень, які діють на рівні організації, а не лише на рівні конфігурації. І це означає досягнення місця, де служби безпеки можуть відповісти на найосновніші питання про будь-який агент у своєму середовищі: хто його побудував, до чого він має доступ, і чи він поводиться так, як було задумано?

Більшість підприємств зараз не можуть відповісти на ці питання. Організації, які першою досягнуть цього, будуть тими, які зможуть масштабувати впровадження штучного інтелекту з впевненістю, оскільки вони будуть знають, що вони насправді запускають.