Тіньовий AI Джунглі: Чому схвалення платформи не те саме, що забезпечення безпеки того, що на ній побудовано

Підприємства все ще не мають безперешкодного прийняття штучного інтелекту. Обмеження щодо контролю даних, дотримання нормативних вимог та безпеки супроводжують кожну стадію цього шляху. Але коли організації розширюють свої операції на великих платформах, таких як Microsoft, Salesforce та ServiceNow, зростає відчуття, що найважчі питання управління частково вирішуються. Підприємства мають угоди з цими платформами. Безпекові огляди завершені. Платформи схвалені.

Та це відчуття впевненості часто не бере до уваги зовсім інше питання: не те, чи платформа безпечна, а те, хто і що будує на ній.

У різних галузях відбувається тиха революція, коли нек-технічні працівники використовують підприємницькі платформи штучного інтелекту для створення автономних агентів, автоматизованих робочих процесів та даних, з’єднаних з додатками, часто за лічені хвилини, без написання жодної лінії коду. Без традиційних термінів розробки та обмежень ці будівельники сприяють організаційній ефективності. Та ці інструменти ніколи не перевіряються командами безпеки. У багатьох випадках команди безпеки навіть не знають про їхнє існування.

Ці інструменти, класифіковані як додатки, агенти або автоматизації, є частиною зростаючої проблеми, відомої як Тіньовий AI, і представляють одну з найзначущіших змін у підприємницьких ризиках за останні десять років, просто тому, що загрози тепер перемістилися всередину.

Оригінальна проблема Тіньового IT була відносно простою: працівники використовували неавторизовані інструменти ззовні організації, а завдання безпеки полягало в тому, щоб знайти та заблокувати їх. Тіньовий AI – це зовсім інша виклик. Інструменти знаходяться всередині платформ, які ви схвалили. Люди, які їх будують, – ваші власні працівники. Доступ, який вони використовують, – легітимний. І жоден з них не проходить через процеси безпеки, призначені для виявлення проблем до їхнього потрапляння у виробництво.

То, що робить це особливо важким для вирішення, – це масштаб. Більшість лідерів безпеки суттєво недооцінюють, скільки будується всередині їхніх власних середовищ. Нещодавнє дослідження понад 200 підприємницьких CISO та лідерів безпеки виявило, що середня команда безпеки підприємства може відстежувати лише 44% агентів штучного інтелекту, автоматизацій та додатків, створених їхніми бізнес-користувачами. Це не прогалина. Це сліпа пляма, яка покриває більшість того, що запущено.

Причина полягає в тому, що бізнес-користувачі тепер переважають професійних розробників у деяких організаціях у 10 разів. Вони постійно будують у кожному відділі, на платформах, призначених для полегшення будівництва, а потім заохочуються керівництвом до будівництва. Команди безпеки орієнтовані на розробницькі конвеєри та репозиторії коду. Вони ніколи не були призначені для моніторингу цього.

Найпоширеніший міф полягає в тому, що схвалення платформи вирішує проблему безпеки. Це не так, це просто переміщує її. Коли підприємство підписує угоду з Microsoft, Salesforce або UiPath, постачальник платформи забезпечує безпеку своєї інфраструктури. Те, що працівники будують на вершині цього, і як вони конфігурують це, – це повністю відповідальність підприємства.

Проблема полягає в тому, що інструменти, створені бізнес-користувачами, не виглядають як програмне забезпечення для традиційних систем безпеки. Немає коду для сканування, немає репозиторію для моніторингу, немає конвеєру для інспекції. Агент штучного інтелекту, побудований менеджером з персоналу через серію меню та текстових підказок, з точки зору більшості інструментів безпеки, є невидимим.

І все ж ці інструменти далеко не тривіальні. Дослідження показали, що понад половина CISO підтвердили, що додатки, побудовані бізнесом, тепер підтримують бізнес-критичні процеси та мають доступ до конфіденційних даних компанії. Ставки реальні, а нагляд не впроваджено.

Від нуля до катастрофи

Використання випадків так же різноманітні, як і численні, і походять майже з кожної галузі, навіть тих, про які команда безпеки ніколи не думала.

Наприклад, координатор з маркетингу будує агент штучного інтелекту, орієнтований на клієнта, на повністю санкціонованій платформі для відповідей на питання про продукти. За лічені хвилини додаток запущено, але як людина без безпеки, дві маленькі помилки конфігурації залишаються непоміченими та залишають агента з прямим доступом до всієї бази даних компанії та без меж того, що він може отримати. У виробництві користувач запитує його, щоб витягнути записи працівників. Він робить це. Через те, що агент також має можливість електронної пошти, користувач інструктує його надіслати ці дані на особисту адресу. Ціла послідовність займає менше шістдесяти секунд. Жодного несанкціонованого доступу. Жодної платформної порушення. Жодного сигналу безпеки.

Це не складна атака. Це передбачуваний результат доброзичливого працівника, який будує щось, чого він не повністю розуміє, на платформі, яка робить будівництво легким і управління необов’язковим.

Пропуск у управлінні, який ніхто не оцінив

Для більшості організацій проблема Тіньового AI залишається абстрактною, поки щось не піде не так. Але бізнес-ризик виходить за рамки реакції на порушення.

Коли агент, побудований бізнесом, витікає конфіденційні дані, питання, яке рада поставить, не буде «як сталася помилка конфігурації?», а «як ніхто не знав, що інструмент запущено?» Вони не розрізнять порушення, спричинене зовнішнім атакувальником, та порушення, спричинене неправильно сконфігурованим внутрішнім інструментом. Якщо особисті дані були розкриті, а організація не мала видимості того, що запущено, відсутність нагляду сама по собі є відповідальністю. «Працівник побудував це на схваленій платформі» – це не захист, це опис пропуску.

Терміновість реальна, але намір і виконання не одне й те саме, і для більшості підприємств розрив між ними залишається відкритим.

Відповідь не полягає в тому, щоб обмежити, хто може будувати. Блокування громадянського розвитку пожертвувало б справжніми продуктивними здобутками і, на практиці, не трималося б. Працівники знайшли б обхідні шляхи. Відповідь полягає в тому, щоб те, що будується, було видно, і керувати цим у місці, де ризик фактично виникає: час виконання.

Це означає розуміння не тільки того, які агенти існують, а й того, як вони поводяться, які дані вони отримують, які системи вони торкаються, і чи їхні дії залишаються в межах, передбачених їхніми будівельниками. Це означає встановлення обмежень, які діють на рівні організації, а не лише в місці конфігурації. І це означає досягнення місця, де команди безпеки можуть відповісти на найосновніші питання про будь-який агент у своєму середовищі: хто побудував його, до чого він має доступ, і чи він поводиться так, як було задумано?

Більшість підприємств зараз не можуть відповісти на ці питання. Організації, які першою досягнуть цього, будуть тими, які зможуть масштабувати прийняття штучного інтелекту з впевненістю, оскільки вони будуть знати, що вони насправді запускають.