Приховані ризики тіньового штучного інтелекту

Більшість команд підприємств не планували, що штучний інтелект захопить їхні робочі процеси. Все почалося з простих інструментів, які обіцяли швидше написання, гладші зустрічі та кращі клієнтські інсайти. Працівники встановлювали асистентів штучного інтелекту у своїх браузерах, підключали їх до електронної пошти, додавали до Zoom і експериментували зі Slack та Google Workspace.

Але ці перші випробування розвивалися швидше, ніж корпоративний контроль, і поширювалися по системам SaaS, які керували цілими компаніями, аж доки штучний інтелект не став невід’ємною частиною повсякденної роботи. І саме так виникла тіньовий штучний інтелект, один з найбільш недооцінених ризиків у сучасному підприємстві сьогодні, який з’явився всередині більшості організацій ще до того, як лідери зрозуміли, наскільки глибоко він пов’язаний з конфіденційними даними.

Тіньовий штучний інтелект відноситься до інструментів штучного інтелекту, які працюють всередині організації без схвалення, без видимості та часто без обмежень. Як тільки ці інструменти інтегруються безпосередньо з платформами, такими як Salesforce, Zoom або Microsoft 365, вони отримують доступ до інформації, яку лідери вважають безпечною. Небезпека вже проявляється у порушеннях вимог законодавства, неконтрольованих потоках даних та інцидентах, коли агенти штучного інтелекту здійснюють дії, яких ніхто не очікував.

Ми провели роки, працюючи з компаніями, які вважали, що мають сильні програми безпеки. Однак, коли ми допомогли їм розслідувати їхні середовища SaaS, вони виявили сотні активних з’єднань штучного інтелекту, які вони не авторизували. Деякі з цих з’єднань були активними протягом місяців, тоді як інші належали працівникам, які вже покинули компанію. Тіньовий штучний інтелект розвивається тихо, оскільки він рухається швидше, ніж управління, і швидше, ніж більшість організацій можуть його виявити.

Невидимі канали даних

Історія часто починається з благородних намірів: представник продажів, який хоче написати кращі електронні листи, або менеджер з клієнтського успіху, який хоче транскрипції важливих зустрічей, або інженер, який хоче швидший спосіб перегляду коду. Інструменти штучного інтелекту роблять ці завдання легкими, тому працівники швидко їх приймають. Але прийняття є лише першим кроком.

Багато з цих інструментів вимагають широких дозволів через OAuth, розширення браузера або ключі API. Як тільки вони надані, вони отримують доступ до записів CRM, клієнтських нотаток, внутрішніх повідомлень або конфіденційного джерельного коду.

Ми бачили, що відбувається далі. У одному випадку команда виявила, що асистент штучного інтелекту, підключений до Salesforce, згенерував понад чотириста звітів за один вікенд. Спочатку всі вважали, що це системна помилка. Однак штучний інтелект отримав широкий доступ. Він почав автоматизувати завдання у масштабі, якого жоден людський аналітик не спробував би. Чутливі прогнози продажів та інформація про клієнтів з’явилися в місцях, де вони не повинні були, просто тому, що інструмент штучного інтелекту вирішив діяти.

Інша організація розгорнула службу транскрипції штучного інтелекту, щоб допомогти своїм клієнт-орієнтованим командам. Вона записувала кожну зустріч та збирала дані про ціни, проблеми клієнтів, майбутні плани та конкурентні інсайти. Вся ця інформація перейшла безпосередньо до системи третього боку без жодної угоди та без видимості того, як дані зберігалися чи використовувалися. СITUації такого типу стають все більш поширеними, оскільки інструменти штучного інтелекту діють зовсім інакше, ніж традиційне програмне забезпечення. Вони читають більше даних і рухаються швидше, часто діють без чітких меж.

Як тільки прийняття штучного інтелекту прискорюється, поверхня атаки буде продовжувати розширюватися. Зокрема, розвиток Протоколу контексту моделі робить штучний інтелект потужнішим, дозволяючи агентам взаємодіяти безпосередньо з корпоративними даними. Нажаль, така зручність також відкриває нові двері для атак на ланцюг постачання та підвищення привілеїв.

Вищі керівники повинні зрозуміти, що сучасний штучний інтелект не підходить до старих моделей безпеки, на які ще спираються компанії, оскільки ці інструменти штучного інтелекту живуть всередині ваших систем, а не на краю, що робить їх значно важчими для виявлення та ще більш складними для управління.

Обмеження традиційних засобів безпеки

Більшість програм безпеки були створені для світу, де програми жили всередині корпоративної мережі, а користувачі підключалися через передбачувані моделі. Однак штучний інтелект розбив цю модель. Сучасні інструменти живуть всередині платформ SaaS, а не на корпоративних серверах. Вони спілкуються через API, а не через мережі. Вони читають і записують дані безперервно, і їх поведінка не піддається інтерпретації системами моніторингу спадщини.

Наш досвід показує, що організації часто недооцінюють кількість інструментів штучного інтелекту в своєму середовищі. Багато не знають, які інтеграції активні або як довго ці дозволи існували. Інші припускають, що єдиний вход або правила брандмауера достатньо, щоб їх захистити. Це не так. Тіньовий штучний інтелект процвітає в системах ідентифікації, шарах дозволів та інтеграціях третіх сторін, які команди безпеки рідко переглядають. Він ховається в місцях, де компанії не шукають, і в інструментах, які працівники встановлюють, оскільки хочуть рухатися швидше.

Зміна до вбудованого штучного інтелекту робить цю роботу ще більш складною. Платформи, такі як Microsoft 365, Google Workspace, Slack та Salesforce, тепер поставляються з вбудованими можливостями штучного інтелекту. Деякі з них увімкнені за замовчуванням. Інші можна активувати одним кліком. Організації можуть вже використовувати функції штучного інтелекту, не розуміючи, які дані ці функції споживають, або як ці системи зберігають вихідні дані. Ризик виникає не тільки від того, що додають працівники, але й від того, що вводять постачальники.

Відновлення контролю

Тіньовий штучний інтелект повинен бути розглянутий не як провина працівників, а як природний результат швидкого технічного прогресу, і лідери потребують видимості, а не звинувачень. Перший крок полягає в тому, щоб припустити, що тіньовий штучний інтелект існує, і почати картографування того, де штучний інтелект вже взаємодіє з критичними системами. Другий крок – створити схвалений набір інструментів штучного інтелекту, щоб команди могли інновувати безпечно. Блокування штучного інтелекту є нереалістичним, а надання безпечних варіантів є єдино можливим шляхом.

О Oversigt в реальному часі також важливий. Квартальні огляди не можуть впоратися з інструментами, які можуть вивести дані за кілька годин. Організаціям потрібен безперервний огляд того, які агенти штучного інтелекту активні, які дозволи вони мають, і чи ці дозволи відповідають мінімальним вимогам доступу. Коли ми працюємо з виконавчими командами, ми заохочуємо їх ставити прямими питаннями: які інструменти доступ themselves до клієнтських систем, які інструменти підключаються до виробничих середовищ, і які інструменти залишаються активними після відходу користувачів?

Ми бачили організації, які перетворили цю плутанину на ясність. Як тільки лідери побачили, де штучний інтелект діє всередині їхніх систем, вони можуть встановити правильні обмеження та дозволити командам використовувати його безпечно. Тоді штучний інтелект перестає бути ризиком і стає справжньою перевагою.

Тіньовий штучний інтелект не щось, що з’явиться в майбутньому. Він уже тут. Але організації, які займуться цим до того, як він переросте в кризу, очолять еру штучного інтелекту.