Ризик штучної інтелектуальної системи, який ніхто не спостерігає: витік секретів у корпоративних робочих процесах

Більшість обговорень про ризики штучної інтелектуальної системи в корпоративному середовищі починаються з відомої проблеми: співробітники вставляють дані клієнтів у чат-боти. Приватність і нормативна експозиція домінують у заголовках і брифінгах ради директорів, і дослідження компанії Deloitte показують, що захист даних і безпека займають перші місця серед ризиків штучної інтелектуальної системи, про які турбуються організації.

Відповідно до даних, що надходять з реального використання штучної інтелектуальної системи в корпоративному середовищі, ситуація виглядає інакше. Найбільш поширеною конфіденційною інформацією, яка надходить до інструментів штучної інтелектуальної системи, насправді не є особисті дані. Це секрети і посвідчення.

Ключі API, токени доступу, веб-хуки і артефакти аутентифікації тепер складають найбільшу частку витоків конфіденційних даних, які спостерігаються в запитах штучної інтелектуальної системи. Ці витоки рідко відбуваються через недбалість або зловмисну намір, а радше виникають під час звичайної роботи, chẳng hạn як налагодження невдалої інтеграції, усунення автоматизації, тестування коду або вирішення проблеми клієнта. Коли штучна інтелектуальна система стає частиною щоденних робочих процесів, такі моменти відбуваються постійно і часто поза межами традиційних засобів контролю безпеки.

Наслідки ясні. По мірі розширення використання штучної інтелектуальної системи організації отримують більш точне уявлення про те, де виникли справжні ризики, і управління повинно еволюціонувати, щоб вирішити ці ризики.

Переглянутий ризик витоку даних штучної інтелектуальної системи, який ховається на виду

Нещодавнє дослідження використання штучної інтелектуальної системи, проведене компанією Nudge Security, проаналізувало анонімізовані дані телеметрії в корпоративному середовищі, щоб зрозуміти, як інструменти штучної інтелектуальної системи фактично використовуються на робочому місці. Замість того, щоб опиратися на опитування або самооцінку, дослідження проаналізувало спостережувану діяльність штучної інтелектуальної системи, інтеграції та поведінку запитів у корпоративних екосистемах SaaS.

Результати дослідження надають нове розуміння того, де ризики штучної інтелектуальної системи фактично виникають у корпоративному використанні. Витоки конфіденційних даних у запитах штучної інтелектуальної системи переважно складаються з операційних посвідчень. Секрети і посвідчення складають приблизно 48 відсотків виявлених подій конфіденційних даних, порівняно з 36 відсотками для фінансових даних і 16 відсотками для інформації, пов’язаної зі здоров’ям. Ці закономірності свідчать про те, що найбільш суттєвою проблемою витоку даних штучної інтелектуальної системи не є порушення приватності, а розсіювання секретів.

Те ж дослідження показує, що використання штучної інтелектуальної системи перейшло за межі експериментів. Інструменти штучної інтелектуальної системи інтегровані у робочі процеси, пов’язані з основними бізнес-платформами, і все частіше здатні виконувати автономні дії. Основні постачальники великомасштабних мовних моделей тепер майже універсальні, з OpenAI, присутньою у 96 відсотках організацій, і Anthropic – у 78 відсотках.

Дослідження компанії McKinsey показує, що 88 відсотків організацій повідомляють про регулярне використання штучної інтелектуальної системи принаймні в одному бізнес-функції, порівняно з 78 відсотками минулого року. Інструменти інтелектуальних зустрічей, платформи штучної інтелектуальної системи для кодування, генератори презентацій і голосові технології широко розгорнуті, відображаючи те, як штучна інтелектуальна система розширилася з інтерфейсів чату у щоденні робочі процеси. Це розширення має значення, оскільки ризик слідує за використанням. Коли штучна інтелектуальна система стає частиною середовищ розробників, платформ співробітництва і робочих процесів підтримки клієнтів, вона наближається до чутливих систем і операційних даних.

Прийняття також стимулювалося знизу. Недавнє дослідження компанії KPMG показало, що 44 відсотки співробітників використовують інструменти штучної інтелектуальної системи способами, які не авторизовані їхніми роботодавцями, відображаючи те, як швидко ці інструменти входять у щоденні завдання. Співробітники встановлюють розширення браузера, підключають помічників і експериментують з інтеграціями, щоб прискорити щоденні завдання, часто поза центральними процесами закупівель. Спеціалісти з безпеки описують цей шаблон як тіньову штучну інтелектуальну систему, у якій інструменти працюють всередині браузерів і робочих процесів SaaS поза традиційною видимістю ІТ. Оскільки ці інструменти можуть бути розгорнуті миттєво і потребують мінімальної технічної настройки, програми управління, побудовані навколо процесів затвердження постачальників і прийнятних політик використання, борються за те, щоб跟ати за тим, як штучна інтелектуальна система фактично вводиться і використовується в організації.

Чому витік секретів може створити негайний оперативний ризик

Особисті дані залишаються чутливими і регульованими, але секрети несуть негайний оперативний вплив. Витік ключа API може надати доступ до продукційних систем. Компрометований токен може викрити репозиторії. URL веб-хука може дозволити неавторизовану автоматизацію. Посвідчення часто з’являються у запитах штучної інтелектуальної системи під час звичайних робочих процесів. Розробники вставляють токени у інтерфейси чату під час усунення проблем аутентифікації, інженери можуть поділитися фрагментами конфігурації для діагностики проблем інтеграції. Ці дії не є незвичайними. Секрети вбудовані у технічні робочі процеси і з’являються у журналах, скриптах, файлах конфігурації і результатах автоматизації. Коли команди під тиском повинні швидко вирішити проблеми, вони можуть поділитися цими артефактами, не зупиняючись, щоб подумати про те, які чутливі дані вони містять.

Інтерфейси штучної інтелектуальної системи посилюють цю поведінку. Запити заохочують обмін контекстом. Завантаження файлів підтримують більш багате усунення проблем. Інтегровані робочі процеси роблять легко рух даних між системами. Дослідження компанії Nudge Security показало, що 17 відсотків запитів включають копіювання і вставлення або завантаження файлів. У цьому середовищі чутливі посвідчення можуть бути викриті за секунди.

Традиційне управління не враховує поведінковий ризик

Програми управління штучної інтелектуальної системи часто фокусуються на формальних засобах контролю, таких як політики і затверджені інструменти. Цій підхід припускає, що ризик виникає з неправильного використання або поведінки моделі. На практиці найбільш суттєві експозиції відбуваються під час звичайних робочих процесів, виконуваних доброзичливими співробітниками.

Ландшафт штучної інтелектуальної системи розвивається швидко, з новими технологіями, випущеними щодня. Коли ваші співробітники звертаються до останнього інструменту, вони можуть обійти традиційний підхід мережевих засобів контролю, оскільки вони просто не можуть跟ати. Браузер дозволяє безпосередньо спостерігати контекстну поведінку, що надає гнучкість, необхідну для跟ання за постійно еволюціонуючим ландшафтом сучасної роботи.

Ця роз’єднаність пояснює, чому організації можуть реалізувати сильні політики, але все ж таки досвідчувати витік чутливих даних. Політики встановлюють очікування. Поведінка визначає результати. Ефективне управління вимагає видимості того, як інструменти штучної інтелектуальної системи фактично використовуються, і поручнів, які спрямовують безпечніші рішення в момент поділу даних.

Інтеграції і агенти розширюють сферу експозиції

Профіль ризику інструменту штучної інтелектуальної системи визначається тим, до чого він може дістатися. Інтеграції створюють довірчі шляхи між системами. Гранти OAuth, токени API і сервісні облікові записи дозволяють інструментам штучної інтелектуальної системи отримувати документи, оновлювати квитки або взаємодіяти з репозиторіями коду. Дослідження корпоративного прийняття штучної інтелектуальної системи підкреслює, що інтеграції ефективно визначають сферу експозиції. Неправильно налаштований дозвіл або компрометований токен можуть викрити цілі репозиторії документів або середовища розробки, оскільки довірчі зв’язки дозволяють рух даних з машинною швидкістю.

Агентна штучна інтелектуальна система вводить додаткову складність. Ранні розгортування часто пріоритезують функціональність над мінімальними привілеями. Дозволи, надані під час експериментів, можуть зберегтися довго після того, як початкові випадки використання еволюціонують. З часом ці накопичені дозволи створюють тихий ризик. Команди безпеки повинні розглядати інтеграції і дозволи агентів як тривалі рішення про доступ, а не тимчасові зручності.

Що повинні робити команди безпеки зараз

Зменшення експозиції секретів у робочих процесах штучної інтелектуальної системи вимагає зміни від реактивних засобів контролю до управління, яке відображає те, як робота фактично відбувається. Лідери безпеки можуть почати з практичних кроків, які покращують видимість, спрямовують безпечнішу поведінку і зменшують експозицію, не сповільнюючи продуктивність:

• Мапа, де відбуваються взаємодії штучної інтелектуальної системи.
  Визначте середовища, куди дані входять до інструментів штучної інтелектуальної системи, включаючи розширення браузера, середовища розробників, платформи автоматизації і інтерфейси чату. Постійна видимість цих точок контакту надає основу для ефективного управління.
• Встановіть поручні в момент прийняття рішень.
  Реалізуйте сканування секретів, запити редагування і попередження вчасно, які попереджають користувачів, коли посвідчення або чутливі артефакти ось-ось будуть поділені. Своєчасна допомога зменшує випадкову експозицію, зберігаючи швидкість робочого процесу.
• Застосуйте управління інтеграцією з тією ж суворістю, що і додатки OAuth.
  Перегляньте інструменти штучної інтелектуальної системи, підключені до електронної пошти, документів, систем квитків і репозиторіїв. Застосуйте мінімальні привілеї і проводьте періодичні огляди дозволів, щоб зменшити довгостроковий ризик експозиції.
• Створіть безпечніші робочі процеси для усунення проблем і підтримки.
  Надайте шаблони з редагуванням, безпечні конектори і внутрішні інструменти для аналізу журналів або файлів конфігурації, щоб команди могли використовувати штучну інтелектуальну систему для вирішення проблем без експозиції живих посвідчень.
• Встановіть поручні для автоматизації на основі агентів.
  Вимагайте затвердження людини для дій високого впливу, реєструйте діяльність агентів централізовано і використовуйте токени доступу з обмеженим обсягом, щоб запобігти розсіюванню дозволів і непередбачуваній автоматизації.
• Засновуйте навчання на реальних робочих процесах.
  Освіта є найбільш ефективною, коли вона відображає загальні завдання, такі як налагодження інтеграцій, перегляд журналів або завантаження файлів. Практичні приклади допомагають співробітникам розпізнавати ризик в момент його виникнення.

Ці заходи узгоджують управління з щоденною роботою, дозволяючи організаціям зменшити експозицію секретів, підтримуючи при цьому продуктивні здобутки, які стимулюють прийняття штучної інтелектуальної системи.

Від політики штучної інтелектуальної системи до поведінкового управління

Штучна інтелектуальна система еволюціонує з інструменту продуктивності у оперативний шар, вплетений у щоденну роботу, з дослідженнями, які показують, що агенти штучної інтелектуальної системи тепер вплетені у корпоративні робочі процеси, і прогнозами, які передбачають агентів, специфічних для завдань, всередині великої частини корпоративних застосунків. По мірі поглиблення прийняття ризики розширюються за межі порушень приватності або неправильного використання моделі. Вони виникають з того, як люди, дозволи і платформи перетинаються у реальних робочих процесах.

Експозиція секретів у запитах штучної інтелектуальної системи – це видимий сигнал цієї ширшої трансформації. Вона підкреслює обмеження периметрових засобів контролю і управління, заснованого лише на політиці, і підкреслює необхідність поручнів, які діють там, де приймаються рішення. Організації, які адаптуються, перейдуть від реактивних засобів контролю до моделей управління, заснованих на реальній поведінці. Вони будуть розглядати інтеграції і дозволи як тривалі рішення про доступ. Вони будуть спрямовувати співробітників в момент дії, а не покладатися виключно на виконання політики.

Штучна інтелектуальна система переходить від інструменту до співробітника у сучасній роботі. Забезпечення цього співробітництва вимагає управління, яке тримає темп, захищаючи критичні дані, спрямовуючи безпечніші рішення і зберігаючи швидкість і ефективність, які штучна інтелектуальна система робить можливими.