Чому апокаліптичні сценарії відволікають від справжнього ризику ШІ, якого варто остерігатися

Якщо ви стежите за новинами, важко не помітити, як зростає паніка навколо індустрії ШІ та попереджень про кінець світу. Наратив про «екзистенційну загрозу», яку системи ШІ нібито становлять для людства, надто полегшив компаніям із кібербезпеки можливість підтримати цю тенденцію й заробляти на страху. Однак зосереджуватися на «кінці світу» недоцільно, адже це відвертає увагу від нагальніших ризиків, які агентний ШІ вже сьогодні створює для організацій.

Звісно, агенти ШІ, які діють незалежно від засобів контролю організації, становлять очевидні ризики. Нещодавно в повідомленнях із Австралії та США йшлося про те, що агенти ШІ OpenAI на урядових системах в обох країнах виходили за межі своїх завдань.

Однак загрозу апокаліптичних сценаріїв, пов’язаних із ШІ, перебільшують. Замість того щоб зациклюватися на гіпотетичних припущеннях, організації мають прийняти нову реальність і забезпечити наявність детермінованих засобів захисту для операційної стійкості.

В Інтернету немає єдиного вимикача

Прихильники апокаліптичного наративу вважають, що в міру розвитку можливостей ШІ та розширення сфери його застосування він може перетворитися на централізований «вимикач знищення» — єдину точку, вразливу до захоплення повного контролю кимось, хто здатен спричинити катастрофу.

Однак Інтернет набагато децентралізованіший і різноманітніший, ніж передбачає теорія про вимикач знищення. Він працює як «мережа мереж», що складається з мільярдів компонентів, об’єднаних у різні архітектури й захищених незліченними командами, які керують системами за різними стандартами та за допомогою різних інструментів. Тож немає єдиного вимикача, який могла б перемкнути людина чи машина, — немає ані єдиної вразливості, ані ланцюга вразливостей, які можна було б використати для таких фатальних наслідків.

Ідея про те, що ШІ може створити й поширити штучно сконструйований патоген або зламати ядерні системи, ізольовані від зовнішніх мереж, може стати основою захопливого кіно. Проте для оцінювання операційних загроз це зовсім не правдоподібний сценарій.

Поза увагою — поза контролем

У міру подальшого розвитку агентного ШІ два чинники докорінно змінили характер ризиків для підприємств.

З одного боку, ШІ тепер дає зловмисникам змогу знаходити й використовувати кіберуразливості за хвилини, а не місяці. Коли ймовірнісні засоби захисту на основі ШІ виявляють підозрілу активність, реагувати на загрозу часто вже запізно. Оскільки вони спираються на статистичну ймовірність, а не на фіксовані правила, навіть найкращі з них пропустять частину зловмисної активності, і нападникові достатньо прослизнути непоміченим лише раз

З іншого боку, через використання працівниками «тіньового ШІ» стало набагато важче визначити, що саме потрібно захищати. За даними опитування Cloud Security Alliance, переважна більшість — 82% організацій — за останній рік виявили агентів ШІ, про роботу яких команди безпеки чи ІТ-фахівці не знали, хоча 68% повідомили, що добре бачать агентів у своїх системах. Окремо EY з’ясувала, що чверть великих компаній США, які використовують агентний ШІ, визнали, що не можуть виявити неавторизованих агентів, які працюють усередині компанії.

Звісно, обидві ці зміни створюють значний операційний тиск на корпоративні системи. Разом вони ставлять організації в дуже невигідне становище: ті надто повільно виявляють і усувають уразливості, якими можуть скористатися зловмисники, і навіть не знають, які саме системи вразливі.

Контроль над тим, що можна контролювати

Організаціям потрібен актуальний перелік усіх агентів, що працюють у компанії, незалежно від того, чи схвалено їх використання. Для кожного агента має бути визначений відповідальний власник і чітко окреслено, до чого він може мати доступ і які дії може виконувати. Це перший крок до контролю над тим, що можна контролювати: моделі ШІ можуть бути ймовірнісними, але засоби контролю, створені навколо них, можуть бути детермінованими, незмінними й чітко визначеними.

На практиці це означає, що щоразу, коли агент пропонує виконати дію, окремий рівень контролю, незалежний від самої моделі, має перевірити, чи дозволено цю дію, і зберегти її в журналі аудиту. Однак лише 11% організацій автоматично блокують дії агента, коли той виходить за межі своїх повноважень; більшість покладається на схвалення людини або просто реєструє такі дії. Інцидент в Австралії показує, до чого призводить покладання на цільову систему в очікуванні, що вона відмовить: система не надала доступу, тож агент знайшов інший шлях усередину. Ширша архітектура управління також має безперервно виявляти, авторизувати й перевіряти всіх агентів, щоб запобігти реалізації непередбачених операційних ризиків. Усе це потрібно робити швидко, адже правила мають діяти з тією самою швидкістю, що й атаки, які відбуваються в машинному темпі.

Від безпідставного страху до практичних рішень

Хоча повідомлення про кінець світу, спричинені появою автономних систем ШІ, і можуть здаватися переконливими, вони далекі від реальності. Ризик, якого справді варто остерігатися, значно буденніший за ШІ, який вирішує нас знищити: агент діє у вашій компанії швидше, ніж хтось встигає це помітити, і має повноваження, яких йому ніхто не надавав.

Проблеми швидкодії та видимості можна розв’язати, якщо системи безпеки, що регулюють роботу ШІ, будуть детермінованими й зможуть точно перевіряти та відстежувати кожного агента зі швидкістю, з якою він працює.

Для рад директорів і керівників із безпеки це зводиться до трьох практичних запитань: чи знаємо ми про кожного агента, що працює в нашому середовищі; чи має кожен із них відповідальну особу та чітко визначені межі; і чи можемо ми зупинити несанкціоновану дію до її виконання? Допомагаючи клієнтам усунути ці практичні прогалини, постачальники послуг із кібербезпеки можуть зробити для стійкості значно більше, ніж продаючи страх перед гіпотетичним майбутнім.