Кіран Нортон, керівник відділу кібер-штучного інтелекту та автоматизації Deloitte у США – серія інтерв'ю

Кіран Нортон Директор (партнер) у Deloitte & Touche LLP, є лідером Deloitte у сфері кібернетичного штучного інтелекту та автоматизації у США. Маючи понад 25 років великого досвіду та солідний досвід у сфері технологій, Кіран відмінно справляється з вирішенням нових ризиків, надаючи клієнтам стратегічне та прагматичне розуміння кібербезпеки та управління технологічними ризиками.

В DeloitteКіран очолює зусилля з трансформації штучного інтелекту в американській кіберпрактикі. Він контролює проектування, розробку та впровадження на ринку рішень на основі штучного інтелекту та автоматизації, допомагаючи клієнтам розширювати свої кіберможливості та впроваджувати технології штучного інтелекту/покоління штучного інтелекту, ефективно керуючи пов'язаними з ними ризиками.

Зовні Кіран допомагає клієнтам розвивати їхні традиційні стратегії безпеки для підтримки цифрової трансформації, модернізації ланцюгів поставок, прискорення виходу на ринок, зниження витрат та досягнення інших критично важливих бізнес-цілей.

Зі зростанням автономності агентів штучного інтелекту, які нові категорії кіберзагроз виникають, що бізнес може ще не до кінця розуміти?

Ризики, пов'язані з використанням нових технологій штучного інтелекту для проектування, створення, розгортання та управління агентами, можна зрозуміти, але їхнє впровадження в практиці – це зовсім інша справа.

Агентство та автономія агентів ШІ – здатність агентів сприймати, вирішувати, діяти та працювати незалежно від людей – може створювати проблеми зі збереженням видимості та контролю над взаємовідносинами та взаємодією, які моделі/агенти мають з користувачами, даними та іншими агентами. Оскільки кількість агентів у підприємстві продовжує множитися, з'єднуючи численні платформи та сервіси зі зростаючою автономією та правами на прийняття рішень, це ставатиме дедалі складнішим. Загрози, пов'язані з погано захищеним, надмірним або тіньовим агентством/автономією ШІ, численні. Це може включати витік даних, маніпуляції агентами (шляхом оперативного введення тощо) та ланцюжки атак між агентами. Не всі ці загрози є реальними, але підприємствам слід враховувати, як вони будуть керувати цими загрозами, коли вони впроваджують та розвивають можливості, засновані на ШІ.

Керування ідентифікаторами ШІ – це ще один ризик, який слід ретельно врахувати. Ідентифікація, встановлення та керування ідентифікаторами машин агентів ШІ ставатимуть складнішими, оскільки більше агентів розгортатиметься та використовуватиметься в різних підприємствах. Ефемерна природа моделей/компонентів моделей ШІ, які неодноразово запускаються та ламаються за різних обставин, призведе до проблем із підтримкою цих ідентифікаторів моделей. Ідентифікатори моделей необхідні для моніторингу активності та поведінки агентів як з точки зору безпеки, так і довіри. Якщо їх не впровадити та не контролювати належним чином, виявлення потенційних проблем (продуктивність, безпека тощо) буде дуже складним.

Наскільки нам слід турбуватися про атаки отруєння даних у навчальних конвеєрах ШІ, і які найкращі стратегії запобігання?

Отруєння даних є одним із кількох способів впливу/маніпулювання моделями штучного інтелекту протягом життєвого циклу розробки моделі. Отруєння зазвичай відбувається, коли зловмисник вводить шкідливі дані в навчальний набір. Однак важливо зазначити, що окрім явних супротивників, отруєння даних може виникати через помилки або системні проблеми у генерації даних. Оскільки організації стають більш вимогливими до даних і шукають корисні дані в більшій кількості місць (наприклад, анотації, передані на аутсорсинг вручну, придбані або згенеровані синтетичні набори даних тощо), ймовірність ненавмисного отруєння навчальних даних зростає, і його не завжди легко діагностувати.

Таргетування навчальних конвеєрів – це основний вектор атаки, який використовують зловмисники як для прихованого, так і для явного впливу. Маніпуляції з моделями ШІ можуть призвести до таких результатів, як хибнопозитивні, хибнонегативні та інші більш приховані впливи, які можуть змінити прогнози ШІ.

Стратегії запобігання варіюються від впровадження технічних, процедурних та архітектурних рішень. Процедурні стратегії включають перевірку/очищення даних та оцінку довіри; технічні стратегії включають використання покращень безпеки за допомогою методів штучного інтелекту, таких як федеративне навчання; архітектурні стратегії включають впровадження конвеєрів з нульовою довірою та впровадження надійного моніторингу/сповіщень, які можуть полегшити виявлення аномалій. Ці моделі настільки ж хороші, як і їхні дані, навіть якщо організація використовує найновіші та найкращі інструменти, тому отруєння даних може стати ахіллесовою п'ятою для непідготовлених.

Яким чином зловмисники можуть маніпулювати моделями ШІ після розгортання, і як підприємства можуть виявити втручання на ранній стадії?

Доступ до моделей ШІ після розгортання зазвичай досягається через доступ до інтерфейсу прикладного програмування (API), програми через вбудовану систему та/або через протокол порту до периферійного пристрою. Раннє виявлення вимагає ранньої роботи в життєвому циклі розробки програмного забезпечення (SDLC), розуміння відповідних методів маніпулювання моделлю, а також пріоритетних векторів загроз для розробки методів виявлення та захисту. Деякі маніпуляції моделлю включають захоплення API, маніпулювання просторами пам'яті (середовище виконання) та повільне/поступове отруєння через дрейф моделі. Враховуючи ці методи маніпуляції, деякі стратегії раннього виявлення можуть включати використання телеметрії/моніторингу кінцевих точок (за допомогою виявлення та реагування кінцевих точок та розширеного виявлення та реагування), впровадження безпечних конвеєрів виведення (наприклад, конфіденційні обчислення та принципи нульової довіри) та ввімкнення водяного знаку/підписання моделі.

Швидке впровадження (immediate injection) – це сімейство модельних атак, які відбуваються після розгортання та можуть використовуватися для різних цілей, включаючи вилучення даних непередбачуваним чином, виявлення системних підказок, не призначених для звичайних користувачів, та стимулювання модельних відповідей, які можуть представити організацію в негативному світлі. На ринку існує безліч інструментів захисту, які допомагають зменшити ризик швидкого впровадження, але, як і в решті кіберпростору, це гонка озброєнь, де методи атаки та захисні контрзаходи постійно оновлюються.

Як традиційні системи кібербезпеки не враховують унікальні ризики систем штучного інтелекту?

Зазвичай ми асоціюємо «рамкову систему кібербезпеки» з інструкціями та стандартами, наприклад, NIST, ISO, MITRE тощо. Деякі організації, що стоять за цими інструкціями, опублікували оновлені інструкції щодо захисту систем штучного інтелекту, які можуть бути дуже корисними.

Штучний інтелект не робить ці структури неефективними – вам все одно потрібно враховувати всі традиційні сфери кібербезпеки. Вам може знадобитися оновити свої процеси та програми (наприклад, SDLC), щоб врахувати нюанси, пов’язані з робочими навантаженнями ШІ. Вбудовування та автоматизація (де це можливо) засобів контролю для захисту від описаних вище нюансованих загроз є найефективнішим та найдієвішим шляхом уперед.

На тактичному рівні варто зазначити, що повний спектр можливих вхідних та вихідних даних часто значно більший, ніж у застосунках, що не пов'язані зі штучним інтелектом, що створює проблему масштабування для традиційного тестування на проникнення та виявлення на основі правил, звідси й акцент на автоматизації.

Які ключові елементи слід включити до стратегії кібербезпеки, спеціально розробленої для організацій, що впроваджують генеративний штучний інтелект або моделі з великими мовами програмування?

Під час розробки стратегії кібербезпеки для розгортання GenAI або моделей великих мов програмування (LLM) не існує універсального підходу. Багато що залежить від загальних бізнес-цілей організації, ІТ-стратегії, галузевої спрямованості, регуляторного впливу, толерантності до ризику тощо, а також від конкретних випадків використання ШІ, що розглядаються. Чат-бот лише для внутрішнього використання має зовсім інший профіль ризику, ніж агент, який може вплинути, наприклад, на стан здоров'я пацієнтів.

Тим не менш, є основні принципи, яких повинна дотримуватися кожна організація:

• Проведіть оцінку готовності—це встановлює базову лінію поточних можливостей, а також виявляє потенційні прогалини з урахуванням пріоритетних випадків використання ШІ. Організації повинні визначити, де існують існуючі засоби контролю, які можна розширити для усунення нюансованих ризиків, пов’язаних з GenAI, та необхідності впровадження нових технологій або вдосконалення поточних процесів.
• Встановити процес управління ШІ—це може бути чимось абсолютно новим в організації або модифікацією поточних програм управління ризиками. Це має включати визначення функцій впровадження ШІ в масштабах усього підприємства та залучення зацікавлених сторін з різних бізнес-відділів, ІТ, продукту, ризиків, кібербезпеки тощо як частину структури управління. Крім того, слід включити визначення/оновлення відповідних політик (політик прийнятного використання, політик хмарної безпеки, управління ризиками технологій третіх сторін тощо), а також встановлення вимог до навчання та розвитку для підтримки грамотності у сфері ШІ та безпеки/захисту ШІ в усій організації.
• Створення надійної архітектури штучного інтелекту— із появою платформ штучного інтелекту (AI/GenAI) та експериментальних «пісочниць», існуючі технології, а також нові рішення (наприклад, брандмауери/безпека виконання штучного інтелекту, захисні бар'єри, управління життєвим циклом моделі, розширені можливості IAM тощо) необхідно інтегрувати в середовища розробки та розгортання у повторюваний та масштабований спосіб.
• Покращення SDLC—організаціям слід налагодити тісну інтеграцію між розробниками ШІ та командами з управління ризиками, які працюють над захистом, безпекою та зміцненням довіри до рішень ШІ. Це включає встановлення єдиного/стандартного набору практик безпечної розробки програмного забезпечення та вимог до контролю у партнерстві з ширшими командами розробки та впровадження ШІ.

Чи можете ви пояснити концепцію «брандмауера зі штучним інтелектом» простими словами? Чим він відрізняється від традиційних мережевих брандмауерів?

Брандмауер штучного інтелекту (AI Firewall) – це рівень безпеки, призначений для моніторингу та контролю вхідних і вихідних даних систем штучного інтелекту, особливо великих мовних моделей, з метою запобігання неправильному використанню, захисту конфіденційних даних та забезпечення відповідальної поведінки штучного інтелекту. На відміну від традиційних брандмауерів, які захищають мережі, фільтруючи трафік на основі IP-адрес, портів та відомих загроз, брандмауери штучного інтелекту зосереджені на розумінні та управлінні взаємодією природною мовою. Вони блокують такі речі, як токсичний контент, витік даних, оперативне впровадження та неетичне використання штучного інтелекту, застосовуючи політики, контекстно-залежні фільтри та специфічні для моделі захисні бар'єри. По суті, тоді як традиційний брандмауер захищає вашу мережу, брандмауер штучного інтелекту захищає ваші моделі штучного інтелекту та їхні вихідні дані.

Чи існують якісь чинні галузеві стандарти або нові протоколи, що регулюють використання брандмауерів або захисних екранів, специфічних для штучного інтелекту?
Протокол зв'язку моделей (MCP) не є універсальним стандартом, але набирає обертів у галузі, допомагаючи вирішувати зростаюче навантаження на конфігурації підприємств, яким потрібно керувати різноманітністю рішень AI-GenAI. MCP регулює те, як моделі ШІ обмінюються інформацією (включаючи навчання), включаючи цілісність та перевірку. Ми можемо розглядати MCP як стек протоколу керування передачею (TCP)/інтернет-протоколу (IP) для моделей ШІ, що особливо корисно як у централізованих, так і в федеративних або розподілених випадках використання. MCP наразі є концептуальною основою, яка реалізується за допомогою різних інструментів, досліджень та проектів.

Простір швидко змінюється, і ми можемо очікувати, що він значно зміниться протягом наступних кількох років.

Як ШІ трансформує сферу виявлення та реагування на загрози сьогодні порівняно з тим, як це було лише п'ять років тому?

Ми спостерігали, як платформи комерційних центрів операцій з безпеки (SOC) модернізувалися в різному ступені, використовуючи величезні набори високоякісних даних разом із передовими моделями штучного інтелекту/машинного навчання для покращення виявлення та класифікації загроз. Крім того, вони використовують можливості автоматизації, робочих процесів та автоматичного виправлення, щоб скоротити час від виявлення до усунення наслідків. Нарешті, деякі впровадили можливості другого пілота для подальшої підтримки сортування та реагування.

Крім того, розробляються агенти для виконання окремих ролей у SOC. Як практичний приклад ми створили «Цифровий аналітик» агент для розгортання в нашій власній пропозиції керованих послуг. Агент виконує роль аналітика першого рівня, сортуючи вхідні сповіщення, додаючи контекст з розвідки про загрози та інших джерел, а також рекомендуючи кроки реагування (на основі великої історії випадків) для наших аналітиків-людей, які потім переглядають, за потреби вносять зміни та вживають заходів.

Як ви бачите розвиток взаємозв'язку між штучним інтелектом та кібербезпекою протягом наступних 3–5 років — чи буде ШІ радше ризиком чи рішенням?
У міру розвитку штучного інтелекту протягом наступних 3-5 років він може допомогти в кібербезпеці, але водночас може створювати ризики. ШІ розширить поверхню атаки та створить нові виклики з оборонної точки зору. Крім того, ворожий ШІ збільшить життєздатність, швидкість та масштаб атак, що створить подальші виклики. З іншого боку, використання ШІ в бізнесі кібербезпеки відкриває значні можливості для підвищення ефективності, результативності, гнучкості та швидкості кібероперацій у більшості сфер, що зрештою створює сценарій «боротьби вогнем з вогнем».

Дякую за чудове інтерв'ю, читачі також можуть захотіти відвідати Deloitte.