Кіран Нортон, лідер кібербезпеки Deloitte США – Серія інтерв’ю

Кіран Нортон – партнер (партнер) у Deloitte & Touche LLP, є лідером кібербезпеки США та автоматизації штучного інтелекту в Deloitte. З більш ніж 25-річним досвідом та солідним технічним фоном, Кіран успішно займається питаннями виникнення ризиків, надаючи клієнтам стратегічні та практичні поради щодо кібербезпеки та управління ризиками технологій.

У межах Deloitte, Кіран очолює зусилля з трансформації штучного інтелекту для практики кібербезпеки США. Він керує розробкою, впровадженням та ринковим введенням рішень штучного інтелекту та автоматизації, допомагаючи клієнтам підвищити свої можливості у сфері кібербезпеки та впроваджувати технології штучного інтелекту, ефективно керуючи пов’язаними ризиками.

Зовнішньо, Кіран допомагає клієнтам у розвитку традиційних стратегій безпеки для підтримки цифрової трансформації, модернізації ланцюгів постачання, прискорення виходу на ринок, зниження витрат та досягнення інших критичних бізнес-цілей.

Як нові категорії кібербезпеки з’являються з появою автономних агентів штучного інтелекту, яких бізнес ще не повністю розуміє?

Ризики, пов’язані з використанням нових технологій штучного інтелекту для розробки, будівництва, впровадження та управління агентами, можуть бути зрозумілі – операціоналізація є іншою справою.

Агентство та автономія агентів штучного інтелекту – можливість агентів сприймати, приймати рішення, діяти та діяти незалежно від людей – можуть створити проблеми з підтриманням видимості та контролю над відносинами та взаємодією моделей/агентів з користувачами, даними та іншими агентами. Коли агенти продовжують множитися в межах підприємства, поєднуючи численні платформи та служби з підвищеною автономією та правами прийняття рішень, це стане все більш складним. Ризики, пов’язані з погано захищеними, надмірними або тіньовими агентами/автономією, численні. Це може включати витік даних, маніпуляцію агентами (через ін’єкцію запитів тощо) та ланцюги атак агент-агент. Не всі ці загрози присутні зараз, але підприємства повинні подумати, як вони будуть керувати цими ризиками під час впровадження та вдосконалення можливостей штучного інтелекту.

Управління ідентифікацією штучного інтелекту є ще одним ризиком, який слід ретельно розглянути. Ідентифікація, встановлення та управління ідентифікацією машин агентів штучного інтелекту стануть більш складними, оскільки все більше агентів буде розгорнуто та використано в підприємствах. Ефемерна природа моделей/компонентів моделей, які створюються та знищуються повторно під різними обставинами, призведе до проблем у підтриманні цих ідентифікаторів моделей. Ідентифікатори моделей потрібні для моніторингу діяльності та поведінки агентів з точки зору безпеки та довіри. Якщо вони не будуть впроваджені та відстежені належним чином, виявлення потенційних проблем (продуктивності, безпеки тощо) буде дуже складним.

Як сильно нам слід турбуватися про атаки на отруєння даних у навчальних потоках штучного інтелекту, і які є найкращими стратегіями запобігання?

Отруєння даних представляє одну з декількох способів впливу/маніпуляції моделями штучного інтелекту в життєвому циклі розробки моделі. Отруєння зазвичай відбувається, коли зловмисник вводить шкідливі дані у навчальний набір. Однак важливо зауважити, що крім явних ворогів, отруєння даних може відбуватися через помилки або системні проблеми у генерації даних. Коли організації стають більш голодними до даних і шукають корисні дані в більш місцях (наприклад, аутсорсинг ручної анотації, придбані або згенеровані синтетичні набори даних тощо), можливість випадкового отруєння навчальних даних зростає і не завжди легко діагностується.

Націлювання на навчальні потоки є основним вектором атаки, який використовується ворогами для як явної, так і прихованої впливу. Маніпуляція моделями штучного інтелекту може привести до результатів, які включають хибні позитиви, хибні негативи та інші більш тонкі приховані впливи, які можуть змінити передбачення штучного інтелекту.

Стратегії запобігання включають технічні, процедурні та архітектурні рішення. Процедурні стратегії включають валідацию/санітарну обробку даних та оцінку довіри; технічні стратегії включають використання засобів безпеки з техніками штучного інтелекту, такими як федеративне навчання; архітектурні стратегії включають впровадження нульової довіри та впровадження потужного моніторингу/оповіщення, яке може полегшити виявлення аномалій. Ці моделі є такими ж хорошими, як і їхні дані, навіть якщо організація використовує останні та найкращі інструменти, тому отруєння даних може стати ахіллесовою п’яти для тих, хто не готовий.

Як зловмисники можуть маніпулювати моделями штучного інтелекту після їхнього розгортання, і як підприємства можуть виявити порушення раніше?

Доступ до моделей штучного інтелекту після розгортання зазвичай досягається через доступ до програмного інтерфейсу прикладного програмування (API), програми через вбудовану систему, і/або через порт-протокол до пристрою на краю мережі. Виявлення раніше вимагає ранньої роботи в життєвому циклі розробки програмного забезпечення (SDLC), розуміння відповідних технік маніпуляції моделями, а також пріоритизованих векторів загроз для розробки методів виявлення та захисту. Деяка маніпуляція моделями включає захоплення API, маніпуляцію просторами пам’яті (час виконання), і повільне/поступове отруєння через дрейф моделі. Ураховуючи ці методи маніпуляції, деякі стратегії раннього виявлення можуть включати використання телеметрії/моніторингу кінцевих точок (за допомогою Endpoint Detection and Response та розширеної системи виявлення та реагування), впровадження безпечних потоків висновків (наприклад, конфіденційного обчислення та принципів нульової довіри), а також можливість водяного знака моделі/підпису моделі.

Введення запитів є сім’єю атак на моделі, які відбуваються після розгортання, і можуть бути використані для різних цілей, включаючи витягування даних ненавмисним чином, розкриття системних запитів, які не призначені для звичайних користувачів, та індукцію реакцій моделі, які можуть поставити організацію в негативному світлі. Є різні інструменти на ринку, які допомагають пом’якшити ризик введення запитів, але, як і в решті кібербезпеки, це гонка озброєння, де техніки атак та оборонні контрзаходи постійно оновлюються.

Як традиційні кадри кібербезпеки не справляються з унікальними ризиками систем штучного інтелекту?

Ми зазвичай асоціюємо “кадри кібербезпеки” з керівництвом та стандартами – наприклад, NIST, ISO, MITRE тощо. Деякі з організацій, які стоять за цими керівництвами, опублікували оновлене керівництво, яке стосується захисту систем штучного інтелекту, яке може бути дуже корисним.

Штучний інтелект не робить ці кадри неефективними – вам все ще потрібно звернутися до усіх традиційних доменів кібербезпеки – те, що вам може знадобитися, це оновлення процесів та програм (наприклад, вашого SDLC), щоб звернутися до нюансів, пов’язаних з навантаженням штучного інтелекту. Вбудовування та автоматизація (де можливо) засобів контролю для захисту від нюансів загроз, описаних вище, є найбільш ефективним та ефективним способом вперед.

На тактичному рівні варто згадати, що повний діапазон можливих входів та виходів часто значно більший, ніж у не-штучно-інтелектуальних додатках, що створює проблему масштабу для традиційного тестування на проникнення та правилних виявлень, звідси акцент на автоматизації.

Які ключові елементи повинні бути включені до стратегії кібербезпеки, спеціально розробленої для організацій, які розгортають генеративний штучний інтелект або великі мовні моделі?

При розробці стратегії кібербезпеки для розгортання генеративного штучного інтелекту або великих мовних моделей (LLM) немає універсального підходу. Багато залежить від загальних бізнес-цілей організації, ІТ-стратегії, галузевої спрямованості, регуляторного сліду, толерантності до ризику тощо, а також конкретних випадків використання штучного інтелекту, які розглядаються. Внутрішній чат-бот лише для використання несе зовсім інший ризиковий профіль, ніж агент, який може вплинути на результати охорони здоров’я пацієнтів, наприклад.

Тим не менш, є фундаментальні речі, які кожна організація повинна звернути увагу:

• Проведіть оцінку готовності – це встановлює базовий рівень поточних можливостей, а також визначає потенційні пробіли з урахуванням пріоритетних випадків використання штучного інтелекту. Організації повинні визначити, де існуючі засоби контролю можуть бути розширені для звернення до нюансів ризиків, пов’язаних з генеративним штучним інтелектом, та необхідність впровадження нових технологій або поліпшення поточних процесів.
• Встановіть процес управління штучним інтелектом – це може бути новим у організації або модифікацією поточних програм управління ризиками. Це повинно включати визначення функцій активації штучного інтелекту на рівні підприємства та залучення зацікавлених сторін з усього бізнесу, ІТ, продукту, ризику, кібербезпеки тощо як частини структури управління. Крім того, визначення/оновлення відповідних політик (політики прийнятного використання, політики безпеки хмар, управління ризиками технологій третіх сторін тощо), а також встановлення вимог до навчання та розвитку для підтримки грамотності штучного інтелекту та безпеки/безпеки штучного інтелекту в організації повинні бути включені.
• Встановіть довірчу архітектуру штучного інтелекту – з розгортанням платформ штучного інтелекту/генеративного штучного інтелекту та експериментальних пісковиків існуючі технології, а також нові рішення (наприклад, брандмауери/безпека часу виконання, охорони, управління життєвим циклом моделі, підвищені можливості управління ідентифікацією тощо) будуть需要уватися для інтеграції у середовища розробки та розгортання у повторюваному та масштабному порядку.
• Поліпшіть SDLC – організації повинні побудувати тісні інтеграції між розробниками штучного інтелекту та командами управління ризиками, які працюють над захистом, безпекою та побудовою довіри до рішень штучного інтелекту. Це включає встановлення уніфікованого/стандартного набору безпечних практик розробки програмного забезпечення та вимог контролю у партнерстві з більш широкими командами розробки та впровадження штучного інтелекту.

Можете пояснити концепцію “брандмауера штучного інтелекту” простими словами? Як він відрізняється від традиційних мережевих брандмауерів?

Брандмауер штучного інтелекту – це шар безпеки, розроблений для моніторингу та контролю входів та виходів систем штучного інтелекту – особливо великих мовних моделей – для запобігання зловживанням, захисту конфіденційних даних та забезпечення відповідної поведінки штучного інтелекту. На відміну від традиційних брандмауерів, які захищають мережі, фільтруючи трафік на основі IP-адрес, портів та відомих загроз, брандмауери штучного інтелекту зосереджуються на розумінні та керуванні взаємодією природною мовою. Вони блокують речі, такі як токсичні вмісти, витік даних, введення запитів та ненавмисне використання штучного інтелекту шляхом застосування політик, контекстно-залежних фільтрів та модельних охорони. По суті, тоді як традиційний брандмауер захищає вашу мережу, брандмауер штучного інтелекту захищає ваші моделі штучного інтелекту та їхні виходи.

Чи існують поточні галузеві стандарти або нові протоколи, які регулюють використання брандмауерів або охорони, специфічних для штучного інтелекту?
Протокол зв’язку моделей (MCP) не є універсальним стандартом, але здобуває популярність у галузі для звернення до зростаючого навантаження конфігурації на підприємствах, які мають потребу керувати різноманітністю рішень генеративного штучного інтелекту. MCP регулює, як моделі штучного інтелекту обмінюються інформацією (включаючи навчання), включаючи цілісність та верифікацію. Ми можемо вважати MCP як стек протоколу передачі керування (TCP)/інтернет-протокол (IP) для моделей штучного інтелекту, який особливо корисний у централізованих, федеративних або розподілених випадках використання. MCP зараз є концептуальним框, який реалізується через різні інструменти, дослідження та проекти.

Простір рухається швидко, і ми можемо очікувати, що він зміниться досить сильно за наступні кілька років.

Як штучний інтелект трансформує область виявлення та реагування на загрози сьогодні порівняно з п’ятьма роками тому?

Ми бачили, як комерційні платформи центрів операцій безпеки (SOC) модернізуються різним чином, використовуючи великі високоякісні набори даних разом з передовими моделями штучного інтелекту/машинного навчання для поліпшення виявлення та класифікації загроз. Крім того, вони використовують автоматизацію, робочий потік та автоматичне виправлення для скорочення часу від виявлення до мінімізації. Крім того, деякі з них ввели функції копілота для подальшої підтримки тріажу та реагування.

Крім того, агенти розробляються для виконання вибраних ролей у центрі операцій безпеки. Як практичний приклад, ми створили цифрового аналітика агента для розгортання в наших власних керованих послугах. Агент служить аналітиком рівня один, тріажем входящих сповіщень, додаванням контексту з джерел загроз та інших джерел, і рекомендуючи кроки реагування (на основі обширної історії випадків) для наших людських аналітиків, які потім переглядають, змінюють при необхідності та приймають дії.

Як ви бачите розвиток відносин між штучним інтелектом та кібербезпекою за наступні 3-5 років – буде штучний інтелект більшим ризиком чи рішенням?
Як штучний інтелект розвивається за наступні 3-5 років, він може допомогти кібербезпеці, але в той же час він також може створити ризики. Штучний інтелект розширить поверхню атаки та створить нові виклики з точки зору захисту. Крім того, вороговий штучний інтелект збільшить життєздатність, швидкість та масштаб атак, що створить подальші виклики. З іншого боку, використання штучного інтелекту в сфері кібербезпеки представляє значні можливості для поліпшення ефективності, ефективності, гнучкості та швидкості кібероперацій у більшості доменів – в кінцевому підсумку створюючи сценарій “боротьби з вогнем за допомогою вогню”.

Дякуємо за велике інтерв’ю, читачам також можна відвідати Deloitte.