Sandy Dunn, CISO у SPLX – Інтерв’ю Серія

Sandy Dunn, CISO у SPLX – ветеран CISO з більш ніж 20-річним досвідом у сфері охорони здоров’я та стартапів, що надає консультації CISO через QuarkIQ. Вона очолює OWASP Top 10 для LLM Applications Cybersecurity і Governance Checklist та внесла свій внесок у OWASP AI Exchange, OWASP Top 10 для LLM та Cloud Security Alliance. Як ад’юнкт-професор з кібербезпеки в Університеті штату Бойсе, вона також є частим доповідачем, радником та членом ради Інституту з розповсюдженої кібербезпеки. Sandy має ступінь магістра з управління інформаційною безпекою в SANS та численні сертифікації, включаючи CISSP, кілька сертифікацій SANS GIAC, Security+, ISTQB та FAIR.

SPLX – це компанія з кібербезпеки, яка надає захист від кінця до кінця для систем штучного інтелекту через автоматизоване червоне командування, захист у режимі реального часу, управління, усунення загроз, перевірку загроз та безпеку моделей. Її платформа запускає тисячі симуляцій противника за менш ніж годину, щоб визначити уразливості, зміцнює системні підказки до розгортання та включає Agentic Radar, інструмент з відкритим кодом для картографування та аналізу ризиків у багатоцільових потоках штучного інтелекту.

Що спочатку привернуло вас до перетину штучного інтелекту та кібербезпеки, і як цей шлях привів вас до вашої ролі у SPLX та участі у OWASP?

Штучний інтелект уже кілька років був частиною розмов про кібербезпеку до появи ChatGPT, але часто здавалося, що він не виправдав очікувань. Тому, коли він вийшов, я очікував бути розчарованим, але замість цього мав зовсім протилежну реакцію. Коли я вперше використав ChatGPT, я був одночасно вражений тим, що він міг робити, і страшно подумав, як швидко його можна було використати для противницьких атак або порушення приватності. Ця мить запалила вогонь. Я занурився у LLM головою, читав кожну наукову статтю, яку міг знайти, вступав до кожної відповідної спільноти Slack і Discord, і проводив свої власні експерименти. Я приховувався деякий час у каналі OWASP Top 10 для LLM, і коли був опублікований перший список, я знав, що це був важливий рубіж. Але як CISO, я відчував, що команди безпеки потребують більшої інформації. Ми сказали людям, про що їм потрібно турбуватися, але не сказали їм, що робити. Я звернувся до Стіва Вілсона, керівника проекту, щодо створення “Переліку безпеки CISO для LLM”. Потім це стало першим субпроектом OWASP GenAI, який надихнув багато додаткових субпроектів.

Через цю роботу я зустрів Крістіана Камбера та Анте Гойсаліча (засновників SPLX), а також радив численним стартапам з безпеки штучного інтелекту, деяким з яких були перспективні ідеї, деяким – менше. На той час я був CISO в компанії B2B-чату, створюючи розгорнуту книгу правил тестування на противника штучного інтелекту. Коли я побачив демонстрацію SPLX, я відразу ж визнав, що вони вирішили саме ту проблему, з якою я боролся: як оперативно протестувати на противника. Коли SPLX потребував CISO, я схопився за можливість стати частиною фантастичної компанії з неймовірними людьми, які розв’язують важливі завдання.

Як CISO у SPLX, які найновіші методи атак ви розкриваєте, особливо щодо агентських штучного інтелекту?

Через нюанси конструкції системи Генеративного штучного інтелекту неможливо усунути уразливості та атаки Генеративного штучного інтелекту, які використовують автономність та можливості агента. Атаки на отруєння пам’яті, такі як MINJA, є недавнім прикладом цього. З MINJA атакувальники можуть тонко забруднити банки пам’яті агента через виготовлені взаємодії, імплантувати шкідливі “спогади” з результатами у вигляді вводу поведінки пізніше. Іншим прикладом є атака “Ехо-камери”. Це відбувається, коли противник створює розмовні петлі, надсилаючи агенту повторюваний шкідливий контекст. Дослідники змогли обійти механізми безпеки, посилюючи шкідливі інструкції за кілька кроків.

Іншим прикладом є непряме та міжмодальне введення підказок. Шкідливі інструкції ховаються в зовнішньому контенті, таких як зображення чи документи, які споживають агенти. Ці інструкції можуть захопити автономні рішення без прямого вводу від користувача.

Софістиковані атаки на екосистему штучного інтелекту, такі як отруєння інструментів, вимагають ретельного огляду всього ланцюга постачання для розгортання агентів штучного інтелекту. Атакувальники створюють інструменти, які здаються легітимними для платформ агентів, але вкладають шкідливі інструкції в описи інструментів та документацію. Коли агенти завантажують ці інструменти, вкладені інструкції стають частиною контексту агента, що дозволяє виконувати несанкціоновані дії, такі як витік даних або компрометація системи.

Як платформа SPLX допомагає організаціям виявляти та реагувати на загрози, специфічні для LLM, такі як введення підказок або атаки на втечу з тюрми?

SPLX – це платформа безпеки від кінця до кінця, яка захищає програми, що працюють на LLM, та багатокомпонентні системи на всіх етапах життєвого циклу штучного інтелекту, від розробки до розгортання та експлуатації в режимі реального часу. Наш захист у режимі реального часу від штучного інтелекту призначений для зупинки цих загроз під час їх виникнення шляхом безперервного моніторингу та фільтрації входів та виходів. Він діє як брандмауер у режимі реального часу для штучного інтелекту та забезпечує суворі поведінкові межі для штучного інтелекту. Динамічний механізм виявлення SPLX сигналізує про шкідливу діяльність у режимі реального часу, забезпечуючи, щоб системи штучного інтелекту реагували безпечно та залишалися в межах передбаченого.

Оновлений GenAI Security Top 10 від OWASP розширює ключові ризики, такі як витік системних підказок та уразливості векторно-баз даних. Як ці нові загрози відображають еволюцію противницького ландшафту?

Оновлення OWASP Top 10 для 2025 року відображають еволюцію розуміння того, як мови моделювання та генеративний штучний інтелект використовуються в реальних сценаріях. Важливо зазначити, що існує набагато більше ніж десять загроз LLM, але мета полягає в тому, щоб визначити перші десять. Великі зміни полягають у тому, що LLM07 Небезпечний дизайн плагіна був включений до ланцюга постачання, а LLM010 Витік моделі був включений до необмеженого споживання для списку 2025 року, що створило місце для додавання:

1. Витік системних підказок, який визначає загрозу розкриття системної підказки, яка може розкрити обмежувальні конструкції, логічні потоки або навіть секрети, вкладені в підказки LLM.

2. Уразливості векторно-баз даних, які сигналізують про потенційні проблеми безпеки в системах RAG, таких як витік даних між орендарями, інверсія вкладення або отруєння документів, які пізніше призводять до небезпечних виходів.

3. Оновлення показують, що атаки, орієнтовані на штучний інтелект, еволюціонують від виготовлених можливих атак на підказки до складних атак, спрямованих на весь ланцюг постачання штучного інтелекту. Сучасні атаки демонструють стратегічне мислення всього штучного інтелекту, зосереджуючись на стійкості, масштабі та системному впливі, а не на окремих експлойтах.

Розширений охват агентських архітектур визнає ще одну критичну розробку. Коли системи штучного інтелекту набувають більшої автономності та можливостей прийняття рішень, потенційні наслідки порушень безпеки множаться експоненціально. Зниження рівня нагляду людини при одночасному забезпеченні більш потужних застосунків має компаундовий ефект, який посилює вплив успішних атак.

На вашу думку, які найчастіше непомічені уразливості існують у підприємствах, які розгортають агентський штучний інтелект сьогодні?

Найчастіше непоміченою проблемою є та сама проблема, з якою ми стикаємося при традиційних програмних та системних розгортаннях, принцип мінімальних привілеїв. Ми все ще боремося з мінімальними привілеями для людей та сервісних облікових записів, а тепер організації стикаються з новим викликом – управління немісцевими ідентифікаторами (NIH). Люди розгортають агентів, тоді як ідентифікатори та доступ агентів ще не повністю зрозумілі чи вирішені. Ми бачимо агентів, яким надані широкі повноваження на читання документів, доступ до зовнішніх API та навіть зміну систем. Це не технічна помилка у самій моделі, це фундаментальна архітектурна помилка. Скompрометований агент з надмірними привілеями може спричинити велику шкоду, від витоку величезної кількості даних до ініціювання фінансових транзакцій.

Іншою часто пропущеною або проігнорованою проблемою є “довіра” між агентами. У агентських системах агенти часто розробляються для спілкування та співробітництва один з одним. Ми бачимо новий клас атак, при яких скомпрометований агент може видавати себе за легітимний, фактично ставши “Агентом у середині”. Це подібно до троянського коня, але на архітектурному рівні.

Можете пояснити дієві кроки, які команди безпеки підприємств повинні зробити при розгортанні інструментів агентського штучного інтелекту у виробничих середовищах?

1. Почніть з планів реагування на інциденти. Як виглядає найгірший день, а потім працюйте у зворотному напрямку, щоб забезпечити наявність засобів безпеки та видимості. Коли відбувається порушення безпеки штучного інтелекту, ваш центр операцій з безпеки потребує сценарію. Хто буде повідомлений? Як ви ізолюєте скомпрометований агент? Який процес повернення до відомого доброго стану? Мати план до кризи дуже важливо.

2. Інвентаризація поверхні атак та оцінка загроз. Ви не можете захистити те, чого не знаєте. Перший крок – отримати повний інвентар усіх агентів штучного інтелекту, інструментів у використанні та доступу до даних. Які дані він торкається? Які повноваження у нього є? Який потенційний вплив, якщо його скомпрометують? Пріоритезуйте високі ризики та найбільш імовірні загрози. Потім проведіть чесну розмову з виконавчою командою про апетит до ризику. Перевага прискореної діяльності штучного інтелекту полягає в тому, що CISO, офіцери з ризику, юридичні команди та виконавчі керівники будуть змушені провести справжню розмову про бізнес-цілі, апетит до ризику та бюджет безпеки. Історично існувало очікування відсутності інцидентів при мінімальному бюджеті. CISO мали (в основному) змогу уникнути великого інциденту, реалізовуючи достатньо безпеки, щоб зробити свою організацію менш привабливою, ніж організація з меншою безпекою. Забезпечені противниками штучний інтелект робить цю стратегію нереалістичною зараз.

3. Реалізуйте обмежувачі, мінімальні привілеї та засоби моніторингу. Обсяг важливий для будь-яких розгортань агентів. Визначте мету агента, його межі та повноваження. Не надавайте агенту доступ до всієї вашої бібліотеки SharePoint, якщо йому потрібна лише одна папка. Реалізуйте контролі, які обмежують, які API він може викликати та які дії він може виконувати. Подумайте про це, як про нового, дуже розумного, п’яного стажера. Ви визнаєте, що він має неймовірні можливості, але вам не довіряєте. Ви обмежите те, що він може робити всередині компанії, вам не дозволите йому доступ до будь-якої важливої інформації, ви будете моніторити те, що він робить, і вам, можливо, будуть потрібні сигналізаційні системи, якщо він спробує зробити щось, чого він абсолютно не повинен робити, наприклад, доступ до офісу генерального директора.

4. Реалізуйте стек безпеки, специфічний для штучного інтелекту, який зливається з вашим традиційним стеком безпеки. Традиційні засоби безпеки не були розроблені для систем Генеративного штучного інтелекту або агентських систем. Вам потрібно реалізувати засоби, розроблені для проблем, специфічних для Генеративного штучного інтелекту, таких як валідация підказок, санітарна обробка виходів та безперервний моніторинг поведінки агентів. Ці засоби повинні бути能够 виявляти тонкі, семантичні атаки, специфічні для Генеративного штучного інтелекту та агентських систем.

5. Інтегруйте червоне командування штучного інтелекту у ваш ланцюг CI/CD. Вам потрібно безперервно тестувати агентів на уразливості на основі значимості змін та апетиту організації до ризику. Недавнє оновлення GPT-5 є прикладом того, як деструктивні зміни можуть бути у робочих потоках агентів. Зробіть автоматичне червоне командування核心ною частиною вашого життєвого циклу розробки. Це допоможе вам виявити проблеми під час оновлення та зміни агентів.

Як організації повинні включати автоматичне червоне командування, CIAM, управління RAG та моніторинг до своєї стратегії управління ризиками Генеративного штучного інтелекту?

Ключем є інтеграція, а не лікування їх як окремих ініціатив. Ваша стратегія управління ризиками Генеративного штучного інтелекту повинна бути суцільною рамкою, в якій кожна складова підтримує інші.

Почніть з автоматичного червоного командування як основи. Важливо мати безперервне противницьке тестування, яке еволюціонує з ландшафтом загроз. Платформа SPLX симулює тисячі сценаріїв атак за різними категоріями ризику, тестуючи на введення підказок, втечу з тюрми, маніпуляцію контекстом та отруєння інструментів. Критичною є частина цього ланцюга CI/CD, щоб кожне оновлення агента було валідованим з точки зору безпеки до розгортання.

CIAM для систем штучного інтелекту вимагає переосмислення традиційних моделей ідентифікації. Агентам штучного інтелекту потрібні гранульовані повноваження, які можна динамічно регулювати на основі контексту та рівнів ризику. Реалізуйте атрибутний контроль доступу, який розглядає не тільки ідентифікатор агента, але також дані, які він обробляє, інструменти, до яких він запитує доступ, та контекст загрози.

Управління RAG особливо важливе. Застосуйте відстежування лінії даних для всіх даних, що споживаються векторними сховищами. Реалізуйте трубопроводи валідации контенту, які можуть виявити противницькі приклади або шкідливі інструкції, вкладені в документи.

Для моніторингу вам потрібно телеметрія, яка захоплює як технічні, так і поведінкові індикатори. Технічний моніторинг включає аналіз входів/виходів, моделі викликів API та споживання ресурсів. Поведінковий моніторинг зосереджується на якості прийняття рішень, моделях завершення завдань та контекстах взаємодії, які можуть вказувати на компрометацію.

Інтеграція важлива. Результати червоного командування повинні інформувати політики CIAM, системи моніторингу повинні повертатися до процесів управління RAG, і все це повинно координуватися через централізовану корпоративну платформу управління ризиками, яка може корелювати сигнали через усі ці області.

З урахуванням того, що порушення безпеки, пов’язані з штучним інтелектом, ще на ранній стадії, але готуються до зростання, які тенденції керівники безпеки повинні готуватися до протягом наступних 12-18 місяців?

Я очікую значного ескалації атак на ланцюг постачання, спрямованих на все, включаючи інфраструктуру штучного інтелекту. Атаки на ланцюг постачання штучного інтелекту отруюють навчальні набори даних, компрометують репозиторії моделей або вкладають шкідливий код у залежності програмного забезпечення, щоб отримати постійний доступ до систем штучного інтелекту.

Вже спостерігається зростання автономної соціальної інженерії, chẳng hạn як інциденти deepfake vishing, але еволюція до повністю автономної генерації є тим, що мене турбує найбільше. Агенти штучного інтелекту, які обробляють повністю соціальні інженерні кампанії на кількох платформах одночасно, кожна з яких адаптована до конкретних цілей і контекстів, створюють ефект множника, який традиційні захисти не готові до протидії.

Я вважаю, що ми побачимо зростання атак, родних для штучного інтелекту, які діють на швидкості машини. Традиційні засоби безпеки та людські аналітики не можуть впоратися з атакувальником, який може виконувати складні, багатокрокові експлойти за мілісекунди.

Як ви передбачаєте еволюцію нормативних та правових рамок у відповідь на ризики генеративного штучного інтелекту?

Я передбачаю значну зміну нормативних рамок, спрямовану на баланс інновацій з акцентом на підзвітності, прозорості, безпеці розробки та безпеці ланцюга постачання.

Я очікую акцент на походженні та цілісності даних. Регуляторні органи будуть хотіти знати, звідки походять дані, використані для навчання та доповнення моделей штучного інтелекту. Вони будуть хотіти побачити докази того, що дані були саніфіковані, що вони не містять конфіденційних відомостей і що їх не отруїли.

Нарешті, я думаю, що ми побачимо секторально-специфічні регуляції. Ризики для фінансової установи, яка використовує агент штучного інтелекту для обробки транзакцій, відрізняються від ризиків компанії охорони здоров’я, яка використовує його для діагностики.

Регулятори почнуть визначати конкретні стандарти для критичних галузей, вимагаючи таких речей, як автоматичне червоне командування, нагляд людини та суворі аудити для систем штучного інтелекту, які можуть мати життєво-важливі наслідки.

Як ад’юнкт-професор та член ради Інституту з розповсюдженої кібербезпеки університету штату Бойсе, як ви готуєте наступне покоління фахівців з безпеки штучного інтелекту, і які навички ви вважаєте найкритичнішими у сучасному динамічному ландшафті?

Критичне мислення та вирішення проблем все ще є найважливішими навичками, яких студентам потрібно для великої кар’єри в сфері кібербезпеки, але навички, такі як психологія людини та лінгвістика, які раніше зустрічалися лише в командах кібер-розвідки, будуть корисними для різноманітних ролей у сфері кібербезпеки в майбутньому штучного інтелекту.

Навички людей та комунікації також важливі. Кібербезпека – це не тільки ІТ-системи, це питання людей, допомога бізнесу досягти своїх цілей, та можливість перекладати та комунікувати складні технічні ризики нектехнічним зацікавленим сторонам, щоб вони могли приймати правильні рішення для компанії. Майбутнє кібербезпеки буде залежати від фахівців, які не тільки технічно розумні, але також практичні та володіють комунікаційними навичками.

Нарешті, ландшафт безпеки штучного інтелекту розвивається так швидко, що буде важливо вміти швидко вивчати та адаптуватися.

Дякую за велике інтерв’ю та детальний огляд, читачам, які бажають дізнатися більше, слід відвідати SPLX.