Сенді Данн, CISO в SPLX – Інтерв’ю Серія

Сенді Данн, CISO в SPLX є ветераном CISO з більш ніж 20-річним досвідом у сфері охорони здоров’я та стартапів, що надає консультаційні послуги з питань CISO через QuarkIQ. Вона очолює список OWASP Top 10 для застосунків LLM Cybersecurity і Governance Checklist і бере участь у розробці OWASP AI Exchange, OWASP Top 10 для LLM та Cloud Security Alliance. Як ад’юнкт-професор кібербезпеки в Університеті штату Бойсе, вона також є частим доповідачем, радником і членом ради Інституту повсюдної кібербезпеки цього університету. Сенді має ступінь магістра з управління інформаційною безпекою в SANS та численні сертифікати, включаючи CISSP, кілька сертифікатів SANS GIAC, Security+, ISTQB та FAIR.

SPLX – це компанія з кібербезпеки, яка надає захист для систем штучного інтелекту через автоматизоване червоне командування, захист у режимі виконання, управління, ліквідацію наслідків, перевірку загроз та безпеку моделей. Її платформа проводить тисячі симуляцій атак протягом менше однієї години для виявлення уразливостей, укріплює системні запити до розгортання та включає Agentic Radar, відкритий інструмент для картографування та аналізу ризиків у багатозадачних потоках штучного інтелекту.

Що спочатку привернуло вас до перетину штучного інтелекту та кібербезпеки, і як цей шлях привів вас до вашої ролі в SPLX та участі в OWASP?

Штучний інтелект уже кілька років був частиною розмов про кібербезпеку, але часто здавалося, що він не виправдав очікувань. Тому, коли вийшов ChatGPT, я очікував бути розчарованим, але замість цього мав абсолютно протилежну реакцію. Коли я вперше використав ChatGPT, я був одночасно вражений тим, що він міг зробити, і переляканий тим, як швидко він міг бути використаний для атак або порушення приватності. Ця мить запалила вогонь. Я занурився у дослідження LLM, читав кожну наукову роботу, яку міг знайти, вступив до кожної відповідної спільноти Slack і Discord, і проводив свої власні експерименти. Я спостерігав за каналом OWASP Top 10 для LLM протягом деякого часу, і коли був опублікований перший список, я знав, що це важлива віхова подія. Але як CISO, я відчував, що командам з безпеки потрібно більше інформації. Ми сказали людям, про що їм потрібно турбуватися, але не сказали їм, що робити. Я звернувся до Стіва Вілсона, керівника проекту, з пропозицією створити “Перевірний список безпеки LLM для CISO”. Потім це стало першим субпроектом OWASP GenAI, який надихнув на створення багатьох інших субпроектів.

Через цю роботу я познайомився з Крістіаном Камбером і Анте Гойсаліком (засновниками SPLX), і також консультував численні стартапи з безпеки штучного інтелекту, деякі з яких мали перспективні ідеї, а деякі – ні. На той момент я був CISO в компанії, що створювала чат-боти для бізнесу, і розробляв великий план тестування штучного інтелекту на витривалість. Коли я побачив демонстрацію SPLX, я одразу ж визнав, що вони вирішили саме ту проблему, з якою я боролися: як оперативно проводити тестування на витривалість. Коли SPLX потребував CISO, я схвально прийняв можливість стати частиною компанії, яка складається з неймовірних людей і розв’язує важливі завдання.

Як CISO в SPLX, які найновітніші методи атак ви виявляєте, особливо щодо агентських штучних інтелектів?

Через нюанси конструкції систем генерації штучного інтелекту неможливо усунути уразливості та атаки, які використовують автономність і можливості агентів. Атаки типу “Отруєння пам’яті”, наприклад MINJA, – це недавній приклад цього. З MINJA атакувальники можуть тонко зіпсувати банки пам’яті агента через спеціально створені взаємодії, імплантуючи шкідливі “спогади” за допомогою запитів, що призводять до введення в оману чи небезпечної поведінки пізніше. Іншим прикладом є атака “Резонансна камера”. Це відбувається, коли противник створює розмовні петлі, надсилаючи агенту повторюваний шкідливий контекст. Дослідники змогли обійти механізми безпеки, посилюючи шкідливі інструкції протягом кількох кроків.

Іншим прикладом є непряме та міжмодальне введення запитів. Шкідливі інструкції ховаються в зовнішньому контенті, наприклад у зображеннях чи документах, які споживають агенти. Ці інструкції можуть захопити автономні рішення без прямого введення від користувача.

Складні атаки на екосистему штучного інтелекту, такі як отруєння інструментів, потребують ретельного огляду всього ланцюга постачання для розгортання агентів штучного інтелекту. Атакувальники створюють інструменти, що здаються законними, для платформ агентів, але вкладають шкідливі інструкції в описи інструментів та документацію. Коли агенти завантажують ці інструменти, вкладені інструкції стають частиною контексту агента, що дозволяє виконувати необґрантовані дії, такі як витік даних чи компрометація системи.

Як платформа SPLX допомагає організаціям виявляти та реагувати на загрози, специфічні для LLM, такі як введення запитів чи атаки на втечу?

SPLX – це платформа безпеки, що забезпечує захист для застосунків, які використовують LLM, та багатозадачних систем штучного інтелекту на всіх етапах життєвого циклу штучного інтелекту, від розробки до розгортання та реального часу. Наш захист у режимі виконання призначений для зупинки цих загроз під час їх виникнення шляхом безперервного моніторингу та фільтрації входів і виходів. Він діє як брандмауер у режимі реального часу для штучного інтелекту та забезпечує суворі поведінкові межі для штучного інтелекту. Динамічний механізм виявлення SPLX позначає шкідливу діяльність у режимі реального часу, забезпечуючи, щоб системи штучного інтелекту реагували безпечно та залишалися в межах передбачених меж.

Як оновлений список OWASP GenAI Security Top 10 розширює ключові ризики, такі як витік системних запитів та уразливості баз даних векторів?

Оновлення списку OWASP Top 10 для 2025 року відображає еволюцію нашого розуміння того, як технології генерації штучного інтелекту використовуються в реальних сценаріях. Важливо зазначити, що існує багато більше ніж десять загроз для LLM, але мета полягає в ідентифікації десяти найважливіших. Найбільші зміни полягають у тому, що LLM07 “Небезпечний дизайн плагінів” був включений до ланцюга постачання, а LLM010 “Викрадення моделі” був включений до необмеженого споживання для списку 2025 року, що створило місце для таких нових пунктів:

1. Витік системних запитів, який ідентифікує загрозу розкриття системних запитів, що може розкрити обмежувачі, логічні потоки чи навіть секрети, вкладені в запити LLM.

2. Уразливості баз даних векторів, які позначають потенційні проблеми безпеки в системах RAG, таких як витік даних між клієнтами, інверсія вкладень чи отруєння документів, які пізніше призводять до небезпечних виходів.

3. Оновлення показують, що атаки, спрямовані на штучний інтелект, еволюціонують від спеціально створених атак на запити до складних атак, спрямованих на весь ланцюг постачання штучного інтелекту. Сучасні атаки демонструють стратегічне мислення щодо всієї системи штучного інтелекту, зосереджуючись на тривалості, масштабі та системному впливі, а не на окремих експлойтах.

Розширення покриття агентських архітектур визнає ще одну критичну розробку. Коли системи штучного інтелекту набувають більшої автономності та можливостей прийняття рішень, наслідки безпеки помножуються експоненціально. Зниження рівня людського нагляду, одночасно дозволяючи більш потужні застосування, має складний ефект, який посилює вплив вдалих атак.

На вашу думку, які найчастіше непомічені уразливості існують у підприємствах, які розгортають агентський штучний інтелект сьогодні?

Найчастіше непоміченою проблемою є та сама проблема, з якою ми стикаємося при традиційних програмах та системах – принцип мінімальних привілеїв. Ми все ще боремося з мінімальними привілеями для людських користувачів та сервісних облікових записів, а тепер організації стикаються з новим викликом – управління нелюдськими ідентифікаторами (NIH). Люди розгортають агентів, тоді як ідентифікація та доступ агентів ще не повністю зрозумілі чи вирішені. Ми бачимо, як агентам надаються широкі повноваження на читання документів, доступ до зовнішніх API та навіть зміну систем. Це не технічна вада моделі сама по собі, а фундаментальна архітектурна помилка. Скompрометований агент з надмірними привілеями може завдати великої шкоди, від витоку величезної кількості даних до ініціювання фінансових транзакцій.

Іншою часто пропущеною або проігнорованою проблемою є “довірчі відносини” між агентами. У системах агентів агенти часто проектуються для спілкування та співробітництва один з одним. Ми бачимо новий клас атак, при яких скомпрометований агент може видавати себе за законний, фактично ставши “Агентом у центрі”. Це подібно до троянського коня, але на архітектурному рівні.

Можете розповісти про дієві кроки, які команди безпеки підприємств повинні виконувати при розгортанні інструментів агентського штучного інтелекту у виробничих середовищах?

1. Почніть з планів реагування на інциденти. Як виглядає найгірший день, а потім працюйте назад, щоб забезпечити наявність засобів безпеки та видимості. Коли відбувається порушення безпеки штучного інтелекту, ваш центр операцій з безпеки потребує плану дій. Хто буде повідомлений? Як ви ізолюєте скомпрометованого агента? Який процес для повернення до відомого доброго стану? Майте план до того, як виникне криза.

2. Інвентаризація поверхні атак та оцінка загроз. Ви не можете захистити те, чого не знаєте. Перший крок – отримати повний інвентар усіх агентів штучного інтелекту, інструментів, що використовуються, та доступу до даних. Які дані він торкається? Які повноваження він має? Який потенційний вплив, якщо він буде скомпрометований? Приоритезуйте за високим впливом та найбільш ймовірними загрозами. Потім проведіть відкриту розмову з виконавчою командою про апетит до ризику. Перевага прискореної діяльності штучного інтелекту полягає в тому, що CISO, офіцери з ризику, юридичні команди та виконавчі керівники будуть змушені провести справжню розмову про бізнес-цілі, апетит до ризику та бюджет безпеки. Історично існувало очікування відсутності інцидентів при мінімальному бюджеті. CISO мали (в основному) змогу уникнути великого інциденту, реалізовуючи достатньо безпеки, щоб зробити свою організацію менш привабливою ціллю, ніж організація з меншою безпекою. Атакувальники, що використовують штучний інтелект, роблять цю стратегію нереалістичною зараз.

3. Реалізуйте обмежувачі, мінімальні привілеї та інструменти моніторингу. Обсяг важливий для будь-яких розгортань агентів. Визначте мету агента, його межі та повноваження. Не надавайте агенту доступ до всієї вашої бібліотеки SharePoint, якщо йому потрібна лише одна папка. Реалізуйте засоби контролю, які обмежують, які API він може викликати та які дії він може виконувати. Подумайте про це, як про нового, дуже розумного, п’яного стажера. Ви визнаєте, що він має неймовірні можливості, але вам не довіряєте. Ви б обмежили те, що він міг би зробити всередині компанії, ви б не давали йому доступ до чогось важливого, ви б моніторили те, що він робить, і ви, можливо, мали б системи попередження, якщо він спробував би зробити щось, чого він абсолютно не повинен був робити, наприклад, доступ до офісу генерального директора.

4. Реалізуйте стек безпеки, специфічний для штучного інтелекту, який поєднується з вашим традиційним стеком безпеки. Традиційні засоби безпеки не були розроблені для систем генерації штучного інтелекту чи агентських систем. Вам потрібно реалізувати інструменти, розроблені для проблем, специфічних для генерації штучного інтелекту, таких як валідування запитів, санітарна обробка виходів та безперервний моніторинг поведінки агентів. Ці інструменти повинні бути здатні виявляти тонкі, семантичні атаки, специфічні для генерації штучного інтелекту та агентських систем.

5. Інтегруйте червоне командування штучного інтелекту у ваш ланцюг CI/CD. Вам потрібно безперервно тестувати агентів на уразливості на основі значимості змін та апетиту організації до ризику. Нещодавнє оновлення GPT-5 – це приклад того, як деструктивні зміни можуть бути для робочих потоків агентів. Зробіть автоматичне червоне командування важливою частиною вашого життєвого циклу розробки. Це допомагає вам виявляти проблеми під час оновлення та зміни ваших агентів.

Як організації повинні включати автоматичне червоне командування, CIAM, управління RAG та моніторинг у свою стратегію управління ризиками генерації штучного інтелекту?

Ключем є інтеграція, а не розгляд цих елементів як окремих ініціатив. Ваша стратегія управління ризиками генерації штучного інтелекту повинна бути цілісною рамкою, в якій кожний компонент підтримує інші.

Почніть з автоматичного червоного командування як основи. Важливо мати безперервне тестування на витривалість, яке еволюціонує з ландшафтом загроз. Платформа SPLX симулює тисячі сценаріїв атак через різні категорії ризику, тестуючи на введення запитів, втечу, маніпуляцію контекстом та отруєння інструментів. Критичним аспектом є те, що це частина вашого ланцюга CI/CD, щоб кожне оновлення агента було перевірено на безпеку до розгортання.

CIAM для систем штучного інтелекту вимагає переосмислення традиційних моделей ідентифікації. Агентам штучного інтелекту потрібні гранульовані повноваження, які можуть бути динамічно調овані на основі контексту та рівнів ризику. Реалізуйте контроль доступу на основі атрибутів, який розглядає не тільки ідентифікатор агента, але також дані, які він обробляє, інструменти, до яких він звертається, та контекст загрози.

Для моніторингу вам потрібно телометрія, яка захоплює як технічні, так і поведінкові індикатори. Технічний моніторинг включає аналіз входів/виходів, моделі викликів API та споживання ресурсів. Поведінковий моніторинг зосереджується на якості прийняття рішень, моделях завершення завдань та контекстах взаємодії, які можуть вказувати на компрометацію.

Інтеграція важлива. Результати червоного командування повинні інформувати політики CIAM, системи моніторингу повинні повертатися до процесів управління RAG, і все це повинно координуватися через централізовану платформу управління ризиками підприємства, яка може корелювати сигнали через усі ці області.

З урахуванням того, що порушення безпеки, пов’язані зі штучним інтелектом, ще на ранній стадії, але готуються до зростання, які тенденції керівники безпеки повинні готуватися до протягом наступних 12-18 місяців?

Я очікую побачити значне посилення атак на ланцюг постачання, спрямованих на все, включаючи інфраструктуру штучного інтелекту. Атаки на ланцюг постачання штучного інтелекту отруюють навчальні набори даних, компрометують репозиторії моделей або вкладають шкідливий код у програмні залежності, щоб отримати постійний доступ до систем штучного інтелекту.

Вже спостерігається зростання автономної соціальної інженерії, наприклад інциденти з глибокими фішингами, але те, що мене турбує найбільше, – це еволюція до повністю автономної генерації. Агенти штучного інтелекту, які обробляють повністю автономні соціальні інженерні кампанії через кілька платформ одночасно, кожна з яких адаптована до конкретних цілей і контекстів, створюють ефект множника, який традиційні захисти не готові протистояти.

Я вважаю, що ми побачимо зростання атак, родних для штучного інтелекту, які діють на швидкості машин. Традиційні засоби безпеки та людські аналітики не можуть впоратися з атакуючим, який може виконувати складні, багатокрокові експлойти за мілісекунди.

Як ви бачите еволюцію нормативних та ком플айенс-фреймворків у відповідь на ризики генерації штучного інтелекту?

Я бачу значний зсув у нормативних фреймворках, спрямований на баланс інновацій з акцентом на підзвітності, прозорості, безпеці розробки та безпеці ланцюга постачання.

Я очікую побачити фокус на походженні даних та цілісності. Регуляторні органи будуть хотіти знати, звідки походять дані, використані для навчання та доповнення моделей штучного інтелекту. Вони будуть хотіти побачити докази того, що дані були саніфіковані, не містять конфіденційних відомостей та не були отруєні.

Нарешті, я думаю, що ми побачимо секторальні регуляції. Ризики для фінансової установи, яка використовує агент штучного інтелекту для обробки транзакцій, відрізняються від тих, які має компанія охорони здоров’я, яка використовує його для діагностики.

Регулятори почнуть визначати конкретні стандарти для критичних галузей, вимагаючи таких речей, як автоматичне червоне командування, нагляд людини та суворе аудитування для систем штучного інтелекту, які можуть мати життєво-важливі наслідки.

Як ад’юнкт-професор і член ради Інституту повсюдної кібербезпеки університету штату Бойсе, як ви готуєте наступне покоління фахівців з безпеки штучного інтелекту, і які навички ви вважаєте найбільш критичними у сучасному динамічному ландшафті?

Критичне мислення та вирішення проблем все ще є найбільш важливими навичками, які студентам потрібні для великої кар’єри в сфері кібербезпеки, але такі навички, як психологія людини та лінгвістика, які раніше зустрічалися лише в командах кібербезпеки, будуть корисними для різних ролей у сфері кібербезпеки майбутнього.

Навички спілкування та роботи з людьми також важливі. Кібербезпека – це не тільки ІТ-системи, а й люди, допомога бізнесу досягти своїх цілей та можливість перекладати та комунікативно передавати складні технічні ризики не-технічним зацікавленим особам, щоб вони могли приймати правильні рішення для компанії. Майбутнє кібербезпеки буде залежати від фахівців, які не тільки технічні, але й мають ґрунтовні комунікативні навички.

Нарешті, ландшафт безпеки штучного інтелекту розвивається дуже швидко, тому важливо вміти швидко вивчати та адаптуватися.

Дякую за велике інтерв’ю та детальний огляд, читачам, які бажають дізнатися більше, слід відвідати SPLX.