Сэнди Данн, CISO в SPLX – Серия интервью

Сэнди Данн, CISO в SPLX, – ветеран CISO с более чем 20-летним опытом работы в сфере здравоохранения и стартапов, предоставляющий консультационные услуги по вопросам CISO через QuarkIQ. Она возглавляет список OWASP Top 10 для приложений LLM Cybersecurity и Governance Checklist и вносит свой вклад в OWASP AI Exchange, OWASP Top 10 для LLM и Cloud Security Alliance. Будучи профессором кибербезопасности в Университете штата Бойсе, она также является частым докладчиком, советником и членом совета Института всеобъемлющей кибербезопасности Бойсе. Сэнди имеет степень магистра в области управления информационной безопасностью SANS и многочисленные сертификаты, включая CISSP, несколько сертификатов SANS GIAC, Security+, ISTQB и FAIR.

SPLX – это компания по кибербезопасности, которая предоставляет комплексную защиту систем ИИ посредством автоматизированного красного командования, защиты во время выполнения, управления, исправления, проверки угроз и безопасности моделей. Ее платформа выполняет тысячи симуляций атак за менее чем один час, чтобы выявить уязвимости, укрепляет системные запросы перед развертыванием и включает Agentic Radar, открытый инструмент для картографирования и анализа рисков в рабочих процессах ИИ с несколькими агентами.

Что первоначально привлекло вас к пересечению ИИ и кибербезопасности, и как этот путь привел вас к роли в SPLX и участию в OWASP?

ИИ был частью разговоров о кибербезопасности в течение многих лет до ChatGPT, но часто казалось, что он не оправдал ожиданий. Итак, когда он был запущен, я ожидал быть разочарованным, но вместо этого у меня была совершенно противоположная реакция. Когда я впервые использовал ChatGPT, я был одновременно поражен тем, что он мог делать, и ужаснулся тем, как быстро он мог быть использован для враждебных атак или злоупотребления конфиденциальностью. Этот момент зажег огонь. Я погрузился в LLM headfirst, читая каждую исследовательскую работу, которую мог найти, присоединяясь ко всем соответствующим сообществам Slack и Discord, и проводя свои собственные эксперименты. Я некоторое время прятался в канале OWASP Top 10 для LLM, и когда был опубликован первый список, я знал, что это важный рубеж. Но как CISO, я чувствовал, что командам безопасности нужна более подробная информация. Мы рассказали людям, о чем беспокоиться, но не о том, что делать. Я обратился к Стиву Уилсону, руководителю проекта, с предложением создать “Список проверки безопасности LLM для CISO”. Затем это стало первым субпроектом OWASP GenAI, который вдохновил многие дополнительные субпроекты.

Через эту работу я встретил Кристиана Камбера и Анте Гойсалича (основателей SPLX), и также консультировал многочисленные стартапы по безопасности ИИ, некоторые из которых имели перспективные идеи, а некоторые – нет. В то время я был CISO в компании B2B-чатбота, создавая обширную книгу правил тестирования ИИ на враждебность. Когда я увидел демонстрацию SPLX, я сразу же понял, что они решили именно ту проблему, с которой я боролся: как операционализировать тестирование на враждебность. Когда SPLX нуждался в CISO, я с радостью воспользовался возможностью стать частью удивительной компании с невероятными людьми, решающими важные проблемы.

Как CISO в SPLX, какие наиболее новые методы атак вы раскрываете, особенно в отношении агентного ИИ?

Из-за нюансов конструкции систем GenAI невозможно исключить уязвимости и атаки GenAI, которые используют автономность и возможности агента. Атаки по отравлению памяти, такие как MINJA, являются недавним примером этого. С MINJA атакующие могут незаметно испортить банки памяти агента с помощью созданных взаимодействий, имплантируя вредоносные “воспоминания” с помощью подсказок, что приводит к вводящему в заблуждение или опасному поведению позже. Другим примером является атака “Эхо-камера”. Это когда противник создает разговорные петли, отправляя агенту повторяющийся вредоносный контекст. Исследователи смогли обойти механизмы безопасности, укрепляя вредоносные инструкции за несколько ходов.

Косвенная и межмодальная инъекция подсказок – еще один пример. Вредоносные инструкции скрываются в внешнем контенте, таком как изображения или документы, которые потребляют агенты. Эти инструкции могут захватить автономные решения без прямого ввода пользователя.

Сложные атаки на экосистему ИИ-агентов, такие как отравление инструментов, требуют тщательного обзора всей цепочки поставок для развертывания агентов ИИ. Атакующие создают, казалось бы, законные инструменты для платформ агентов, но внедряют вредоносные инструкции в описания инструментов и документацию. Когда агенты загружают эти инструменты, внедренные инструкции становятся частью контекста агента, что позволяет выполнять несанкционированные действия, такие как экспiltration данных или компрометация системы.

Как платформа SPLX помогает организациям обнаруживать и реагировать на угрозы, специфичные для LLM, такие как инъекция подсказок или атаки на побег из тюрьмы?

SPLX – это комплексная платформа безопасности, которая защищает приложения и системы, работающие на LLM, на протяжении всего жизненного цикла ИИ, от разработки до развертывания и реального времени. Наша защита ИИ во время выполнения предназначена для остановки этих угроз по мере их возникновения, непрерывно контролируя и фильтруя входные и выходные данные. Она действует как брандмауэр реального времени для ИИ и обеспечивает строгие поведенческие границы для ИИ. Движок обнаружения SPLX флагирует вредоносную деятельность в реальном времени, гарантируя, что системы ИИ реагируют безопасно и остаются в пределах намеченных границ.

Обновленный список OWASP GenAI Security Top 10 расширяет ключевые риски, такие как утечка системных подсказок и уязвимости векторных баз данных. Как эти новые угрозы отражают эволюционирующий ландшафт противников?

Обновления OWASP Top 10 для 2025 года отражают эволюционирующее понимание того, как технологии LLM и генеративного ИИ используются в реальных сценариях. Важно отметить, что существует много более чем десять угроз LLM, но цель – выявить топ-10. Основные изменения заключаются в том, что LLM07 “Небезопасный дизайн плагина” был включен в цепочку поставок, а LLM010 “Кража модели” – в неограниченное потребление для списка 2025 года, что создало место для добавления:

1. Утечки системных подсказок, которые выявляют угрозу раскрытия системных подсказок, что может раскрыть ограничители, логические потоки или даже секреты, встроенные в подсказки LLM.

2. Уязвимости векторных баз данных флагируют потенциальные проблемы безопасности в системах RAG, таких как утечка данных между арендаторами, обращение с вложениями или отравленные документы, которые позже проявляются в опасных выходных данных.

3. Обновления показывают, что атаки, ориентированные на ИИ, эволюционировали от созданных возможных атак на подсказки до сложных атак, нацеленных на всю цепочку поставок ИИ. Современные атаки демонстрируют стратегическое мышление всей системы ИИ, сосредотачиваясь на сохранении, масштабе и системном воздействии, а не на единичных эксплойтах.

Расширенное освещение агентных архитектур признает еще одно критическое развитие. По мере того, как системы ИИ приобретают большую автономию и возможности принятия решений, потенциальные последствия сбоев безопасности умножаются экспоненциально. Снижение человеческого надзора, хотя и позволяет создавать более мощные приложения, имеет кумулятивный эффект, который усиливает воздействие успешных атак.

В вашем мнении, какие наиболее часто упускаемые из виду уязвимости в организациях, развертывающих агентный ИИ сегодня?

Наиболее часто упускаемой из виду проблемой является та же самая проблема, с которой мы сталкиваемся с традиционными программными и системными развертываниями, принцип наименьших привилегий. Мы все еще боремся с наименьшими привилегиями для человеческих пользователей и учетных записей служб, и теперь организации сталкиваются с новым вызовом – управлением нечеловеческими идентификаторами (NIH). Люди развертывают агентов, хотя идентификация и доступ агентов еще не полностью поняты или решены. Мы видим, что агентам предоставляются широкие разрешения на чтение документов, доступ к внешним API и даже изменение систем. Это не техническая ошибка в самой модели, это фундаментальная архитектурная ошибка. Скомпрометированный агент с чрезмерными привилегиями может нанести огромный ущерб, от экспiltration огромных объемов данных до инициирования финансовых транзакций.

Другой часто упускаемой из виду или игнорируемой проблемой является “доверие” между агентами. В агентных системах агенты часто проектируются для общения и сотрудничества друг с другом. Мы видим новый класс атак, где скомпрометированный агент может выдать себя за законного, по сути ставя “Агент-посредник”. Это похоже на троянского коня, но на архитектурном уровне.

Можете ли вы пройти со мной через действенные шаги, которые команды безопасности организаций должны предпринять при развертывании инструментов агентного ИИ в производственных средах?

1. Начните с планов реагирования на инциденты. Что выглядит как худший день, затем работайте назад, чтобы убедиться, что меры безопасности и видимость находятся на месте. Когда происходит нарушение ИИ, ваш центр безопасности операций нуждается в книге правил. Кто уведомляется? Как вы изолируете скомпрометированного агента? Какой процесс возврата к известному хорошему состоянию? Иметь план до кризиса имеет решающее значение.

2. Инвентаризация поверхности атаки и оценка угроз. Вы не можете защитить то, чего не знаете. Первый шаг – получить полный инвентарь всех агентов ИИ, инструментов в использовании и доступа к данным. Какие данные он касается? Какие разрешения у него есть? Каков потенциальный удар, если он скомпрометирован? Отдавайте приоритет высокому воздействию и наиболее вероятным угрозам. Затем проведите откровенный разговор с командой руководителей на предмет аппетита к риску. Преимущество ускоренной активности ИИ заключается в том, что CISO, офицеры по риску, юридические команды и руководство будут вынуждены провести настоящий разговор о бизнес-целях, аппетите к риску и бюджетах безопасности. Исторически было ожидание, что не будет инцидентов при минимальном бюджете. CISO (в основном) смогли избежать большого инцидента, реализовав достаточно безопасности, чтобы сделать свою организацию менее привлекательной целью, чем организация с меньшей безопасностью. Враги, использующие ИИ, делают эту стратегию нереалистичной сейчас.

3. Реализуйте ограничители, наименьшие привилегии и инструменты мониторинга. Объем имеет значение для любых развертываний агентов. Определите цель агента, его границы и разрешения. Не предоставляйте агенту доступ к вашей整个 библиотеке SharePoint, если ему нужна только одна папка. Реализуйте контроли, которые ограничивают, какие API он может вызывать и какие действия он может выполнять. Подумайте об этом, как о новом, очень умном, пьяном стажере. Вы признаете, что у него есть удивительные возможности, но вы ему не доверяете. Вы ограничили бы то, что он мог делать внутри компании, вы не давали бы ему доступа к чему-либо важному, вы контролировали бы, что он делает, и, возможно, у вас были бы сигнализационные системы на месте, если бы он попытался сделать что-то, что он绝 не должен был делать, например, получить доступ к офису генерального директора.

4. Реализуйте стек безопасности ИИ, который объединяется с вашим традиционным стеком безопасности. Традиционные инструменты безопасности не были разработаны для систем GenAI или агентных систем. Вам необходимо реализовать инструменты, предназначенные для проблем, уникальных для GenAI, таких как проверка подсказок, санитарная обработка выходных данных и непрерывный мониторинг поведения агентов. Эти инструменты должны быть способны обнаруживать тонкие, семантические атаки, специфичные для GenAI и агентных систем.

5. Интегрируйте красное командование ИИ в конвейер CI/CD. Вам необходимо постоянно тестировать своих агентов на уязвимости на основе значимости изменений и аппетита к риску организации. Недавнее обновление GPT-5 – это пример того, как разрушительные изменения могут быть для рабочих процессов агентов. Сделайте автоматическое красное командование неотъемлемой частью вашего цикла разработки. Это помогает вам выявить проблемы при обновлении и изменении ваших агентов.

Как организациям следует включать автоматическое красное командование, CIAM, управление RAG и мониторинг в свою стратегию управления рисками GenAI?

Ключом является интеграция, а не рассмотрение их как отдельных инициатив. Ваша стратегия управления рисками GenAI должна быть связной основой, где каждый компонент подкрепляет другие.

Начните с автоматического красного командования в качестве основы. Важно иметь непрерывное тестирование на враждебность, которое эволюционирует с ландшафтом угроз. Платформа SPLX симулирует тысячи сценариев атак по разным категориям риска, тестируя на инъекцию подсказок, побег из тюрьмы, манипуляцию контекстом и отравление инструментов. Критическим аспектом является то, что это часть вашего конвейера CI/CD, так что каждый агент обновляется и проверяется на безопасность перед развертыванием.

CIAM для систем ИИ требует переосмысления традиционных моделей идентификации. Агентам ИИ необходимы гранулярные разрешения, которые могут быть динамически скорректированы на основе контекста и уровней риска. Реализуйте управление доступом на основе атрибутов, которое учитывает не только идентификатор агента, но и данные, которые он обрабатывает, инструменты, к которым он запрашивает доступ, и контекст угрозы.

Для мониторинга вам нужна телеметрия, которая захватывает как технические, так и поведенческие индикаторы. Технический мониторинг включает анализ входных/выходных данных, шаблоны вызовов API и потребление ресурсов. Поведенческий мониторинг фокусируется на качестве принятия решений, законченных шаблонах задач и контекстах взаимодействия, которые могут указывать на компрометацию.

Интеграция важна. Результаты красного командования должны информировать политики CIAM, системы мониторинга должны обратно связываться с процессами управления RAG, и все это должно координироваться через централизованную платформу управления рисками предприятия, которая может коррелировать сигналы во всех этих областях.

С учетом того, что нарушения, связанные с ИИ, все еще находятся на ранней стадии, но готовы расти, какие тенденции должны руководители безопасности подготовиться за следующие 12-18 месяцев?

Я ожидаю увидеть значительное эскалация атак на цепочку поставок, нацеленных на все, включая инфраструктуру ИИ. Атаки на цепочку поставок ИИ отравляют наборы данных для обучения, компрометируют репозитории моделей или внедряют вредоносный код в зависимости программного обеспечения, чтобы получить постоянный доступ к системам ИИ.

Уже наблюдается всплеск автономной социальной инженерии, такой как инциденты с глубокими фишингами, но эволюция к полностью автономному поколению – это то, что меня больше всего беспокоит. Агенты ИИ, обрабатывающие полные кампании социальной инженерии на нескольких платформах одновременно, каждая из которых адаптирована к конкретным целям и контекстам, создает эффект силы, который традиционная оборона не готова.

Я считаю, что мы увидим рост атак, родных для ИИ, которые действуют на скорости машины. Традиционные инструменты безопасности и человеческие аналитики не могут идти в ногу с атакующим, который может выполнять сложные, многоступенчатые эксплойты за миллисекунды.

Как вы представляете себе эволюцию нормативных и комплаенс-рамок в ответ на риски, связанные с генеративным ИИ?

Я представляю себе значительный сдвиг в нормативных рамках, направленный на баланс инноваций с фокусом на подотчетности, прозрачности, безопасных практиках разработки и безопасности цепочки поставок.

Я ожидаю увидеть фокус на происхождении и целостности данных. Регуляторные органы будут хотеть знать, откуда взялись данные, использованные для обучения и дополнения моделей ИИ. Они будут хотеть увидеть доказательства того, что данные были санитарными, что они не содержали конфиденциальную информацию и что они не были отравлены.

Наконец, я думаю, что мы увидим секторальные нормативные акты. Риски для финансовой организации, использующей агент ИИ для обработки транзакций, отличаются от рисков для компании здравоохранения, использующей его для диагностики.

Регуляторы начнут определять конкретные стандарты для критических отраслей, требующие таких вещей, как автоматическое красное командование, надзор человека в цикле и строгая аудит для систем ИИ, которые могут иметь последствия для жизни или смерти.

Как профессор-адъюнкт и член совета Института всеобъемлющей кибербезопасности Бойсе, как вы готовите следующее поколение специалистов по безопасности ИИ, и какие навыки, по вашему мнению, являются наиболее важными в сегодняшнем эволюционирующем ландшафте?

Критическое мышление и решение проблем все еще являются наиболее важными навыками, которые студентам нужны для отличной карьеры в кибербезопасности, но навыки, такие как психология человека и лингвистика, которые ранее находились только в командах разведки киберугроз, являются навыками, которые принесут пользу различным ролям в кибербезопасности в будущем ИИ.

Навыки людей и коммуникации также имеют значение. Кибербезопасность – это не только ИТ-системы, это о людях, помощи бизнесу в достижении его бизнес-целей и способности переводить и общаться сложные технические риски с неквалифицированными заинтересованными сторонами, чтобы они могли принимать правильные решения для компании. Будущее кибербезопасности будет зависеть от профессионалов, которые не только технически умны, но и основаны на земле и имеют навыки коммуникации.

Наконец, ландшафт безопасности ИИ эволюционирует так быстро, поэтому будет важно уметь учиться и адаптироваться быстро.

Спасибо за отличное интервью и подробные идеи, читателям, которые хотят узнать больше, следует посетить SPLX.