Кирен Нортон, лидер кибербезопасности и автоматизации Deloitte в США – Интервью

Кирен Нортон – принципал (партнер) в Deloitte & Touche LLP, является лидером кибербезопасности и автоматизации в США. С более чем 25-летним опытом и прочным технологическим фоном, Кирен отлично справляется с решением возникающих рисков, предоставляя клиентам стратегические и практические идеи в области кибербезопасности и управления технологическими рисками.

Внутри Deloitte, Кирен возглавляет усилия по трансформации ИИ для практики кибербезопасности в США. Он курирует разработку, создание и внедрение решений на основе ИИ и автоматизации, giúpая клиентам улучшить свои кибербезопасные возможности и принять технологии ИИ/Gen ИИ, эффективно управляя связанными с этим рисками.

Внешне, Кирен помогает клиентам развивать свои традиционные стратегии безопасности для поддержки цифровой трансформации, модернизации цепочек поставок, ускорения времени выхода на рынок, снижения затрат и достижения других важных бизнес-целей.

Какие новые категории кибербезопасных угроз возникают с развитием автономности агентов ИИ, которые бизнес может еще не полностью понимать?

Риски, связанные с использованием новых технологий ИИ для проектирования, создания, развертывания и управления агентами, могут быть поняты – но операционное внедрение является другой задачей.

Автономность и агентность ИИ – способность агентов воспринимать, принимать решения, действовать и работать независимо от людей – может создать проблемы с поддержанием видимости и контроля над взаимодействиями и отношениями между моделями/агентами и пользователями, данными и другими агентами. По мере того, как агенты продолжают размножаться внутри предприятия, соединяя множество платформ и услуг с возрастающей автономией и правами принятия решений, это станет все более сложным. Угрозы, связанные с плохо защищенной, чрезмерной или тенью автономии/агентности ИИ, многочисленны. Это может включать утечку данных, манипуляцию агентами (через инъекцию запросов и т. д.) и цепочки атак агент-агент. Не все эти угрозы актуальны сейчас, но предприятия должны подумать, как они будут управлять этими угрозами при принятии и совершенствовании возможностей ИИ.

Управление идентификацией ИИ является еще одним риском, который следует тщательно рассмотреть. Определение, установление и управление машинными идентификациями агентов ИИ станет более сложным по мере развертывания и использования агентов в предприятиях. Эфемерная природа моделей/компонентов моделей, которые созданы и уничтожены повторно в различных обстоятельствах, приведет к проблемам в поддержании этих идентификаторов моделей. Идентификаторы моделей необходимы для мониторинга активности и поведения агентов с точки зрения безопасности и доверия. Если они не будут правильно реализованы и отслежены, обнаружение потенциальных проблем (производительности, безопасности и т. д.) будет очень сложным.

Насколько мы должны беспокоиться о атаках на отравление данных в трубопроводах обучения ИИ, и какие являются лучшими стратегиями предотвращения?

Отравление данных представляет собой один из способов влияния/манипуляции моделями ИИ в течение жизненного цикла разработки модели. Отравление обычно происходит, когда злоумышленник вводит вредоносные данные в обучающий набор. Однако важно отметить, что помимо явных враждебных акторов, отравление данных может произойти из-за ошибок или системных проблем в генерации данных. По мере того, как организации становятся более жадными до данных и ищут полезные данные в более местах (например, аутсорсинг ручной аннотации, покупка или генерация синтетических наборов данных и т. д.), возможность непреднамеренного отравления обучающих данных растет и может не всегда быть легко диагностировано.

Целевая атака на трубопроводы обучения является основным вектором атаки, используемым противниками как для тонкой, так и для открытой манипуляции. Манипуляция моделями ИИ может привести к результатам, включая ложные положительные, ложные отрицательные и другие более тонкие скрытые влияния, которые могут изменить прогнозы ИИ.

Стратегии предотвращения варьируются от технических, процедурных и архитектурных решений. Процедурные стратегии включают проверку и санитарную обработку данных, а также оценку доверия; технические стратегии включают использование средств безопасности с помощью методов ИИ, таких как федеративное обучение; архитектурные стратегии включают реализацию трубопроводов с нулевым доверием и реализацию надежного мониторинга/оповещения, которое может облегчить обнаружение аномалий. Эти модели являются только такими хорошими, как их данные, даже если организация использует последние и лучшие инструменты, поэтому отравление данных может стать ахиллесовой пятой для неподготовленных.

Какими способами злоумышленники могут манипулировать моделями ИИ после их развертывания, и как предприятия могут обнаружить вмешательство на ранней стадии?

Доступ к моделям ИИ после развертывания обычно осуществляется через программный интерфейс приложения (API), приложение через встроенную систему и/или через порт-протокол до устройства на краю сети. Ранняя обнаружение требует ранней работы в жизненном цикле разработки программного обеспечения (SDLC), понимания соответствующих методов манипуляции моделями, а также определения приоритетных векторов угроз для разработки методов обнаружения и защиты. Некоторая манипуляция моделями включает в себя взлом API, манипуляцию пространствами памяти (время выполнения) и медленное/постепенное отравление через дрейф модели. Учитывая эти методы манипуляции, некоторые ранние стратегии обнаружения могут включать использование телеметрии/мониторинга конечных точек (через обнаружение и реагирование на угрозы и расширенное обнаружение и реагирование), реализацию безопасных трубопроводов вывода (например, конфиденциального вычисления и принципов нулевого доверия), а также включение водяных знаков/подписей моделей.

Внедрение запросов является семейством атак на модели, которые происходят после развертывания и могут быть использованы для различных целей, включая извлечение данных неожиданными способами, раскрытие системных запросов, не предназначенных для обычных пользователей, и индукцию реакций моделей, которые могут представить организацию в негативном свете. Существует множество инструментов на рынке, чтобы помочь смягчить риск внедрения запросов, но, как и в остальной кибербезопасности, это является гонкой вооружений, где методы атак и оборонительные меры постоянно обновляются.

Как традиционные рамки кибербезопасности не справляются с уникальными рисками систем ИИ?

Мы обычно ассоциируем «рамки кибербезопасности» с рекомендациями и стандартами – например, NIST, ISO, MITRE и т. д. Некоторые из организаций, стоящих за этими рамками, опубликовали обновленные рекомендации, специфичные для защиты систем ИИ, которые могут быть очень полезными.

ИИ не делает эти рамки неэффективными – вам все равно нужно решать все традиционные области кибербезопасности – то, что вам может понадобиться, это обновление процессов и программ (например, вашего SDLC) для решения нюансов, связанных с рабочими нагрузками ИИ. Внедрение и автоматизация (где это возможно) контролей для защиты от тонких угроз, описанных выше, является наиболее эффективным и результативным способом вперед.

На тактическом уровне стоит отметить, что полный диапазон возможных входных и выходных данных часто намного больше, чем у не-ИИ приложений, что создает проблему масштаба для традиционного тестирования на проникновение и обнаружения на основе правил, отсюда и фокус на автоматизации.

Какие ключевые элементы должны быть включены в стратегию кибербезопасности, специально разработанную для организаций, развертывающих генеративный ИИ или крупные языковые модели?

При разработке стратегии кибербезопасности для развертывания генеративного ИИ или крупных языковых моделей (LLM) нет универсального подхода. Многое зависит от общих бизнес-целей организации, стратегии ИТ, фокуса отрасли, нормативного следа, толерантности к риску и т. д., а также от конкретных случаев использования ИИ, рассматриваемых в данном случае. Стратегия чат-бота для внутреннего использования несет совершенно другой рисковый профиль, чем агент, который может повлиять на результаты для пациентов, например.

Тем не менее, есть основы, которые каждая организация должна решить:

• Проведите оценку готовности – это устанавливает базовый уровень текущих возможностей, а также определяет потенциальные пробелы, учитывая приоритетные случаи использования ИИ. Организации должны определить, где существуют контроли, которые можно расширить для решения тонких рисков, связанных с генеративным ИИ, и необходимость внедрения новых технологий или улучшения текущих процессов.
• Установите процесс управления ИИ – это может быть совершенно новым в организации или модификацией текущих программ управления рисками. Это должно включать определение функций обеспечения ИИ на уровне всего предприятия и привлечение заинтересованных сторон из бизнеса, ИТ, продукта, риска, кибербезопасности и т. д. в качестве части структуры управления. Кроме того, определение/обновление соответствующих политик (политик допустимого использования, политик безопасности облака, управления рисками технологий третьих сторон и т. д.), а также установление требований к обучению и развитию для поддержки грамотности ИИ и безопасности/безопасности ИИ на протяжении всей организации должно быть включено.
• Установите доверенную архитектуру ИИ – с созданием платформ и экспериментальных песочниц ИИ/генеративного ИИ существующая технология, а также новые решения (например, брандмауэры/безопасность времени выполнения ИИ, ограждения, управление жизненным циклом моделей, улучшенные возможности ИАМ и т. д.) будут нуждаться в интеграции в среды разработки и развертывания в повторяемом и масштабируемом виде.
• Улучшите SDLC – организации должны построить тесные интеграции между разработчиками ИИ и командами управления рисками, работающими над защитой, безопасностью и доверием к решениям ИИ. Это включает установление унифицированного/стандартного набора безопасных практик разработки программного обеспечения и требований контроля в партнерстве с более широкими командами разработки и принятия ИИ.

Можете ли вы объяснить концепцию «брандмауэра ИИ» в простых терминах? Как он отличается от традиционных сетевых брандмауэров?

Брандмауэр ИИ – это слой безопасности, предназначенный для мониторинга и контроля входных и выходных данных систем ИИ – особенно крупных языковых моделей – для предотвращения неправильного использования, защиты конфиденциальных данных и обеспечения ответственного поведения ИИ. В отличие от традиционных брандмауэров, которые защищают сети, фильтруя трафик на основе IP-адресов, портов и известных угроз, брандмауэры ИИ фокусируются на понимании и управлении взаимодействиями с естественным языком. Они блокируют такие вещи, как токсичный контент, утечку данных, внедрение запросов и неэтичное использование ИИ, применяя политики, контекстно-зависимые фильтры и специфичные для модели ограждения. По сути, в то время как традиционный брандмауэр защищает вашу сеть, брандмауэр ИИ защищает ваши модели ИИ и их выходные данные.

Существуют ли текущие отраслевые стандарты или возникающие протоколы, регулирующие использование брандмауэров или ограждений, специфичных для ИИ?

Протокол коммуникации моделей (MCP) не является универсальным стандартом, но он набирает популярность в отрасли для решения растущей нагрузки на предприятия, которые имеют необходимость управлять разнообразием решений ИИ/генеративного ИИ. MCP регулирует, как модели ИИ обмениваются информацией (включая обучение), включая целостность и проверку. Мы можем думать о MCP как о стеке протоколов передачи управления/интернета (TCP/IP) для моделей ИИ, что особенно полезно в централизованных, федеративных или распределенных случаях использования. MCP в настоящее время является концептуальной основой, которая реализуется через различные инструменты, исследования и проекты.

Пространство быстро развивается, и мы можем ожидать, что оно изменится довольно сильно в течение следующих нескольких лет.

Как ИИ преобразует область обнаружения и реагирования на угрозы сегодня по сравнению с пятью годами назад?

Мы стали свидетелями модернизации коммерческих платформ центров операций безопасности (SOC), которые используют большие качественные наборы данных и продвинутые модели ИИ/МЛ для улучшения обнаружения и классификации угроз. Кроме того, они используют автоматизацию, рабочие процессы и возможности автоматического смягчения для уменьшения времени от обнаружения до смягчения. Наконец, некоторые ввели возможности копилота для дальнейшей поддержки триажа и реагирования.

Кроме того, агенты разрабатываются для выполнения выбранных ролей в SOC. Например, мы построили «Цифрового аналитика» агента для развертывания в наших собственных управляемых услугах. Агент служит в качестве аналитика уровня 1, триажируя входящие оповещения, добавляя контекст из угроз интеллекта и других источников, и рекомендуя шаги реагирования (на основе обширной истории дел) для наших человеческих аналитиков, которые затем проверяют, изменяют при необходимости и принимают меры.

Как вы видите развитие отношений между ИИ и кибербезопасностью в течение следующих 3-5 лет – будет ли ИИ больше риском или решением?

По мере того, как ИИ развивается в течение следующих 3-5 лет, он может помочь кибербезопасности, но в то же время он также может ввести риски. ИИ расширит поверхность атаки и создаст новые проблемы с точки зрения защиты. Кроме того, враждебный ИИ увеличит жизнеспособность, скорость и масштаб атак, что создаст дальнейшие проблемы. С другой стороны, использование ИИ в бизнесе кибербезопасности представляет значительные возможности для улучшения эффективности, эффективности, гибкости и скорости киберопераций в большинстве областей – в конечном итоге создавая сценарий «борьбы с огнем огнем».

Благодарим за отличное интервью, читателям также может быть интересно посетить Deloitte.