Когда ИИ становится злым: смягчение внутренних угроз в эпоху автономных агентов

 Быстрый рост агентов ИИ создает новые проблемы для команд безопасности и ИТ. На пороге этого сдвига в сторону более автоматизированных рабочих процессов для задач бизнес-континуитета недавние тесты показали, что агенты ИИ могут проявлять опасное или обманное поведение в определенных условиях, создавая новую внутреннюю угрозу для бизнеса в различных отраслях.

Представляя критическую необходимость для организаций правильно контролировать агентов ИИ, которые получают доступ к конфиденциальным данным и действуют без надзора человека, это потенциально вводит новые классы рисков, которые быстрее, менее предсказуемы и труднее атрибутировать. Реальность этих рисков двойная. С одной стороны, команды безопасности должны быть готовы к злым акторам, которые используют агенты ИИ для усиления социальной инженерии и атак на сотрудников. С другой стороны, они должны быть готовы к внутренним агентам ИИ, санкционированным компанией, которые могут проявлять поведение, создающее совершенно новый набор рисков безопасности и уязвимостей.

Как внутренние агенты ИИ могут привести к внутренним угрозам

Агенты ИИ представляют две ключевые внутренние риски безопасности внутри корпоративных сетей. Во-первых, они работают автономно без этических границ или встроенной подотчетности, которой следуют человеческие работники. Работая на основе выводимых целей и не явных инструкций, их эффективность и настойчивость могут толкать границы и позволять им действовать без одобрения. Без необходимых проверок и балансов в месте могут быть легко созданы и упущены уязвимости.

Эти агенты также могут иметь доступ к огромным объемам данных, но не имеют возможности различать привилегированную и рутинную информацию. Следовательно, даже простые задачи, такие как анализ наборов данных, могут привести к утечке данных или раскрытию их внешним сторонам. Эта задача становится еще более сложной, когда ИИ масштабируется на различных системах и рабочих процессах с разными правилами и протоколами обработки данных. Агенты, работающие в разных регионах, часто нарушают местные правила обработки данных из-за несоответствующего обеспечения политики, тем самым создавая риски безопасности. Реальность такова, что только 30% бизнеса в США активно картографируют, какие агенты ИИ имеют доступ к критическим системам, создавая значительную слепую зону безопасности.

Как внешние агенты ИИ могут привести к внутренним угрозам

Одним из наиболее распространенных способов проникновения хакеров является фишинг и социальная инженерия. Злые акторы и кибер-группы используют агенты ИИ для усиления этих атак и проведения сложных инцидентов глубокой фальсификации и имитации. Агенты ИИ могут быть использованы для создания фишинга и социальной инженерии, которые кажутся более реальными и достоверными для неопытного глаза. 60% нарушений в 2024 году включали человеческий фактор, и почти четверть из них возникли из социальной инженерии. Этот показатель будет только расти по мере того, как использование агентов ИИ будет продолжать укреплять эти методы проникновения.

Агенты ИИ могут быть обучены для просеивания через обширные объемы социальных сетей и личных данных на различных платформах и каналах для отправки целевых, персонализированных сообщений. Сообщения, имитирующие тон и голос отправителей, более вероятно будут успешными и труднее различимы от реальных медиа. Агенты ИИ могут научиться адаптировать свои кампании для улучшения эффективности, меняя направление, когда атака не работает, или имитируя атаку, которая сработала.

Когда речь идет о глубоких фальсификациях, агенты ИИ могут генерировать эти имитации на выдающихся скоростях, что приводит к массовому манипулированию. Злые акторы также используют агенты ИИ для общения с видеозвонками в режиме реального времени с минимальной задержкой и улучшением достоверности. Они могут реагировать на реакцию цели в режиме реального времени и изменить свой подход, если это необходимо. Эти усиленные атаки могут увеличить риск внутренних угроз от неосведомленных сотрудников, которые могут быть обмануты и вынуждены раскрыть конфиденциальные данные, авторизовать транзакции или поделиться учетными данными с злыми акторами.

Роль команд безопасности в решении проблем агентского ИИ

Команды безопасности должны предпринять конкретные действия для ограничения слепых зон, созданных агентами ИИ. Отделы ИТ должны прежде всего ограничить доступ агентов ИИ к конфиденциальным данным через управление данными и контроль видимости в режиме реального времени. Шаги для достижения этого включают классификацию идентификаторов агентов ИИ в системах IAM и мониторинг их деятельности с той же строгостью, что и привилегированные учетные записи. Часть видимости идет дальше путем мониторинга сетевой активности для уже реализованных поведенческих базовых показателей, назначенных агентам ИИ. С помощью видимости команды ИТ могут контролировать движение привилегированного доступа и аномалии, не только поддерживая усилия по предотвращению, но и ускоряя усилия по сдерживанию и восстановлению в случае появления злого агента.

Кроме того, выявляя новые закономерности и тактику, используемые в атаках агентов ИИ, организации могут обновить свои стратегии защиты и обучить свои системы безопасности для распознавания и предотвращения подобных угроз в будущем.

Оставаться впереди внутренних угроз, введенных агентами ИИ

Реальность такова, что агенты ИИ вводят новый внутренний риск из-за их автономности и растущего доступа к чувствительным системам. Кроме того, злые акторы будут продолжать использовать агенты ИИ для более эффективного эксплуатирования человеческих уязвимостей через глубокие фальсификации, фишинг и социальную инженерию.

По мере того, как эта технология развивается, бизнесу необходимо улучшить свою видимость в доступе и поведении агентов ИИ до того, как они будут приняты в свои рабочие процессы. Это включает в себя инвестиции в проактивный, 360-градусный, реальный мониторинг вместе с рабочей силой агентов ИИ. Хотя агенты ИИ могут решить критические бизнес-задачи и проблемы, они требуют проактивного подхода для ограничения будущих внутренних угроз.