Доверие ИИ-агентам SOC в миссионно-kritических активностях SOC

Большие языковые модели (LLM) и ИИ-агенты оказывают значительное влияние во многих областях, включая кибербезопасность. Небо — это предел, когда речь идет об их потенциале. Однако на Земле, где LLM интегрируются в основные рабочие процессы, где принимаются бизнес-решения, возникли многие проблемы, особенно связанные с конфиденциальностью и точностью данных. Мы остаемся с вопросом: Достаточно ли ИИ-агенты надежны для моего бизнеса?

Когда речь идет о кибербезопасности и Центрах операций безопасности (SOC), быстрый ответ, как мы слышали на протяжении всей нашей карьеры, такой: Да, с надлежащими контролями и смягчением в SOC, ИИ-агенты могут быть успешно и безопасно развернуты в производственных средах, где они добавляют значительную ценность, работая вместе с человеческими аналитиками SOC.

Проблемы кибербезопасности ИИ

Готовые LLM, используемые как самостоятельное решение, имеют несколько основных проблем, таких как галлюцинации, отравление данных и внедрение подсказок. Эти проблемы могут вызвать серьезные проблемы в автономном SOC, включая:

Ограниченные данные, приводящие к неточным вердиктам — ИИ-агентам нужна вся актуальная информация из окружающей среды, чтобы хорошо выполнить свою работу — как минимум столько же данных, сколько имеют человеческие аналитики безопасности, и желательно больше. Недостаток данных приводит к тому, что ИИ-агенты делают ложные предположения, которые могут варьироваться при разных запусках расследования. Если вы ограничиваете доступ к данным из-за проблем безопасности или ограничиваете количество действий, которые может выполнить ИИ, из-за бюджетных причин, ожидайте снижения точности.

Несовместимые вердикты — ИИ-агентам необходимо принимать решения и выполнять задачи на основе собранных данных. Из-за большого объема данных о безопасности в типичных средах часто используется подход выборки для балансировки точности и бюджета. Когда расследования выполняются несколько раз, могут появиться различия в вердикте, его определенной тяжести и рекомендуемых действиях. Это нормально, пока разница находится в пределах допустимого лимита, и это происходит даже тогда, когда два разных человеческих аналитика смотрят на один и тот же сигнал.

Неясное рассуждение, или “Черный ящик” проблема — Некоторые ИИ-агенты работают как не透рачные системы. Результаты ИИ-SOC могут выглядеть очень впечатляющими сначала, но для важных бизнес-решений вам нужно понять, что привело ИИ-SOC к рекомендованным действиям. Это, однако, не является внутренним ограничением ИИ, поскольку некоторые ИИ-агенты идут на большие длины, чтобы быть прозрачными. Рекомендуется тщательно проверить ИИ-агентов в Proof of Value перед обязательством.

Как ИИ в кибербезопасности ИИ улучшился

Подходы к кибербезопасности на основе ИИ сделали значительные шаги к улучшению с момента их появления. Рассмотрите следующее:

Консенсус с помощью выборки смягчает несоответствие — Несоответствия в решениях или результатах можно эффективно смягчить, используя несколько ИИ-агентов с разными конфигурациями (например, разными моделями при разных температурах) для интерпретации данных, собранных предыдущими операциями агентов.

Использование выборки позволяет организациям понять, где разные модели согласны и где они расходятся. В результате, полагаясь на информацию, где все модели согласны, и игнорируя информацию, где они различаются, можно существенно смягчить несоответствие.

Важно отметить, однако, что информация, где агенты выборки не согласны, также ценна, поскольку они выявляют неопределенность и необходимость лучших данных или входных данных. Эта несоответствующая информация может помочь организациям расставить приоритеты доступа к важным данным для улучшения принятия решений.

Последовательные процедуры с помощью планов расследования — Одна из основных причин, по которой несколько запусков расследования ИИ-SOC приводят к несоответствующим результатам, является вариация не только собранных данных, но и гипотез, созданных или измененных во время расследования ИИ-агента. Установление высокоуровневого стандарта операционной процедуры (SOP) для определенных категорий помогает агентам формировать более последовательные гипотезы и улучшать общую последовательность результатов. Это не новый подход — большинство человеческих аналитиков SOC уже полагаются на SOP для обеспечения эффективных и последовательных расследований. ИИ-агенты могут использовать SOP таким же образом.

Следуемые доказательства демистифицируют “Черный ящик” — Как лучшая практика, ИИ-SOC должен быть разработан с учетом поддерживающих доказательств. Каждое решение и гипотеза, которую делает агент, должны быть подтверждены поддерживающей информацией, включая следы рассуждений и сырые данные журнала, подтверждающие это рассуждение.

ИИ для кибербезопасности, которому можно доверять

ИИ-агенты могут ускорить обнаружение, триаж и реагирование на угрозы в кибербезопасности, но они также вводят реальные риски — включая несоответствующие результаты, неясные решения и чувствительность к качеству данных. Доверие для использования в миссионно-kritических средах требует доказательств, подтверждающих рассуждение, включая следы и сырые артефакты; структурированных SOP для снижения вариации; выборки нескольких агентов для разделения консенсуса и неопределенности; и ограничений для целостности данных, внедрения подсказок и ограничений шагов и бюджета.

Все эти критические исправления могут быть решены с помощью передовых подходов LLM ИИ-агентов, предназначенных для решения сложности современных ИИ-управляемых операций безопасности. Например, некоторые передовые подходы LLM используют передовую выборку нескольких агентов, чтобы позволить организациям использовать коллективный интеллект различных моделей ИИ, которые сотрудничают для достижения консенсуса, минимизации несоответствий и определения областей неопределенности. Его структурированные и ясные руководства по расследованию обеспечивают, что шаги анализа следуют лучшим практикам и стандартизированным процедурам, что приводит к последовательности и надежности в каждой операции.

Результаты от начала до конца обеспечивают, что каждый вердикт, рекомендация и автоматическое действие проверяются и понимаемы для обеспечения полной прозрачности командам безопасности, а также строят доверие с заинтересованными сторонами. Интегрируя эти ключевые элементы — и реализуя надежные контроли для качества данных, безопасности и операционных ограничений — передовые подходы LLM ИИ-агентов позволяют SOC достигать результатов, которые не только надежны и прозрачны, но также готовы к производству для реальных сред и ваших наиболее миссионно-kritических активностей.