Доверие ИИ-агентам SOC в миссионно-критических hoạtностях SOC

Большие языковые модели (LLM) и ИИ-агенты оказывают значительное влияние во многих областях, включая кибербезопасность. Небо — предел, когда речь идет о их потенциале. Однако на земле, где LLM интегрируются в основные рабочие процессы, где принимаются бизнес-решения, возникли многие проблемы, особенно вокруг конфиденциальности и точности данных. Мы остаемся с вопросом: Достаточно ли ИИ-агенты надежны для моего бизнеса?

Когда речь идет о кибербезопасности и Центрах операций безопасности (SOC), быстрый ответ, как мы слышали на протяжении всей нашей карьеры, звучит так: Да, с надлежащими контролями и смягчением в SOC, ИИ-агенты могут быть успешно и безопасно развернуты в производственных средах, где они добавляют значительную ценность, работая вместе с человеческими аналитиками SOC.

Проблемы ИИ в кибербезопасности

Готовые LLM, используемые как самостоятельное решение, имеют несколько основных проблем, таких как галлюцинации, отравление данных и внедрение подсказок. Эти проблемы могут вызвать серьезные проблемы в автономном SOC, включая:

Ограниченные данные, вызывающие неточные вердикты – ИИ-агентам необходимо иметь все релевантную информацию из окружающей среды, чтобы хорошо выполнять свою работу – как минимум столько же данных, сколько имеют человеческие аналитики безопасности, и желательно больше. Недостаточная информация приводит к тому, что ИИ-агенты делают ложные предположения, которые могут различаться при повторных запусках расследования. Если вы ограничиваете доступ к данным по соображениям безопасности или ограничиваете количество действий, которые может выполнять ИИ, из-за бюджетных ограничений, ожидайте снижения точности.

Несовместимые вердикты – ИИ-агентам необходимо принимать решения и выполнять задачи на основе собранных данных. Из-за большого объема безопасности данных в типичных средах часто используется подход выборки для балансирования точности и бюджета. Когда расследования запускаются несколько раз, могут появляться различия в вердикте, его определенной严重ности и рекомендуемых действиях. Это нормально, пока разница находится в пределах допустимого предела, и это происходит даже тогда, когда два разных человеческих аналитика смотрят на одно и то же оповещение.

Непрозрачное рассуждение, или “черный ящик” проблема – Некоторые ИИ-агенты работают как непрозрачные системы. Результаты ИИ-управляемого SOC могут выглядеть очень впечатляющими сначала, но для важных бизнес-решений вам необходимо понять, что привело ИИ SOC к рекомендованным действиям. Однако это не является внутренним ограничением ИИ, поскольку некоторые ИИ-агенты идут на большие длины, чтобы быть прозрачными. Рекомендуется тщательно проверить ИИ-агентов в Proof of Value перед обязательством.

Как ИИ в кибербезопасности улучшился

Подходы к кибербезопасности на основе ИИ сделали значительные шаги к улучшению с момента их введения. Рассмотрите следующее:

Консенсус с помощью выборки смягчает несоответствия – Несоответствия в решениях или результатах можно эффективно устранить, используя несколько ИИ-агентов с разными конфигурациями (например, разными моделями при разных температурах) для интерпретации данных, собранных предыдущими операциями агентов.

Использование выборки позволяет организациям понять, где разные модели ИИ согласны и где они расходятся. В результате, полагаясь на информацию, где все модели согласны, и отбрасывая информацию, где они различаются, можно существенно смягчить несоответствия.

Важно отметить, однако, что информация, где агенты выборки не согласны, также ценна, поскольку она выявляет неопределенность и необходимость лучших данных или ввода. Эта несоответствующая информация может помочь организациям расставить приоритеты доступа к важным данным для улучшения принятия решений.

Последовательные процедуры с помощью планов расследования – Одной из основных причин, по которой несколько запусков расследования ИИ SOC приводят к несоответствующим результатам, является вариация не только собранных данных, но и гипотез, созданных или измененных во время расследования ИИ-агента. Установление высокоуровневого стандартизированного операционного руководства (SOP) для определенных категорий помогает агентам формировать более последовательные гипотезы и улучшать общую последовательность результатов. Это не новый подход – большинство человеческих аналитиков SOC уже полагаются на SOP для обеспечения эффективных и последовательных расследований. ИИ-агенты могут использовать SOP таким же образом.

Следуемые доказательства рассеивают “черный ящик” – В качестве лучшей практики ИИ SOC должен быть разработан с учетом доказательств. Каждое решение и гипотеза, которую делает агент, должны быть подтверждены поддерживающей информацией, включая следы рассуждений и сырые лог-данные, подтверждающие это рассуждение.

ИИ для кибербезопасности, которому можно доверять

ИИ-агенты могут ускорить обнаружение, триаж и реагирование на угрозы в кибербезопасности, но они также вводят реальные риски – включая несоответствующие результаты, непрозрачные решения и чувствительность к качеству данных. Доверие к использованию в миссионно-критических средах требует доказательств, подтверждающих рассуждение, включая следы и сырые артефакты; структурированные SOP для снижения вариации; выборку нескольких агентов для разделения консенсуса и неопределенности; и ограничители для целостности данных, внедрения подсказок и шагов и бюджетных ограничений.

Все эти критические исправления могут быть устранены с помощью продвинутых подходов LLM ИИ-агентов, разработанных для решения сложности современных ИИ-управляемых операций безопасности. Например, некоторые продвинутые подходы LLM используют продвинутую выборку нескольких агентов, чтобы позволить организациям использовать коллективный интеллект различных моделей ИИ, которые сотрудничают для достижения консенсуса, минимизации несоответствий и определения областей неопределенности. Структурированные и четкие руководства по расследованию обеспечивают, что шаги анализа следуют лучшим практикам и стандартизированным процедурам, обеспечивая последовательность и надежность в каждой операции.

Результаты отслеживаемых решений приводят к тому, что каждый вердикт, рекомендация и автоматическое действие проверяются и понимаемы для обеспечения полной прозрачности командам безопасности, а также строят доверие со заинтересованными сторонами. Интегрируя эти ключевые элементы – и реализуя надежные контроли для качества данных, безопасности и операционных ограничений – продвинутые подходы LLM ИИ-агентов позволяют SOC достичь результатов, которые не только надежны и прозрачны, но и готовы к производству для реальных сред и ваших наиболее миссионно-критических активностей.