Достаточно ли надёжны ИИ-агенты для моего бизнеса?

Большие языковые модели (LLM) и ИИ-агенты оказывают значительное влияние во многих областях, включая кибербезопасность. Их потенциал кажется безграничным. Однако на практике, когда LLM внедряют в ключевые рабочие процессы, в которых принимаются бизнес-решения, возникли многие проблемы, особенно связанные с конфиденциальностью и точностью данных. Возникает вопрос: Достаточно ли ИИ-агенты надежны для моего бизнеса?

Когда речь идет о кибербезопасности и центрах мониторинга и реагирования на угрозы информационной безопасности (SOC), быстрый ответ, как мы слышали на протяжении всей нашей карьеры, такой: Да, при надлежащем контроле и мерах снижения рисков в SOC, ИИ-агенты могут быть успешно и безопасно развернуты в рабочих средах, где они добавляют значительную ценность, работая вместе с аналитиками-людьми в SOC.

Проблемы применения ИИ в кибербезопасности

Готовые LLM, используемые как самостоятельное решение, имеют несколько основных проблем, таких как галлюцинации, отравление данных и инъекция промптов. Эти недостатки могут вызвать серьезные трудности в автономном SOC, включая:

Ограниченные данные, приводящие к неточным вердиктам — ИИ-агентам нужна вся относящаяся к задаче информация из рабочей среды, чтобы хорошо выполнить свою работу — как минимум столько же данных, сколько имеют аналитики-люди по безопасности, и желательно больше. Недостаток данных приводит к тому, что ИИ-агенты делают ложные предположения, которые могут варьироваться при разных запусках расследования. Если вы ограничиваете доступ к данным из-за проблем безопасности или ограничиваете количество действий, которые может выполнить ИИ, из-за бюджетных причин, ожидайте снижения точности.

Несогласованные выводы — ИИ-агентам необходимо принимать решения и выполнять задачи на основе собранных данных. Из-за большого объема данных о безопасности в типичных средах часто используется выборочный подход для достижения баланса между точностью и бюджетом. Когда расследования выполняются несколько раз, могут появиться различия в вердикте, определённом уровне серьёзности и рекомендуемых действиях. Это нормально, пока разница находится в пределах допустимого лимита, и это происходит даже тогда, когда два разных аналитика-человека смотрят на один и тот же сигнал.

Непрозрачные рассуждения, или проблема «чёрного ящика (BBOX.BO ) » — Некоторые ИИ-агенты работают как непрозрачные системы. Результаты ИИ-SOC могут выглядеть очень впечатляющими сначала, но для важных бизнес-решений вам нужно понять, что привело ИИ-SOC к рекомендованным действиям. Это, однако, не является внутренним ограничением ИИ, поскольку некоторые ИИ-агенты прилагают значительные усилия для обеспечения прозрачности. Рекомендуется тщательно проверить ИИ-агентов в рамках проверки ценности решения (Proof of Value), прежде чем принимать решение о внедрении.

Как улучшилось применение ИИ в кибербезопасности

Подходы к кибербезопасности на основе ИИ сделали значительные шаги к улучшению с момента их появления. Рассмотрите следующее:

Консенсус с помощью выборки снижает несогласованность — Несогласованность решений или результатов можно эффективно уменьшить, используя несколько ИИ-агентов с разными конфигурациями (например, разными моделями с разными настройками температуры) для интерпретации данных, собранных предыдущими операциями агентов.

Использование выборки позволяет организациям понять, где разные модели согласны и где они расходятся. В результате, полагаясь на информацию, где все модели согласны, и придавая меньший вес информации, по которой их мнения расходятся, можно существенно уменьшить несогласованность.

Важно отметить, однако, что информация, где агенты выборки не согласны, также ценна, поскольку она выявляет неопределенность и необходимость лучших данных или входных данных. Эта противоречивая информация может помочь организациям расставить приоритеты доступа к важным данным для улучшения принятия решений.

Последовательные процедуры с помощью планов расследования — Одной из основных причин, по которой несколько запусков расследования ИИ-SOC приводят к несогласованным результатам, является изменение не только собранных данных, но и гипотез, созданных или измененных во время расследования ИИ-агента. Создание общего руководства по расследованию на основе стандартных операционных процедур (SOP) для определённых категорий помогает агентам формировать более последовательные гипотезы и улучшать общую последовательность результатов. Это не новый подход — большинство аналитиков-людей в SOC уже полагаются на SOP для обеспечения эффективных и последовательных расследований. ИИ-агенты могут использовать SOP таким же образом.

Прослеживаемые доказательства демистифицируют “Черный ящик” — Как лучшая практика, ИИ-SOC должен быть разработан с учетом поддерживающих доказательств. Каждое принятое агентом решение и каждая выдвинутая им гипотеза должны подкрепляться подтверждающей информацией, включая следы рассуждений и сырые данные журнала, подтверждающие это рассуждение.

ИИ для кибербезопасности, которому можно доверять

ИИ-агенты могут ускорить обнаружение, триаж и реагирование на угрозы в кибербезопасности, но они также вводят реальные риски — включая несогласованные результаты, неясные решения и чувствительность к качеству данных. Доверие для использования в средах, критически важных для деятельности организации, требует доказательств, подтверждающих рассуждение, включая следы и сырые артефакты; структурированных SOP для снижения вариации; выборки нескольких агентов для разделения консенсуса и неопределенности; и мер защиты целостности данных, противодействия инъекциям промптов, а также ограничений числа шагов и бюджета.

Все эти важнейшие улучшения можно реализовать с помощью передовых подходов на основе ИИ-агентов с LLM, предназначенных для работы со сложностью современных операций безопасности на базе ИИ. Например, некоторые передовые подходы LLM используют передовую выборку нескольких агентов, чтобы позволить организациям использовать коллективный интеллект различных моделей ИИ, которые сотрудничают для достижения консенсуса, минимизации несоответствий и определения областей неопределенности. Их структурированные и ясные руководства по расследованию обеспечивают, что шаги анализа следуют лучшим практикам и стандартизированным процедурам, что приводит к последовательности и надежности в каждой операции.

Сквозная прослеживаемость решений позволяет проверять и понимать каждый вывод, каждую рекомендацию и каждое автоматическое действие. Это обеспечивает полную прозрачность для команд безопасности и укрепляет доверие заинтересованных сторон. Интегрируя эти ключевые элементы — и реализуя надёжные меры контроля качества данных промптов, безопасности и операционных защитных механизмов — передовые подходы на основе ИИ-агентов с LLM позволяют SOC достигать результатов, которые не только надежны и прозрачны, но также готовы к рабочему использованию в реальных средах и для наиболее критически важных задач.