Контроль галлюцинаций: выгоды и риски развертывания БМЯ в составе процессов безопасности

Большие языковые модели (БМЯ) обученные на огромных объемах данных могут сделать команды безопасности умнее. БМЯ предоставляют встроенные предложения и рекомендации по реагированию, аудиту, управлению постурой и многому другому. Большинство команд безопасности экспериментируют с БМЯ или используют их для снижения ручного труда в рабочих процессах. Это может быть как для скучных, так и для сложных задач.

Например, БМЯ может запросить у сотрудника по электронной почте, имел ли он в виду поделиться документом, который был проприетарным, и обработать ответ с рекомендацией для специалиста по безопасности. БМЯ также можно задействовать для перевода запросов на поиск атак на цепочку поставок в открытых модулях и запуска агентов, ориентированных на конкретные условия — новых участников в широко используемых библиотеках, неправильных шаблонов кода — с каждым агентом, подготовленным для этого конкретного условия.

Однако эти мощные системы ИИ несут значительные риски, которые отличаются от других рисков, с которыми сталкиваются команды безопасности. Модели, которые обеспечивают безопасность БМЯ, могут быть скомпрометированы через инъекцию подсказок или отравление данных. Постоянные циклы обратной связи и алгоритмы машинного обучения без достаточного руководства человека могут позволить злоумышленникам проверять контроли и затем вызывать плохо нацеленные ответы. БМЯ склонны к галлюцинациям, даже в ограниченных областях. Даже лучшие БМЯ выдумывают, когда они не знают ответа.

Процессы безопасности и политики ИИ вокруг использования БМЯ и рабочих процессов станут более важными, поскольку эти системы станут более распространенными в операциях кибербезопасности и исследованиях. Обеспечение того, чтобы эти процессы соблюдались, и были измерены и учтены в системах управления, окажется важным для того, чтобы руководители по информационной безопасности могли обеспечить достаточное покрытие ГРЦ (Управление, Риск и Соблюдение) для выполнения новых директив, таких как Рамка кибербезопасности 2.0.

Огромный потенциал БМЯ в кибербезопасности

Руководители по информационной безопасности и их команды постоянно борются за то, чтобы поспевать за растущей волной новых кибератак. Согласно Qualys, количество уязвимостей, зарегистрированных в 2023 году, достигло нового рекорда — 26 447. Это на 5 раз больше, чем в 2013 году.

Эта задача стала еще более сложной, поскольку поверхность атаки средней организации растет с каждым годом. Команды по обеспечению безопасности приложений должны защищать и отслеживать многие больше программных приложений. Облачные вычисления, API, многооблачные и виртуализационные технологии добавили дополнительную сложность. С помощью современных инструментов и процессов CI/CD команды разработки могут доставлять больше кода, быстрее и чаще. Микросервисы как разбили монолитные приложения на многочисленные API и поверхность атаки, так и пробили много больше дыр в глобальных брандмауэрах для связи с внешними сервисами или устройствами клиентов.

Передовые БМЯ имеют огромный потенциал для снижения нагрузки команд кибербезопасности и улучшения их возможностей. Инструменты кодирования на основе ИИ широко проникли в разработку программного обеспечения. Исследование Github показало, что 92% разработчиков используют или использовали инструменты ИИ для предложения и завершения кода. Большинство этих «пилотов» имеют некоторые возможности безопасности. На самом деле, программные дисциплины с относительно бинарными результатами, такие как кодирование (код либо проходит, либо не проходит тесты), хорошо подходят для БМЯ. Помимо сканирования кода для разработки программного обеспечения и в конвейере CI/CD, ИИ может быть полезен для команд кибербезопасности несколькими другими способами:

• Улучшенный анализ: БМЯ могут обрабатывать огромные объемы данных безопасности (журналов, оповещений, данных о угрозах), чтобы выявить закономерности и корреляции, невидимые для человека. Они могут делать это на нескольких языках, круглосуточно и на многочисленных измерениях одновременно. Это открывает новые возможности для команд безопасности. БМЯ могут быстро обработать стек оповещений, пометив те, которые наиболее вероятно являются серьезными. Благодаря обучению с подкреплением анализ должен улучшаться со временем.
• Автоматизация: БМЯ могут автоматизировать задачи команд безопасности, которые обычно требуют разговорного обмена. Например, когда команда безопасности получает IoC и должна спросить владельца конечной точки, действительно ли он вошел в устройство или находится вне своей обычной рабочей зоны, БМЯ может выполнить эти простые операции, а затем задать дополнительные вопросы по мере необходимости и предоставить ссылки или инструкции. Это раньше было взаимодействием, которое член команды ИТ или безопасности должен был проводить самостоятельно. БМЯ также могут предоставлять более продвинутую функциональность. Например, Microsoft Copilot для безопасности может генерировать отчеты об анализе инцидентов и переводить сложный код вредоносного ПО в описания на естественном языке.
• Непрерывное обучение и настройка: В отличие от предыдущих систем машинного обучения для политик и понимания безопасности, БМЯ могут учиться на лету, потребляя рейтинги человека ответа и настраиваясь на новые пулы данных, которые могут не содержаться во внутренних журналах. На самом деле, используя одну и ту же основную модель, БМЯ кибербезопасности можно настроить для разных команд и их потребностей, рабочих процессов или региональных или вертикальных задач. Это также означает, что вся система может мгновенно стать такой же умной, как модель, с изменениями, быстро распространяющимися по всем интерфейсам.

Риск БМЯ для кибербезопасности

Как новая технология с короткой историей, БМЯ несут серьезные риски. Хуже того, понимание полной степени этих рисков является сложным, поскольку выходные данные БМЯ не являются на 100% предсказуемыми или программными. Например, БМЯ могут «галлюцинировать» и выдумывать ответы или отвечать на вопросы неправильно, основываясь на воображаемых данных. Перед тем, как принять БМЯ для использования в кибербезопасности, необходимо учитывать потенциальные риски, включая:

• Инъекция подсказок: Атакующие могут создавать вредоносные подсказки специально для получения误导ительных или вредоносных выходных данных. Этот тип атаки может использовать тенденцию БМЯ генерировать контент на основе полученных подсказок. В случаях кибербезопасности инъекция подсказок может быть наиболее рискованной в качестве формы внутренней атаки или атаки неавторизованного пользователя, который использует подсказки для постоянного изменения выходных данных системы, искажая поведение модели. Это может генерировать неточные или недействительные выходные данные для других пользователей системы.
• Отравление данных: Обучающие данные, на которых полагаются БМЯ, могут быть намеренно испорчены, компрометируя их процесс принятия решений. В условиях кибербезопасности, где организации, вероятно, используют модели, обученные поставщиками инструментов, отравление данных может произойти во время настройки модели для конкретного клиента и случая использования. Риск здесь может заключаться в том, что неавторизованный пользователь добавляет плохие данные — например, испорченные журналы — для подрыва процесса обучения. Авторизованный пользователь также может сделать это непреднамеренно. Результатом будет выходные данные БМЯ, основанные на плохих данных.
• Галлюцинации: Как упоминалось ранее, БМЯ могут генерировать фактически неверные, нелогичные или даже вредоносные ответы из-за недоразумений подсказок или недостатков базовых данных. В случаях кибербезопасности галлюцинации могут привести к критическим ошибкам, которые парализуют разведку угроз, триаж и исправление уязвимостей и многое другое. Поскольку кибербезопасность является критически важной деятельностью, БМЯ должны соответствовать более высокому стандарту управления и предотвращения галлюцинаций в этих контекстах.

По мере того, как системы ИИ становятся более способными, их развертывания в информационной безопасности расширяются быстро. Чтобы быть ясным, многие компании кибербезопасности уже давно используют сопоставление с образцом и машинное обучение для динамической фильтрации. То, что новое в эпоху генеративного ИИ, — это интерактивные БМЯ, которые предоставляют слой интеллекта поверх существующих рабочих процессов и пулов данных, идеально улучшая эффективность и повышая возможности команд кибербезопасности. Другими словами, GenAI может помочь инженерам по безопасности делать больше с меньшими усилиями и теми же ресурсами, в результате чего получается лучшая производительность и ускоренные процессы.