Контроль за галлюцинациями: выгоды и риски развертывания БМК в качестве части процессов безопасности

Большие языковые модели (БМК) обученные на огромных объемах данных могут сделать команды безопасности умнее. БМК предоставляют встроенные предложения и рекомендации по ответу, аудиту, управлению постурой и многому другому. Большинство команд безопасности экспериментируют с БМК или используют их для снижения ручного труда в рабочих процессах. Это может быть как для обычных, так и для сложных задач.

Например, БМК может запросить у сотрудника по электронной почте, имел ли он в виду поделиться документом, который был собственностью, и обработать ответ с рекомендацией для специалиста по безопасности. БМК также может быть задействована для перевода запросов на поиск атак на открытые исходные модули и создания агентов, ориентированных на конкретные условия — новых участников в широко используемых библиотеках, неправильных шаблонов кода — с каждым агентом, подготовленным для этого конкретного условия.

Однако эти мощные системы искусственного интеллекта несут значительные риски, которые отличаются от других рисков, с которыми сталкиваются команды безопасности. Модели, обеспечивающие безопасность БМК, могут быть скомпрометированы через внедрение промптов или отравление данных. Непрерывные циклы обратной связи и алгоритмы машинного обучения без достаточного руководства человека могут позволить злоумышленникам проверять контроли и затем вызывать плохо нацеленные ответы. БМК склонны к галлюцинациям, даже в ограниченных областях. Даже лучшие БМК выдумывают, когда не знают ответа.

Процессы безопасности и политики ИИ вокруг использования БМК и рабочих процессов станут более критическими, поскольку эти системы станут более распространенными в операциях кибербезопасности и исследованиях. Обеспечение соблюдения этих процессов и их измерения и учета в системах управления будет иметь решающее значение для того, чтобы руководители по информационной безопасности могли обеспечить достаточное покрытие управления, рисков и соответствия требованиям для выполнения новых мандатов, таких как Каркас кибербезопасности 2.0.

Огромный потенциал БМК в кибербезопасности

Руководители по информационной безопасности и их команды постоянно борются за то, чтобы идти в ногу с растущей волной новых кибератак. Согласно Qualys, количество уязвимостей, сообщенных в 2023 году, достигло нового рекорда в 26 447. Это на 5 раз больше, чем в 2013 году.

Эта задача стала еще более сложной, поскольку поверхность атаки средней организации растет с каждым годом. Команды по обеспечению безопасности приложений должны защищать и контролировать многие больше программных приложений. Облачные вычисления, API, многооблачные и виртуализационные технологии добавили дополнительную сложность. С помощью современных инструментов и процессов CI/CD команды разработки могут доставлять больше кода, быстрее и чаще. Микросервисы как разбили монолитные приложения на многочисленные API и поверхности атаки, так и пробили много больше дыр в глобальных брандмауэрах для связи с внешними сервисами или устройствами клиентов.

Продвинутые БМК имеют огромный потенциал для снижения рабочей нагрузки команд кибербезопасности и улучшения их возможностей. Инструменты кодирования на основе ИИ широко проникли в разработку программного обеспечения. Исследование Github показало, что 92% разработчиков используют или использовали инструменты ИИ для предложения и завершения кода. Большинство этих «пилотов» имеют некоторые возможности безопасности. На самом деле, программные дисциплины с относительно бинарными результатами, такие как кодирование (код либо проходит, либо не проходит тесты), хорошо подходят для БМК. Помимо сканирования кода для разработки программного обеспечения и в конвейере CI/CD, ИИ может быть полезен для команд кибербезопасности несколькими другими способами:

• Улучшенный анализ: БМК могут обрабатывать огромные объемы данных безопасности (журналы, оповещения, разведка угроз), чтобы выявить закономерности и корреляции, невидимые для человека. Они могут делать это на нескольких языках, круглосуточно и по нескольким измерениям одновременно. Это открывает новые возможности для команд безопасности. БМК могут быстро обработать стек оповещений, пометив те, которые наиболее вероятно являются серьезными. Благодаря обучению с подкреплением анализ должен улучшаться со временем.
• Автоматизация: БМК могут автоматизировать задачи команд безопасности, которые обычно требуют разговорного обмена. Например, когда команда безопасности получает IoC и должна спросить владельца конечной точки, действительно ли он вошел в устройство или находится в месте, находящемся вне его обычных рабочих зон, БМК может выполнить эти простые операции, а затем провести дальнейшие вопросы по мере необходимости и ссылки или инструкции. Это раньше было взаимодействием, которое член команды ИТ или безопасности должен был проводить самостоятельно. БМК также могут предоставить более продвинутую функциональность. Например, Microsoft Copilot для безопасности может генерировать отчеты об анализе инцидентов и переводить сложный код вредоносного ПО в описания на естественном языке.
• Непрерывное обучение и настройка: В отличие от предыдущих систем машинного обучения для политик безопасности и понимания, БМК могут учиться на лету, потребляя человеческие рейтинги своих ответов и настраиваясь на новые пулы данных, которые могут не содержаться во внутренних журналах. На самом деле, используя одну и ту же основную модель, БМК кибербезопасности могут быть настроены для разных команд и их потребностей, рабочих процессов или регионально-специфических задач. Это также означает, что вся система может мгновенно стать такой же умной, как модель, с изменениями, быстро распространяющимися по всем интерфейсам.

Риски БМК для кибербезопасности

Как новая технология с короткой историей, БМК имеют серьезные риски. Хуже того, понимание полного объема этих рисков является сложной задачей, поскольку выходные данные БМК не являются на 100% предсказуемыми или программными. Например, БМК могут «галлюцинировать» и выдумывать ответы или отвечать на вопросы неправильно, основываясь на воображаемых данных. Перед тем, как принять БМК для использования в кибербезопасности, необходимо учитывать потенциальные риски, включая:

• Внедрение промптов: Атакующие могут создавать вредоносные промпты специально для получения误导ительных или вредоносных выходных данных. Этот тип атаки может использовать склонность БМК генерировать контент на основе полученных промптов. В случаях кибербезопасности внедрение промптов может быть наиболее рискованным в качестве формы внутренней атаки или атаки неавторизованного пользователя, который использует промпты для постоянного изменения выходных данных системы, искажая поведение модели. Это может генерировать неточные или недействительные выходные данные для других пользователей системы.
• Отравление данных: Обучающие данные, на которых полагаются БМК, могут быть намеренно скомпрометированы, компрометируя их процесс принятия решений. В средах кибербезопасности, где организации, скорее всего, используют модели, обученные поставщиками инструментов, отравление данных может произойти во время настройки модели для конкретного клиента и случая использования. Риск здесь может заключаться в том, что неавторизованный пользователь добавляет плохие данные — например, испорченные журналы — для подрыва процесса обучения. Авторизованный пользователь также может сделать это непреднамеренно. Результатом будут выходные данные БМК, основанные на плохих данных.
• Галлюцинации: Как упоминалось ранее, БМК могут генерировать фактически неправильные, нелогичные или даже вредоносные ответы из-за недоразумений промптов или основных дефектов данных. В случаях кибербезопасности галлюцинации могут привести к критическим ошибкам, которые парализуют разведку угроз, устранение уязвимостей и многое другое. Поскольку кибербезопасность является критически важной деятельностью, БМК должны соответствовать более высокому стандарту управления и предотвращения галлюцинаций в этих контекстах.

По мере того, как системы ИИ становятся более способными, их развертывания в информационной безопасности расширяются быстро. Чтобы быть ясным, многие компании кибербезопасности уже давно используют сопоставление шаблонов и машинное обучение для динамической фильтрации. То, что нового в эпоху генеративного ИИ, — это интерактивные БМК, которые предоставляют слой интеллекта поверх существующих рабочих процессов и пулов данных, идеально улучшая эффективность и расширяя возможности команд кибербезопасности. Другими словами, ИИ следующего поколения может помочь инженерам безопасности делать больше с меньшими усилиями и теми же ресурсами, обеспечивая лучшую производительность и ускоряя процессы.