Контроль галлюцинаций: преимущества и риски использования LLM как части процессов обеспечения безопасности

Большие языковые модели (LLM), обученные работе с огромными объемами данных, могут сделать команды по обеспечению безопасности более умными. LLM предоставляют оперативные предложения и рекомендации по реагированию, аудиту, управлению состоянием и т. д. Большинство групп безопасности экспериментируют или используют LLM, чтобы сократить ручной труд в рабочих процессах. Это может быть как для обыденных, так и для сложных задач. 

Например, LLM может запросить сотрудника по электронной почте, намеревался ли он поделиться документом, являющимся собственностью, и обработать ответ с рекомендацией специалиста по безопасности. LLM также может быть поручено переводить запросы на поиск атак в цепочке поставок на модули с открытым исходным кодом и развертывание агентов, ориентированных на конкретные условия — новые участники широко используемых библиотек, неправильные шаблоны кода — при этом каждый агент подготовлен к этому конкретному условию. 

Тем не менее, эти мощные системы искусственного интеллекта несут значительные риски, которые отличаются от других рисков, с которыми сталкиваются службы безопасности. Модели, обеспечивающие безопасность LLM, могут быть скомпрометированы в результате быстрого внедрения или заражения данных. Непрерывные петли обратной связи и алгоритмы машинного обучения без достаточного человеческого руководства могут позволить злоумышленникам проверять меры контроля, а затем вызывать нецеленаправленные реакции. LLM склонны к галлюцинациям, даже в ограниченных областях. Даже лучшие студенты LLM придумывают что-то, когда не знают ответа. 

Процессы безопасности и политики искусственного интеллекта, связанные с использованием и рабочими процессами LLM, станут более важными, поскольку эти системы станут более распространенными в операциях и исследованиях в области кибербезопасности. Обеспечение соблюдения этих процессов, их измерения и учета в системах управления будет иметь решающее значение для обеспечения того, чтобы директора по информационной безопасности могли обеспечить достаточный охват GRC (управление, риски и соответствие) для соответствия новым мандатам, таким как Cybersecurity Framework 2.0. 

Огромные перспективы магистратуры в области кибербезопасности

Директора по информационной безопасности и их команды постоянно пытаются справиться с растущей волной новых кибератак. По данным Qualys, количество CVE, зарегистрированных в 2023 году, достигло рекордного уровня. новый рекорд - 26,447 XNUMX. Это более чем в 5 раз больше, чем в 2013 году. 

Эта задача становится еще более сложной, поскольку поверхность атаки средней организации увеличивается с каждым годом. Команды AppSec должны защищать и контролировать гораздо больше программных приложений. Облачные вычисления, API, мультиоблачные технологии и технологии виртуализации усложнили ситуацию. Благодаря современным инструментам и процессам CI/CD команды разработчиков приложений могут выпускать больше кода быстрее и чаще. Микросервисы разделили монолитное приложение на множество API и поверхностей для атак, а также пробили множество дыр в глобальных брандмауэрах для связи с внешними сервисами или клиентскими устройствами.

Продвинутые программы LLM обещают снизить нагрузку на команды по кибербезопасности и улучшить их возможности. Инструменты кодирования на основе искусственного интеллекта широко используются в разработке программного обеспечения. Исследование Github показало, что 92% разработчиков используют или использовали инструменты искусственного интеллекта для предложения и завершения кода. Большинство этих инструментов «второго пилота» имеют некоторые возможности обеспечения безопасности. Фактически, программные дисциплины с относительно двоичными результатами, такие как программирование (код либо пройдет, либо не пройдет модульные тесты), хорошо подходят для LLM. Помимо сканирования кода для разработки программного обеспечения и в конвейере CI/CD, ИИ может быть полезен для команд кибербезопасности и по нескольким другим причинам:   

• Расширенный анализ: LLM могут обрабатывать огромные объемы данных безопасности (журналы, оповещения, данные об угрозах) для выявления закономерностей и взаимосвязей, невидимых для людей. Они могут делать это на разных языках, круглосуточно и во многих измерениях одновременно. Это открывает новые возможности для служб безопасности. LLM могут сжигать стопку предупреждений практически в реальном времени, отмечая те из них, которые, скорее всего, будут серьезными. Благодаря обучению с подкреплением анализ должен со временем улучшиться. 
• Автоматизация: LLM могут автоматизировать задачи группы безопасности, которые обычно требуют двустороннего общения. Например, когда группа безопасности получает IoC и ей необходимо спросить владельца конечной точки, действительно ли он вошел в устройство или находится где-то за пределами своих обычных рабочих зон, LLM может выполнить эти простые операции, а затем выполнить следующие действия: вопросы по мере необходимости, а также ссылки и инструкции. Раньше это было взаимодействие, которое член команды ИТ или безопасности должен был осуществлять самостоятельно. LLM также могут предоставлять более расширенные функциональные возможности. Например, Microsoft Copilot for Security может создавать отчеты об анализе инцидентов и переводить сложный код вредоносного ПО в описания на естественном языке. 
• Непрерывное обучение и настройка: В отличие от предыдущих систем машинного обучения для политик безопасности и понимания, LLM может учиться на лету, получая человеческие оценки своих ответов и перенастраиваясь на новые пулы данных, которые могут не содержаться во внутренних файлах журналов. Фактически, используя одну и ту же базовую базовую модель, LLM по кибербезопасности можно настроить для разных команд и их потребностей, рабочих процессов или задач, специфичных для региона или вертикали. Это также означает, что вся система может мгновенно стать такой же умной, как и модель, при этом изменения будут быстро распространяться по всем интерфейсам. 

Риск получения степени LLM в области кибербезопасности

Будучи новой технологией с коротким опытом, LLM несет в себе серьезные риски. Хуже того, понимание полного масштаба этих рисков является сложной задачей, поскольку результаты LLM не являются на 100% предсказуемыми или программными. Например, LLM могут «галлюцинировать» и придумывать ответы или неправильно отвечать на вопросы, основываясь на воображаемых данных. Прежде чем применять LLM для случаев использования кибербезопасности, необходимо учитывать потенциальные риски, в том числе: 

• Оперативная инъекция:  Злоумышленники могут создавать вредоносные подсказки специально для получения вводящих в заблуждение или вредных результатов. Этот тип атаки может использовать склонность LLM генерировать контент на основе получаемых подсказок. В случаях использования в области кибербезопасности внедрение подсказок может быть наиболее рискованным как форма внутренней атаки или атаки неавторизованного пользователя, который использует подсказки для постоянного изменения выходных данных системы путем искажения поведения модели. Это может привести к получению неточных или недействительных результатов для других пользователей системы. 
• Отравление данных:  Данные обучения, на которые полагаются LLM, могут быть намеренно повреждены, что ставит под угрозу принятие ими решений. В условиях кибербезопасности, где организации, скорее всего, используют модели, обученные поставщиками инструментов, может произойти отравление данных во время настройки модели для конкретного клиента и варианта использования. Риск здесь может заключаться в том, что неавторизованный пользователь добавит неверные данные — например, поврежденные файлы журналов — чтобы сорвать процесс обучения. Авторизованный пользователь также может сделать это случайно. Результатом будут результаты LLM, основанные на неверных данных.
• Галлюцинации: Как упоминалось ранее, LLM могут генерировать фактически неверные, нелогичные или даже злонамеренные ответы из-за неправильного понимания подсказок или основных недостатков данных. В случаях использования кибербезопасности галлюцинации могут привести к критическим ошибкам, которые наносят вред анализу угроз, сортировке и устранению уязвимостей и т. д. Поскольку кибербезопасность является критически важной деятельностью, LLM должны соответствовать более высоким стандартам управления и предотвращения галлюцинаций в этих контекстах. 

По мере того, как системы искусственного интеллекта становятся более функциональными, их возможности информационной безопасности быстро расширяются. Чтобы внести ясность: многие компании, занимающиеся кибербезопасностью, уже давно используют сопоставление шаблонов и машинное обучение для динамической фильтрации. Новым в эпоху генеративного искусственного интеллекта являются интерактивные LLM, которые обеспечивают уровень интеллекта поверх существующих рабочих процессов и пулов данных, что в идеале повышает эффективность и расширяет возможности групп кибербезопасности. Другими словами, GenAI может помочь инженерам по безопасности делать больше с меньшими усилиями и теми же ресурсами, обеспечивая более высокую производительность и ускорение процессов.