Контроль галюцинацій: переваги та ризики розгортання великих мовних моделей як частини процесів безпеки

Великі мовні моделі (LLM) можуть зробити операції з безпеки розумнішими. LLM забезпечують пропозиції та керівництво щодо відповідей, аудитів, управління постурою та іншого. Більшість команд з безпеки експериментують з або використовують LLM для зменшення ручної праці в робочих процесах. Це може бути як для звичайних, так і для складних завдань.

Наприклад, LLM може запитати співробітника через електронну пошту, чи мав він на меті поділитися документом, який є власністю компанії, і обробити відповідь з рекомендацією для спеціаліста з безпеки. LLM також можна доручити перекладати запитів на пошук атак на відкритих джерелах та запуск агентів, зосереджених на конкретних умовах — нових учасників у широко використовуваних бібліотеках, неправильних шаблонів коду — з кожним агентом, підготовленим для цієї конкретної умови.

Однак, ці потужні системи штучного інтелекту несуть значні ризики, які відрізняються від інших ризиків, з якими стикаються команди з безпеки. Моделі, які живлять LLM безпеки, можуть бути скомпрометовані через ін’єкцію промпта або отруєння даних. Постійні зворотні зв’язки та алгоритми машинного навчання без достатнього керівництва людини можуть дозволити зловмисникам досліджувати контролі та індукувати погано націлені відповіді. LLM схильні до галюцинацій, навіть у обмежених областях. Навіть найкращі LLM вигадують речі, коли вони не знають відповіді.

Процеси безпеки та політики штучного інтелекту щодо використання LLM та робочих процесів стануть ще більш критичними, оскільки ці системи стануть більш поширеними у операціях з кібербезпеки та дослідженнях. Забезпечення того, щоб ці процеси були дотримані, і були виміряні та враховані в системах управління, буде важливим для того, щоб директори з інформаційної безпеки могли забезпечити достатню охорону, ризик та відповідність новим мандатам, таким як Кібербезпека 2.0.

Велика обіцянка LLM у кібербезпеці

Директори з інформаційної безпеки та їхні команди постійно борються за те, щоб跟увати зростаючу хвилю нових кібератак. За даними Qualys, кількість виявлених уразливостей у 2023 році досягла нового рекорду — 26 447. Це на 5 разів більше, ніж у 2013 році.

Ця проблема стала ще більш складною, оскільки поверхня атаки середньої організації зростає з кожним роком. Команди з безпеки програмного забезпечення повинні захищати та контролювати багато більше програмних застосунків. Хмарі, API, мультихмарі та віртуалізація додали додаткову складність. З сучасними інструментами CI/CD та процесами команди програмного забезпечення можуть випускати більше коду, швидше та частіше. Мікросервіси розбили монолітні програми на численні API та поверхню атаки, а також пробили багато更多 дірок у глобальних брандмауерах для спілкування з зовнішніми послугами або клієнтськими пристроями.

Розширені LLM мають велику обіцянку зменшити робоче навантаження команд з кібербезпеки та покращити їхні можливості. Інструменти штучного інтелекту для програмування широко проникли у розробку програмного забезпечення. Дослідження Github показало, що 92% розробників використовують або використовували інструменти штучного інтелекту для пропозицій коду та його завершення. Більшість цих “пілотів” мають деякі можливості безпеки. Насправді, програмні дисципліни з відносно бінарними результатами, такими як програмування (код буде або проходити, або не проходити тести), добре підходять для LLM. Поза скануванням коду для розробки програмного забезпечення та у процесі CI/CD, штучний інтелект може бути цінним для команд з кібербезпеки у кількох інших аспектах:

• Покращений аналіз: LLM можуть обробляти величезні об’єми даних безпеки (журнали, попередження, розвідка загроз) для визначення закономірностей та кореляцій, які невидимі для людей. Вони можуть робити це за мовами, добу, та за численними вимірами одночасно. Це відкриває нові можливості для команд з безпеки. LLM можуть швидко обробляти стек попереджень, виділяючи ті, які найімовірніше будуть серйозними. За допомогою навчання з підкріпленням аналіз повинен покращуватися з часом.
• Автоматизація: LLM можуть автоматизувати завдання команд з безпеки, які зазвичай вимагають розмовного спілкування. Наприклад, коли команда з безпеки отримує IoC та потребує запитати власника кінцевого пристрою, чи мав він насправді увійти до пристрою чи знаходиться поза його звичайними робочими зонами, LLM може виконувати ці прості операції, а потім слідувати за запитами та посиланнями чи інструкціями. Це раніше було взаємодією, яку мали проводити самі члени команди з безпеки або ІТ. LLM також можуть забезпечувати більш просунуту функціональність. Наприклад, Microsoft Copilot для безпеки може генерувати звіти про аналіз інцидентів та перекладати складний код зловмисного програмного забезпечення на природні мовні описи.
• Постійне навчання та налаштування: На відміну від попередніх систем машинного навчання для політики безпеки та розуміння, LLM можуть навчатися на льоту, споживаючи оцінки людини щодо їхньої відповіді та налаштовуючись на нові пули даних, які можуть не бути містяться у внутрішніх журналах. Насправді, використовуючи ту саму основну модель, LLM для кібербезпеки можна налаштовувати для різних команд та їхніх потреб, робочих процесів чи регіонально- чи вертикально-специфічних завдань. Це також означає, що вся система може миттєво бути такою ж розумною, як модель, з змінами, які швидко поширюються через усі інтерфейси.

Ризик LLM для кібербезпеки

Як нова технологія з короткою історією, LLM мають серйозні ризики. Що гірше, розуміння повного обсягу цих ризиків є складним, оскільки вивід LLM не є 100% передбачуваним або програмним. Наприклад, LLM можуть “галюцинувати” та вигадувати відповіді або відповідати на запитання неправильно, засновані на уявному даних. Перед прийняттям LLM для випадків кібербезпеки необхідно розглянути потенційні ризики, включаючи:

• Ін’єкція промпта: Атакувальники можуть створити шкідливі промпти конкретно для отримання оманливих або шкідливих виводів. Це тип атаки може利用увати схильність LLM генерувати вміст на основі промптів, які вони отримують. У випадках кібербезпеки ін’єкція промпта може бути найбільш ризикованою як форма внутрішньої атаки або атаки необмеженого користувача, який використовує промпти для постійного зміни виводів системи, викривляючи поведінку моделі. Це може генерувати неточні або недійсні виводи для інших користувачів системи.
• Отруєння даних: Тренувальні дані, на яких залежать LLM, можуть бути намерено пошкоджені, компрометуючи їхнє прийняття рішень. У випадках кібербезпеки, де організації, ймовірно, використовують моделі, треновані постачальниками інструментів, отруєння даних може відбуватися під час налаштування моделі для конкретного клієнта та випадку використання. Ризик тут полягає у тому, що необмежений користувач може додати погані дані — наприклад, пошкоджені журнали — щоб підірвати процес навчання. Обмежений користувач також може зробити це ненавмисно. Результатом будуть виводи LLM, засновані на поганих даних.
• Галюцинації: Як згадувалося раніше, LLM можуть генерувати фактично неправильні, нелогічні або навіть шкідливі відповіді через непорозуміння промптів або основних дефектів даних. У випадках кібербезпеки галюцинації можуть призвести до критичних помилок, які паралізують розвідку загроз, тріаж та виправлення уразливостей та інше. Оскільки кібербезпека є критично важливою діяльністю, LLM повинні відповідати вищому стандарту управління та попередження галюцинацій у цих контекстах.

Як системи штучного інтелекту стають більш потужними, їхнє розгортання у сфері інформаційної безпеки розширюється швидко. Щоб бути ясним, багато компаній з кібербезпеки давно використовують узгодження шаблонів та машинне навчання для динамічного фільтрування. Що нового в епоху генеративного штучного інтелекту — це інтерактивні LLM, які забезпечують шар інтелекту над існуючими робочими процесами та пулами даних, ідеально покращуючи ефективність та розширюючи можливості команд з кібербезпеки. Інакше кажучи, Генеративний штучний інтелект може допомогти інженерам з безпеки робити більше з меншими зусиллями та тими самими ресурсами, забезпечуючи кращу продуктивність та прискорення процесів.