Контроль галюцинацій: переваги та ризики розгортання LLM як частини процесів безпеки

Large Language Models (LLM) навчені на величезних кількостях даних можуть зробити команди безпеки розумнішими. LLM забезпечують інлайн-пропозиції та керівництво щодо реакції, аудиту, управління постурою та іншого. Більшість команд безпеки експериментують з використанням LLM для зменшення ручної праці в робочих процесах. Це можна зробити як для рутинних, так і для складних завдань.

Наприклад, LLM може запитати співробітника через електронну пошту, чи мав він на увазі поділитися документацією, яка є власністю компанії, та обробити відповідь з рекомендацією для спеціаліста з безпеки. LLM також можна доручити переклад запитів для пошуку атак на ланцюжок постачання у відкритих джерелах та запуск агентів, орієнтованих на конкретні умови — нових учасників широко використовуваних бібліотек, неправильних моделей коду — з кожним агентом, підготовленим для цієї конкретної умови.

Тим часом ці потужні системи штучного інтелекту несуть значні ризики, які відрізняються від інших ризиків, з якими стикаються команди безпеки. Моделі, що живлять LLM безпеки, можуть бути скомпрометовані через ін’єкцію промпта або отруєння даних. Постійні зворотні зв’язки та алгоритми машинного навчання без достатнього керівництва людини можуть дозволити зловмисникам досліджувати контролі та потім індукувати погано націлені реакції. LLM схильні до галюцинацій, навіть у обмежених областях. Навіть найкращі LLM вигадують речі, коли вони не знають відповіді.

Процеси безпеки та політики штучного інтелекту щодо використання LLM та робочих процесів стануть ще більш критичними, оскільки ці системи стануть більш поширеними у операціях з кібербезпекою та дослідженнях. Забезпечення того, щоб ці процеси були виконані, і були виміряні та враховані в системах управління, буде важливо для того, щоб CISO могли забезпечити достатній захист GRC (Управління, Ризик та Згодовість) для виконання нових директив, таких як Рамка кібербезпеки 2.0.

Велика обіцянка LLM у кібербезпеці

CISO та їх команди постійно борються за те, щоб跟ати за зростаючою хвилею нових кібератак. За даними Qualys, кількість CVE, повідомлених у 2023 році, досягла нового рекорду у 26 447. Це на 5 разів більше, ніж у 2013 році.

Ця проблема стала ще більш складною, оскільки поверхня атаки середньої організації зростає з кожним роком. Команди AppSec повинні захистити та контролювати багато більше програмних застосунків. Облачне комп’ютеринг, API, багатохмарні та віртуалізаційні технології додали додаткову складність. З сучасними інструментами та процесами CI/CD команда застосунків може відправляти більше коду, швидше та частіше. Мікросервіси розділили монолітні застосунки на численні API та атакувальну поверхню, а також пробили багато більше дірок у глобальних брандмауерах для спілкування з зовнішніми сервісами або пристроями клієнтів.

Розширені LLM мають велику обіцянку зменшити робоче навантаження команд кібербезпеки та покращити їхні можливості. Інструменти штучного інтелекту для кодування широко проникли у розробку програмного забезпечення. Дослідження Github виявило, що 92% розробників використовують або використовували інструменти штучного інтелекту для пропозиції та завершення коду. Більшість цих “копілотів” мають деякі можливості безпеки. Насправді, програмні дисципліни з відносно бінарними результатами, такими як кодування (код буде або проходити, або не проходити тести одиниць), добре підходять для LLM. Поза скануванням коду для розробки програмного забезпечення та у конвеєрі CI/CD штучний інтелект може бути цінним для команд кібербезпеки кількома іншими способами:

• Покращений аналіз: LLM можуть обробляти величезні об’єми даних безпеки (журнали, сповіщення, розвідка загроз) для визначення закономірностей та кореляцій, невидимих для людей. Вони можуть робити це на кількох мовах, цілодобово, та одночасно у численних вимірах. Це відкриває нові можливості для команд безпеки. LLM можуть обробити стек сповіщень у майже реальному часі, виділивши ті, які найімовірніше будуть серйозними. За допомогою підкріплювального навчання аналіз повинен покращуватися з часом.
• Автоматизація: LLM можуть автоматизувати завдання команд безпеки, які зазвичай потребують розмовної взаємодії. Наприклад, коли команда безпеки отримує IoC та повинна запитати власника кінцевого пристрою, чи він насправді ввійшов у пристрій або чи знаходиться поза своїми звичайними робочими зонами, LLM може виконувати ці прості операції, а потім слідувати за питаннями, як потрібно, та посиланнями або інструкціями. Це раніше було взаємодією, яку член команди ІТ або безпеки повинен був проводити самостійно. LLM також можуть забезпечувати більш просунуту функціональність. Наприклад, Microsoft Copilot для безпеки може генерувати звіти про аналіз інцидентів та перекладати складний код шкідливого програмного забезпечення у описи природною мовою.
• Постійне навчання та налаштування: На відміну від попередніх систем машинного навчання для політик безпеки та розуміння, LLM можуть навчатися на льоту, споживаючи рейтинги людини щодо його реакції та перенастроювання на нових пулі даних, які можуть не бути міститься у внутрішніх журналах. Насправді, використовуючи одну й ту ж основну модель, LLM безпеки можуть бути налаштовані для різних команд та їхніх потреб, робочих процесів або регіонально-специфічних завдань. Це також означає, що вся система може миттєво бути такою ж розумною, як модель, з змінами, що швидко поширюються через усі інтерфейси.

Ризик LLM для кібербезпеки

Як нова технологія з коротким досвідом, LLM мають серйозні ризики. Що гірше, розуміння повного обсягу цих ризиків є складним, оскільки виходи LLM не є 100% передбачуваними або програмними. Наприклад, LLM можуть “галюцинувати” та вигадувати відповіді або відповідати на питання неправильно, засновані на уявних даних. Перед прийняттям LLM для випадків використання кібербезпеки необхідно розглянути потенційні ризики, включаючи:

• Ін’єкція промпта: Зловмисники можуть створити шкідливі промпти спеціально для отримання оманливих або шкідливих виходів. Цей тип атаки може використати схильність LLM генерувати вміст на основі отриманих промптів. У випадках використання кібербезпеки ін’єкція промпта може бути найбільш ризикованою у вигляді внутрішньої атаки або атаки невAUTHORIZED користувача, який використовує промпти для постійного зміни виходів системи шляхом нахилу поведінки моделі. Це може генерувати неточні або недійсні виходи для інших користувачів системи.
• Отруєння даних: Дані, на яких залежать LLM, можуть бути намірно пошкоджені, компрометуючи їхнє прийняття рішень. У умовах кібербезпеки, де організації, ймовірно, використовують моделі, навчені постачальниками інструментів, отруєння даних може відбуватися під час налаштування моделі для конкретного клієнта та випадку використання. Ризик полягає в тому, що неавторизований користувач додає погані дані — наприклад, пошкоджені журнали — для підкупу процесу навчання. Авторизований користувач також може зробити це ненавмисно. Результатом будуть виходи LLM на основі поганих даних.
• Галюцинації: Як згадувалося раніше, LLM можуть генерувати фактично неправильні, нелогічні або навіть шкідливі реакції через непорозуміння промптів або недоліків даних. У випадках використання кібербезпеки галюцинації можуть призвести до критичних помилок, які паралізують розвідку загроз, тріаж та виправлення вразливостей та інше. Оскільки кібербезпека є місією критичної діяльності, LLM повинні відповідати вищому стандарту управління та запобігання галюцинаціям у цих контекстах.

З часом, як системи штучного інтелекту стають більш потужними, їхнє розгортання у сфері інформаційної безпеки розширюється швидко. Чисто кажучи, багато компаній з кібербезпеки давно використовують узгодження закономірностей та машинне навчання для динамічного фільтрування. Що нового в епоху генерації штучного інтелекту — це інтерактивні LLM, які забезпечують шар інтелекту поверх існуючих робочих процесів та пулі даних, ідеально покращуючи ефективність та підвищуючи можливості команд кібербезпеки. Інакше кажучи, генерація штучного інтелекту може допомогти інженерам з безпеки робити більше з меншими зусиллями та тими ж ресурсами, забезпечуючи кращу продуктивність та прискорені процеси.