Контроль галюцинацій: переваги та ризики розгортання LLM як частини процесів безпеки

Великі мовні моделі (LLM), навчені величезній кількості даних, можуть зробити команди безпеки розумнішими. LLM надають оперативні пропозиції та вказівки щодо реагування, аудитів, управління позицією тощо. Більшість команд безпеки експериментують або використовують LLM, щоб зменшити ручну працю в робочих процесах. Це може бути як для повсякденних, так і для складних завдань. 

Наприклад, LLM може запитати співробітника електронною поштою, чи він має намір поділитися конфіденційним документом, і обробити відповідь із рекомендацією для спеціаліста з безпеки. LLM також може бути доручено перекладати запити для пошуку атак ланцюга поставок на модулі з відкритим кодом і розкручувати агентів, зосереджених на конкретних умовах — нових учасників широко використовуваних бібліотек, неправильних шаблонів коду — з кожним агентом, налаштованим на цю конкретну умову. 

Тим не менш, ці потужні системи ШІ несуть значні ризики, які відрізняються від інших ризиків, з якими стикаються служби безпеки. Моделі, що забезпечують безпеку LLM, можуть бути скомпрометовані через швидке впровадження або отруєння даних. Безперервні цикли зворотного зв’язку та алгоритми машинного навчання без достатнього людського керівництва можуть дозволити зловмисникам досліджувати елементи керування, а потім викликати погано цілеспрямовані відповіді. LLMs схильні до галюцинацій, навіть в обмежених областях. Навіть найкращі магістратури вигадують речі, коли не знають відповіді. 

Процеси безпеки та політики штучного інтелекту щодо використання LLM і робочих процесів стануть більш критичними, оскільки ці системи стануть більш поширеними в операціях і дослідженнях кібербезпеки. Переконавшись, що ці процеси дотримуються, а також вимірюються та враховуються в системах управління, виявиться вкрай важливим для того, щоб CISO могли забезпечити достатнє покриття GRC (управління, ризики та відповідність) для виконання нових мандатів, таких як Cybersecurity Framework 2.0. 

Величезні перспективи магістратури з кібербезпеки

CISO та їхні команди постійно намагаються не відставати від наростаючої хвилі нових кібератак. За даними Qualys, кількість CVE, зареєстрованих у 2023 році, досягла а новий рекорд 26,447 XNUMX. Це більш ніж у 5 разів більше, ніж у 2013 році. 

Цей виклик стає ще більш важким, оскільки площа атаки середньої організації зростає з кожним роком. Команди AppSec повинні захищати та контролювати багато інших програмних програм. Хмарні обчислення, API, багатохмарні технології та технології віртуалізації додали додаткової складності. Завдяки сучасним інструментам і процесам CI/CD команди прикладних програм можуть надсилати більше коду, швидше та частіше. Мікросервіси розділили монолітну програму на численні API та поверхню атаки, а також пробили ще багато дірок у глобальних брандмауерах для зв’язку із зовнішніми службами чи пристроями клієнтів.

Просунуті магістратури мають величезні перспективи зменшити навантаження на команди з кібербезпеки та покращити їхні можливості. Інструменти кодування на основі ШІ широко проникли в розробку програмного забезпечення. Дослідження Github показало, що 92% розробників використовують або використовували інструменти штучного інтелекту для пропонування та завершення коду. Більшість цих інструментів «другого пілота» мають певні можливості безпеки. Насправді програмні дисципліни з відносно бінарними результатами, такі як кодування (код або пройде, або провалить модульні тести) добре підходять для LLM. Крім сканування коду для розробки програмного забезпечення та конвеєра CI/CD, штучний інтелект може бути корисним для команд з кібербезпеки кількома іншими способами:   

• Розширений аналіз: LLM можуть обробляти величезні обсяги даних безпеки (журналів, попереджень, розвідки про загрози), щоб ідентифікувати шаблони та кореляції, невидимі для людей. Вони можуть робити це різними мовами, цілодобово та в багатьох вимірах одночасно. Це відкриває нові можливості для команд безпеки. LLM можуть спалити стек сповіщень практично в режимі реального часу, позначаючи ті, які, найімовірніше, є серйозними. Завдяки навчанню з підкріпленням аналіз має покращуватися з часом. 
• Автоматизація: LLM можуть автоматизувати завдання групи безпеки, які зазвичай потребують розмови туди-сюди. Наприклад, коли команда безпеки отримує IoC і їй потрібно запитати у власника кінцевої точки, чи він дійсно ввійшов у пристрій, чи він знаходиться десь за межами своєї звичайної робочої зони, LLM може виконати ці прості операції, а потім слідувати із запитаннями за потреби та посиланнями чи інструкціями. Раніше це була взаємодія, яку повинен був проводити сам член команди ІТ або служби безпеки. LLM також можуть надавати більш розширену функціональність. Наприклад, Microsoft Copilot for Security може генерувати звіти про аналіз інцидентів і перекладати складний код зловмисного програмного забезпечення на опис природною мовою. 
• Постійне навчання та налаштування: На відміну від попередніх систем машинного навчання для політик безпеки та розуміння, LLM можуть навчатися на льоту, приймаючи людські оцінки своєї відповіді та повторно налаштовуючи нові пули даних, які можуть не міститися у внутрішніх файлах журналу. Насправді, використовуючи ту саму базову модель, LLM з кібербезпеки можна налаштувати для різних команд та їхніх потреб, робочих процесів або регіональних або вертикальних завдань. Це також означає, що вся система може миттєво стати такою ж інтелектуальною, як і модель, а зміни швидко поширюються на всі інтерфейси. 

Ризик LLM для кібербезпеки

Будучи новою технологією з коротким досвідом, LLM мають серйозні ризики. Гірше того, розуміти весь масштаб цих ризиків складно, оскільки результати LLM не є на 100% передбачуваними чи програмними. Наприклад, магістри можуть «галюцинувати» та вигадувати відповіді або відповідати на запитання неправильно на основі уявних даних. Перш ніж застосовувати LLM для випадків використання кібербезпеки, необхідно розглянути потенційні ризики, зокрема: 

• Швидке введення:  Зловмисники можуть створювати зловмисні підказки спеціально для отримання оманливих або шкідливих результатів. Цей тип атаки може використовувати тенденцію LLM генерувати вміст на основі підказок, які він отримує. У випадках використання кібербезпеки швидке впровадження може бути найбільш ризикованим як форма внутрішньої атаки або атаки неавторизованого користувача, який використовує підказки, щоб назавжди змінити вихідні дані системи шляхом спотворення поведінки моделі. Це може створити неточні або недійсні результати для інших користувачів системи. 
• Отруєння даними:  Навчальні дані, на які покладаються LLM, можуть бути навмисно пошкоджені, що ставить під загрозу прийняття ними рішень. У налаштуваннях кібербезпеки, де організації, ймовірно, використовують моделі, навчені постачальниками інструментів, під час налаштування моделі для конкретного клієнта та сценарію використання може статися пошкодження даних. Ризик тут може полягати в тому, що неавторизований користувач додає погані дані — наприклад, пошкоджені файли журналу — щоб перешкодити процесу навчання. Авторизований користувач також може зробити це ненавмисно. Результатом будуть результати LLM на основі поганих даних.
• Галюцинації: Як згадувалося раніше, LLM можуть генерувати фактично неправильні, нелогічні або навіть зловмисні відповіді через неправильне розуміння підказок або базових недоліків даних. У випадках використання кібербезпеки галюцинації можуть призвести до критичних помилок, які пошкоджують розвідку про загрози, сортування та усунення вразливостей тощо. Оскільки кібербезпека є критично важливою діяльністю, LLM повинні дотримуватися вищих стандартів управління та запобігання галюцинаціям у цих контекстах. 

У міру того як системи штучного інтелекту стають все більш спроможними, їх розгортання інформаційної безпеки швидко розширюється. Щоб було зрозуміло, багато компаній з кібербезпеки давно використовують зіставлення шаблонів і машинне навчання для динамічної фільтрації. Новим в епоху генеративного штучного інтелекту є інтерактивні LLM, які надають рівень інтелекту поверх існуючих робочих процесів і пулів даних, в ідеалі підвищуючи ефективність і розширюючи можливості команд з кібербезпеки. Іншими словами, GenAI може допомогти інженерам безпеки зробити більше з меншими зусиллями та тими самими ресурсами, забезпечуючи кращу продуктивність і прискорені процеси.