Хакінг Бокс Бенчмарк: Команди з підтримкою штучного інтелекту перевершують людей-аналітиків кібербезпеки

Нове дослідження компанії Hack The Box під назвою “Бенчмарк продуктивності кібербезпеки з підтримкою штучного інтелекту та людей” показало, що команди кібербезпеки з підтримкою штучного інтелекту можуть значно перевершувати команди, що складаються тільки з людей, причому елітні команди можуть виконувати завдання в 4,1 раза швидше. Ці висновки засновані на даних про продуктивність учасників змагання NeuroGrid Capture the Flag (CTF), одного з найбільших реальних бенчмарків, що порівнюють команди з підтримкою штучного інтелекту та традиційні команди людей, які виконують завдання кібербезпеки.

Бенчмарк проаналізував дані змагання NeuroGrid Capture the Flag (CTF), в якому взяли участь 1337 команд людей і 156 команд з підтримкою штучного інтелекту, а також 958 команд людей і 120 команд з підтримкою штучного інтелекту, які активно виконували завдання з 36 завдань кібербезпеки в дев’яти технічних галузях і чотирьох рівнях складності.

Результати підкреслюють як продуктивні вигоди операцій кібербезпеки з підтримкою штучного інтелекту, так і майбутні виклики для працівників організацій, яким доведеться змінювати свої робочі процеси через автоматизацію.

Команди з підтримкою штучного інтелекту забезпечують вимірювані продуктивні вигоди

Бенчмарк показує, що інтеграція агентів штучного інтелекту в робочі процеси кібербезпеки може суттєво збільшити продуктивність, особливо коли їх поєднують з досвідченими людьми-операторами.

Ключові висновки включають:

• До 4,1 раза більша продуктивність елітних команд з підтримкою штучного інтелекту порівняно з командами тільки з людьми
• 1,4 раза більша продуктивність серед усіх команд за той самий часовий інтервал
• 70% вища швидкість виконання завдань командами з підтримкою штучного інтелекту
• 27% швидкість виконання завдань командами з підтримкою штучного інтелекту порівняно з 16% у команд тільки з людьми
• 3,2 раза більша загальна швидкість виконання завдань серед усіх учасників

Згідно з словами генерального директора і засновника Hack The Box Харіса Піларінosa, результати показують, що штучний інтелект може суттєво збільшити оперативну швидкість, але все ж таки повинен бути поєднаний з людським наглядом.

“Штучний інтелект може підвищити рівень продуктивності кібербезпеки, але не усуває потребу в людській експертизі,” сказав Піларінос. “Організаціями необхідно розвивати команди, що працюють з підтримкою штучного інтелекту, і забезпечувати безпечну роботу людей в робочих процесах.”

На відміну від синтетичних бенчмарків, часто використовуваних для оцінки штучного інтелекту, змагання використовувало професійні завдання кібербезпеки під реальним тиском змагання, що забезпечило більш реалістичне порівняння між командами з підтримкою штучного інтелекту та командами тільки з людьми.

Модель людського-штучного інтелекту виявляється переможною стратегією

Хоча штучний інтелект суттєво прискорив продуктивність, дослідження показало, що гібридні команди, що поєднують агентів штучного інтелекту з людьми-операторами, забезпечили найкращі результати в цілому.

Під час змагання:

• 73,3% команд з підтримкою штучного інтелекту завершили至少 одну задачу, порівняно з 46% команд тільки з людьми
• Агенти штучного інтелекту часто покращували базову продуктивність, але все ж таки потребували людської верифікації і стратегічного керівництва при виконанні складних завдань

Для керівників з питань інформаційної безпеки звіт підкреслює, що штучний інтелект повинен бути розглянутий в першу чергу як множник сили, а не як заміна фахівцям з кібербезпеки.

Вплив штучного інтелекту суттєво відрізняється залежно від рівня кваліфікації

Одним з найважливіших висновків звіту є те, що штучний інтелект впливає на фахівців з кібербезпеки по-різному залежно від їхнього рівня кваліфікації.

Початковий рівень: “Ілюзія продуктивності”

Для початківців штучний інтелект може виступати в якості мосту компетенцій, допомагаючи їм виконувати завдання, з якими вони могли б боротися. Однак звіт попереджає, що це може створити хибне відчуття продуктивності, якщо молоді аналітики не мають достатньої експертизи для верифікації виходів штучного інтелекту або керування агентами ефективно.

У деяких випадках команди з підтримкою штучного інтелекту, що мали нижчу продуктивність, були насправді на 12,5% повільнішими, часто потрапляючи в неефективні цикли, коли оператори не мали достатніх навичок нагляду.

Середній рівень: Оптимальна точка для штучного інтелекту

Найбільші продуктивні вигоди відбулися серед фахівців середнього рівня, особливо при виконанні завдань середньої складності.

У цій категорії:

• Перевага штучного інтелекту досягла максимуму на рівні 3,89 раза при виконанні завдань середньої складності
• Команди середнього рівня завершили завдання на 40-70% швидше порівняно з командами тільки з людьми

Це свідчить про те, що підприємства можуть побачити найбільш негайну віддачу від інвестицій в штучний інтелект, розгортаючи системи з підтримкою штучного інтелекту поряд з аналітиками середнього рівня.

Елітні оператори: Перевага швидкості, а не заміни можливостей

Серед топ-операторів розрив між командами з підтримкою штучного інтелекту та людьми-експертами суттєво звузився.

Наприклад:

• Найкраща команда людей завершила всі 36 завдань, тоді як найкраща команда з підтримкою штучного інтелекту завершила 32 завдання з 36
• На рівні топ-5% перевага штучного інтелекту зменшилася до 1,69 раза

Однак штучний інтелект все ж таки забезпечив суттєву перевагу в швидкості, оскільки елітні команди з підтримкою штучного інтелекту виконували завдання в три-чотири рази швидше.

“Парадокс складності” розкриває, де штучний інтелект бореться

Дослідження також виявило так званий “парадокс складності” у продуктивності штучного інтелекту.

Перевага штучного інтелекту зростає зі складністю завдань — до певної межі:

• Дуже легкі завдання: ~2,4 раза перевага команд з підтримкою штучного інтелекту
• Завдання середньої складності: 3,89 раза перевага, зона максимальної продуктивності
• Складні завдання: перевага знижується до 2,97 раза, що показує обмеження штучного інтелекту в області висновків

Деякі творчі галузі — такі як програмування і зворотнє інженерування — показали майже паритет між елітними людьми і системами штучного інтелекту, підкреслюючи області, де людська інтуїція і новаторське мислення залишаються критично важливими.

По галузях продуктивність штучного інтелекту суттєво варіювалася, від 5,15 раза переваги в завдань з безпечного програмування до 1,68 раза в цифровій криміналістиці.

Потенційна криза талантів

Поза продуктивними вигодами звіт піднімає довгострокову проблему працівників: штучний інтелект може порушити потік підготовки майбутніх фахівців з кібербезпеки.

Завдання початкового рівня з кібербезпеки — традиційно використовувані для підготовки молодих аналітиків — все частіше автоматизуються. Команди з підтримкою штучного інтелекту суттєво перевершували команди тільки з людьми на найлегших завданнях, що свідчить про те, що робота, яку раніше використовували для підготовки нових аналітиків, все частіше буде виконуватися автоматично.

Якщо організації автоматизують занадто багато робіт на початковому рівні, звіт попереджає, що вони ризикують створити “відсутній середній рівень” у потоці талантів, де менше аналітиків розвиватимуть навички, необхідні для того, щоб стати старшими фахівцями з кібербезпеки.

Вплив на керівників з питань інформаційної безпеки

Для керівників з питань інформаційної безпеки висновки свідчать про те, що впровадження інструментів штучного інтелекту вже не є опціональним.

Організації, які не інтегрують штучний інтелект у свої операції з кібербезпеки, можуть зіткнутися з противниками, які вже використовують штучний інтелект для прискорення атак і експлуатації вразливостей швидше, ніж традиційні команди можуть реагувати.

Звіт рекомендує трьохрівневу стратегію інтеграції штучного інтелекту:

• Переорієнтувати початкові ролі на управління штучним інтелектом і верифікацію, а не на ручні завдання
• Розгортати штучний інтелект поряд з аналітиками середнього рівня, де продуктивні вигоди є найбільшими
• Зберігати елітних фахівців і поєднувати їх з копілотами штучного інтелекту для прискорення реагування на інциденти та розбору загроз

Урешті-решт, звіт свідчить про те, що майбутнє кібербезпеки не буде протиставленням штучного інтелекту і людей, а людям, що працюють з підтримкою штучного інтелекту на рівні швидкості машин.