Hack The Box Benchmark: AI-Аугментовані Команди Перевершують Людських Аналітиків Кібербезпеки

Нове дослідження від Hack The Box під назвою “AI-Аугментовані проти Людських-Тільки Команди Кібербезпеки Бенчмарк Звіт” показало, що AI-аугментовані команди кібербезпеки можуть значно перевершувати команди, що складаються лише з людей, причому елітні команди завершують завдання до 4,1 разів швидше. Результати засновані на даних про продуктивність з NeuroGrid Capture the Flag (CTF) змагання, одного з найбільших реальних бенчмарків, що порівнюють агентні AI-допоміжні команди та традиційні людські команди, які виконують завдання кібербезпеки.

Бенчмарк проаналізував дані з NeuroGrid Capture the Flag (CTF) змагання, у якому взяли участь 1 337 команд, що складаються лише з людей, і 156 команд з AI-агентами, зареєстрованих учасників, з 958 людських команд і 120 команд з AI, які активно намагалися виконати завдання по 36 завданням кібербезпеки в дев’яти технічних галузях і чотирьох рівнях складності.

Результати підкреслюють як продуктивні вигоди операцій кібербезпеки з AI-аугментацією, так і майбутні виклики для робочої сили, з якими організації можуть зіткнутися, оскільки автоматизація змінює спосіб роботи команд безпеки.

AI-Аугментовані Команди Надають Відчутні Приrostи Продуктивності

Бенчмарк демонструє, що інтеграція агентів AI у робочий процес кібербезпеки може суттєво підвищити продуктивність, особливо коли їх поєднують з досвідченими людськими операторами.

Ключові результати включають:

• До 4,1 разів більша продуктивність для елітних команд з AI-аугментацією порівняно з командами, що складаються лише з людей
• 1,4-кратне покращення продуктивності серед усіх команд за той самий часовий інтервал
• 70% вища швидкість виконання завдань для команд з AI-аугментацією
• 27% швидкість виконання завдань для команд з AI порівняно з 16% для найкращих команд, що складаються лише з людей
• 3,2-кратне загальне співвідношення виконання завдань серед усіх учасників

Згідно з заявою генерального директора та засновника Haris Pylarinos, результати показують, що AI може суттєво підвищити операційну швидкість, але все одно потрібно поєднувати з людським наглядом.

“AI може підвищити рівень продуктивності кібербезпеки, але не усуває потребу в людській експертизі,” сказав Pylarinos. “Організації повинні розвивати команди з AI та робочі процеси з людьми в циклі, щоб безпечно розблокувати ці вигоди.”

На відміну від синтетичних бенчмарків, часто використовуваних у оцінках AI, змагання використовувало професійні завдання кібербезпеки під реальним конкурентним тиском, пропонуючи більш оперативно реалістичне порівняння між командами з AI-допомогою та людськими командами.

Гібридна Модель Людини-АI Виходить Переможцем

Хоча AI суттєво прискорює продуктивність, дослідження показало, що гібридні команди, що поєднують агентів AI з людськими операторами, продемонстрували найкращі результати загалом.

У змаганні:

• 73,3% команд з AI-аугментацією завершили至少 одне завдання, порівняно з 46% команд, що складаються лише з людей
• Агенти AI часто покращували базову продуктивність, але все одно потребували людської верифікації та стратегічного керівництва при виконанні складних завдань

Для CISO та лідерів безпеки звіт підкреслює, що AI слід розглядати в першу чергу як множник сили, а не заміну фахівцям з кібербезпеки.

Вплив AI Важко Визначити В залежності Від Рівня Навичок

Одним з найважливіших висновків звіту є те, що AI впливає на фахівців з кібербезпеки по-різному залежно від рівня їхньої кваліфікації.

Початковий Рівень: “Ілюзія Продуктивності”

Для початкових операторів AI може виступати як міст компетенцій, допомагаючи їм виконувати завдання, з якими вони інакше могли б боротися. Однак звіт попереджає, що це може створити хибне відчуття продуктивності, якщо молодші аналітики не мають необхідної експертизи для верифікації виводів AI або ефективного керівництва агентами.

У деяких випадках команди з нижчою продуктивністю з AI-аугментацією були насправді на 12,5% повільніші, часто застрявали в неефективних циклах, коли оператори не мали достатніх навичок нагляду.

Середній Рівень: “Солодке Місце” Для AI

Найбільші продуктивні вигоди спостерігалися серед середніх аналітиків, особливо при виконанні завдань середньої складності.

У цій категорії:

• Перевага AI досягла піку продуктивності на рівні 3,89 разів на завдання середньої складності
• Команди середнього рівня завершили завдання на 40–70% швидше порівняно з командами, що складаються лише з людей

Це свідчить про те, що підприємства можуть побачити найбільший негайний ефект від інвестицій в AI, розгортаючи агентні системи поряд з середніми аналітиками.

Елітні Оператори: Перевага Швидкості, Не Заміни Можливостей

Серед найкращих виконавців розрив між командами з AI-аугментацією та людськими експертами суттєво звузився.

Наприклад:

• Найкраща людська команда завершила всі 36 завдань, тоді як найкраща команда з AI-аугментацією завершила 32 з 36 завдань
• На рівні продуктивності топ-5% перевага скоротилася до 1,69 разів

Однак AI все одно забезпечила суттєву перевагу в швидкості, оскільки елітні команди з AI-аугментацією виконували завдання в три-чотири рази швидше.

“Парадокс Складності” Показує, Де AI Стикається З Ускладненнями

Дослідження також визначило те, що дослідники називають “парадоксом складності” у продуктивності AI.

Перевага AI зростає разом зі складністю завдання — до певної межі:

• Дуже легкі завдання: ~2,4-кратна перевага для команд з AI
• Завдання середньої складності: 3,89-кратна перевага, пік продуктивності
• Складні завдання: перевага знижується до 2,97 разів, розкриваючи обмеження в розумінні AI

Певні творчі галузі — такі як кодування та зворотна інженерія — показали майже паритет між елітними людьми та системами AI, підкреслюючи області, де людська інтуїція та новаторське мислення залишаються критичними.

По галузях продуктивність AI варіювалася широко, від 5,15-кратної переваги у завдань з безпечного кодування до 1,68-кратної у цифрових слідчих завданнях.

Потенційна Криза Трудового Потоку

Поза продуктивними вигодами звіт піднімає довгострокову проблему робочої сили: AI може порушити потік підготовки майбутніх фахівців з кібербезпеки.

Завдання початкового рівня безпеки — традиційно використовувані для навчання молодших аналітиків — все більше автоматизуються. Команди з AI суттєво перевершували команди, що складаються лише з людей, на найлегших рівнях завдань, що свідчить про те, що робота, яку традиційно використовували для навчання нових аналітиків, все більше буде виконуватися автоматизацією.

Якщо організації автоматизують занадто багато початкової роботи, звіт попереджає, що вони ризикують створити “відсутній середній” у потоці талантів, де менше аналітиків розвиватимуть навички, необхідні для того, щоб стати старшими експертами з безпеки.

Вплив На Лідерів Безпеки

Для CISO та лідерів безпеки висновки свідчать про те, що采用 інструментів AI вже не є опціональним.

Організації, які не інтегрують AI у свої операції з безпеки, можуть зіткнутися з противниками, які вже використовують AI для прискорення атак та експлуатації уразливостей швидше, ніж традиційні команди можуть реагувати.

Звіт рекомендує трьохрівневу стратегію інтеграції AI:

• Переорієнтувати ролі початкового рівня на фокусування на управлінні AI та верифікації, а не на ручних завданнях
• Розгорнути AI поряд з середніми аналітиками спочатку, де продуктивні вигоди є найбільшими
• Зберігати елітних фахівців та поєднувати їх з AI-копілотами для прискорення реагування на інциденти та аналізу загроз

Урешті-решт, звіт свідчить про те, що майбутнє кібербезпеки не буде AI проти людей, а людина з AI, що працює на швидкості машин.