Hack The Box Benchmark: AI-Авгментированные Команды Обгоняют Человеческих Аналитиков Кибербезопасности

Новое исследование от Hack The Box под названием «AI-Авгментированные vs Человеческие Команды Кибербезопасности: Отчет о Бенчмарке Производительности» показывает, что команды кибербезопасности, дополненные ИИ, могут значительно превосходить команды, состоящие только из людей, причем элитные команды выполняют задачи до 4,1 раза быстрее. Результаты основаны на данных производительности из соревнования NeuroGrid Capture the Flag (CTF), одного из крупнейших реальных бенчмарков, сравнивающих команды с агентными ИИ и традиционными человеческими командами, выполняющими задачи кибербезопасности.

Бенчмарк проанализировал данные из соревнования NeuroGrid Capture the Flag (CTF), в котором приняли участие 1337 команд, состоящих только из людей, и 156 команд с агентами ИИ, при этом 958 человеческих команд и 120 команд с ИИ активно выполняли задачи по 36 категориям кибербезопасности, охватывающим девять технических доменов и четыре уровня сложности.

Результаты подчеркивают как выгоды от повышения производительности операций кибербезопасности с помощью ИИ, так и возникающие проблемы с персоналом, с которыми могут столкнуться организации, когда автоматизация меняет способ работы команд безопасности.

Команды с ИИ Доставляют Измеримые Прибыли в Производительности

Бенчмарк демонстрирует, что интеграция агентов ИИ в рабочие процессы кибербезопасности может значительно повысить производительность, особенно когда она сочетается с опытными человеческими операторами.

Ключевые результаты включают:

• До 4,1 раза больше производительности для элитных команд с ИИ по сравнению с командами, состоящими только из людей
• 1,4-кратное улучшение производительности во всех командах в течение одного и того же временного интервала
• На 70% более высокий уровень решения задач для команд с ИИ
• 27% уровень решения задач для команд с ИИ против 16% для лучших команд, состоящих только из людей
• В 3,2 раза более высокий общий уровень решения задач среди всех участников

По словам генерального директора и основателя Haris Pylarinos, результаты показывают, что ИИ может значительно повысить оперативную скорость, но все равно должен быть сочетан с человеческим надзором.

«ИИ может повысить уровень производительности кибербезопасности, но он не устраняет необходимость в человеческой экспертизе», сказал Pylarinos. «Организациям необходимо развивать команды, оснащенные ИИ, и рабочие процессы с человеческим участием, чтобы безопасно использовать эти преимущества».

В отличие от синтетических бенчмарков, часто используемых при оценке ИИ, соревнование использовало профессиональные задачи кибербезопасности под реальным давлением соревнования, предлагая более реалистичное сравнение между командами с ИИ и человеческими командами.

Гибридная Модель Человека и ИИ Выступает как Выигрышная Стратегия

Хотя ИИ значительно ускорил производительность, исследование показало, что гибридные команды, сочетающие агентов ИИ с человеческими операторами, дали в целом самые сильные результаты.

В соревновании:

• 73,3% команд с ИИ завершили хотя бы одну задачу, по сравнению с 46% команд, состоящих только из людей
• Агенты ИИ часто улучшали базовую производительность, но все равно требовали человеческой проверки и стратегического руководства при столкновении с сложными задачами

Для руководителей информационной безопасности и лидеров безопасности отчет подчеркивает, что ИИ должен рассматриваться в первую очередь как умножитель силы, а не как замена специалистам кибербезопасности.

Влияние ИИ Значительно Варьируется в Зависимости от Уровня Навыков

Одним из наиболее важных выводов из отчета является то, что ИИ влияет на специалистов кибербезопасности по-разному в зависимости от их уровня опыта.

Начало Карьеры: «Иллюзия Производительности»

Для начинающих операторов ИИ может выступать как мост компетенций, помогающий им решать задачи, с которыми они иначе могли бы столкнуться. Однако отчет предупреждает, что это может создать ложное чувство производительности, если младшие аналитики не обладают необходимой экспертизой, чтобы проверять выходные данные ИИ или эффективно направлять рабочие процессы агентов.

В некоторых случаях команды с ИИ, показывающие более низкие результаты, были на самом деле на 12,5% медленнее, часто застревая в неэффективных циклах, когда операторы не имели достаточных навыков надзора.

Средний Уровень Карьеры: «Сладкое Место» для ИИ

Наибольшие выигрыши в производительности произошли среди средних аналитиков, особенно при решении задач средней сложности.

В этой категории:

• Преимущество ИИ достигло пика при 3,89-кратном улучшении производительности на задачах средней сложности
• Команды среднего уровня выполняли задачи на 40–70% быстрее по сравнению с командами, состоящими только из людей

Это предполагает, что предприятия могут увидеть наиболее непосредственный возврат на инвестиции в ИИ, развертывая агентные системы вместе с аналитиками среднего уровня.

Элитные Операторы: Преимущество в Скорости, а Не в Замене Возможностей

Среди лучших исполнителей разрыв между командами с ИИ и человеческими экспертами значительно сузился.

Например:

• Лучшая человеческая команда решила все 36 задач, в то время как лучшая команда с ИИ завершила 32 из 36
• На уровне топ-5% преимущество в уровне решения задач уменьшилось до 1,69 раза

Однако ИИ все равно доставил значительное преимущество в скорости, с элитными командами с ИИ, решающими задачи в три-четыре раза быстрее.

«Парадокс Сложности» Раскрывает, Где ИИ Столкнулся с Трудностями

Исследование также выявilo, что исследователи называют «парадоксом сложности» в производительности ИИ.

Преимущество ИИ увеличивается с сложностью задачи — до определенной точки:

• Очень легкие задачи: ~2,4-кратное преимущество для команд с ИИ
• Задачи средней сложности: 3,89-кратное преимущество, зона пиковой производительности
• Сложные задачи: преимущество падает до 2,97 раза, раскрывая ограничения в рассуждениях ИИ

Определенные творческие области — такие как кодирование и обратная инженерия — показали почти паритет между элитными людьми и системами ИИ, подчеркивая области, где человеческая интуиция и новые рассуждения остаются критически важными.

На протяжении всех доменов производительность ИИ варьировалась широко, от 5,15-кратного преимущества в задачах безопасного кодирования до 1,68-кратного в цифровой криминалистике.

Потенциальный Кризис в Трудовом Потоке Талантов

Помимо выгод в производительности, отчет поднимает долгосрочную проблему с персоналом: ИИ может нарушить процесс обучения, который производит будущих экспертов кибербезопасности.

Начальные задачи безопасности — традиционно используемые для обучения младших аналитиков — все чаще автоматизируются. Команды с ИИ значительно превосходили команды, состоящие только из людей, на самых легких уровнях задач, что предполагает, что работа, исторически использованная для обучения новых аналитиков, все чаще будет выполняться автоматизацией.

Если организации автоматизируют слишком много начальной работы, отчет предупреждает, что они рискуют создать «промежуточный пробел» в трубопроводе талантов, где меньше аналитиков развивают навыки, необходимые для того, чтобы стать старшими экспертами по безопасности.

Последствия для Руководителей Безопасности

Для руководителей информационной безопасности и лидеров безопасности результаты предполагают, что принятие инструментов ИИ больше не является факультативным.

Организации, которые не интегрируют ИИ в свои операции безопасности, могут столкнуться с противниками, которые уже используют ИИ для ускорения атак и эксплуатации уязвимостей быстрее, чем традиционные команды могут реагировать.

Отчет рекомендует трехуровневую стратегию интеграции ИИ:

• Переобучить начальные роли для фокусировки на управлении ИИ и проверке, а не на ручных задачах
• Развернуть ИИ вместе с аналитиками среднего уровня, где выигрыши в производительности являются наивысшими
• Сохранить элитные таланты и сочетать их с копилотами ИИ для ускорения реагирования на инциденты и анализа угроз

В конечном итоге, отчет предполагает, что будущее кибербезопасности не будет ИИ против людей, а людьми, дополненными ИИ, работающими на скорости машин.