Бенчмарк Hack The Box: команды, усиленные ИИ, превосходят человеческих аналитиков кибербезопасности

Новое исследование компании Hack The Box под названием «Бенчмарк производительности кибербезопасности: команды, усиленные ИИ, против команд, состоящих только из людей» показало, что команды кибербезопасности, усиленные ИИ, могут значительно превосходить команды, состоящие только из людей, причем элитные команды выполняют задачи до 4,1 раза быстрее. Результаты основаны на данных производительности из соревнования NeuroGrid Capture the Flag (CTF), одного из крупнейших реальных бенчмарков, сравнивающих команды с агентными системами ИИ и традиционными командами, выполняющими задачи кибербезопасности.

Бенчмарк проанализировал данные из соревнования NeuroGrid Capture the Flag (CTF), в котором приняли участие 1337 команд, состоящих только из людей, и 156 команд с агентами ИИ, из которых 958 команд, состоящих только из людей, и 120 команд с ИИ, активно пытались выполнить задачи по 36 категориям кибербезопасности, охватывающим девять технических областей и четыре уровня сложности.

Результаты подчеркивают как выгоды от производительности команд кибербезопасности, усиленных ИИ, так и возникающие проблемы с кадрами, с которыми могут столкнуться организации, поскольку автоматизация меняет способ работы команд безопасности.

Команды, усиленные ИИ, обеспечивают измеримые выгоды от производительности

Бенчмарк демонстрирует, что интеграция агентов ИИ в рабочие процессы кибербезопасности может значительно увеличить производительность, особенно когда она сочетается с опытными человеческими операторами.

Ключевые результаты включают:

• До 4,1 раза больше производительности для элитных команд, усиленных ИИ, по сравнению с командами, состоящими только из людей
• Улучшение производительности на 1,4 раза во всех командах в течение одного и того же временного интервала
• На 70% более высокий уровень решения задач для команд, усиленных ИИ
• 27% уровень решения задач для команд с ИИ по сравнению с 16% для лучших команд, состоящих только из людей
• В 3,2 раза более высокий общий уровень решения задач во всех участниках

По словам генерального директора и основателя Hack The Box Хариса Пиларинosa, результаты показывают, что ИИ может значительно увеличить оперативную скорость, но все же должен быть сочетан с человеческим надзором.

«ИИ может повысить уровень производительности кибербезопасности, но он не исключает необходимости человеческой экспертизы», сказал Пиларинос. «Организациям необходимо разработать команды,熟ые с ИИ, и рабочие процессы с человеческим участием, чтобы безопасно использовать эти выгоды».

В отличие от синтетических бенчмарков, часто используемых в оценке ИИ, соревнование использовало профессиональные задачи кибербезопасности в условиях реального соревнования, что обеспечило более оперативное сравнение между командами, усиленными ИИ, и командами, состоящими только из людей.

Модель гибридного ИИ и человека выходит на первый план как победная стратегия

Хотя ИИ значительно ускорил производительность, исследование показало, что гибридные команды, сочетающие агентов ИИ с человеческими операторами, обеспечили наиболее сильные результаты в целом.

В соревновании:

• 73,3% команд, усиленных ИИ, выполнили хотя бы одну задачу, по сравнению с 46% команд, состоящих только из людей
• Агенты ИИ часто улучшали базовую производительность, но все же требовали человеческой проверки и стратегического руководства при решении сложных задач

Для руководителей служб информационной безопасности и лидеров безопасности отчет подчеркивает, что ИИ должен рассматриваться в первую очередь как умножитель силы, а не как замена специалистам кибербезопасности.

Влияние ИИ сильно варьируется в зависимости от уровня навыков

Одним из наиболее важных выводов из отчета является то, что ИИ влияет на специалистов кибербезопасности по-разному в зависимости от их уровня опыта.

Начало карьеры: «Иллюзия производительности»

Для начинающих операторов ИИ может действовать как мост компетенций, помогающий им решать задачи, с которыми они иначе могли бы бороться. Однако отчет предупреждает, что это может создать ложное чувство производительности, если младшие аналитики не обладают необходимой экспертизой, чтобы проверить выводы ИИ или направлять рабочие процессы агентов эффективно.

В некоторых случаях команды с ИИ, показывающие худшие результаты, были на самом деле на 12,5% медленнее, часто застревая в неэффективных циклах, когда операторы не имели достаточных навыков надзора.

Средний уровень карьеры: оптимальная точка для ИИ

Наибольшие выгоды от производительности произошли среди специалистов среднего уровня, особенно при решении задач средней сложности.

В этой категории:

• Преимущество ИИ достигло пика при улучшении производительности на 3,89 раза при решении задач средней сложности
• Команды среднего уровня выполняли задачи на 40-70% быстрее по сравнению с командами, состоящими только из людей

Это говорит о том, что предприятия могут получить наибольшую отдачу от инвестиций в ИИ, развертывая агентные системы вместе с аналитиками среднего уровня.

Элитные операторы: преимущество в скорости, а не замена возможностей

Среди лучших исполнителей разрыв между командами, усиленными ИИ, и человеческими экспертами значительно сократился.

Например:

• Лучшая команда, состоящая только из людей, решила все 36 задач, в то время как лучшая команда, усиленная ИИ, выполнила 32 из 36 задач
• На уровне топ-5% преимущество в решении задач сократилось до 1,69 раза

Однако ИИ все еще обеспечил значительное преимущество в скорости, с элитными командами, усиленными ИИ, решающими задачи в три-четыре раза быстрее.

«Парадокс сложности» раскрывает, где ИИ испытывает трудности

Исследование также выявilo, что существует «парадокс сложности» в производительности ИИ.

Преимущество ИИ увеличивается с сложностью задач — до определенной точки:

• Очень простые задачи: ~2,4 раза преимущество для команд с ИИ
• Задачи средней сложности: 3,89 раза преимущество, зона пиковой производительности
• Сложные задачи: преимущество снижается до 2,97 раза, что раскрывает ограничения в рассуждениях ИИ

Определенные творческие области — такие как кодирование и обратная инженерия — показали почти паритет между элитными людьми и системами ИИ, подчеркивая области, где человеческая интуиция и новое рассуждение остаются важными.

На протяжении всех областей производительность ИИ сильно варьировалась, колеблясь от 5,15 раза преимущества в задачах безопасного кодирования до 1,68 раза в цифровой криминалистике.

Потенциальный кризис в трубопроводе талантов

Помимо выгод от производительности, отчет поднимает долгосрочную проблему с кадрами: ИИ может нарушить процесс обучения, который производит будущих экспертов кибербезопасности.

Задачи начального уровня безопасности — традиционно используемые для обучения младших аналитиков — все чаще автоматизируются. Команды с ИИ значительно превосходили команды, состоящие только из людей, на самых легких уровнях задач, что говорит о том, что работа, ранее используемая для обучения новых аналитиков, все чаще будет выполняться автоматически.

Если организации автоматизируют слишком много начальной работы, отчет предупреждает, что они рискуют создать «пропущенную середину» в трубопроводе талантов, где меньше аналитиков развивают навыки, необходимые для того, чтобы стать старшими экспертами по безопасности.

Последствия для лидеров служб безопасности

Для руководителей служб информационной безопасности и лидеров предприятий результаты говорят о том, что принятие инструментов ИИ больше не является необязательным.

Организации, которые не интегрируют ИИ в свои операции безопасности, могут столкнуться с противниками, которые уже используют ИИ для ускорения атак и эксплуатации уязвимостей быстрее, чем традиционные команды могут реагировать.

Отчет рекомендует трехуровневую стратегию интеграции ИИ:

• Переобучить начальные роли для сосредоточения внимания на управлении ИИ и проверке, а не на ручных задачах
• Развернуть ИИ вместе с аналитиками среднего уровня сначала, где выгоды от производительности最高
• Сохранить элитный талант и объединить его с копилотами ИИ для ускорения реагирования на инциденты и продвинутого анализа угроз

В конечном итоге отчет говорит о том, что будущее кибербезопасности не будет ИИ против людей, а людей, усиленных ИИ, работающих на скорости машины.