Hack The Box Benchmark: Equipes de Segurança Cibernética com Inteligência Artificial Superam Analistas Humanos

Um novo estudo da Hack The Box intitulado “Relatório de Benchmark de Desempenho de Segurança Cibernética: Equipes com Inteligência Artificial vs. Equipes Humanas” descobriu que equipes de segurança cibernética com inteligência artificial podem superar significativamente as equipes humanas, com equipes de elite completando tarefas até 4,1 vezes mais rápido. Os resultados são baseados em dados de desempenho da competição NeuroGrid Capture the Flag (CTF), um dos maiores benchmarks do mundo que compara equipes de segurança cibernética com inteligência artificial e equipes humanas tradicionais.

A benchmark analisou dados da competição NeuroGrid Capture the Flag (CTF), que incluiu 1.337 equipes humanas e 156 equipes com inteligência artificial registradas, com 958 equipes humanas e 120 equipes com inteligência artificial tentando desafios em 36 tarefas de segurança cibernética que abrangem nove domínios técnicos e quatro níveis de dificuldade.

Os resultados destacam tanto os ganhos de produtividade das operações de segurança cibernética com inteligência artificial quanto os desafios emergentes de mão de obra que as organizações podem enfrentar à medida que a automação redefine como as equipes de segurança operam.

Equipes com Inteligência Artificial Oferecem Ganhos de Desempenho Medíveis

A benchmark demonstra que a integração de agentes de inteligência artificial em fluxos de trabalho de segurança cibernética pode aumentar dramaticamente a produtividade, particularmente quando combinada com operadores humanos experientes.

Principais descobertas incluem:

• Até 4,1 vezes mais produtividade para equipes de elite com inteligência artificial em comparação com equipes humanas
• Melhoria de 1,4 vez na produtividade em todas as equipes durante a mesma janela de tempo
• Taxa de resolução de desafios 70% maior para equipes com inteligência artificial
• Taxa de resolução de 27% para equipes com inteligência artificial versus 16% para as melhores equipes humanas
• Razão de resolução geral 3,2 vezes maior em todos os participantes

De acordo com o CEO e fundador da Hack The Box, Haris Pylarinos, os resultados mostram que a inteligência artificial pode aumentar dramaticamente a velocidade operacional, mas ainda deve ser combinada com supervisão humana.

“A inteligência artificial pode elevar o nível de desempenho de segurança cibernética, mas não elimina a necessidade de expertise humana,” disse Pylarinos. “As organizações devem desenvolver equipes fluentes em inteligência artificial e fluxos de trabalho com humanos no loop para desbloquear esses benefícios de forma segura.”

Ao contrário de benchmarks sintéticos frequentemente usados em avaliações de inteligência artificial, a competição usou desafios de segurança cibernética de nível profissional sob pressão de competição real, oferecendo uma comparação mais realista entre equipes com inteligência artificial e humanas.

O Modelo Híbrido de Humanos e Inteligência Artificial Surge como a Estratégia Vencedora

Embora a inteligência artificial tenha acelerado significativamente o desempenho, o estudo encontrou que equipes híbridas que combinam agentes de inteligência artificial com operadores humanos produziram os melhores resultados gerais.

Na competição:

• 73,3% das equipes com inteligência artificial completaram pelo menos um desafio, em comparação com 46% das equipes humanas
• Agentes de inteligência artificial frequentemente melhoraram a produtividade básica, mas ainda requeriam validação e direção estratégica humana quando enfrentavam tarefas complexas

Para CISOs e líderes de segurança, o relatório enfatiza que a inteligência artificial deve ser vista principalmente como um multiplicador de força, e não como um substituto para profissionais de segurança cibernética.

O Impacto da Inteligência Artificial Varia Dramaticamente por Nível de Habilidade

Uma das principais descobertas do relatório é que a inteligência artificial afeta os profissionais de segurança cibernética de maneira diferente, dependendo do nível de experiência.

Início de Carreira: A “Ilusão de Produtividade”

Para operadores de nível inicial, a inteligência artificial pode atuar como uma ponte de competência, ajudando a resolver desafios que eles poderiam ter dificuldade em resolver sozinhos. No entanto, o relatório alerta que isso pode criar uma falsa sensação de produtividade se os analistas juniores carecerem da expertise para verificar as saídas da inteligência artificial ou guiar os fluxos de trabalho dos agentes de forma eficaz.

Em alguns casos, equipes com inteligência artificial de desempenho mais baixo foram na verdade 12,5% mais lentas, frequentemente ficando presas em loops ineficientes quando os operadores careciam de habilidades de supervisão suficientes.

Meio de Carreira: O Ponto Dulce para a Inteligência Artificial

Os maiores ganhos de produtividade ocorreram entre analistas de meio de carreira, particularmente ao lidar com tarefas de complexidade média.

Nesta categoria:

• A vantagem da inteligência artificial atingiu 3,89 vezes de melhoria de desempenho em problemas de dificuldade média
• Equipes de nível médio experimentaram 40–70% de conclusão de tarefas mais rápida em comparação com as equipes humanas

Isso sugere que as empresas podem ver o maior retorno imediato sobre os investimentos em inteligência artificial ao implantar sistemas agênticos ao lado de analistas de nível médio.

Operadores Elite: Vantagem de Velocidade, Não Substituição de Capacidade

Entre os principais desempenhos, a lacuna entre equipes com inteligência artificial e especialistas humanos se estreitou significativamente.

Por exemplo:

• A melhor equipe humana resolveu todos os 36 desafios, enquanto a melhor equipe com inteligência artificial completou 32 de 36
• No nível de desempenho dos 5% superiores, a vantagem na taxa de resolução diminuiu para 1,69 vez

No entanto, a inteligência artificial ainda ofereceu uma grande vantagem em velocidade, com equipes com inteligência artificial de elite resolvendo desafios três a quatro vezes mais rápido.

A “Paradoxo de Dificuldade” Revela Onde a Inteligência Artificial Enfrenta Desafios

O estudo também identificou o que os pesquisadores chamam de “paradoxo de dificuldade” no desempenho da inteligência artificial.

A vantagem da inteligência artificial aumenta com a complexidade da tarefa — até um certo ponto:

• Desafios muito fáceis: ~2,4 vez de vantagem para equipes com inteligência artificial
• Desafios de média dificuldade: 3,89 vez de vantagem, a zona de desempenho máximo
• Desafios difíceis: a vantagem cai para 2,97 vez, revelando limites no raciocínio da inteligência artificial

Certos domínios criativos — como codificação e engenharia reversa — mostraram quase paridade entre humanos elite e sistemas de inteligência artificial, destacando áreas onde a intuição humana e o raciocínio novos permanecem críticos.

Em todos os domínios, o desempenho da inteligência artificial variou amplamente, indo de 5,15 vez de vantagem em tarefas de codificação segura a 1,68 vez em forense digital.

Um Potencial Crise na Pipeline de Talento

Além dos ganhos de produtividade, o relatório levanta uma preocupação de longo prazo com a força de trabalho: a inteligência artificial pode interromper a pipeline de treinamento que produz futuros especialistas em segurança cibernética.

Tarefas de segurança iniciais — tradicionalmente usadas para treinar analistas juniores — estão cada vez mais automatizáveis. Equipes com inteligência artificial superaram significativamente as equipes humanas nos níveis de desafio mais fáceis, sugerindo que o trabalho historicamente usado para treinar novos analistas pode cada vez mais ser tratado por automação.

Se as organizações automatizarem muito o trabalho de nível inicial, o relatório alerta que elas correm o risco de criar um “vazio no meio” na pipeline de talentos, onde menos analistas desenvolvem as habilidades necessárias para se tornarem especialistas seniores em segurança.

Implicações para Líderes de Segurança

Para CISOs e líderes de segurança empresarial, as descobertas sugerem que a adoção de ferramentas de inteligência artificial não é mais opcional.

Organizações que falharem em integrar a inteligência artificial em suas operações de segurança podem enfrentar adversários que já utilizam a inteligência artificial para acelerar ataques e explorar vulnerabilidades mais rápido do que as equipes tradicionais podem responder.

O relatório recomenda uma estratégia de integração de inteligência artificial em três níveis:

• Re treinar funções de nível inicial para se concentrar em governança e validação de inteligência artificial, e não em tarefas manuais
• Implantar a inteligência artificial ao lado de analistas de meio de carreira primeiro, onde os ganhos de produtividade são mais altos
• Manter talentos elite e combiná-los com copilotos de inteligência artificial para acelerar a resposta a incidentes e análise de ameaças avançadas

Em última análise, o relatório sugere que o futuro da segurança cibernética não será inteligência artificial versus humanos — mas humanos com inteligência artificial operando à velocidade das máquinas.