Hack The Box Benchmark: Zespoły Wzmocnione Sztuczną Inteligencją Przewyższają Ludzkich Analityków Cyberbezpieczeństwa

Nowe badanie przeprowadzone przez Hack The Box zatytułowane „Raport Porównawczy Wydajności Zespołów Cyberbezpieczeństwa Wzmocnionych Sztuczną Inteligencją i Ludzkich” ujawnia, że zespoły cyberbezpieczeństwa wzmocnione sztuczną inteligencją mogą znacznie przewyższać zespoły składające się wyłącznie z ludzi, a elitarne zespoły mogą wykonywać zadania nawet 4,1 razy szybciej. Wyniki opierają się na danych dotyczących wydajności z NeuroGrid Capture the Flag (CTF) konkursu, jednego z największych benchmarków porównawczych zespołów wspomaganych przez agentową sztuczną inteligencję i tradycyjnych zespołów ludzkich wykonujących zadania związane z cyberbezpieczeństwem.

Benchmark analizował dane z NeuroGrid Capture the Flag (CTF) konkursu, do którego zarejestrowało się 1 337 zespołów składających się wyłącznie z ludzi i 156 zespołów z agentami sztucznej inteligencji, z czego 958 zespołów ludzkich i 120 zespołów ze sztuczną inteligencją aktywnie podejmowało wyzwania w ramach 36 zadań związanych z cyberbezpieczeństwem, obejmujących dziewięć dziedzin technicznych i cztery poziomy trudności.

Wyniki podkreślają zarówno korzyści produktywnościowe działań cyberbezpieczeństwa wzmocnionych sztuczną inteligencją, jak i wyłaniające się wyzwania związane z siłą roboczą, których mogą doświadczyć organizacje, gdy automatyzacja zmienia sposób funkcjonowania zespołów bezpieczeństwa.

Zespoły Wzmocnione Sztuczną Inteligencją Osiągają Mierzone Korzyści Wydajnościowe

Benchmark pokazuje, że integracja agentów sztucznej inteligencji do procesów cyberbezpieczeństwa może dramatycznie zwiększyć wydajność, szczególnie gdy są one połączone z doświadczonymi operatorami ludzkimi.

Główne wnioski obejmują:

• Do 4,1-krotnie większa wydajność dla elitarnych zespołów wzmocnionych sztuczną inteligencją w porównaniu z zespołami składającymi się wyłącznie z ludzi
• 1,4-krotna poprawa produktywności we wszystkich zespołach w tym samym oknie czasowym
• 70% wyższy wskaźnik rozwiązania zadań dla zespołów wzmocnionych sztuczną inteligencją
• 27% wskaźnik rozwiązania dla zespołów ze sztuczną inteligencją w porównaniu z 16% dla najlepszych zespołów składających się wyłącznie z ludzi
• 3,2-krotnie wyższy ogólny wskaźnik rozwiązania zadań we wszystkich uczestnikach

Według CEO i założyciela Hack The Box, Harisa Pylarinos, wyniki pokazują, że sztuczna inteligencja może dramatycznie zwiększyć prędkość operacyjną, ale nadal musi być połączona z nadzorem ludzkim.

„Sztuczna inteligencja może podnieść poprzeczkę wydajności cyberbezpieczeństwa, ale nie eliminuje potrzeby ekspertyzy ludzkiej,” Pylarinos powiedział. „Organizacje muszą rozwijać zespoły biegle korzystające ze sztucznej inteligencji i tworzyć procesy z udziałem oraz nadzorem człowieka, aby w sposób bezpieczny odblokować te korzyści.”

W przeciwieństwie do syntetycznych benchmarków często stosowanych w ocenach sztucznej inteligencji, konkurs wykorzystywał profesjonalne zadania związane z cyberbezpieczeństwem w warunkach rzeczywistej presji konkursowej, oferując bardziej operacyjnie realistyczne porównanie między zespołami wspomaganymi przez sztuczną inteligencję a zespołami ludzkimi.

Model Hybrydowy Człowiek-Sztuczna Inteligencja Okazuje Się Zwycięską Strategią

Chociaż sztuczna inteligencja znacznie przyspieszyła wydajność, badanie wykazało, że zespoły hybrydowe łączące agentów sztucznej inteligencji z operatorami ludzkimi osiągały najmocniejsze wyniki ogółem.

W konkursie:

• 73,3% zespołów wzmocnionych sztuczną inteligencją ukończyło co najmniej jedno zadanie, w porównaniu z 46% zespołów składających się wyłącznie z ludzi
• Agenci sztucznej inteligencji często poprawiali podstawową wydajność, ale nadal wymagali walidacji i kierunku strategicznego ludzi w przypadku zadań złożonych

Dla CISO i liderów bezpieczeństwa raport podkreśla, że sztuczna inteligencja powinna być postrzegana przede wszystkim jako mnożnik siły, a nie jako zastępstwo dla profesjonalistów cyberbezpieczeństwa.

Wpływ Sztucznej Inteligencji Zmienia Się Dramatycznie W Zależności Od Poziomu Umiejętności

Jednym z najważniejszych spostrzeżeń z raportu jest to, że sztuczna inteligencja wpływa na praktyków cyberbezpieczeństwa w różny sposób w zależności od ich poziomu doświadczenia.

Wczesna Kariera: „Iluzja Wydajności”

Dla operatorów na początku kariery sztuczna inteligencja może działać jako most kompetencyjny, pomagając im rozwiązywać zadania, z którymi bez takiego wsparcia mogliby mieć trudności. Jednak raport ostrzega, że może to stworzyć fałszywe poczucie wydajności, jeśli juniorzy nie posiadają wystarczającej ekspertyzy, aby zweryfikować dane wyjściowe sztucznej inteligencji lub skutecznie kierować przepływem pracy agenta.

W niektórych przypadkach słabiej radzące sobie zespoły wzmocnione sztuczną inteligencją były nawet 12,5% wolniejsze, często grzęznąc w niewydajnych pętlach, gdy operatorzy nie posiadali wystarczających umiejętności nadzorujących.

Środkowy Etap Kariery: Optymalny Obszar Wykorzystania Sztucznej Inteligencji

Największe korzyści wydajnościowe wystąpiły wśród analityków na środkowym etapie kariery, szczególnie przy rozwiązywaniu zadań o średnim poziomie złożoności.

W tej kategorii:

• Przewaga sztucznej inteligencji osiągała maksimum 3,89-krotnego polepszenia wydajności w zadaniach o średnim poziomie trudności
• Średnie zespoły doświadczyły 40–70% szybszego ukończenia zadań w porównaniu z zespołami składającymi się wyłącznie z ludzi

To sugeruje, że przedsiębiorstwa mogą zobaczyć najbardziej natychmiastowy zwrot z inwestycji w sztuczną inteligencję, wdrażając systemy agentowe obok analityków na średnim poziomie.

Operatorzy Elitarnej Klasy: Przewaga Prędkości, Nie Zastępstwo Możliwości

Wśród najlepszych wykonawców przepaść między zespołami wzmocnionymi sztuczną inteligencją a ekspertami ludzkimi znacznie się zmniejszyła.

Na przykład:

• Najlepszy zespół ludzki rozwiązał wszystkie 36 zadań, podczas gdy najlepszy zespół wzmocniony sztuczną inteligencją ukończył 32 z 36 zadań
• Na poziomie 5% najlepszych wykonawców przewaga rozwiązania zadań zmniejszyła się do 1,69-krotnego

Jednak sztuczna inteligencja nadal zapewniała znaczną przewagę pod względem prędkości, a elitarne zespoły wzmocnione sztuczną inteligencją rozwiązywały zadania trzy lub cztery razy szybciej.

„Paradoks Trudności” Ujawnia, Gdzie Sztuczna Inteligencja Ma Trudności

Badanie również zidentyfikowało to, co badacze nazywają „paradoksem trudności” w wydajności sztucznej inteligencji.

Przewaga sztucznej inteligencji wzrasta wraz ze złożonością zadań — do pewnego punktu:

• Bardzo łatwe zadania: około 2,4-krotna przewaga dla zespołów ze sztuczną inteligencją
• Zadania o średnim poziomie trudności: 3,89-krotna przewaga, strefa szczytowej wydajności
• Trudne zadania: przewaga spada do 2,97-krotnego, ujawniając ograniczenia w rozumowaniu sztucznej inteligencji

Pewne kreatywne dziedziny — takie jak programowanie i inżynieria odwrotna — pokazały bliską równość między elitarnymi ludźmi a systemami sztucznej inteligencji, podkreślając obszary, w których intuicja i nowatorskie rozumowanie ludzkie pozostają kluczowe.

Przez dziedziny wydajność sztucznej inteligencji różniła się znacznie, wahając się od 5,15-krotnej przewagi w zadaniach związanych z bezpiecznym programowaniem do 1,68-krotnej przewagi w informatyce śledczej.

Potencjalny Kryzys w Rozwoju Kadr

Poza korzyściami wydajnościowymi raport podnosi długoterminową troskę związaną z siłą roboczą: sztuczna inteligencja może zakłócić proces szkolenia, który kształci przyszłych ekspertów cyberbezpieczeństwa.

Zadania związane z bezpieczeństwem na poziomie wejścia — tradycyjnie wykorzystywane do szkolenia juniorów — stają się coraz bardziej zautomatyzowane. Zespoły ze sztuczną inteligencją znacznie przewyższyły zespoły ludzkie w najłatwiejszych zadaniach, sugerując, że praca, która historycznie była wykorzystywana do szkolenia nowych analityków, może być coraz częściej obsługiwana przez automatyzację.

Jeśli organizacje zautomatyzują zbyt wiele pracy na początkowym etapie, raport ostrzega, że ryzykują stworzenie „brakującego środka” w procesie rozwoju kadr, gdzie mniej analityków rozwija umiejętności niezbędne do zostania starszymi ekspertami ds. bezpieczeństwa.

Wnioski Dla Liderów Bezpieczeństwa

Dla CISO i liderów przedsiębiorstw wyniki sugerują, że przyjęcie narzędzi sztucznej inteligencji nie jest już opcjonalne.

Organizacje, które nie zintegrują sztucznej inteligencji ze swoimi operacjami bezpieczeństwa, mogą spotkać się z przeciwnikami, którzy już wykorzystują sztuczną inteligencję do przyspieszenia ataków i wykorzystania luk w zabezpieczeniach szybciej, niż tradycyjne zespoły mogą zareagować.

Raport zaleca trzypoziomową strategię integracji sztucznej inteligencji:

• Ponownie przeszkolić pracowników na stanowiskach początkowych, aby skupić się na zarządzaniu sztuczną inteligencją i walidacji, a nie na zadaniach ręcznych
• Wdrożyć sztuczną inteligencję w pierwszej kolejności obok analityków na środkowym etapie kariery, gdzie korzyści wydajnościowe są najwyższe
• Utrzymać elitarny talent i połączyć go z asystentami sztucznej inteligencji, aby przyspieszyć odpowiedź na incydenty i zaawansowaną analizę zagrożeń

Ostatecznie raport sugeruje, że przyszłość cyberbezpieczeństwa nie będzie oparta na sztucznej inteligencji versus ludziach, ale na ludziach wzmocnionych sztuczną inteligencją, działających z prędkością maszyn.