Hack The Box Benchmark: Zespoły Wzmocnione Sztuczną Inteligencją Przewyższają Ludzkich Analityków Cyberbezpieczeństwa

Nowe badanie przeprowadzone przez Hack The Box zatytułowane „Raport Porównawczy Wydajności Zespołów Cyberbezpieczeństwa Wzmocnionych Sztuczną Inteligencją i Ludzkich” ujawnia, że zespoły cyberbezpieczeństwa wzmocnione sztuczną inteligencją mogą znacznie przewyższać zespoły składające się wyłącznie z ludzi, a elitarne zespoły mogą wykonywać zadania nawet 4,1 razy szybciej. Wyniki opierają się na danych dotyczących wydajności z NeuroGrid Capture the Flag (CTF) konkursu, jednego z największych benchmarków porównawczych zespołów agentych wspomaganych przez sztuczną inteligencję i tradycyjnych zespołów ludzkich wykonujących zadania związane z cyberbezpieczeństwem.

Benchmark analizował dane z NeuroGrid Capture the Flag (CTF) konkursu, w którym wzięło udział 1 337 zespołów składających się wyłącznie z ludzi i 156 zespołów z agentami sztucznej inteligencji, z czego 958 zespołów ludzkich i 120 zespołów z sztuczną inteligencją aktywnie podejmowało wyzwania w ramach 36 zadań związanych z cyberbezpieczeństwem, obejmujących dziewięć dziedzin technicznych i cztery poziomy trudności.

Wyniki podkreślają zarówno korzyści produktywnościowe działań cyberbezpieczeństwa wzmocnionych sztuczną inteligencją, jak i wyłaniające się wyzwania związane z siłą roboczą, których mogą doświadczyć organizacje, gdy automatyzacja zmienia sposób funkcjonowania zespołów bezpieczeństwa.

Zespoły Wzmocnione Sztuczną Inteligencją Osiągają Mierzone Korzyści Wydajnościowe

Benchmark pokazuje, że integracja agentów sztucznej inteligencji do procesów cyberbezpieczeństwa może dramatycznie zwiększyć wydajność, szczególnie gdy są one połączone z doświadczonymi operatorami ludzkimi.

Główne wnioski obejmują:

• Do 4,1-krotnie większa wydajność dla elitarnej zespołów wzmocnionych sztuczną inteligencją w porównaniu z zespołami składającymi się wyłącznie z ludzi
• 1,4-krotna poprawa produktywności we wszystkich zespołach w tym samym oknie czasowym
• 70% wyższy wskaźnik rozwiązania zadań dla zespołów wzmocnionych sztuczną inteligencją
• 27% wskaźnik rozwiązania dla zespołów z sztuczną inteligencją w porównaniu z 16% dla najlepszych zespołów składających się wyłącznie z ludzi
• 3,2-krotnie wyższy ogólny wskaźnik rozwiązania zadań we wszystkich uczestnikach

Według CEO i założyciela Hack The Box, Harisa Pylarinos, wyniki pokazują, że sztuczna inteligencja może dramatycznie zwiększyć prędkość operacyjną, ale nadal musi być połączona z nadzorem ludzkim.

„Sztuczna inteligencja może podnieść poprzeczkę wydajności cyberbezpieczeństwa, ale nie eliminuje potrzeby ekspertyzy ludzkiej,” Pylarinos powiedział. „Organizacje muszą rozwijać zespoły zorientowane na sztuczną inteligencję i tworzyć procesy z ludźmi w pętli, aby w sposób bezpieczny odblokować te korzyści.”

W przeciwieństwie do syntetycznych benchmarków często stosowanych w ocenach sztucznej inteligencji, konkurs wykorzystywał profesjonalne zadania związane z cyberbezpieczeństwem w warunkach rzeczywistej presji konkursowej, oferując bardziej operacyjnie realistyczne porównanie między zespołami wspomaganymi przez sztuczną inteligencję a zespołami ludzkimi.

Model Hybrydowy Człowiek-Sztuczna Inteligencja Wychodzi Na Prawdę Jako Strategia Wygrywająca

Chociaż sztuczna inteligencja znacznie przyspieszyła wydajność, badanie wykazało, że zespoły hybrydowe łączące agenty sztucznej inteligencji z operatorami ludzkimi osiągały najmocniejsze wyniki ogółem.

W konkursie:

• 73,3% zespołów wzmocnionych sztuczną inteligencją ukończyło co najmniej jedną zadanie, w porównaniu z 46% zespołów składających się wyłącznie z ludzi
• Agenci sztucznej inteligencji często poprawiali podstawową wydajność, ale nadal wymagali walidacji i kierunku strategicznego ludzi w przypadku zadań złożonych

Dla CISO i liderów bezpieczeństwa raport podkreśla, że sztuczna inteligencja powinna być postrzegana przede wszystkim jako mnożnik siły, a nie jako zastępstwo dla profesjonalistów cyberbezpieczeństwa.

Wpływ Sztucznej Inteligencji Zmienia Się Dramatycznie W Zależności Od Poziomu Umiejętności

Jednym z najważniejszych spostrzeżeń z raportu jest to, że sztuczna inteligencja wpływa na praktyków cyberbezpieczeństwa w różny sposób w zależności od ich poziomu doświadczenia.

Wczesna Kariera: „Iluzja Wydajności”

Dla operatorów na początku kariery sztuczna inteligencja może działać jako most kompetencyjny, pomagając im rozwiązywać zadania, które mogliby mieć trudności. Jednak raport ostrzega, że może to stworzyć fałszywe poczucie wydajności, jeśli juniorzy nie posiadają wystarczającej ekspertyzy, aby zweryfikować dane wyjściowe sztucznej inteligencji lub skutecznie kierować przepływem pracy agenta.

W niektórych przypadkach słabiej radzące sobie zespoły wzmocnione sztuczną inteligencją były nawet 12,5% wolniejsze, często utknęły w niewydajnych pętlach, gdy operatorzy nie posiadali wystarczających umiejętności nadzorujących.

Średnia Kariera: Słodkie Miejsce Dla Sztucznej Inteligencji

Największe korzyści wydajnościowe wystąpiły wśród analityków w średniej karierze, szczególnie przy rozwiązywaniu zadań o średnim poziomie złożoności.

W tej kategorii:

• Przewaga sztucznej inteligencji osiągała maksimum 3,89-krotnego polepszenia wydajności w zadaniach o średnim poziomie trudności
• Średnie zespoły doświadczyły 40–70% szybszego ukończenia zadań w porównaniu z zespołami składającymi się wyłącznie z ludzi

To sugeruje, że przedsiębiorstwa mogą zobaczyć najbardziej natychmiastowy zwrot z inwestycji w sztuczną inteligencję, wdrażając systemy agentych obok analityków na średnim poziomie.

Operatorzy Elitarnej Klasy: Przewaga Prędkości, Nie Zastępstwo Możliwości

Wśród najlepszych wykonawców przepaść między zespołami wzmocnionymi sztuczną inteligencją a ekspertami ludzkimi znacznie się zmniejszyła.

Na przykład:

• Najlepszy zespół ludzki rozwiązał wszystkie 36 zadań, podczas gdy najlepszy zespół wzmocniony sztuczną inteligencją ukończył 32 z 36 zadań
• Na poziomie 5% najlepszych wykonawców przewaga rozwiązania zadań zmniejszyła się do 1,69-krotnego

Jednak sztuczna inteligencja nadal zapewniała znaczną przewagę pod względem prędkości, z elitarą zespołów wzmocnionych sztuczną inteligencją rozwiązujących zadania trzy lub cztery razy szybciej.

„Paradoks Trudności” Ujawnia, Gdzie Sztuczna Inteligencja Ma Trudności

Badanie również zidentyfikowało to, co badacze nazywają „paradoksem trudności” w wydajności sztucznej inteligencji.

Przewaga sztucznej inteligencji wzrasta wraz z złożonością zadań — do pewnego punktu:

• Bardzo łatwe zadania: około 2,4-krotna przewaga dla zespołów z sztuczną inteligencją
• Zadania o średnim poziomie trudności: 3,89-krotna przewaga, strefa szczytowej wydajności
• Trudne zadania: przewaga spada do 2,97-krotnego, ujawniając ograniczenia w rozumowaniu sztucznej inteligencji

Pewne kreatywne dziedziny — takie jak programowanie i inżynieria odwrotna — pokazały bliską równość między elitarnymi ludźmi a systemami sztucznej inteligencji, podkreślając obszary, w których intuicja i nowatorskie rozumowanie ludzkie pozostają kluczowe.

Przez dziedziny wydajność sztucznej inteligencji różniła się znacznie, wahając się od 5,15-krotnego przewagi w zadaniach związanych z kodowaniem do 1,68-krotnego w dziedzinie analizy cyfrowej.

Potencjalny Kryzys w Potoku Talentów

Poza korzyściami wydajnościowymi raport podnosi długoterminową troskę związaną z siłą roboczą: sztuczna inteligencja może zakłócić potok szkoleniowy, który produkuje przyszłych ekspertów cyberbezpieczeństwa.

Zadania związane z bezpieczeństwem na poziomie wejścia — tradycyjnie wykorzystywane do szkolenia juniorów — stają się coraz bardziej zautomatyzowane. Zespoły z sztuczną inteligencją znacznie przewyższyły zespoły ludzkie w najłatwiejszych zadaniach, sugerując, że praca, która historycznie była wykorzystywana do szkolenia nowych analityków, może być coraz częściej obsługiwana przez automatyzację.

Jeśli organizacje zautomatyzują zbyt wiele pracy na początkowym etapie, raport ostrzega, że ryzykują stworzenie „brakującego środka” w potoku talentów, gdzie mniej analityków rozwija umiejętności niezbędne do zostania starszymi ekspertami ds. bezpieczeństwa.

Wnioski Dla Liderów Bezpieczeństwa

Dla CISO i liderów przedsiębiorstw wyniki sugerują, że przyjęcie narzędzi sztucznej inteligencji nie jest już opcjonalne.

Organizacje, które nie zintegrują sztucznej inteligencji ze swoimi operacjami bezpieczeństwa, mogą spotkać się z przeciwnikami, którzy już wykorzystują sztuczną inteligencję do przyspieszenia ataków i wykorzystania luk w zabezpieczeniach szybciej, niż tradycyjne zespoły mogą zareagować.

Raport zaleca trójstopniową strategię integracji sztucznej inteligencji:

• Przeszkolić role wejścia, aby skupić się na zarządzaniu sztuczną inteligencją i walidacji, a nie na zadaniach ręcznych
• Wdrożyć sztuczną inteligencję obok analityków w średniej karierze, gdzie korzyści wydajnościowe są najwyższe
• Utrzymać elitarny talent i połączyć go z pilotami sztucznej inteligencji, aby przyspieszyć odpowiedź na incydenty i zaawansowaną analizę zagrożeń

Ostatecznie raport sugeruje, że przyszłość cyberbezpieczeństwa nie będzie oparta na sztucznej inteligencji versus ludziach, ale na ludziach wzmocnionych sztuczną inteligencją, działających z prędkością maszyn.