Audian Paxson, główny strateg techniczny w IRONSCALES — seria wywiadów

Audian Paxson, główny strateg techniczny w IRONSCALES, to doświadczony specjalista ds. cyberbezpieczeństwa i strategii produktowej, z ponad dwudziestoletnim stażem obejmującym bezpieczeństwo poczty elektronicznej, wykrywanie zagrożeń, sieci komputerowe i technologie dla przedsiębiorstw. W IRONSCALES zajmuje się wprowadzaniem produktów na rynek, komunikacją i pozycjonowaniem, strategią wejścia na rynek oraz kształtowaniem opinii na temat wykorzystania sztucznej inteligencji i uczenia maszynowego do przeciwdziałania nowym zagrożeniom dla bezpieczeństwa poczty elektronicznej. W swojej karierze pełnił kierownicze funkcje w obszarze zarządzania produktami, marketingu produktów i rozwoju biznesu w firmach Netgate, BlueCat, Alert Logic, Critical Watch, Iconix, Strix Systems i Intel. Paxson odgrywał kluczową rolę we wprowadzaniu na rynek produktów z zakresu cyberbezpieczeństwa i sieci komputerowych, opracowywaniu strategii wejścia na rynek dla przedsiębiorstw oraz ekspansji firm na nowe rynki. Jest także współwynalazcą opatentowanej technologii bezpieczeństwa.

IRONSCALES to firma oferująca oparte na sztucznej inteligencji rozwiązania do ochrony poczty elektronicznej. Chroni organizacje przed phishingiem, przejęciem firmowej korespondencji, przejmowaniem kont, deepfake’ami i innymi ewoluującymi zagrożeniami socjotechnicznymi. Jej platforma łączy Adaptive AI z wiedzą ludzi i społeczności, aby wykrywać, analizować i neutralizować zagrożenia w środowiskach Microsoft 365 i Google Workspace. Oferuje również funkcje symulacji phishingu, szkoleń z zakresu świadomości bezpieczeństwa, ochrony poczty wychodzącej oraz zabezpieczania domen. Firma rozszerzyła swoje podejście o wyspecjalizowanych agentów AI do testów zespołu czerwonego, operacji związanych z bezpieczeństwem poczty elektronicznej i symulacji phishingu. Agenci ci mają przewidywać ataki, analizować podejrzaną aktywność i wzmacniać ochronę pracowników. IRONSCALES podaje, że z jej technologii korzysta ponad 18 000 organizacji, a rozwiązanie wykorzystuje informacje przekazywane przez społeczność liczącą ponad 36 000 specjalistów ds. bezpieczeństwa.

Od ponad dwóch dekad zajmuje się Pan bezpieczeństwem poczty elektronicznej: pomagał Pan tworzyć jedne z pierwszych produktów chroniących przed phishingiem, a obecnie koncentruje się na tym, jak sztuczna inteligencja i uczenie maszynowe mogą przeciwdziałać nowym zagrożeniom związanym z pocztą elektroniczną. Patrząc z tej perspektywy, co jest naprawdę nowego w socjotechnice wykorzystującej sztuczną inteligencję, a które elementy problemu pozostały zaskakująco znajome?

Dzięki za przypomnienie, ile mam lat! Kiedy na początku XXI wieku zaczęliśmy walczyć z phishingiem, największym problemem był brak świadomości, a filtry mogły oceniać jedynie reputację domeny nadawcy. Taktyka jednak niewiele się zmieniła. Presja czasu, powoływanie się na autorytet, fałszywa faktura. Rozpoznaję niemal każdy pretekst, na jaki trafiam dziś. Sztuczna inteligencja zmieniła poprzeczkę w kwestii umiejętności: teraz nawet niedoświadczony napastnik może na masową skalę tworzyć dopracowane, spersonalizowane wersje oszustw z 2004 roku.

Anthropic ustaliła, że Claude Mythos 5 potrafił rozpoznawać oznaki prawdziwego internetu, gdy przedstawiano mu je osobno, ale w dużej mierze nie potrafił zareagować na te same dowody, gdy był pochłonięty wykonywaniem zadania. Co ta rozbieżność mówi nam o różnicy między posiadaniem wiedzy przez model AI a jej wykorzystaniem we właściwym momencie?

Zajmuję się bezpieczeństwem poczty elektronicznej, a nie badaniami nad sztuczną inteligencją, więc patrzę na to z tej perspektywy. Mythosowi od razu powiedziano, że działa w symulacji, i ta rama interpretacyjna przeważyła. Odrzucał prawdziwe dowody, bo nie pasowały do historii, w której już się znalazł. Właśnie tak działa pretekst — dlatego napastnicy tak usilnie starają się najpierw narzucić własną interpretację sytuacji.

Można tu dostrzec ciekawą analogię do ludzkich zachowań związanych z phishingiem: pracownik może bez trudu rozpoznać podejrzane sygnały podczas szkolenia, a jednak przeoczyć te same sygnały, gdy się spieszy lub koncentruje na wykonaniu innego zadania. Jak daleko można, Pana zdaniem, zasadnie posunąć porównanie ludzkiego i sztucznego osądu?

Do pewnego stopnia. Zarówno ludzie, jak i modele tracą orientację, gdy są całkowicie pochłonięci zadaniem, a wiadomość wyglądająca na element rutynowej procedury biznesowej („poniższe roszczenia wymagają weryfikacji”) zostaje przepuszczona bez sprawdzenia przez jednych i drugie. Analogia przestaje jednak pasować, gdy w grę wchodzą emocje. Ludzie ulegają presji czasu, strachowi albo chęci przypodobania się. Agent zawodzi pod wpływem własnych wyzwalaczy, na przykład instrukcji, których nie potrafi odróżnić od przetwarzanych danych.

Szkolenia z zakresu bezpieczeństwa tradycyjnie koncentrowały się na uczeniu ludzi rozpoznawania złośliwych linków, nietypowych próśb, podszywania się pod inne osoby i innych sygnałów ostrzegawczych. Skoro zarówno ludzie, jak i systemy AI mogą ignorować sygnały, które potrafią rozpoznać, czy zespoły ds. bezpieczeństwa powinny mniej skupiać się na ich rozpoznawaniu, a bardziej na tym, jak podejmowane są decyzje pod presją i w określonym kontekście?

Tak. Szkolenia z rozpoznawania zagrożeń zakładają, że ludzie zwracają uwagę. Napastnicy projektują wiadomości tak, by trafiały do odbiorców, gdy ci nie są skupieni, albo skłaniały ich do zapomnienia o szkoleniu. Lepiej zainwestować w wprowadzenie chwili na zastanowienie w kluczowych momentach — na przykład podczas płatności, resetowania danych uwierzytelniających czy zmiany uprawnień dostępu — tak aby ani człowiek, ani agent nie podejmowali decyzji automatycznie.

W miarę jak agenci AI coraz głębiej integrują się ze skrzynkami odbiorczymi i procesami biznesowymi, napastnicy mogą coraz częściej próbować manipulować samym systemem AI, a nie tylko pracownikiem. Jak mógłby wyglądać atak zaprojektowany specjalnie po to, by zmanipulować agenta pocztowego lub autonomicznego asystenta?

To wiadomość e-mail napisana z myślą o agencie, zawierająca instrukcje ukryte przed człowiekiem — białym tekstem na białym tle, w tekście alternatywnym obrazu lub w innym języku — tak aby ominęły filtry dostrojone do języka angielskiego. W jednym ze scenariuszy opracowanych przez nasz zespół badawczy w pamięci agenta zaszczepiono fałszywy „fakt” („zgody z finance@ są zatwierdzane z wyprzedzeniem”), dzięki czemu podszywająca się pod dział finansowy wiadomość e-mail, wysłana kilka tygodni później, przechodzi bez przeszkód. W innym przypadku tekst ukryty w obrazie faktury każe agentowi oznaczyć ją jako obarczoną niskim ryzykiem i podsumować ją jako bezpieczną do opłacenia. Człowiek ufa temu podsumowaniu.

Czy napastnicy mogą celowo tworzyć długie ciągi pozornie legalnych interakcji, które stopniowo skłaniają system AI do podjęcia niewłaściwej decyzji, zamiast polegać na pojedynczej, jawnie złośliwej wiadomości e-mail lub poleceniu? Jak trudno byłoby dzisiejszym narzędziom bezpieczeństwa wykrywać takie wieloetapowe ataki?

Takie ataki już są wymierzone w ludzi, a agentów czeka to samo. Napastnicy wysyłają kilka nieszkodliwych wiadomości e-mail (przedstawienie się, podziękowanie), aby ominąć oznaczenia nowych nadawców, a następnie przechodzą do wiadomości związanych z rolą celu i dopiero wtedy dostarczają szkodliwy ładunek — często w zaproszeniu na spotkanie, którego link wyświetla skanerom czystą stronę, a prawdziwym użytkownikom stronę phishingową. Narzędzia oceniające każdą wiadomość e-mail w oderwaniu od innych tego nie wychwytują. Żadna pojedyncza wiadomość nie wygląda podejrzanie, dlatego trzeba oceniać relację w dłuższym czasie.

O phishingu generowanym przez AI często mówi się w kontekście lepszego stylu, personalizacji i deepfake’ów. Czy bardziej niepokoi Cię to, że AI poprawia treść ataków socjotechnicznych, czy to, że napastnicy wykorzystują AI, by ustalić, kiedy i w jaki sposób konkretny cel najprawdopodobniej popełni błąd?

Oba te zjawiska, a walka o treść jest już rozstrzygnięta. Dopracowany phishing pisany przez AI stał się normą, odkąd ChatGPT trafił do powszechnego użytku. Większa zmiana polega na tym, że dobór celów, personalizacja i określanie czasu ataku są teraz zautomatyzowane, dzięki czemu osoba bez żadnych umiejętności technicznych może połączyć dane z wycieków z zestawami haseł, takimi jak osławiona lista RockYou, przejąć prawdziwą skrzynkę pocztową i wysłać wiadomość podszywającą się pod rutynową wiadomość transakcyjną dokładnie wtedy, gdy cel się jej spodziewa.

Gdy napastnicy coraz lepiej usuwają oczywiste techniczne sygnały ostrzegawcze i sprawiają, że złośliwe wiadomości wyglądają na wiarygodne, które sygnały stają się najważniejsze przy odróżnianiu prawdziwej korespondencji od manipulacji?

Najważniejszy jest kontekst. Czy na przykład taka wiadomość jest typowa dla tej osoby lub tego dostawcy, w tym kanale i o tej porze? Potem liczą się pilność i powtarzalność. Ktoś, kto ma naprawdę pilną sprawę, zadzwoni albo napisze do Ciebie na Teams lub Slacku. Nie wyśle trzy razy tego samego e-maila. I zaufaj swojej intuicji. Kieruję się zasadą: „Nie rób niczego pochopnie — zatrzymaj się”, więc zrób przerwę, poproś kogoś o ponowne sprawdzenie i zweryfikuj sprawę innym kanałem.

Jak organizacje powinny zorganizować nadzór człowieka i AI, skoro obie strony mogą mieć słabe punkty? Czy połączenie ludzkiego osądu z AI może w rzeczywistości stworzyć nowe martwe pola, jeśli każda ze stron zakłada, że druga zdążyła już zweryfikować decyzję?

Każdej ze stron powierzcie zadania, do których najlepiej się nadaje, i jasno określcie sposób przekazywania spraw. AI obsługuje dużą liczbę zadań i wykrywa wzorce w całym środowisku; ludzie odpowiadają za decyzje o poważnych konsekwencjach (przekazywanie pieniędzy, przyznawanie dostępu), a AI musi przedstawić dowody, aby osoba weryfikująca mogła sprawdzić tok rozumowania. Opisane przez Ciebie martwe pole rzeczywiście istnieje. Rozwiązaniem jest bezwzględna zasada: „AI uznała, że to bezpieczne” nigdy nie zastępuje weryfikacji przez człowieka.

Jeśli podstawowym problemem jest rozbieżność między tym, co wiedzą ludzie lub systemy AI, a tym, co dostrzegają podczas wykonywania zadania, jakie praktyczne zmiany organizacje mogą wprowadzić już dziś, aby tę rozbieżność zmniejszyć i znacznie utrudnić skuteczne przeprowadzanie ataków socjotechnicznych?

Warto wrócić do dawnej kontroli stosowanej przy wystawianiu czeków: „rozdziału obowiązków”. Jedna osoba może utworzyć nowego użytkownika, ale nie może go aktywować; druga może aktywować użytkownika, ale nie może go utworzyć; trzecia otrzymuje powiadomienie o obu działaniach. Taki sam podział wprowadźcie w przypadku płatności, zmian danych dostawców i agentów AI (żaden agent nie powinien jednocześnie wnioskować o działanie i go zatwierdzać). Jeden oszukany pracownik ani jeden przejęty agent nie mogą samodzielnie doprowadzić ataku do końca.

Dziękuję za świetny wywiad. Czytelnicy, którzy chcą dowiedzieć się więcej, mogą odwiedzić stronę IRONSCALES.