Uczenie maszynowe wyodrębnia dane ataków z rozwlekle opisanych raportów o zagrożeniach

Nowe badania przeprowadzone na Uniwersytecie w Chicago ilustrują konflikt, który powstał w ciągu ostatnich dziesięciu lat między korzyściami SEO długich treści a trudnościami, jakie systemy uczenia maszynowego mają przy wyodrębnianiu niezbędnych danych z nich.

Podczas opracowywania systemu analizy NLP w celu wyodrębnienia istotnych informacji o zagrożeniach z raportów Cyber Threat Intelligence (CTI), badacze z Chicago napotkali na trzy problemy: raporty są zwykle bardzo długie, z tylko niewielką sekcją poświęconą rzeczywistemu zachowaniu ataku; styl jest gęsty i gramatycznie złożony, z obszernymi informacjami specyficznymi dla danego obszaru, które zakładają wcześniejszą wiedzę czytelnika; oraz materiał wymaga wiedzy o relacjach międzyobszarowych, które muszą być “zapamiętane”, aby zrozumieć je w kontekście (trwały problem, jak zauważają badacze).

Raporty o zagrożeniach pełne zbędnych słów

Głównym problemem jest rozwleklność. Na przykład, w artykule z Chicago zauważa się, że wśród 42-stronicowego raportu ClearSky z 2019 roku o zagrożeniu DustySky (również znany jako NeD Worm), tylko 11 zdań dotyczy i opisuje zachowanie ataku.

Drugą przeszkodą jest złożoność tekstu, a dokładniej, długość zdania: badacze obserwują, że wśród 4020 raportów o zagrożeniach z centrum raportów o zagrożeniach Microsoftu, średnie zdanie składa się z 52 słów – tylko dziewięć słów mniej niż średnia długość zdania 500 lat temu (w kontekście faktu, że długość zdania spadła o 75% od tego czasu).

Jednakże, artykuł utrzymuje, że te długie zdania są w zasadzie “skompresowanymi akapitami” same w sobie, pełnymi klauzul, przysłówków i przymiotników, które zakrywają podstawowe znaczenie informacji; oraz że zdania często nie posiadają podstawowego konwencjonalnego znakowania, na którym systemy NLP, takie jak spaCy, Stanford i NLTK, polegają, aby wywnioskować intencję lub wyodrębnić twarde dane.

NLP do wyodrębniania istotnych informacji o zagrożeniach

Potok maszynowy opracowany przez badaczy z Chicago, aby rozwiązać ten problem, nazywa się EXTRACTOR, i wykorzystuje techniki NLP do generowania grafów, które destylują i podsumowują zachowanie ataku z długich, narracyjnych raportów. Proces odrzuca historyczne, narracyjne, a nawet geograficzne ozdoby, które tworzą angażującą i wyczerpującą “historię” kosztem jasnego priorytetu ładunku informacyjnego.

Źródło: https://arxiv.org/pdf/2104.08618.pdf

Ponieważ kontekst jest takim wyzwaniem w rozwlekle opisanych raportach CTI, badacze wybrali BERT (Bidirectional Encoder Representations from Transformer) model reprezentacji języka nad modelem Word2Vec od Google lub GloVe (Global Vectors for Word Representation) od Stanfordu.

BERT ocenia słowa z ich otoczenia, a także rozwija osadzenia dla podwyrazów (tj. start, starting i starts wszystkie sprowadzają się do start). To pomaga EXTRACTORowi radzić sobie z techniczną terminologią, która nie jest obecna w modelu szkoleniowym BERT, i klasyfikować zdania jako “produktywne” (zawierające istotne informacje) lub “nieproduktywne”.

Zwiększanie słownictwa lokalnego

Nieuchronnie pewne specyficzne dla danego obszaru spostrzeżenia muszą być zintegrowane z potokiem NLP, który zajmuje się materiałem tego rodzaju, ponieważ bardzo istotne formy słów, takie jak adresy IP i nazwy procesów technicznych, nie mogą być odrzucone.

Późniejsze części procesu wykorzystują BiLSTM (Bidirectional LSTM) sieć, aby rozwiązać problem rozwlekle opisanych słów, wyznaczając role semantyczne dla części zdania, zanim usunie nieproduktywne słowa. BiLSTM jest dobrze przystosowany do tego, ponieważ może skorelować dalekosiężne zależności, które pojawiają się w rozwlekle opisanych dokumentach, gdzie większa uwaga i retencja są niezbędne do dedukcji kontekstu.

EXTRACTOR definiuje role semantyczne i relacje między słowami, z rolami wygenerowanymi przez adnotacje Proposition Bank (PropBank).

W testach EXTRACTOR (częściowo finansowany przez DARPA) okazał się zdolny do dopasowania ludzkiego wyodrębniania danych z raportów DARPA. System został również uruchomiony przeciwko dużej ilości niesformatowanych raportów z Microsoft Security Intelligence i TrendMicro Threat Encyclopedia, z powodzeniem wyodrębniając istotne informacje w większości przypadków.

Badacze przyznają, że wydajność EXTRACTOR jest prawdopodobnie zmniejszona, gdy próbuje destylować akcje, które występują w kilku zdaniach lub akapitach, chociaż ponowne wyposażenie systemu w celu dostosowania go do innych raportów jest wskazane jako sposób do przodu. Jednakże, jest to w zasadzie powrót do ludzkiego oznaczania przez proxy.

Długość == Autorytet?

To interesujące, aby zauważyć ciągłe napięcie między sposobem, w jaki algorytmy SEO Google wydają się coraz bardziej nagradzać długie treści w ciągu ostatnich kilku lat (chociaż oficjalne porady w tej sprawie są sprzeczne), i wyzwaniami, jakie badacze AI (w tym wiele inicjatyw badawczych Google) stają w dekodowaniu intencji i rzeczywistych danych z tych coraz bardziej narracyjnych i długich artykułów.

To można argumentować, że nagradzając dłuższe treści, Google zakłada spójną jakość, której nie jest w stanie jeszcze zidentyfikować ani zmierzyć za pomocą procesów NLP, poza zliczaniem liczby autorytatywnych stron, które łączą się z nimi (metryka “mięso-ware”, w większości przypadków); i że nie jest niezwykłe widzieć postów o 2500 słowach lub więcej, które osiągają wyższe pozycje w wynikach wyszukiwania, niezależnie od “opuchnięcia narracyjnego”, o ile dodatkowy materiał jest ogólnie zrozumiały i nie narusza innych wytycznych.

Gdzie jest przepis?

W związku z tym, liczba słów rośnie, częściowo z powodu prawdziwej potrzeby dobrych długich treści, ale również dlatego, że “storifikacja” kilku skąpych faktów może podnieść długość artykułu do ideałów SEO, i pozwolić na równą konkurencję między treściami o niskim a wysokim wysiłku.

Jednym z przykładów jest strona z przepisami, często skarżących się na społeczności Hacker News za poprzedzanie podstawowych informacji (przepisu) licznymi autobiograficznymi lub kapryśnymi treściami, zaprojektowanymi w celu stworzenia “doświadczenia przepisu” opartego na historii, i w celu podniesienia tego, co w przeciwnym razie byłoby bardzo niskim słowem, do regionu przyjaznego dla SEO o 2500+ słowach.

Istnieje wiele czysto proceduralnych rozwiązań, które pojawiły się w celu wyodrębnienia rzeczywistych przepisów z rozwlekle opisanych stron z przepisami, w tym otwarte narzędzia do wyodrębniania przepisów, i wyodrębnianie przepisów dla Firefoksa i Chromia. Uczenie maszynowe również zajmuje się tym, z różnymi podejściami z Japonii, USA i Portugalii, a także badania ze Stanfordu i innych.

Co się tyczy raportów o zagrożeniach, które są przedmiotem zainteresowania badaczy z Chicago, ogólna praktyka rozwlekle opisanych raportów o zagrożeniach może być częściowo spowodowana potrzebą odzwierciedlenia skali osiągnięcia (które może być zwykle podsumowane w jednym akapicie) przez stworzenie bardzo długiej narracji wokół niego, i wykorzystanie długości słowa jako proxy dla skali wysiłku, niezależnie od stosowalności.

Drugim powodem jest fakt, że w klimacie, w którym źródło pochodzenia historii jest często utracone z powodu złych praktyk cytowania przez popularne media, wytwarzanie większej ilości słów niż jakikolwiek dziennikarz mógłby odtworzyć gwarantuje wygraną w wynikach wyszukiwania dzięki samej objętości słów, zakładając, że rozwlekle opisywanie – obecnie rosnące wyzwanie dla NLP – jest naprawdę nagradzane w ten sposób.