Maskinlärning extraherar attackdata från långsamma hotrapporter

Ny forskning från University of Chicago visar på den konflikt som har uppstått under de senaste tio åren mellan SEO-fördelarna med långformigt innehåll och den svårighet som maskinlärningssystem har att utvinna väsentlig information från det.

I utvecklingen av ett NLP-analysystem för att extrahera väsentlig hotinformation från Cyber Threat Intelligence (CTI)-rapporter, stod forskarna i Chicago inför tre problem: rapporterna är vanligtvis mycket långa, med endast en liten del som är tillägnad det faktiska attackbeteendet; stilen är tät och grammatiskt komplex, med omfattande domänspecifik information som förutsätter förkunskaper hos läsaren; och materialet kräver kunskap om relationer mellan domäner, som måste “memoriseras” för att förstås i sammanhanget (ett varaktigt problem, noterar forskarna).

Långsamma hotrapporter

Det primära problemet är verbositet. Till exempel noterar den chicagobaserade artikeln att bland ClearSkys 42-sidiga hotrapport från 2019 för DustySky-malware (även känd som NeD Worm), var endast 11 meningar som faktiskt behandlade och beskrev attackbeteendet.

Det andra hindret är textkomplexitet, och effektivt, meningslängd: forskarna observerar att bland 4020 hotrapporter från Microsofts hotrapportcenter, består den genomsnittliga meningen av 52 ord – endast nio färre än den genomsnittliga meningslängden för 500 år sedan (i sammanhanget att meningslängden har minskat med 75% sedan dess).

Men artikeln hävdar att dessa långa meningar i sig är “komprimerade paragrafer” fulla av satser, adverb och adjektiv som döljer den grundläggande meningen i informationen; och att meningarna ofta saknar den grundläggande konventionella punkteringen som NLP-system som spaCy, Stanford och NLTK förlitar sig på för att härleda avsikt eller utvinna hård data.

NLP för att extrahera väsentlig hotinformation

Den maskinlärningspipeline som de chicagobaserade forskarna har utvecklat för att hantera detta kallas EXTRACTOR, och använder NLP-tekniker för att generera grafer som destillerar och sammanfattar attackbeteende från långformiga, diskursiva rapporter. Processen kastar bort den historiska, narrativa och till och med geografiska utsmyckningen som skapar en engagerande och uttömmande “berättelse” på bekostnad av att tydligt prioritera informationsinnehållet.

Källa: https://arxiv.org/pdf/2104.08618.pdf

Eftersom sammanhang är en sådan utmaning i långsamma och prolixa CTI-rapporter, valde forskarna BERT (Bidirectional Encoder Representations from Transformer) språkmodell över Googles Word2Vec eller Stanfords GloVe (Global Vectors for Word Representation).

BERT utvärderar ord från deras omgivande sammanhang och utvecklar också inbäddningar för underord (dvs. starta, startar och startar alla härstammar från starta). Detta hjälper EXTRACTOR att hantera tekniskt ordförråd som inte finns i BERT:s utbildningsmodell och att klassificera meningar som “produktiva” (innehåller relevant information) eller “icke-produktiva”.

Ökande lokalt ordförråd

Det är oundvikligt att viss specifik domäninsikt måste integreras i en NLP-pipeline som hanterar material av detta slag, eftersom högt relevanta ordformer som IP-adresser och tekniska processnamn inte får kastas bort.

Senare delar av processen använder en BiLSTM (Bidirectional LSTM) nätverk för att hantera ordverbosity, hämtar semantiska roller för meningsdelar, innan de tar bort icke-produktiva ord. BiLSTM är väl lämpad för detta, eftersom den kan korrelera de långväga beroenden som förekommer i långsamma dokument, där större uppmärksamhet och retention är nödvändig för att härleda sammanhang.

EXTRACTOR definierar semantiska roller och relationer mellan ord, med roller genererade av Proposition Bank (PropBank) annoteringar.

I tester visade sig EXTRACTOR (delvis finansierad av DARPA) vara kapabel att matcha mänsklig dataextraktion från DARPA-rapporter. Systemet testades också mot en stor mängd ostrukturerade rapporter från Microsoft (MSFT ) Security Intelligence och TrendMicro Threat Encyclopedia, och lyckades extrahera väsentlig information i de flesta fall.

Forskarna medger att EXTRACTOR:s prestanda sannolikt kommer att minska när de försöker destillera åtgärder som sker över flera meningar eller paragrafer, men att omkonfigurera systemet för att hantera andra rapporter är en möjlig väg framåt. Men detta är i princip att falla tillbaka till mänsklig etikettering via ombud.

Längd == auktoritet?

Det är intressant att notera den pågående spänningen mellan hur Google’s arkaiska SEO-algoritmer tycks ha alltmer belönat långformigt innehåll under de senaste åren (även om den officiella rådan i detta avseende är motsägelsefull), och de utmaningar som AI-forskare (inklusive många stora Google-forskningsinitiativ) står inför när de försöker avkoda avsikt och faktisk data från dessa alltmer diskursiva och långsamma artiklar.

Det är möjligt att Google, genom att belöna längre innehåll, förutsätter en konsekvent kvalitet som det inte nödvändigtvis kan identifiera eller kvantifiera ännu genom NLP-processer, utom genom att räkna antalet auktoritativa webbplatser som länkar till det (en “köttvarumätare” i de flesta fall); och att det därför inte är ovanligt att se inlägg på 2 500 ord eller mer som uppnår SERPS-prominens oavsett narrativ “svullnad”, så länge extrainnehållet är i stort sett begripligt och inte bryter mot andra riktlinjer.

Var är receptet?

Följaktligen ökar ordantal, delvis på grund av en äkta önskan om bra långformigt innehåll, men också för att “storifiera” ett fåtal fakta kan höja en artikels längd till idealiska SEO-standards och låta svagt innehåll konkurrera lika med högre ansträngningar.

Ett exempel på detta är receptwebbplatser, som ofta klagade om i Hacker News-gemenskapen för att de inleder den grundläggande informationen (receptet) med massor av autobiografisk eller whimsiskt innehåll som är utformat för att skapa en berättelsebaserad “receptupplevelse” och för att trycka vad som annars skulle vara ett mycket lågt ordantal upp i SEO-vänliga 2 500+ ordregionen.

Flertalet rent procedurella lösningar har dykt upp för att extrahera faktiska recept från långsamma receptwebbplatser, inklusive öppen källkod receptskrapare och receptextraherare för Firefox och Chrome. Maskinlärning är också involverad i detta, med olika tillvägagångssätt från Japan, USA och Portugal, samt forskning från Stanford, bland andra.

I fråga om de hotrapporter som de chicagobaserade forskarna behandlade, kan den allmänna praxisen med långsamma hotrapporter delvis bero på behovet av att återspegla omfattningen av en prestation (som annars ofta kan sammanfattas i en paragraf) genom att skapa en mycket lång berättelse runt den, och använda ordlängd som en proxy för den insats som krävs, oavsett tillämplighet.

För det andra, i en miljö där den ursprungliga källan till en berättelse ofta förloras på grund av dåliga citeringspraxis av populära nyhetskanaler, garanterar att producera en högre volym ord än någon omrapporterande journalist kunde återskapa en SERPS-seger genom ren ordvolym, under förutsättning att verbositet – nu en växande utmaning för NLP – verkligen belönas på detta sätt.