Maskinlæring udtrækker angrebsdata fra verbale truslerapporter

Nyt forskning fra University of Chicago illustrerer konflikten, der er opstået i de sidste ti år mellem SEO-fordele ved langformindhold og vanskelighederne ved, at maskinlæringsystemer har med at udtrække essentiel information fra det.

I udviklingen af et NLP-analyse-system til at udtrække essentiel trusselsinformation fra Cyber Threat Intelligence (CTI)-rapporter, stod Chicago-forskerne over for tre problemer: rapporterne er normalt meget lange, med kun en lille del dedikeret til det faktiske angrebsadfærd; stilen er tæt og grammatisk kompleks, med omfattende domænespecifik information, der forudsætter forhåndsviden hos læseren; og materialet kræver tværfaglig viden, der skal “huskes” for at forstå det i kontekst (et varigt problem, som forskerne bemærker).

Langstrækkede truslerapporter

Det primære problem er verbositet. For eksempel bemærker Chicago-papiret, at blandt ClearSky’s 42-siders truslerapport fra 2019 for DustySky (også kendt som NeD Worm)-malware, var der kun 11 sætninger, der faktisk omhandlede og fremhævede angrebsadfærden.

Det andet hinder er tekstkompleksitet og, effektivt, sætningslængde: forskerne observerer, at blandt 4020 truslerapporter fra Microsofts truslerapportcenter, består den gennemsnitlige sætning af 52 ord – kun ni færre end den gennemsnitlige sætningslængde 500 år siden (i kontekst af, at sætningslængden er faldet med 75% siden da).

Men papiret fastslår, at disse lange sætninger i virkeligheden er “komprimerede afsnit” i sig selv, fulde af klausuler, adverbier og adjektiver, der skjuler den centrale mening af informationen; og at sætningerne ofte mangler den grundlæggende konventionelle punktuation, som NLP-systemer som spaCy, Stanford og NLTK afhænger af for at slutte intention eller udtrække hård data.

NLP til at udtrække væsentlig trusselsinformation

Den maskinlæringspipeline, som Chicago-forskerne har udviklet for at løse dette problem, kaldes EXTRACTOR, og bruger NLP-teknikker til at generere grafer, der destillerer og summerer angrebsadfærd fra langform-, diskursive rapporter. Processen forkaster den historiske, narrative og endda geografiske udsmykning, der skaber en underholdende og udførlig “historie” på bekostning af at prioritere den informationsmæssige last.

Kilde: https://arxiv.org/pdf/2104.08618.pdf

Da kontekst er sådan en udfordring i verbale og prolixe CTI-rapporter, valgte forskerne BERT (Bidirectional Encoder Representations from Transformer)-sprogrepræsentationsmodellen over Googles Word2Vec eller Stanfords GloVe (Global Vectors for Word Representation).

BERT vurderer ord fra deres omgivende kontekst og udvikler også indlejring for underord (dvs. lancering, lancerer og lanceringer alle føres tilbage til lancering). Dette hjælper EXTRACTOR med at klare teknisk vokabular, der ikke er til stede i BERTs træningsmodel, og til at klassificere sætninger som “produktive” (indeholdende relevant information) eller “ikke-produktive”.

Øger lokal vokabular

Uundgåeligt skal visse specifikke domæneinsigter integreres i en NLP-pipeline, der beskæftiger sig med materiale af denne art, da højst pertinente ordformer som IP-adresser og tekniske procesnavne ikke skal kasseres.

Senere dele af processen bruger en BiLSTM (Bidirectional LSTM)-netværk til at tackle ordverbosity, hvorved semantiske roller for sætningsdele udledes, før ikke-produktive ord fjernes. BiLSTM er velegnet til dette, da det kan korrelerer langdistanceafhængigheder, der optræder i verbale dokumenter, hvor større opmærksomhed og retention er nødvendig for at slutte kontekst.

EXTRACTOR definerer semantiske roller og relationer mellem ord, med roller genereret af Proposition Bank (PropBank)-annoteringer.

I tests blev EXTRACTOR (delvist finansieret af DARPA) fundet i stand til at matche menneskelig dataudtrækning fra DARPA-rapporter. Systemet blev også kørt mod en stor mængde ustrukturerede rapporter fra Microsoft (MSFT ) Security Intelligence og TrendMicro Threat Encyclopedia, hvorved salient information blev udtrukket i de fleste tilfælde.

Forskerne indrømmer, at EXTRACTORs præstation sandsynligvis vil formindskes, når det forsøger at destillere handlinger, der sker over flere sætninger eller afsnit, selvom omkonfiguration af systemet til at tilpasse andre rapporter er angivet som en vej fremad her. Men dette er i virkeligheden at falde tilbage til menneskeledet mærkning ved proxy.

Længde == Autoritet?

Det er interessant at bemærke den fortsatte spænding mellem, hvordan Googles arcane SEO-algoritmer synes at have belønnet langformindhold i de seneste år (selvom officiel råd på dette punkt er modsætningsfuldt), og udfordringerne, som AI-forskere (herunder mange store Google-forskningsinitiativer ) står over for i at afkode intention og faktisk data fra disse stadig mere diskursive og lange artikler.

Det er argumenterbart, at ved at belønne længere indhold, antager Google en konsekvent kvalitet, som det ikke nødvendigvis kan identificere eller kvantificere endnu gennem NLP-processer, undtagen ved at tælle antallet af autoritetssteder, der linker til det (en “kød- metric”, i de fleste tilfælde); og at det derfor ikke er usædvanligt at se indlæg på 2.500 ord eller mere, der opnår SERPS-prominens, uanset narrativ “opblæsing”, så længe den ekstra indhold er bredt forståelig og ikke overtræder andre retningslinjer.

Hvor er opskriften?

Derfor stiger ordantal, delvist på grund af en ægte ønske om godt langformindhold, men også fordi “storifying” af et par sparsomme fakta kan øge en pieces længde til ideelle SEO-standarder og tillade let indhold at konkurrere ligeværdigt med højere indsatsudladt.

Et eksempel på dette er recept-sites, ofte klaget over i Hacker News-samfundet for at indsætte den centrale information (receptet) med masser af autobiografisk eller eventyrlig indhold designet til at skabe en historie-dreven “recept-oplevelse” og til at presse, hvad der ellers ville være et meget lavt ordantal, op i SEO-venlig 2.500+ ord-region.

En række rent procedurale løsninger er dukket op for at udtrække faktiske recepter fra verbale recept-sites, herunder open source recept-scrapere og recept-udtrækningsværktøjer til Firefox og Chrome. Maskinlæring er også beskæftiget med dette, med forskellige tilgange fra Japan, USA og Portugal, samt forskning fra Stanford, blandt andre.

I forhold til de trusselsrapporter, som Chicago-forskerne behandlede, kan den generelle praksis med verbale trusselsrapporter muligvis skyldes delvist behovet for at reflektere omfanget af en præstation (som ellers ofte kan sammenfattes i en afsnit) ved at skabe en meget lang narrativ omkring det, og bruge ordlængde som en proxy for omfanget af indsats involveret, uanset anvendelighed.

For det andet, i en klima, hvor den oprindelige kilde til en historie ofte går tabt på grund af dårlige citeringspraksis af populære nyhedsmedier, garanterer produktion af en højere mængde ord end nogen genrapportering-journalist kunne genskabe en SERPS-sejr ved ren ordmængde, under antagelse af, at verbositet – nu en voksende udfordring til NLP – virkelig belønnes på denne måde.