Maskinlæring trekker angrepsdata fra omfattende truslerapporter

Ny forskning fra University of Chicago illustrerer konflikten som har oppstått de siste ti årene mellom SEO-fordelene med langforminnhold og vanskelighetene maskinlæringsystemer har med å trekke ut essensiell informasjon fra det.

I utviklingen av et NLP-analyse-system for å trekke ut essensiell trusselinformasjon fra Cyber Threat Intelligence (CTI)-rapporter, møtte Chicago-forskerne tre problemer: rapportene er vanligvis svært lange, med bare en liten del viet til det faktiske angrepsatferdet; stilen er tett og grammatisk kompleks, med omfattende domenespesifikk informasjon som forutsetter forhåndskunnskap hos leseren; og materialet krever kunnskap om kryssdomene-relasjoner, som må “huskes” for å forstå det i sammenheng (et varig problem, som forskerne påpeker).

Langvinnende truslerapporter

Det primære problemet er verbositet. For eksempel påpeker Chicago-papiret at blant ClearSkys 42-siders truslerapport for DustySky (aka NeD Worm)-malware i 2019, var det bare 11 setninger som faktisk omhandlet og beskrev angrepsatferdet.

Det andre hindret er tekstkompleksitet, og effektivt, setningens lengde: forskerne observerer at blant 4020 truslerapporter fra Microsofts truslerapport-senter, består gjennomsnittssentensen av 52 ord – bare ni kortere enn gjennomsnittssentningens lengde 500 år siden (i sammenheng med at setningens lengde har dekket 75% siden da).

Men, papiret hevder at disse lange setningene i seg selv er “komprimerte paragrafer” full av klausuler, adverb og adjektiver som skjuler den grunnleggende meningen i informasjonen; og at setningene ofte mangler den grunnleggende konvensjonelle punkteringen som NLP-systemer som spaCy, Stanford og NLTK er avhengige av for å slutte eller trekke ut hard data.

NLP for å trekke ut viktige trusselinformasjoner

Maskinlæringspipelinen som Chicago-forskerne har utviklet for å møte dette, kalles EXTRACTOR, og bruker NLP-teknikker for å generere grafikk som destillerer og summerer angrepsatferd fra langform-, diskursive rapporter. Prosessen kaster bort den historiske, narrative og selv geografiske utsmykkingen som skaper en engasjerende og uttømmende “historie” på bekostning av å prioritere den informasjonsmessige lasten.

Kilde: https://arxiv.org/pdf/2104.08618.pdf

Siden kontekst er en så stor utfordring i omfattende og prolixe CTI-rapporter, valgte forskerne BERT (Bidirectional Encoder Representations from Transformer)-språkrepresentasjonsmodellen over Google’s Word2Vec eller Stanford’s GloVe (Global Vectors for Word Representation).

BERT vurderer ord fra deres omgivende kontekst, og utvikler også innkapslinger for underord (dvs. lansering, lanserer og lanseringer alle går tilbake til lansering). Dette hjelper EXTRACTOR til å håndtere teknisk vokabular som ikke er til stede i BERTs treningsmodell, og til å klassifisere setninger som “produktive” (inneholder relevante informasjoner) eller “ikke-produktive”.

Økende lokal vokabular

Uunngåelig må noen spesifikke domeneinnsikt integreres i en NLP-pipeline som håndterer materiale av denne typen, siden svært relevante ordformer som IP-adresser og tekniske prosessnavn ikke kan kastes bort.

Senere deler av prosessen bruker en BiLSTM (Bidirectional LSTM)-nettverk for å håndtere ord-verbosity, og å utlede semantiske roller for setningsdelene, før de fjerner ikke-produktive ord. BiLSTM er godt egnet for dette, siden det kan korrelere de langdistanse-avhengighetene som oppstår i omfattende dokumenter, hvor større oppmerksomhet og bevaring er nødvendig for å slutte kontekst.

EXTRACTOR definerer semantiske roller og relasjoner mellom ord, med roller generert av Proposition Bank (PropBank)-annotasjoner.

I tester ble EXTRACTOR (delvis finansiert av DARPA) funnet i stand til å matche menneskelig data-ekstraksjon fra DARPA-rapporter. Systemet ble også kjørt mot en stor mengde ustrukturerte rapporter fra Microsoft (MSFT ) Security Intelligence og TrendMicro Threat Encyclopedia, og lyktes i å trekke ut viktige informasjoner i de fleste tilfeller.

Forskerne innrømmer at EXTRACTORs ytelse sannsynligvis vil avta når det prøver å destillere handlinger som skjer over flere setninger eller paragrafer, selv om ombygging av systemet for å håndtere andre rapporter er indikert som en vei fremover her. Men, dette er i realiteten å falle tilbake til menneskeledet merking ved proxy.

Lengde == Autoritet?

Det er interessant å merke den pågående spenningen mellom måten Google’s arkane SEO-algoritmer synes å ha økt belønnet langforminnhold de siste årene (selv om offisielle råd på dette punktet er motsigelser), og de utfordringene AI-forskerne (inkludert mange store Google-forskningsinitiativer) møter i å dekodere intensjon og faktisk data fra disse stadig mer diskursive og lange artiklene.

Det er argumenterbart at ved å belønne lengre innhold, antar Google en konsistent kvalitet som det ikke nødvendigvis kan identifisere eller kvantifisere ennå gjennom NLP-prosesser, bortsett fra å telle antall autoritative nettsteder som lenker til det (en “kjøttvare”-metrik, i de fleste tilfeller); og at det derfor ikke er uvanlig å se innlegg på 2 500 ord eller mer som oppnår SERPS-prominens uavhengig av narrative “bloat”, så lenge ekstra innhold er bredt forståelig og ikke bryter andre retningslinjer.

Hvor er oppskriften?

Derfor stiger ordtellinger, delvis på grunn av en ærlig ønske om god langforminnhold, men også fordi “storifisering” av noen få spinkle fakta kan øke en artikkelens lengde til ideelle SEO-standards, og tillate svakt innhold å konkurrere like med høyere innsatsutgang.

Et eksempel på dette er oppskrift-nettsteder, ofte klaget over i Hacker News-samfunnet for å foranledne den grunnleggende informasjonen (oppskriften) med mengder av autobiografisk eller eventyrlig innhold designet for å skape en “oppskrift-erfaring”, og å presse hva som ellers ville være et svært lavt ordtall opp i SEO-vennlige 2 500+ ord-regioner.

En rekke ren prosedyriske løsninger har oppstått for å trekke ut faktiske oppskrifter fra omfattende oppskrift-nettsteder, inkludert åpne kilde- oppskrift-skrabere, og oppskrift-ekstraktorer for Firefox og Chrome. Maskinlæring er også opptatt av dette, med ulike tilnærminger fra Japan, USA og Portugal, samt forskning fra Stanford, blant andre.

I forhold til trusselintelligens-rapportene som Chicago-forskerne omhandlet, kan den generelle praksisen med omfattende trussel-rapportering være delvis skyld i behovet for å reflektere omfanget av en prestasjon (som ellers ofte kan summeres i en paragraf) ved å skape en svært lang narrativ rundt det, og å bruke ordlengde som en proxy for omfanget av innsatsen, uavhengig av anvendelighet.

For det andre, i en klima hvor den opprinnelige kilde til en historie ofte er tapt til dårlige sitat-praksiser av populære nyhetskanaler, garanterer å produsere en høyere volum av ord enn noen gjentakende journalist kunne replikere, en SERPS-seier ved ren ordvolum, antar at verbositet – nå en voksende utfordring til NLP – faktisk belønnes på denne måten.

e den opprinnelige kilde til en historie ofte er tapt til dårlige sitat-praksiser av populære nyhetskanaler, produserer en høyere volum av ord enn noen gjentakende journalist kunne replikere, garantierer en SERPS-seier ved ren ordvolum, antar at verbositet – nå en voksende utfordring til NLP – er virkelig belønnet på denne måten.