Konenäöinti hakee hyökkäysdataa pitkistä uhkailmoraporteista

Chicagon yliopistosta julkaistu uusi tutkimus osoittaa, että viimeisen kymmenen vuoden aikana on syntynyt ristiriita SEO-edun ja koneälyjärjestelmien vaikeuksien välille, kun on yritetty erottaa olennainen tieto pitkistä, tiivistämättömistä sisällöistä.

Kehittäessään NLP-analyysijärjestelmää olennaisen uhkainfon hakemiseksi kyberuhkien tiedusteluraporteista (CTI), Chicagon tutkijat kohtasivat kolme ongelmaa: raportit ovat yleensä hyvin pitkiä, ja vain pieni osa niistä on omistettu itse hyökkäyskäyttäytymiselle; tyyli on tiivis ja kieliopillisesti monimutkainen, ja siinä on laaja-alainen, alan erityistietoa, jota oletetaan lukijan osaavan; ja aineisto vaatii monialaista suhdekokemusta, joka on “muistettava” ymmärtääkseen sen asiayhteydessä (jatkuvana ongelmana, tutkijat huomauttavat).

Pitkät uhkailmoraportit

Pääongelma on sanailu. Esimerkiksi Chicagon tutkimusraportti mainitsee, että ClearSkyn 42-sivuisessa vuoden 2019 uhkailmoraportissa DustySky-malwaresta (myös tunnettu nimellä NeD Worm) vain 11 lausetta käsittelee ja määrittelee hyökkäyskäyttäytymistä.

Toinen este on tekstin monimutkaisuus ja, käytännössä, lauseen pituus: tutkijat huomauttavat, että Microsoftin uhkailmoraporttikeskuksen 4020 uhkailmoraportista keskimääräinen lause koostuu 52 sanasta – vain yhdeksän sanaa vähemmän kuin keskimääräinen lause 500 vuotta sitten (asiayhteydessä, että lauseen pituus on vähentynyt 75% siitä lähtien).

Kuitenkin tutkimusraportti väittää, että nämä pitkät lauseet ovat itse asiassa “pakattuja kappaleita”, täynnä sivulauseita, adverbejä ja adjektiiveja, jotka peittävät tiedon ydinkohteen; ja että lauseet usein puuttuvat peruskieliopillisesta pisteestä, jota NLP-järjestelmät, kuten spaCy, Stanford ja NLTK, luottavat johdonmukaisuuden tai kovien tietojen hakemiseen.

NLP hyökkäysinformaation hakemiseksi

Koneälyputki, jonka Chicagon tutkijat ovat kehittäneet tämän ongelman ratkaisemiseksi, on nimeltään EXTRACTOR, ja se käyttää NLP-tekniikoita luodakseen graafeja, jotka tiivistävät ja yhteenvedon hyökkäyskäyttäytymisen pitkistä, epätiivisistä raporteista. Prosessi hylkää historialliset, kertovat ja jopa maantieteelliset koristelut, jotka luovat mielenkiintoisen ja perusteellisen “tarinan” informaatiolasteja kustannuksella.

Lähde: https://arxiv.org/pdf/2104.08618.pdf

Koska asiayhteys on haasteellinen pitkissä ja epätiivisissä CTI-raporteissa, tutkijat valitsivat BERT (Bidirectional Encoder Representations from Transformer) -kieliesitysmallin Google’ n Word2Vec tai Stanfordin GloVe (Global Vectors for Word Representation) sijaan.

BERT arvioi sanoja ympäröivästä asiayhteydestä ja kehittää myös upotukset alisanoille (ts. launch, launching ja launches kaikki johtavat launch:iin). Tämä auttaa EXTRACTORia käsittelemään teknistä sanastoa, jota ei ole BERTin koulutusmallissa, ja luokittelee lauseet “tuottaviksi” (sisältävät olennaisia tietoja) tai “tuottamattomiksi”.

Lokalisanaston lisääminen

Jotkut tietyt alan näkökulmat on täytettävä NLP-putkeen, joka käsittelee tällaista aineistoa, koska hyvin olennaisia sanafoormeja, kuten IP-osoitteita ja teknisiä prosessinimiä, ei saa hylätä.

Myöhemmissä vaiheissa prosessi käyttää BiLSTM (Bidirectional LSTM) -verkkoa sanan sanailun käsittelemiseksi, johdonmukaisia rooleja lauseosille, ennen kuin poistaa tuottamattomat sanat. BiLSTM on hyvin soveltuva tähän, koska se voi korrelaation pitkänmatkaisia riippuvuuksia, jotka ilmenevät sanailuissa asiakirjoissa, joissa tarvitaan enemmän huomiota ja muistia asiayhteyden johtamiseksi.

EXTRACTOR määrittää semanttiset roolit ja suhteet sanojen välillä, roolit generoitiin Proposition Bank (PropBank) -merkinnöistä.

Testien mukaan EXTRACTOR (osittain rahoitettu DARPA:sta) osoittautui kykeneväksi vastaamaan ihmisten data-hakua DARPA-raporteista. Järjestelmää testattiin myös suurella määrällä rakenteettomia raporteja Microsoft (MSFT ) Security Intelligencesta ja TrendMicro Threat Encyclopediasta, ja se onnistui hakemaan olennaisia tietoja useimmissa tapauksissa.

Tutkijat myöntävät, että EXTRACTORin suorituskyky on todennäköisesti heikentynyt, kun yritetään tiivistää toimia, jotka tapahtuvat useiden lauseiden tai kappaleiden yli, vaikka järjestelmän uudelleenmuokkaaminen muiden raporttien käsittelemiseksi on edistyksellinen tapa tässä suhteessa. Kuitenkin tämä on periaatteessa paluu ihmisten johtamaan merkintään välillisesti.

Pituus == Auktoriteetti?

On mielenkiintoista huomata, että Google’n arkaaninen SEO-algoritmi on näennäisesti palkinnut pitkiä sisältöjä viime vuosina (vaikka virallinen neuvonta tästä on ristiriitaista), ja haasteita, joita AI-tutkijat (mukaan lukien monet Google-tutkimushankkeet) kohtaavat dekoodatessaan aikomusta ja todellisia tietoja näistä yhä epätiivisemmistä ja pitkistä artikkeleista.

On väitettävissä, että palkinnossa pitkiä sisältöjä Google olettaa johdonmukaista laatua, jota se ei välttämättä pysty tunnistamaan tai mittaamaan vielä NLP-prosesseilla, paitsi laskemalla auktoriteettisivujen määrää, jotka linkittävät siihen (yleensä “lihaksellinen” mittari); ja että se ei ole epätavallista nähdä julkaisuja, joissa on 2 500 sanaa tai enemmän, jotka saavuttavat SERPS-merkitystä riippumatta kerrontabloatista, kunhan lisäsisältö on laajasti ymmärrettävää ja ei riko muita ohjeita.

Missä on resepti?

Seurauksena sana- ja sanamäärät kasvavat, osittain aidosta halusta hyville pitkille sisällöille, mutta myös siksi, että “kertominen” muutamasta kuivasta faktasta voi nostaa kirjoituksen pituuden ihanteellisiin SEO-standardeihin ja sallia vähäisemmän sisällön kilpailla tasavertaisesti suuremmalla ponnistelulla.

Yksi esimerkki tästä ovat reseptisivustot, joista usein valitetaan Hacker News -yhteisössä siitä, että ne esittävät itse asiayhteyden (reseptin) ennen kuin lisäävät runsaasti autobiografista tai viihdyttävää sisältöä luodakseen kertovan “reseptikokemuksen” ja nostamaan mitä olisi muuten hyvin lyhyen sanamäärän SEO-ystävälliseen 2 500+ sanan alueeseen.

Joukko pelkästään prosessuaalisia ratkaisuja on kehittynyt hakemaan itse asiayhteys reseptisivustoilta, mukaan lukien avoimen lähdekoodin reseptin hakkerit ja reseptin poistajat Firefoxille ja Chromelle. Koneäly on myös kiinnostunut tästä, ja siinä on erilaisia lähestymistapoja Japanista, Yhdysvalloista ja Portugalista, sekä tutkimusta Stanfordin yliopistosta ja muualta.

Kyberuhkien tiedusteluraporttien yleinen käytäntö, joita Chicagon tutkijat käsittelevät, voi johtua osittain tarpeesta heijastaa saavutuksen mittaa (jota voidaan usein yhteenvedon muodossa tiivistää yhteen kappaleeseen) luomalla hyvin pitkän kertomuksen sen ympärille ja käyttämällä sanamäärää mittana saavutetun työn mittana, riippumatta sovellettavuudesta.

Toiseksi, ilmapiirissä, jossa alkuperäinen lähde tarinasta usein häviää huonoihin viittauskäytäntöihin suosittujen uutissivustojen toimesta, tuottaa suurempi sanamäärä kuin mikä tahansa uudelleenraportoiva journalisti voisi toistaa, takaa SERPS-voiton pelkästään sanamäärän perusteella, olettaen, että sanailu – josta on nyt kasvava haaste NLP:lle – palkitaan todella tällä tavalla.