Învățarea automată extrage date de atac din rapoartele de amenințare verbos

Noi cercetări efectuate la Universitatea din Chicago ilustrează conflictul care a apărut în ultimii zece ani între beneficiile SEO ale conținutului lung și dificultățile cu care se confruntă sistemele de învățare automată în extragerea datelor esențiale din acesta.

În dezvoltarea unui sistem de analiză NLP pentru a extrage informații esențiale despre amenințări din rapoartele de informații despre amenințări cibernetice (CTI), cercetătorii de la Chicago s-au confruntat cu trei probleme: rapoartele sunt de obicei foarte lungi, cu doar o mică secțiune dedicată comportamentului real de atac; stilul este dens și complex din punct de vedere gramatical, cu informații specifice domeniului care presupun cunoștințe prealabile din partea cititorului; și materialul necesită cunoștințe despre relațiile dintre domenii, care trebuie “memorate” pentru a fi înțelese în context (o problemă persistentă, notează cercetătorii).

Rapoarte de amenințare lungi și verbos

Problema principală este verbositatea. De exemplu, studiul de la Chicago menționează că, dintre cele 42 de pagini ale raportului de amenințare din 2019 al ClearSky pentru malware-ul DustySky (cunoscut și sub numele de NeD Worm), doar 11 propoziții se ocupă de comportamentul de atac și îl descriu.

A doua obstacol este complexitatea textului și, în mod eficient, lungimea propoziției: cercetătorii observă că, dintre 4020 de rapoarte de amenințare de la centrul de rapoarte de amenințare al Microsoft (MSFT ), propoziția medie conține 52 de cuvinte – doar nouă cuvinte mai puțin decât lungimea medie a propoziției de acum 500 de ani (în contextul în care lungimea propoziției a scăzut cu 75% de atunci).

Cu toate acestea, studiul susține că aceste propoziții lungi sunt, în esență, “paragrafe comprimate” în sine, pline de propoziții, adverbe și adjective care ascund sensul de bază al informației; și că propozițiile adesea lipsesc convențiile de punctuație de bază pe care sistemele NLP, cum ar fi spaCy, Stanford și NLTK, se bazează pentru a infera intenția sau a extrage date concrete.

NLP pentru a extrage informații esențiale despre amenințări

Pipeline-ul de învățare automată pe care cercetătorii de la Chicago l-au dezvoltat pentru a aborda această problemă se numește EXTRACTOR și utilizează tehnici NLP pentru a genera grafuri care distilează și rezumă comportamentul de atac din rapoartele lungi și descriptive. Procesul elimină ornamentarea istorică, narativă și chiar geografică care creează o “poveste” captivantă și exhaustivă, în detrimentul prioritizării clare a încărcăturii informative.

Sursă: https://arxiv.org/pdf/2104.08618.pdf

Deoarece contextul este o provocare atât de mare în rapoartele de amenințare verbos și prolix, cercetătorii au ales modelul de reprezentare lingvistică BERT (Bidirectional Encoder Representations from Transformer) în locul Word2Vec de la Google sau GloVe de la Stanford.

BERT evaluează cuvintele din contextul lor înconjurător și dezvoltă, de asemenea, încorporări pentru subcuvinte (de exemplu, lansare, lansează și lansează toate se reduc la lansare). Acest lucru ajută EXTRACTOR să facă față vocabularului tehnic care nu este prezent în modelul de antrenare BERT și să clasifice propozițiile ca “productive” (care conțin informații pertinente) sau “non-productive”.

Creșterea vocabularului local

Inevitabil, o anumită perspicacitate a domeniului trebuie integrată într-un pipeline NLP care se ocupă de material de acest fel, deoarece forme de cuvinte foarte pertinente, cum ar fi adresele IP și numele proceselor tehnice, nu trebuie aruncate.

Părțile ulterioare ale procesului utilizează o rețea BiLSTM (Bidirectional LSTM) pentru a aborda verbositatea cuvintelor, derivând roluri semantice pentru părți de propoziție, înainte de a elimina cuvintele non-productive. BiLSTM este bine adaptat pentru aceasta, deoarece poate corela dependențele pe distanțe lungi care apar în documente verbos, unde este necesară o atenție și o retenție mai mare pentru a deduce contextul.

EXTRACTOR definește roluri semantice și relații între cuvinte, cu roluri generate de anotări PropBank (PropBank).

În testele efectuate, EXTRACTOR (parțial finanțat de DARPA) s-a dovedit a fi capabil să egaleze extragerea datelor umane din rapoartele DARPA. Sistemul a fost, de asemenea, testat împotriva unei cantități mari de rapoarte nestructurate de la Microsoft Security Intelligence și Enciclopedia de amenințări TrendMicro, extrăgând cu succes informații esențiale în majoritatea cazurilor.

Cercetătorii recunosc că performanța EXTRACTOR este probabil să scadă atunci când încearcă să distileze acțiuni care apar pe parcursul mai multor propoziții sau paragrafe, deși reutilizarea sistemului pentru a se adapta la alte rapoarte este indicată ca o cale de urmat. Cu toate acestea, acest lucru este, în esență, o revenire la etichetarea condusă de om, prin intermediul unui proxy.

Lungime == autoritate?

Este interesant de remarcat tensiunea continuă între modul în care algoritmii SEO ai lui Google par să fi răsplătit conținutul lung în ultimii ani (deși sfaturile oficiale în acest sens sunt contradictorii), și provocările cu care se confruntă cercetătorii AI (inclusiv multe inițiative de cercetare Google) în decodarea intenției și a datelor reale din aceste articole din ce în ce mai descriptive și lungi.

Este de presupus că, răsplătind conținutul lung, Google presupune o calitate consistentă pe care nu o poate identifica sau cuantifica încă prin procese NLP, cu excepția numărării numărului de site-uri cu autoritate care fac legătura către el (o metrică “îmbrăcăminte”, în majoritatea cazurilor); și că, prin urmare, nu este neobișnuit să se vadă postări de 2.500 de cuvinte sau mai mult care obțin prominență în SERPS, indiferent de “umflătura” narativă, atâta timp cât conținutul suplimentar este, în general, inteligibil și nu încalcă alte ghiduri.

Unde este rețeta?

Prin urmare, numărul de cuvinte este în creștere, parțial din cauza unei dorințe autentice pentru un conținut lung de calitate, dar și pentru că “povestirea” unor fapte puține poate crește lungimea unei piese la standardele ideale de SEO, permițând unui conținut slab să concureze pe picior de egalitate cu un conținut de mai bună calitate.

Un exemplu în acest sens este site-urile de rețete, des frecvent plânse de comunitatea Hacker News pentru faptul că prezintă informațiile de bază (rețeta) precedate de mult conținut autobiografic sau capricios, destinat să creeze o “experiență de rețetă” condusă de o poveste și să ridice ceea ce ar fi altfel un conținut cu un număr foarte mic de cuvinte în regiunea de 2.500 de cuvinte sau mai mult, prietenoasă pentru SEO.

O serie de soluții procedurale pure au apărut pentru a extrage rețete reale din site-urile de rețete verbos, inclusiv extragere de rețete open source și extragere de rețete pentru Firefox și Chrome. Învățarea automată se ocupă, de asemenea, de acest lucru, cu abordări diverse din Japonia, SUA și Portugalia, precum și cercetări de la Stanford, printre altele.

În ceea ce privește rapoartele de informații despre amenințări abordate de cercetătorii de la Chicago, practica generală de raportare a amenințărilor verbos poate fi parțial datorată nevoii de a reflecta amploarea unei realizări (care poate fi, de obicei, rezumată într-un paragraf) prin crearea unei narative foarte lungi în jurul ei și utilizarea lungimii ca proxy pentru amploarea efortului implicat, indiferent de aplicabilitate.

În al doilea rând, într-un climat în care sursa originală a unei povești este adesea pierdută din cauza practicilor proaste de citare de către publicațiile de știri populare, producerea unui volum mai mare de cuvinte decât orice jurnalist care re-raportează ar putea reproduce garantează o victorie SERPS prin volumul de cuvinte, presupunând că verbositatea – acum o provocare în creștere pentru NLP – este, într-adevăr, răsplătită în acest fel.