L’Apprendimento Automatico Estrae Dati Di Attacco Da Rapporti Di Minaccia Verbosi

Una nuova ricerca dell’Università di Chicago illustra il conflitto sorto negli ultimi dieci anni tra i benefici SEO dei contenuti a lungo formato e la difficoltà che i sistemi di apprendimento automatico hanno nel rilevare dati essenziali da essi.

Nello sviluppare un sistema di analisi NLP per estrarre informazioni di minaccia essenziali da rapporti di intelligence sulle minacce informatiche (CTI), i ricercatori di Chicago hanno affrontato tre problemi: i rapporti sono solitamente molto lunghi, con solo una piccola sezione dedicata al comportamento di attacco effettivo; lo stile è denso e grammaticalmente complesso, con informazioni specifiche del dominio che presumono una conoscenza pregressa da parte del lettore; e il materiale richiede conoscenza delle relazioni tra domini, che deve essere “memorizzata” per comprendere il contesto (un problema persistente, notano i ricercatori).

Rapporti Di Minaccia Verbosi

Il problema principale è la verbosità. Ad esempio, la carta di Chicago nota che tra i 42 pagine del rapporto di minaccia del 2019 di ClearSky per il malware DustySky (noto anche come NeD Worm), solo 11 frasi trattano effettivamente del comportamento di attacco.

Il secondo ostacolo è la complessità del testo e, in effetti, la lunghezza delle frasi: i ricercatori osservano che tra 4020 rapporti di minaccia del centro di rapporti di minaccia di Microsoft (MSFT ), la frase media comprende 52 parole – solo nove in meno della lunghezza media della frase 500 anni fa (nel contesto del fatto che la lunghezza della frase è diminuita del 75% da allora).

Tuttavia, la carta sostiene che queste lunghe frasi sono essenzialmente “paragrafi compressi” in se stesse, pieni di clausole, avverbi e aggettivi che oscurano il significato fondamentale delle informazioni; e che le frasi spesso mancano della punteggiatura convenzionale di base che i sistemi NLP come spaCy, Stanford e NLTK si basano per inferire l’intento o estrarre dati concreti.

NLP Per Estrarre Informazioni Di Minaccia Salienti

La pipeline di apprendimento automatico che i ricercatori di Chicago hanno sviluppato per affrontare questo problema si chiama EXTRACTOR, e utilizza tecniche NLP per generare grafici che distillano e riassumono il comportamento di attacco da rapporti a lungo formato e discorsivi. Il processo scarta l’ornamentazione storica, narrativa e anche geografica che crea una “storia” coinvolgente e esaustiva a spese della chiara priorità del carico informativo.

Fonte: https://arxiv.org/pdf/2104.08618.pdf

Poiché il contesto è una sfida così grande in rapporti di minaccia verbosi e prolissi, i ricercatori hanno scelto il modello di rappresentazione linguistica BERT (Bidirectional Encoder Representations from Transformer) rispetto a Word2Vec di Google o a GloVe di Stanford.

BERT valuta le parole dal loro contesto circostante e sviluppa anche inserimenti per sottoparole (ad esempio, lancio, lanciando e lanci si riducono tutti a lancio). Ciò aiuta EXTRACTOR a gestire il vocabolario tecnico che non è presente nel modello di training di BERT e a classificare le frasi come “produttive” (contenenti informazioni pertinenti) o “non produttive”.

Aumento Del Vocabolario Locale

Inevitabilmente, alcune conoscenze specifiche del dominio devono essere integrate in una pipeline NLP che gestisce materiali di questo tipo, poiché forme di parole altamente pertinenti come gli indirizzi IP e i nomi di processi tecnici non devono essere scartati.

Le parti successive del processo utilizzano una rete BiLSTM (Bidirectional LSTM) per affrontare la verbosità delle parole, derivando ruoli semantici per parti di frasi, prima di rimuovere le parole non produttive. BiLSTM è ben adatto a questo, poiché può correlare le dipendenze a lunga distanza che appaiono in documenti verbosi, dove è necessaria maggiore attenzione e conservazione per dedurre il contesto.

EXTRACTOR definisce ruoli semantici e relazioni tra parole, con ruoli generati da annotazioni PropBank (PropBank).

Nelle prove, EXTRACTOR (parzialmente finanziato da DARPA) è stato trovato in grado di eguagliare l’estrazione di dati umana da rapporti DARPA. Il sistema è stato anche eseguito contro un grande volume di rapporti non strutturati di Microsoft Security Intelligence e dell’Enciclopedia delle Minacce di TrendMicro, estraendo con successo informazioni salienti nella maggior parte dei casi.

I ricercatori ammettono che le prestazioni di EXTRACTOR potrebbero diminuire quando si tenta di distillare azioni che si verificano in più frasi o paragrafi, sebbene riorganizzare il sistema per adattarlo ad altri rapporti sia indicato come una via di uscita. Tuttavia, questo equivale essenzialmente a ricorrere alla marcatura guidata da esseri umani per procura.

Lunghezza == Autorità?

È interessante notare la tensione in corso tra il modo in cui gli algoritmi SEO di Google sembrano aver premiato sempre più i contenuti a lungo formato negli ultimi anni (sebbene il consiglio ufficiale su questo punto sia contraddittorio), e le sfide che i ricercatori di intelligenza artificiale (inclusi molti importanti iniziative di ricerca di Google) affrontano nel decodificare l’intento e i dati effettivi da questi articoli sempre più discorsivi e lunghi.

È arguibile che, premiare i contenuti più lunghi, Google presume una qualità costante che non è necessariamente in grado di identificare o quantificare ancora attraverso processi NLP, tranne che contando il numero di siti di autorità che li collegano (una metrica “meatware”, nella maggior parte dei casi); e che non è insolito vedere post di 2.500 parole o più che raggiungono la prominenza SERPS nonostante la “gonfiatura” narrativa, a condizione che il contenuto aggiuntivo sia ampiamente intelligibile e non violi altre linee guida.

Dov’è La Ricetta?

Di conseguenza, le parole contate stanno aumentando, in parte a causa di un desiderio genuino di buoni contenuti a lungo formato, ma anche perché “storificare” alcuni fatti scarsi può aumentare la lunghezza di un pezzo agli standard SEO ideali, e consentire a un contenuto leggero di competere alla pari con output di maggiore sforzo.

Un esempio di ciò è il sito di ricette, spesso lamentato di nella comunità di Hacker News per aver premesso le informazioni fondamentali (la ricetta) con scadenti contenuti autobiografici o fantasiosi progettati per creare un’esperienza di “ricetta” guidata dalla storia, e per spingere ciò che altrimenti sarebbe una parola contata molto bassa nella regione SEO-friendly di 2.500+ parole.

Una serie di soluzioni procedurali sono emerse per estrarre effettivamente le ricette da siti di ricette verbosi, tra cui scrapers di ricette open source e estrattori di ricette per Firefox e Chrome. L’apprendimento automatico è anche interessato a questo, con vari approcci dal Giappone, dagli Stati Uniti e dal Portogallo, nonché ricerche da Stanford, tra gli altri.

In termini di rapporti di intelligence sulle minacce trattati dai ricercatori di Chicago, la pratica generale di rapporti di minaccia verbosi può essere dovuta in parte alla necessità di riflettere la portata di un risultato (che può spesso essere riassunto in un paragrafo) creando una narrazione molto lunga intorno ad esso, e utilizzando la lunghezza delle parole come proxy per la portata dello sforzo coinvolto, indipendentemente dall’applicabilità.

In secondo luogo, in un clima in cui la fonte originale di una storia è spesso persa a causa di cattive pratiche di citazione da parte di notizie popolari, produrre un volume più alto di parole di qualsiasi giornalista di riporto potrebbe replicare garantisce una vittoria SERPS per pura lunghezza di parole, assumendo che la verbosità – ora una sfida crescente per l’NLP – sia effettivamente premiata in questo modo.