Maschinelles Lernen extrahiert Angriffsdaten aus umfangreichen Bedrohungsberichten

Neue Forschungsergebnisse aus der Universität von Chicago zeigen den Konflikt, der in den letzten zehn Jahren zwischen den SEO-Vorteilen von langem Inhalt und der Schwierigkeit entstanden ist, die maschinelle Lernsysteme haben, wesentliche Daten aus diesem Inhalt zu gewinnen.

Bei der Entwicklung eines NLP-Analyse-Systems zur Extraktion wesentlicher Bedrohungsinformationen aus Cyber-Bedrohungs-Intelligence-(CTI)-Berichten stießen die Chicagoer Forscher auf drei Probleme: Die Berichte sind in der Regel sehr lang, mit nur einem kleinen Abschnitt, der sich auf das tatsächliche Angriffsverhalten konzentriert; der Stil ist dicht und grammatisch komplex, mit umfangreichen domänen-spezifischen Informationen, die voraussetzen, dass der Leser bereits Vorkenntnisse hat; und das Material erfordert Kenntnisse über Beziehungen zwischen verschiedenen Domänen, die “gemerkt” werden müssen, um es im Kontext zu verstehen (ein anhaltendes Problem, wie die Forscher feststellen).

Umfangreiche Bedrohungsberichte

Das primäre Problem ist die Umfangreichkeit. Zum Beispiel weisen die Chicagoer Forscher darauf hin, dass unter den 42 Seiten des ClearSky-Berichts von 2019 über die DustySky-Malware (auch bekannt als NeD-Wurm) nur 11 Sätze tatsächlich mit dem Angriffsverhalten zu tun haben.

Das zweite Hindernis ist die Textkomplexität und effektiv die Satzlänge: Die Forscher beobachten, dass unter 4020 Bedrohungsberichten aus dem Microsoft (MSFT ) -Threat-Report-Center der durchschnittliche Satz 52 Wörter umfasst – nur neun Wörter weniger als die durchschnittliche Satzlänge vor 500 Jahren (im Kontext der Tatsache, dass die Satzlänge um 75% abgenommen hat seitdem).

Jedoch behaupten die Forscher, dass diese langen Sätze im Wesentlichen “komprimierte Absätze” sind, voller Klauseln, Adverbien und Adjektive, die die Kernbedeutung der Information verhüllen; und dass die Sätze oft die grundlegende konventionelle Interpunktion fehlt, auf die NLP-Systeme wie spaCy, Stanford und NLTK angewiesen sind, um die Absicht zu erschließen oder harte Daten zu extrahieren.

NLP zur Extraktion von wesentlichen Bedrohungsinformationen

Die maschinelle Lern-Pipeline, die die Chicagoer Forscher entwickelt haben, um dieses Problem anzugehen, wird EXTRACTOR genannt und verwendet NLP-Techniken, um Graphen zu generieren, die das Angriffsverhalten aus umfangreichen, diskursiven Berichten destillieren und zusammenfassen. Der Prozess verwirft die historischen, narrativen und sogar geografischen Verzierungen, die eine unterhaltsame und ausführliche “Geschichte” auf Kosten der klaren Priorisierung der Informationsnutzlast schaffen.

Quelle: https://arxiv.org/pdf/2104.08618.pdf

Da der Kontext in umfangreichen und prolixen CTI-Berichten eine Herausforderung darstellt, wählten die Forscher das BERT (Bidirectional Encoder Representations from Transformer)-Sprachmodell über Google’s Word2Vec oder Stanford’s GloVe (Global Vectors for Word Representation).

BERT bewertet Wörter aus ihrem Umfeld und entwickelt auch Einbettungen für Subwörter (d. h. starten, startet und starten alle laufen auf starten zurück). Dies hilft EXTRACTOR, mit technischem Vokabular umzugehen, das nicht in BERTs Trainingsmodell vorhanden ist, und Sätze als “produktiv” (enthalten relevante Informationen) oder “nicht-produktiv” zu klassifizieren.

Erhöhung des lokalen Vokabulars

Unvermeidlich muss einige spezifische Domänen-Einsicht in eine NLP-Pipeline integriert werden, die mit Material dieser Art umgeht, da hochpertinente Wortformen wie IP-Adressen und technische Prozessnamen nicht beiseite gelegt werden dürfen.

Spätere Teile des Prozesses verwenden ein BiLSTM (Bidirektionales LSTM)-Netzwerk, um die Wortumfangreichkeit zu bewältigen, indem semantische Rollen für Satzteile abgeleitet werden, bevor unproduktive Wörter entfernt werden. BiLSTM ist gut geeignet für diese Aufgabe, da es die langfristigen Abhängigkeiten korrelieren kann, die in umfangreichen Dokumenten auftreten, wo eine größere Aufmerksamkeit und Beharrlichkeit notwendig ist, um den Kontext zu erschließen.

EXTRACTOR definiert semantische Rollen und Beziehungen zwischen Wörtern, mit Rollen, die durch Proposition Bank (PropBank)-Anmerkungen generiert werden.

In Tests wurde EXTRACTOR (teilweise von DARPA finanziert) als in der Lage befunden, menschliche Datenextraktion aus DARPA-Berichten zu duplizieren. Das System wurde auch gegen eine große Anzahl unstrukturierter Berichte aus Microsoft Security Intelligence und dem TrendMicro Threat Encyclopedia getestet und extrahierte erfolgreich relevante Informationen in den meisten Fällen.

Die Forscher räumen ein, dass die Leistung von EXTRACTOR wahrscheinlich abnehmen wird, wenn es darum geht, Aktionen zu destillieren, die über mehrere Sätze oder Absätze hinweg auftreten, obwohl eine Neukonfiguration des Systems, um andere Berichte zu berücksichtigen, als ein Weg nach vorne angegeben wird. Dies ist jedoch im Wesentlichen ein Rückfall auf human-geführte Markierung durch Stellvertretung.

Länge == Autorität?

Es ist interessant zu beachten, dass die anhaltende Spannung zwischen der Art und Weise, wie Googles arkane SEO-Algorithmen in den letzten Jahren umfangreichen Inhalt belohnt haben (obwohl offizielle Ratschläge in dieser Hinsicht widersprüchlich sind), und die Herausforderungen, denen sich KI-Forscher (einschließlich vieler Google-Forschungsinitiativen) gegenübersehen, wenn sie versuchen, die Absicht und tatsächlichen Daten aus diesen zunehmend diskursiven und umfangreichen Artikeln zu entschlüsseln.

Es ist argumentierbar, dass Google, indem es längeren Inhalt belohnt, eine konsistente Qualität voraussetzt, die es noch nicht unbedingt identifizieren oder quantifizieren kann, es sei denn, indem es die Anzahl der Autoritäts-Websites zählt, die darauf verlinken (ein “Fleischware”-Maß, in den meisten Fällen); und dass es daher nicht ungewöhnlich ist, Beiträge von 2.500 Wörtern oder mehr zu sehen, die SERPS-Prominenz erlangen, unabhängig von narrativer “Aufblähung”, solange der zusätzliche Inhalt im Allgemeinen verständlich ist und keine anderen Richtlinien verletzt.

Wo ist das Rezept?

Folglich steigen die Wortzahlen, teilweise wegen eines echten Wunsches nach gutem umfangreichem Inhalt, aber auch, weil “Storifizierung” einiger weniger spärlicher Fakten die Länge eines Beitrags auf ideale SEO-Standards anheben kann und es ermöglicht, dass leichter Inhalt mit höherem Aufwand konkurriert.

Ein Beispiel dafür ist die Rezept-Website, die häufig beklagt wird in der Hacker-News-Community, weil sie den Kerninhalt (das Rezept) mit einer Menge autobiografischen oder schwärmerischen Inhalten vor dem eigentlichen Rezept einleitet, um eine story-getriebene “Rezept-Erfahrung” zu schaffen und die Wortzahl in die SEO-freundliche Region von 2.500+ Wörtern anzuheben.

Es gibt eine Reihe von rein prozeduralen Lösungen, um tatsächliche Rezepte aus umfangreichen Rezept-Websites zu extrahieren, einschließlich Open-Source-Rezept-Scraper und Rezept-Extraktoren für Firefox und Chrome. Maschinelles Lernen beschäftigt sich auch mit diesem Thema, mit verschiedenen Ansätzen aus Japan, den USA und Portugal, sowie Forschung von Stanford und anderen.

Im Hinblick auf die Bedrohungs-Intelligence-Berichte, die die Chicagoer Forscher ansprechen, kann die allgemeine Praxis der umfangreichen Bedrohungsberichterstattung teilweise auf die Notwendigkeit zurückzuführen sein, den Umfang einer Leistung (die oft in einem Absatz zusammengefasst werden kann) durch die Schaffung einer sehr langen Erzählung um sie herum widerzuspiegeln, und die Wortlänge als Proxy für den Umfang des Aufwands zu verwenden, unabhängig von der Anwendbarkeit.

Zweitens kann in einer Atmosphäre, in der die ursprüngliche Quelle einer Geschichte oft verloren geht durch schlechte Zitierpraktiken von populären Nachrichtenagenturen, die Produktion einer höheren Wortmenge als jeder Wiederberichterstattungsjournalist nachahmen kann, um einen SERPS-Sieg durch bloße Wortmenge zu gewährleisten, vorausgesetzt, dass die Umfangreichkeit – jetzt eine wachsende Herausforderung für NLP – wirklich auf diese Weise belohnt wird.