L’apprentissage automatique extrait les données d’attaque des rapports de menaces verbeux

De nouvelles recherches menées par l’Université de Chicago mettent en lumière le conflit qui est apparu au cours des dix dernières années entre les avantages du référencement (SEO) du contenu long et la difficulté que les systèmes d’apprentissage automatique ont à extraire des données essentielles de celui-ci.

Lors du développement d’un système d’analyse NLP pour extraire des informations de menaces essentielles des rapports de renseignement sur les menaces cybernétiques (CTI), les chercheurs de Chicago ont rencontré trois problèmes: les rapports sont généralement très longs, avec seulement une petite section consacrée au comportement d’attaque réel; le style est dense et grammaticalement complexe, avec des informations spécifiques au domaine qui supposent une connaissance préalable de la part du lecteur; et le matériel nécessite une connaissance des relations entre les domaines, qui doit être « mémorisée » pour le comprendre dans son contexte (un problème persistant, notent les chercheurs).

Rapports de menaces verbeux

Le problème principal est la verbosité. Par exemple, l’article de Chicago note que parmi les 42 pages du rapport de menaces de ClearSky de 2019 pour le malware DustySky (également connu sous le nom de NeD Worm), seules 11 phrases traitent réellement du comportement d’attaque et le décrivent.

Le deuxième obstacle est la complexité du texte, et, en effet, la longueur des phrases: les chercheurs observent que parmi 4020 rapports de menaces du centre de rapports de menaces de Microsoft (MSFT ), la phrase moyenne comprend 52 mots – neuf de moins que la longueur moyenne de phrase il y a 500 ans (dans le contexte du fait que la longueur des phrases a diminué de 75% depuis lors).

Cependant, l’article soutient que ces longues phrases sont essentiellement des « paragraphes compressés » en soi, pleins de clauses, d’adverbes et d’adjectifs qui cachent le sens fondamental de l’information; et que les phrases manquent souvent de la ponctuation conventionnelle de base sur laquelle les systèmes NLP tels que NLP, spaCy, Stanford et NLTK s’appuient pour inférer l’intention ou extraire des données concrètes.

NLP pour extraire des informations de menaces saillantes

Le pipeline d’apprentissage automatique que les chercheurs de Chicago ont développé pour résoudre ce problème s’appelle EXTRACTOR, et utilise des techniques NLP pour générer des graphiques qui distillent et résument le comportement d’attaque à partir de rapports longs et discursifs. Le processus élimine l’ornementation historique, narrative et même géographique qui crée une « histoire » engageante et exhaustive au détriment de la priorisation claire de la charge informationnelle.

Source: https://arxiv.org/pdf/2104.08618.pdf

Étant donné que le contexte est un défi dans les rapports de menaces verbeux et prolixes, les chercheurs ont choisi le modèle de représentation linguistique BERT (Bidirectional Encoder Representations from Transformer) plutôt que le Word2Vec de Google ou le GloVe (Global Vectors for Word Representation) de Stanford.

BERT évalue les mots à partir de leur contexte environnant et développe également des incrustations pour les sous-mots (c’est-à-dire lancer, lancement et lancements se réduisent tous à lancer). Cela aide EXTRACTOR à gérer le vocabulaire technique qui n’est pas présent dans le modèle d’entraînement de BERT et à classer les phrases en « productives » (contenant des informations pertinentes) ou « non productives ».

Augmentation du vocabulaire local

Inévitablement, une certaine connaissance spécifique du domaine doit être intégrée dans un pipeline NLP qui traite ce type de matériel, car des formes de mots très pertinentes telles que les adresses IP et les noms de processus techniques ne doivent pas être écartées.

Les dernières parties du processus utilisent un réseau BiLSTM (Bidirectional LSTM) pour traiter la verbosité des mots, en dérivant des rôles sémantiques pour les parties de phrase, avant de supprimer les mots non productifs. BiLSTM est bien adapté à cela, car il peut corrélater les dépendances à longue distance qui apparaissent dans les documents verbeux, où une plus grande attention et une plus grande rétention sont nécessaires pour déduire le contexte.

EXTRACTOR définit des rôles sémantiques et des relations entre les mots, avec des rôles générés par les annotations PropBank (PropBank).

Lors des tests, EXTRACTOR (en partie financé par DARPA) s’est révélé capable de correspondre à l’extraction de données humaines à partir des rapports de DARPA. Le système a également été exécuté contre un grand volume de rapports non structurés de Microsoft Security Intelligence et de l’encyclopédie des menaces TrendMicro, en extrayant avec succès des informations saillantes dans la plupart des cas.

Les chercheurs reconnaissent que les performances d’EXTRACTOR sont susceptibles de diminuer lorsqu’il tente de distiller des actions qui se produisent sur plusieurs phrases ou paragraphes, bien que la révision du système pour l’adapter à d’autres rapports soit indiquée comme une voie à suivre. Cependant, cela revient essentiellement à recourir à un étiquetage humain par procuration.

Longueur == Autorité?

Il est intéressant de noter la tension permanente entre la façon dont les algorithmes SEO arcans de Google semblent récompenser de plus en plus le contenu long au cours des dernières années (bien que les conseils officiels sur ce point soient contradictoires), et les défis que les chercheurs en IA (y compris de nombreuses initiatives de recherche Google) rencontrent pour décoder l’intention et les données réelles de ces articles de plus en plus longs et discursifs.

Il est arguable que, en récompensant le contenu long, Google suppose une qualité constante qu’il n’est pas nécessairement en mesure d’identifier ou de quantifier encore par des processus NLP, sauf en comptant le nombre de sites d’autorité qui le relient (une mesure « meatware » dans la plupart des cas); et qu’il n’est pas inhabituel de voir des publications de 2 500 mots ou plus atteindre une position élevée dans les résultats de recherche (SERPS) quel que soit le « gonflement » narratif, tant que le contenu supplémentaire est globalement intelligible et ne viole pas d’autres directives.

Où est la recette?

Par conséquent, les décomptes de mots augmentent, en partie à cause d’un désir réel de contenu long de qualité, mais également parce que « l’histoire » d’un few faits peut augmenter la longueur d’un article pour atteindre les normes SEO idéales, et permettre à un contenu léger de concurrencer un contenu plus élaboré.

Un exemple de cela est les sites de recettes, fréquemment se plaignant de dans la communauté Hacker News pour avoir préfacé l’information principale (la recette) avec des quantités d’informations autobiographiques ou fantaisistes conçues pour créer une « expérience de recette » guidée par l’histoire, et pour pousser ce qui serait autrement un décompte de mots très faible dans la région de 2 500 mots ou plus SEO-amical.

Un certain nombre de solutions purement procédurales ont émergé pour extraire les recettes réelles des sites de recettes verbeux, notamment des analyseurs de recettes open source, et des extracteurs de recettes pour Firefox et Chrome. L’apprentissage automatique est également concerné par cela, avec diverses approches du Japon, des États-Unis et du Portugal, ainsi que des recherches de Stanford, entre autres.

En ce qui concerne les rapports de renseignement sur les menaces abordés par les chercheurs de Chicago, la pratique générale de rapports de menaces verbeux peut être due en partie au besoin de refléter l’ampleur d’une réalisation (qui peut souvent être résumée en un paragraphe) en créant un récit très long autour de celui-ci, et en utilisant la longueur des mots comme un proxy pour l’ampleur de l’effort impliqué, indépendamment de l’applicabilité.

Deuxièmement, dans un climat où la source originale d’une histoire est souvent perdue en raison de mauvaises pratiques de citation par les médias d’information populaires, produire un volume plus élevé de mots que tout journaliste de re-rapportage ne pourrait reproduire garantit une victoire SERPS par le simple volume de mots, en supposant que la verbosité – maintenant un défi croissant pour l’apprentissage automatique – est vraiment récompensée de cette façon.