Aprendizado de Máquina Extrai Dados de Ataques de Relatórios de Ameaças Verbosos

Pesquisas recentes da Universidade de Chicago ilustram o conflito que surgiu nos últimos dez anos entre os benefícios de SEO de conteúdo de longa forma e a dificuldade que os sistemas de aprendizado de máquina têm em extrair dados essenciais dele.

Ao desenvolver um sistema de análise de NLP para extrair informações de ameaças essenciais de relatórios de Inteligência de Ameaças Cibernéticas (CTI), os pesquisadores de Chicago enfrentaram três problemas: os relatórios são geralmente muito longos, com apenas uma pequena seção dedicada ao comportamento de ataque real; o estilo é denso e gramaticalmente complexo, com informações específicas de domínio extensas que presumem conhecimento prévio por parte do leitor; e o material requer conhecimento de relacionamento entre domínios, que deve ser “memorizado” para entender o contexto (um problema persistente, observam os pesquisadores).

Relatórios de Ameaças Verbosos

O principal problema é a verbosidade. Por exemplo, o artigo de Chicago observa que, entre os 42 páginas do relatório de ameaças de 2019 da ClearSky para o malware DustySky (também conhecido como NeD Worm), apenas 11 frases lidam com e descrevem o comportamento de ataque.

O segundo obstáculo é a complexidade do texto e, efetivamente, o comprimento da frase: os pesquisadores observam que, entre 4020 relatórios de ameaças do centro de relatórios de ameaças da Microsoft (MSFT ), a frase média compreende 52 palavras – apenas nove a menos que o comprimento médio da frase 500 anos atrás (no contexto de que o comprimento da frase declinou 75% desde então).

No entanto, o artigo sustenta que essas frases longas são essencialmente “parágrafos comprimidos” em si mesmas, cheias de cláusulas, advérbios e adjetivos que encobrem o significado central da informação; e que as frases frequentemente carecem da pontuação básica convencional que sistemas de NLP como spaCy, Stanford e NLTK dependem para inferir a intenção ou extrair dados difíceis.

NLP para Extrair Informações de Ameaças Salientes

O pipeline de aprendizado de máquina que os pesquisadores de Chicago desenvolveram para abordar isso é chamado de EXTRACTOR, e usa técnicas de NLP para gerar gráficos que destilam e resumem o comportamento de ataque de relatórios de longa forma e discursivos. O processo descarta a ornamentação histórica, narrativa e até geográfica que cria uma “história” atraente e exaustiva, mas ao custo de priorizar claramente a carga de informação.

Fonte: https://arxiv.org/pdf/2104.08618.pdf

Como o contexto é um desafio tão grande em relatórios de CTI verbosos e prolixos, os pesquisadores escolheram o BERT (Representações de Codificador Bidirecional do Transformer) modelo de representação de linguagem sobre o Word2Vec do Google ou o GloVe do Stanford.

BERT avalia as palavras a partir do contexto circundante e também desenvolve incrustações para subpalavras (ou seja, lançar, lançamento e lançamentos todos se reduzem a lançar). Isso ajuda o EXTRACTOR a lidar com vocabulário técnico que não está presente no modelo de treinamento do BERT e a classificar frases como “produtivas” (contendo informações pertinentes) ou “não produtivas”.

Aumentando o Vocabulário Local

Inevitavelmente, alguma percepção específica de domínio deve ser integrada a um pipeline de NLP que lida com material desse tipo, desde que formas de palavras altamente pertinentes, como endereços IP e nomes de processos técnicos, não devem ser descartados.

Partes posteriores do processo usam uma BiLSTM (rede neural LSTM bidirecional) para lidar com a verbosidade das palavras, derivando papéis semânticos para partes de frases, antes de remover palavras não produtivas. A BiLSTM é bem adequada para isso, pois pode correlacionar as dependências de longa distância que aparecem em documentos verbosos, onde maior atenção e retenção são necessárias para deduzir o contexto.

EXTRACTOR define papéis semânticos e relacionamentos entre palavras, com papéis gerados por anotações do Proposition Bank (PropBank).

Nos testes, o EXTRACTOR (parcialmente financiado pela DARPA) foi capaz de igualar a extração de dados humanos de relatórios da DARPA. O sistema também foi executado contra um grande volume de relatórios não estruturados da Microsoft Security Intelligence e da TrendMicro Threat Encyclopedia, extrair com sucesso informações salientes na maioria dos casos.

Os pesquisadores admitem que o desempenho do EXTRACTOR provavelmente diminuirá quando tentar destilar ações que ocorrem ao longo de várias frases ou parágrafos, embora reequipar o sistema para acomodar outros relatórios seja indicado como uma forma de avançar aqui. No entanto, isso é essencialmente recuar para a marcação humana por procuração.

Comprimento == Autoridade?

É interessante notar a tensão contínua entre a forma como os algoritmos de SEO arcana do Google parecem ter recompensado o conteúdo de longa forma nos últimos anos (embora o conselho oficial sobre isso seja contraditório), e os desafios que os pesquisadores de IA (incluindo muitas iniciativas de pesquisa do Google) enfrentam para decodificar a intenção e os dados reais de artigos cada vez mais discursivos e longos.

É argumentável que, recompensando o conteúdo mais longo, o Google está presumindo uma qualidade consistente que não é necessariamente capaz de identificar ou quantificar ainda por meio de processos de NLP, exceto contando o número de sites de autoridade que linkam para ele (uma métrica “de carne”, na maioria dos casos); e que não é incomum ver posts de 2.500 palavras ou mais atingindo proeminência SERPS, independentemente do “inchaço” narrativo, desde que o conteúdo extra seja amplamente inteligível e não viole outras diretrizes.

Onde Está a Receita?

Consequentemente, contagens de palavras estão aumentando, em parte devido a um desejo genuíno por bom conteúdo de longa forma, mas também porque “estoriar” alguns poucos fatos pode aumentar o comprimento de uma peça para os padrões de SEO ideais e permitir que o conteúdo leve concorra igualmente com a saída de maior esforço.

Um exemplo disso são os sites de receitas, frequentemente reclamados de na comunidade Hacker News por prefaciar a informação central (a receita) com grandes quantidades de conteúdo autobiográfico ou caprichoso projetado para criar uma “experiência de receita” orientada por histórias e para empurrar o que seria de outra forma uma contagem de palavras muito baixa para a região de 2.500+ palavras amigável ao SEO.

Uma série de soluções puramente procedimentais surgiu para extrair receitas reais de sites de receitas verbosos, incluindo raspadores de receitas de código aberto e extratores de receitas para Firefox e Chrome. A aprendizagem de máquina também está preocupada com isso, com várias abordagens do Japão, EUA e Portugal, bem como pesquisas da Stanford, entre outros.

Em termos dos relatórios de inteligência de ameaças abordados pelos pesquisadores de Chicago, a prática geral de relatórios de ameaças verbosos pode ser devida em parte à necessidade de refletir a escala de uma realização (que pode ser resumida em um parágrafo) criando uma narrativa muito longa em torno dela e usando o comprimento da palavra como um proxy para a escala de esforço envolvido, independentemente da aplicabilidade.

Em segundo lugar, em um clima em que a fonte original de uma história é frequentemente perdida para más práticas de citação por veículos de notícias populares, produzir um volume maior de palavras do que qualquer jornalista de re-relatório pudesse replicar garante uma vitória SERPS por mero volume de palavras, supondo que a verbosidade – agora um desafio crescente para a NLP – é realmente recompensada dessa forma.