Desvalorizando ações com retuítes elaborados adversamente

Uma colaboração de pesquisa conjunta entre universidades dos EUA e a IBM formulou um ataque adversário de prova de conceito que é teoricamente capaz de causar perdas no mercado de ações, simplesmente mudando uma palavra em um retuíte de uma postagem no Twitter.

Em um experimento, os pesquisadores conseguiram atrapalhar o modelo de previsão Stocknet com dois métodos: um ataque de manipulação e um ataque de concatenação. Fonte: https://arxiv.org/pdf/2205.01094.pdf

A superfície de ataque para um ataque adversário em sistemas de previsão de ações automatizados e de aprendizado de máquina é que um número crescente deles estão contando com a mídia social orgânica como preditores de desempenho; e que a manipulação desses dados "in-the-wild" é um processo que pode, potencialmente, ser formulado de forma confiável.

Além do Twitter, sistemas dessa natureza ingerem dados do Reddit, StockTwits, Yahoo News, entre outros. A diferença entre o Twitter e as outras fontes é que os retweets são editáveis, mesmo que os tweets originais não sejam. Por outro lado, só é possível fazer postagens adicionais (ou seja, comentários ou relacionados) no Reddit, ou comentar e avaliar – ações que são corretamente tratadas como partidárias e interesseiras pelas rotinas e práticas de saneamento de dados do estoque baseado em ML sistemas de previsão.

Em um experimento, no Rede de ações predição modelo, os pesquisadores foram capazes de causar quedas notáveis ​​na previsão do valor das ações por dois métodos, o mais eficaz dos quais, ataque de manipulação (ou seja, retweets editados), foi capaz de causar as quedas mais severas.

Isso foi feito, de acordo com os pesquisadores, simulando uma única substituição em um retuíte de uma fonte financeira 'respeitada' do Twitter:

Palavras importam. Aqui, a diferença entre 'preenchido' e 'exercício' (não é uma palavra abertamente maliciosa ou enganosa, mas quase categorizada como sinônimo) teoricamente custou milhares de dólares em desvalorização de ações.

O artigo afirma:

"Nossos resultados mostram que o método de ataque proposto pode alcançar taxas de sucesso consistentes e causar perda monetária significativa na simulação de negociação simplesmente concatenando um tweet perturbado, mas semanticamente semelhante."

Os pesquisadores concluíram:

'Este trabalho demonstra que nosso método de ataque contraditório engana consistentemente vários modelos de previsão financeira, mesmo com restrições físicas de que o tweet bruto não pode ser modificado. Adicionando um retuíte com apenas uma palavra substituída, o ataque pode causar uma perda adicional de 32% em nosso portfólio de investimentos simulado.

'Através do estudo da vulnerabilidade do modelo financeiro, nosso objetivo é aumentar a conscientização da comunidade financeira sobre os riscos do modelo de IA, para que no futuro possamos desenvolver uma arquitetura de IA humana mais robusta'.

A papel é intitulado Uma palavra vale mais que mil dólares: ataque adversário em tweets engana previsão de ações, e vem de seis pesquisadores, provenientes da University of Illinois Urbana-Champaign, da State University of New York em Buffalo e da Michigan State University, com três dos pesquisadores afiliados à IBM.

palavras infelizes

O artigo examina se o campo bem estudado de ataques adversários em modelos de aprendizado profundo baseados em texto é aplicável a modelos de previsão do mercado de ações, cuja proeza de previsão depende de alguns fatores muito "humanos" que só podem ser inferidos de fontes de mídia social.

Como observam os pesquisadores, o potencial da manipulação da mídia social para afetar os preços das ações foi bem demonstrado, embora ainda não pelos métodos propostos no trabalho; em 2013 um tweet malicioso reivindicado pela Síria na conta hackeada do Twitter da Associated Press eliminou $ 136 bilhões de dólares em valor de mercado de ações em cerca de três minutos.

O método proposto no novo trabalho implementa um ataque de concatenação, que deixa o tuíte original intacto, mas o cita erroneamente:

Do material complementar do artigo, exemplos de retuítes contendo sinônimos substituídos que alteram a intenção e o significado da mensagem original, sem realmente distorcê-la de forma que humanos ou simples filtros possam capturá-la – mas que podem explorar os algoritmos em sistemas de previsão do mercado de ações.

Os pesquisadores abordaram a criação de retuítes adversários como otimização combinatória problema – a elaboração de exemplos adversários capazes de enganar um modelo de vítima, mesmo com um vocabulário muito limitado.

Substituição de palavras usando sememas – a 'unidade semântica mínima das línguas humanas'. Fonte: https://aclanthology.org/2020.acl-main.540.pdf

O jornal observa:

'No caso do Twitter, os adversários podem postar tweets maliciosos que são criados para manipular modelos downstream que os tomam como entrada.

'Propomos atacar postando tweets adversários semanticamente semelhantes como retuítes no Twitter, para que possam ser identificados como informações relevantes e coletados como entrada de modelo.'

Para cada tweet em um pool especialmente selecionado, os pesquisadores resolveram o problema de seleção de palavras sob as restrições de orçamentos de palavras e tweets, que colocam severas restrições em termos de divergência semântica da palavra original e a substituição de uma palavra 'maliciosa/benigna' .

Os tweets adversários são formulados com base em tweets pertinentes que provavelmente serão permitidos em sistemas de previsão de ações downstream. O tweet também deve passar desimpedido pelo sistema de moderação de conteúdo do Twitter e não deve parecer contrafactual para o observador humano casual.

Agora sobre o trabalho prévio (da Michigan State University, juntamente com CSAIL, MIT e o MIT-IBM Watson AI Lab), as palavras selecionadas no tweet de destino são substituídas por sinônimos de um conjunto limitado de possibilidades de sinônimos, todos os quais devem ser semanticamente muito próximos do original palavra, enquanto mantém sua 'influência corrupta', com base no comportamento inferido de sistemas de previsão do mercado de ações.

Os algoritmos usados ​​nos experimentos subseqüentes foram o solucionador Joint Optimization (JO) e o alternating Greedy Optimization (AGO).

Conjuntos de dados e experimentos

Essa abordagem foi testada em um conjunto de dados de previsão de ações compreendendo 10,824 exemplos de tweets pertinentes e informações de desempenho de mercado em 88 ações entre 2014-2016.

Três modelos de 'vítima' foram escolhidos: Rede de ações; FinGRU (um derivado de GRUA); e FinLSTM (um derivado de LSTM).

As métricas de avaliação consistiam na taxa de sucesso do ataque (ASR) e uma queda no modelo da vítima Pontuação F1 após o ataque adversário. Os pesquisadores simularam um Compra-Hold-Venda Apenas Longa estratégia para os testes. Lucros e Perdas (PnL) também foram calculados nas simulações.

Resultados dos experimentos. Veja também o primeiro gráfico no início deste artigo.

Sob JO e AGO, o ASR aumenta 10% e a pontuação F1 do modelo cai 0.1 em média, em comparação com um ataque aleatório. Os pesquisadores observam:

'Tal [uma] queda de desempenho é considerada significativa no contexto da previsão de ações, dado que a precisão de previsão de última geração do retorno entre dias é de apenas cerca de 60%.'

Na parcela de ganhos e perdas do ataque (virtual) à Stocknet, os resultados dos retuítes adversários também foram notáveis:

'Para cada simulação, o investidor tem $ 10K (100%) para investir; os resultados mostram que o método de ataque proposto com um retuíte com apenas uma única substituição de palavra pode causar ao investidor uma perda adicional de US$ 3.2 mil (75%-43%) em seu portfólio após cerca de 2 anos.'

Publicado pela primeira vez em 4 de maio de 2022.