Dévalorisation des actions avec des retweets créés de manière adversative

Une collaboration de recherche conjointe entre des universités américaines et IBM a formulé une preuve de concept d’attaque adversative qui est théoriquement capable de causer des pertes sur le marché boursier, simplement en changeant un mot dans un retweet d’un message Twitter.

Dans une expérience, les chercheurs ont pu handicaper le modèle de prédiction Stocknet avec deux méthodes: une attaque de manipulation et une attaque de concaténation. Source: https://arxiv.org/pdf/2205.01094.pdf

L’attaque cible les systèmes de prédiction automatique et d’apprentissage automatique du marché boursier qui s’appuient de plus en plus sur les médias sociaux pour prédire les performances; et que la manipulation de ces données “dans la nature” est un processus qui peut, potentiellement, être formulé de manière fiable.

Outre Twitter, les systèmes de ce type ingèrent des données de Reddit, StockTwits et Yahoo News, entre autres. La différence entre Twitter et les autres sources est que les retweets sont éditables, même si les tweets originaux ne le sont pas. En revanche, il n’est possible de faire que des publications supplémentaires (c’est-à-dire des commentaires ou des publications liées) sur Reddit, ou de commenter et de noter – des actions qui sont traitées à juste titre comme partisanes et intéressées par les routines et les pratiques de nettoyage des données des systèmes de prédiction basés sur l’apprentissage automatique.

Dans une expérience, sur le modèle de prédiction Stocknet, les chercheurs ont pu causer des baisses notables de la prédiction de la valeur des actions par deux méthodes, la plus efficace desquelles, l’attaque de manipulation (c’est-à-dire les retweets édités), a pu causer les baisses les plus sévères.

Ceci a été réalisé, selon les chercheurs, en simulant un seul remplacement dans un retweet d’une source financière Twitter “respectée”:

Les mots comptent. Ici, la différence entre ‘filled’ et ‘exercised’ (pas un mot malveillant ou trompeur, mais juste considéré comme un synonyme) a théoriquement coûté à un investisseur des milliers de dollars en dévaluation des actions.

Le document indique:

‘Nos résultats montrent que la méthode d’attaque proposée peut atteindre des taux de réussite constants et causer des pertes monétaires significatives dans la simulation de trading en concaténant simplement un tweet perturbé mais sémantiquement similaire.’

Les chercheurs concluent:

‘Ce travail démontre que notre méthode d’attaque adversative trompe régulièrement divers modèles de prévision financière, même avec des contraintes physiques qui empêchent la modification du tweet brut. En ajoutant un retweet avec un seul mot remplacé, l’attaque peut causer une perte supplémentaire de 32 % à notre portefeuille d’investissement simulé.

‘En étudiant la vulnérabilité des modèles financiers, notre objectif est de sensibiliser la communauté financière aux risques des modèles d’apprentissage automatique, afin que nous puissions développer à l’avenir une architecture d’apprentissage automatique plus robuste avec l’homme dans la boucle.’

Le document est intitulé Un mot vaut mille dollars: attaque adversative sur les tweets qui trompe la prédiction des actions, et provient de six chercheurs, originaires de l’Université de l’Illinois à Urbana-Champaign, de l’Université d’État de New York à Buffalo et de l’Université d’État du Michigan, avec trois des chercheurs affiliés à IBM.

Mots malheureux

Le document examine si le domaine bien étudié des attaques adversatives sur les modèles d’apprentissage automatique basés sur le texte sont applicables aux modèles de prédiction du marché boursier, dont la capacité de prédiction dépend de facteurs très “humains” qui ne peuvent être que grossièrement déduits des sources de médias sociaux.

Comme le notent les chercheurs, le potentiel de manipulation des médias sociaux pour affecter les prix des actions a été bien démontré, bien que pas encore par les méthodes proposées dans le travail; en 2013, un tweet malveillant sur le compte Twitter piraté de l’Associated Press a effacé 136 milliards de dollars de valeur de marché en environ trois minutes.

La méthode proposée dans le nouveau travail met en œuvre une attaque de concaténation, qui laisse le tweet original intact, tout en le citant de manière erronée:

Exemples de retweets contenant des synonymes substitués qui changent l’intention et la signification du message original, sans le déformer de manière à ce que les humains ou les filtres simples puissent les détecter – mais qui peuvent exploiter les algorithmes des systèmes de prédiction du marché boursier.

Les chercheurs ont abordé la création de retweets adversatifs comme un problème d’optimisation combinatoire – la création d’exemples adversatifs capables de tromper un modèle victime, même avec un vocabulaire très limité.

Remplacement de mots en utilisant des sèmes – l’unité sémantique minimale des langues humaines. Source: https://aclanthology.org/2020.acl-main.540.pdf

Le document observe:

‘Dans le cas de Twitter, les adversaires peuvent publier des tweets malveillants qui sont conçus pour manipuler les modèles en aval qui les prennent en entrée.

‘Nous proposons d’attaquer en publiant des tweets adversatifs sémantiquement similaires en tant que retweets sur Twitter, afin qu’ils puissent être identifiés comme des informations pertinentes et collectées comme entrée de modèle.’

Pour chaque tweet dans un pool spécialement sélectionné, les chercheurs ont résolu le problème de sélection de mots sous les contraintes de budget de mots et de tweets, qui imposent des restrictions sévères en termes de divergence sémantique par rapport au mot original, et de substitution d’un mot “malveillant/bénin”.

Les tweets adversatifs sont formulés sur la base de tweets pertinents qui sont susceptibles d’être autorisés dans les systèmes de prédiction du marché boursier en aval. Le tweet doit également passer sans encombre à travers le système de modération de contenu de Twitter, et ne doit pas apparaître comme contrafactuel à l’observateur humain occasionnel.

Suivant un travail antérieur (de l’Université d’État du Michigan, avec CSAIL, MIT et le laboratoire d’IA Watson IBM), des mots sélectionnés dans le tweet cible sont remplacés par des synonymes issus d’un pool limité de possibilités de synonymes, qui doivent tous être sémantiquement très proches du mot original, tout en maintenant son “influence corruptrice”, basée sur le comportement inféré des systèmes de prédiction du marché boursier.

Les algorithmes utilisés dans les expériences subséquentes étaient le solveur d’optimisation conjointe (JO) et le solveur d’optimisation alternée gourmande (AGO).

Jeux de données et expériences

Cette approche a été testée sur un jeu de données de prédiction du marché boursier composé de 10 824 exemples de tweets pertinents et d’informations sur les performances du marché sur 88 actions entre 2014-2016.

Trois modèles “victimes” ont été choisis: Stocknet; FinGRU (un dérivé de GRU); et FinLSTM (un dérivé de LSTM).

Les métriques d’évaluation consistaient en un taux de réussite de l’attaque (ASR) et en une baisse du score F1 du modèle victime après l’attaque adversative. Les chercheurs ont simulé une stratégie d’achat-vente à long terme pour les tests. Le profit et la perte (PnL) ont également été calculés dans les simulations.

Résultats des expériences. Voir également le premier graphique en haut de cet article.

Sous JO et AGO, l’ASR augmente de 10 %, et le score F1 du modèle diminue de 0,1 en moyenne, par rapport à une attaque aléatoire. Les chercheurs notent:

‘Une telle baisse de performance est considérée comme significative dans le contexte de la prédiction du marché boursier, étant donné que la précision de prédiction des rendements interjournaux est d’environ 60 %.’

Dans la tranche de profit et de perte de l’attaque (virtuelle) sur Stocknet, les résultats des retweets adversatifs étaient également notables:

‘Pour chaque simulation, l’investisseur a 10 000 $ (100 %) à investir; les résultats montrent que la méthode d’attaque proposée avec un retweet avec un seul mot remplacé peut causer à l’investisseur une perte supplémentaire de 3 200 $ (75 %-43 %) à son portefeuille après environ 2 ans.’

Publié pour la première fois le 4 mai 2022.