Avvärdering av aktier med fientligt konstruerade retweets

En gemensam forskningssamverkan mellan amerikanska universitet och IBM har formulerat en proof-of-concept fientlig attack som teoretiskt sett kan orsaka förluster på aktiemarknaden, genom att ändra ett enda ord i en retweet av en Twitter-post.

I ett experiment kunde forskarna hindra Stocknet-prediktionsmodellen med två metoder: en manipulering och en konkatenering. Källa: https://arxiv.org/pdf/2205.01094.pdf

Attackytan för en fientlig attack på automatiserade och maskinlärningsbaserade aktieprediktionsystem är att ett växande antal av dem förlitar sig på organisk social media som prediktorer för prestation; och att manipulera denna “i-fältet”-data är en process som kan, potentiellt, formuleras på ett tillförlitligt sätt.

Förutom Twitter, tar system av denna natur in data från Reddit, StockTwits och Yahoo News, bland andra. Skillnaden mellan Twitter och de andra källorna är att retweets kan redigeras, även om de ursprungliga tweets inte kan. Å andra sidan är det bara möjligt att göra tillägg (t.ex. kommentarer eller relaterade) inlägg på Reddit, eller att kommentera och betygsätta – åtgärder som rätteligen behandlas som partiska och självbetjänande av datasaneringsrutinerna och praxisen för ML-baserade aktieprediktionsystem.

I ett experiment, på Stocknet-prediktionsmodellen, kunde forskarna orsaka betydande nedgångar i aktievärdeprediktion med två metoder, varav den mest effektiva, manipulering, kunde orsaka de mest allvarliga nedgångarna.

Detta åstadkoms, enligt forskarna, genom att simulera ett enda byte i en retweet från en “respekterad” finansiell Twitter-källa:

Orden har betydelse. Här har skillnaden mellan ‘fylld’ och ‘utövad’ (inte ett uppenbart elakt eller vilseledande ord, men bara som en synonym) teoretiskt sett kostat en investerare tusentals i aktieavvärdering.

Artikeln säger:

‘Våra resultat visar att den föreslagna attackmetoden kan uppnå konsekvent framgång och orsaka betydande ekonomisk förlust i handelssimulering genom att enbart konkatenera en störd men semantiskt liknande tweet.’

Forskarna drar slutsatsen:

‘Detta arbete visar att vår fientliga attackmetod konsekvent lurar olika finansiella förutsägelsemodeller, även med fysiska begränsningar som att den ursprungliga tweeten inte kan ändras. Genom att lägga till en retweet med endast ett ord ersatt, kan attacken orsaka 32% ytterligare förlust till vårt simulerade investeringsportfölj.

‘Genom att studera den finansiella modellens sårbarhet, är vårt mål att öka den finansiella gemenskapens medvetenhet om AI-modellens risker, så att vi i framtiden kan utveckla mer robusta mänskliga-i-loopen AI-arkitektur.’

Artikeln är titlad En ord är värd tusen dollar: Fientlig attack på tweets lurar aktieprediktion och kommer från sex forskare, som kommer från olika universitet i USA, med tre av forskarna anslutna till IBM.

Otursord

Artikeln undersöker om det välstuderade fältet av fientliga attacker på textbaserade djupinlärningsmodeller är tillämpliga på aktiemarknadsmodeller, vars förutsägelseförmåga beror på några mycket “mänskliga” faktorer som bara kan approximera från sociala mediekällor.

Som forskarna noterar, har potentialen för social medie-manipulering för att påverka aktiepriser visats, men inte ännu med de metoder som föreslås i arbetet; 2013 en elakt syrisk-påstådd tweet på den hackade Twitter-kontot för Associated Press utplånade 136 miljarder USD av aktiemarknadsvärde på cirka tre minuter.

Metoden som föreslås i det nya arbetet implementerar en konkateneringsattack, som lämnar den ursprungliga tweeten orörd, medan den citerar den:

Från det supplementära materialet för artikeln, exempel på retweets som innehåller ersatta synonymer som ändrar avsikt och betydelse av det ursprungliga meddelandet, utan att faktiskt förvränga det på ett sätt som människor eller enkla filter kan upptäcka – men som kan utnyttja algoritmerna i aktiemarknadsmodeller.

Forskarna har angripit skapandet av fientliga retweets som kombinatorisk optimering – problemet med att skapa fientliga exempel som kan lura ett offermodell, även med ett mycket begränsat ordförråd.

Ordförrådsbyte med sememer – ‘den minsta semantiska enheten i mänskliga språk’. Källa: https://aclanthology.org/2020.acl-main.540.pdf

Artikeln observerar:

‘I fallet med Twitter, kan motståndare publicera skadliga tweets som är konstruerade för att manipulera nedströmsmodeller som tar dem som indata.

‘Vi föreslår att attackera genom att publicera semantiskt liknande fientliga tweets som retweets på Twitter, så att de kan identifieras som relevant information och samlas in som modellinmatning.’

För varje tweet i en särskilt utvald pool, löste forskarna ordvalproblemet under begränsningarna för ord- och tweetbudgetar, som placerar allvarliga begränsningar i termer av semantisk avvikelse från det ursprungliga ordet, och ersättning av ett “skadligt/harmlos” ord.

De fientliga tweets formuleras baserat på relevanta tweets som sannolikt kommer att tillåtas i nedströms aktieprediktionsystem. Tweeten måste också passera obesvärat genom Twitters innehållsmodereringssystem, och får inte verka vara kontrafaktisk för den omedelbara mänskliga observatören.

Följande tidigare arbete (från Michigan State University, tillsammans med CSAIL, MIT och MIT-IBM Watson AI Lab), ersätts valda ord i måltweeten med synonymer från en begränsad pool av synonymmöjligheter, alla som måste vara semantiskt mycket nära det ursprungliga ordet, medan de upprätthåller sin “korrumperande inflytande”, baserat på antagen beteende av aktiemarknadsmodeller.

Algoritmerna som användes i de efterföljande experimenten var Joint Optimization (JO) och Alternating Greedy Optimization (AGO).

Datasets och experiment

Denna metod testades på en aktieprediktionsdataset som bestod av 10 824 exempel på relevanta tweets och marknadsprestandainformation över 88 aktier mellan 2014-2016.

Tre “offer”-modeller valdes: Stocknet; FinGRU (en derivat av GRU); och FinLSTM (en derivat av LSTM).

Utvärderingsmetriker bestod av Attack Success Rate (ASR), och en nedgång i offermodellens F1-poäng efter den fientliga attacken. Forskarna simulerade en Long-Only Buy-Hold-Sell-strategi för testerna. Vinst och förlust (PnL) beräknades också i simuleringarna.

Resultat från experimenten. Se också första grafen i toppen av den här artikeln.

Under JO och AGO, ökar ASR med 10%, och F1-poängen för modellen minskar med 0,1 i genomsnitt, jämfört med en slumpmässig attack. Forskarna noterar:

‘En sådan prestandaförsämring anses vara betydande i sammanhanget med aktieprediktion, med tanke på att den bästa prediktionsnoggrannheten för interdagsavkastning bara är cirka 60%.’

I vinst- och förlust-delen av (den virtuella) attacken på Stocknet, var resultaten från de fientliga retweets också anmärkningsvärda:

‘För varje simulering, har investeraren 10 000 USD (100%) att investera; resultaten visar att den föreslagna attackmetoden med en retweet med endast ett ordbyte kan orsaka investeraren en ytterligare förlust på 3 200 USD (75%-43%) till portföljen efter cirka 2 år.’

Publicerad första gången den 4 maj 2022.