Devalvering av aktier med motstridiga retweets

Ett gemensamt forskningssamarbete mellan amerikanska universitet och IBM har formulerat en proof-of-concept kontradiktorisk attack som teoretiskt sett kan orsaka börsförluster, helt enkelt genom att ändra ett ord i en retweet av ett Twitter-inlägg.

I ett experiment kunde forskarna traska Stocknets förutsägelsemodell med två metoder: en manipulationsattack och en sammanlänkningsattack. Källa: https://arxiv.org/pdf/2205.01094.pdf

Angreppsytan för en kontradiktorisk attack på automatiserade och maskininlärningsförutsägelsesystem är att en växande antal av dem förlitar sig på organiska sociala medier som prediktorer för prestanda; och att manipulering av denna "i-vilda" data är en process som potentiellt kan formuleras på ett tillförlitligt sätt.

Förutom Twitter tar system av denna karaktär in data från bland annat Reddit, StockTwits och Yahoo News. Skillnaden mellan Twitter och de andra källorna är att retweets är redigerbara, även om de ursprungliga tweetarna inte är det. Å andra sidan är det bara möjligt att göra ytterligare (dvs. kommentarer eller relaterade) inlägg på Reddit, eller att kommentera och betygsätta – handlingar som med rätta behandlas som partiska och egennyttiga av datasaneringsrutinerna och rutinerna för ML-baserade aktier prediktionssystem.

I ett experiment, på Stocknet förutsägelse modell, kunde forskarna orsaka anmärkningsvärda fall i aktieförutsägelse med två metoder, varav den mest effektiva, manipulationsattack (dvs. redigerade retweets), kunde orsaka de mest allvarliga fallen.

Detta genomfördes, enligt forskarna, genom att simulera en enda substitution i en retweet från en "respekterad" finansiell Twitter-källa:

Ord betyder något. Här har skillnaden mellan 'fylld' och 'utövad' (inte ett öppet skadligt eller missvisande ord, utan nästan kategoriserat som en synonym) teoretiskt sett kostat en investerare tusentals i aktiedevalvering.

I uppsatsen anges:

"Våra resultat visar att den föreslagna attackmetoden kan uppnå konsekventa framgångsgrader och orsaka betydande monetära förluster i handelssimulering genom att helt enkelt sammanfoga en störd men semantiskt liknande tweet."

Forskarna drar slutsatsen:

"Detta arbete visar att vår kontradiktoriska attackmetod konsekvent lurar olika finansiella prognosmodeller även med fysiska begränsningar att den råa tweeten inte kan modifieras. Om du lägger till en retweet med endast ett ord ersatt, kan attacken orsaka ytterligare 32 % förlust för vår simulerade investeringsportfölj.

"Genom att studera den finansiella modellens sårbarhet är vårt mål att öka finanssamhällets medvetenhet om AI-modellens risker, så att vi i framtiden kan utveckla en mer robust human-in-the-loop AI-arkitektur."

Ocuco-landskapet papper har titeln Ett ord är värt tusen dollar: motståndskraftig attack på tweets dårar Aktieförutsägelse, och kommer från sex forskare, olika från University of Illinois Urbana-Champaign, State University of New York i Buffalo och Michigan State University, med tre av forskarna anslutna till IBM.

Olyckliga ord

Uppsatsen undersöker huruvida det välstuderade fältet av kontradiktoriska attacker på textbaserade djupinlärningsmodeller är tillämpbara på aktiemarknadsförutsägelsemodeller, vars prognostiseringsförmåga beror på några mycket "mänskliga" faktorer som endast grovt kan härledas från källor i sociala medier.

Som forskarna noterar har potentialen för manipulation av sociala medier att påverka aktiekurserna väl påvisats, men ännu inte av de metoder som föreslagits i arbetet; år 2013 a skadlig tweet som påstås av Syrien på det hackade Twitter-kontot från Associated Press torkade 136 miljarder USD i aktiemarknadsvärde på cirka tre minuter.

Metoden som föreslås i det nya verket implementerar en sammanlänkningsattack, som lämnar den ursprungliga tweeten orörd, samtidigt som den felciteras:

Från tilläggsmaterialet till tidningen, exempel på re-tweets som innehåller ersatta synonymer som ändrar avsikten och betydelsen av det ursprungliga meddelandet, utan att faktiskt förvränga det på ett sådant sätt att människor eller enkla filter kan fånga – men som kan utnyttja algoritmerna i aktiemarknadsförutsägelsessystem.

Forskarna har närmat sig skapandet av kontradiktoriska retweets som kombinatorisk optimering problem – att skapa motstridiga exempel som kan lura en offermodell, även med ett mycket begränsat ordförråd.

Ordbyte med hjälp av sememes – den "minsta semantiska enheten för mänskliga språk". Källa: https://aclanthology.org/2020.acl-main.540.pdf

Tidningen konstaterar:

"När det gäller Twitter kan motståndare posta skadliga tweets som är utformade för att manipulera nedströmsmodeller som tar dem som input.

"Vi föreslår att attackera genom att posta semantiskt liknande motstridiga tweets som retweets på Twitter, så att de kan identifieras som relevant information och samlas in som modellindata."

För varje tweet i en speciellt utvald pool löste forskarna ordvalsproblemet under begränsningarna av ord- och tweetbudgetar, som sätter allvarliga begränsningar när det gäller semantisk avvikelse från det ursprungliga ordet, och ersättning av ett "skadligt/godartat" ord .

De kontradiktoriska tweetarna är formulerade baserat på relevanta tweets som sannolikt kommer att tillåtas i nedströms aktieförutsägelsessystem. Tweeten måste också passera obehindrat genom Twitters innehållsmodereringssystem och får inte framstå som kontrafaktisk för den tillfälliga mänskliga observatören.

Efter tidigare arbete (från Michigan State University, tillsammans med CSAIL, MIT och MIT-IBM Watson AI Lab), utvalda ord i måltweet ersätts med synonymer från en begränsad pool av synonymmöjligheter, som alla måste vara semantiskt mycket nära originalet ord, samtidigt som det bibehåller sitt "korrumperande inflytande", baserat på antaget beteende hos aktiemarknadsförutsägelsesystem.

Algoritmerna som användes i de efterföljande experimenten var Joint Optimization (JO)-lösaren och Alternating Greedy Optimization (AGO)-lösaren.

Datauppsättningar och experiment

Detta tillvägagångssätt prövades på en aktieförutsägelsedatauppsättning som omfattar 10,824 88 exempel på relevanta tweets och information om marknadens prestanda över XNUMX aktier mellan 2014-2016.

Tre "offer"-modeller valdes ut: Stocknet; FinGRU (en derivata av GRU); och FinLSTM (ett derivat av LSTM).

Utvärderingsmått bestod av Attack Success Rate (ASR) och en minskning av offermodellens F1-poäng efter den kontradiktoriska attacken. Forskarna simulerade en Long-Only Köp-Håll-Sälj strategi för testerna. Vinst och förlust (PnL) beräknades också i simuleringarna.

Resultat av experimenten. Se även första grafen överst i denna artikel.

Under JO och AGO stiger ASR med 10 %, och modellens F1-poäng sjunker med 0.1 i genomsnitt, jämfört med en slumpmässig attack. Forskarna noterar:

"Ett sådant [en] resultatfall anses vara betydande i samband med aktieförutsägelser med tanke på att den senaste prediktionsnoggrannheten för avkastningen mellan dagar endast är cirka 60 %.'

I vinst-och-förlust-delen av den (virtuella) attacken mot Stocknet var resultaten av motstridiga retweets också anmärkningsvärda:

"För varje simulering har investeraren $10 100 (3.2%) att investera; resultaten visar att den föreslagna attackmetoden med en retweet med endast ett enda ord som ersätter kan orsaka investeraren ytterligare $75K (43%-2%) förlust för sin portfölj efter cirka XNUMX år.'

Första gången publicerad 4 maj 2022.