Andersons vinkel

Sänka aktiers värde med retweets utformade för adversariella angrepp

Martin Anderson
Lägg till Unite.AI bland dina föredragna källor på Google
Viktiga punkterAtt redigera ett ord i en retweet kan orsaka ytterligare 32 % portföljförlust.
Visa mer
  • Att redigera ett ord i en retweet kan orsaka ytterligare 32 % portföljförlust.
  • Attacken utnyttjar redigerbara retweets medan originalinläggen förblir oföränderliga.
  • Aktieprognosmodeller som förlitar sig på sociala mediedata är sårbara för semantisk manipulation.

En gemensam forskningssamverkan mellan amerikanska universitet och IBM har formulerat en proof-of-concept fientlig attack som teoretiskt sett kan orsaka förluster på aktiemarknaden, genom att ändra ett enda ord i en retweet av en Twitter-post.

I ett experiment kunde forskarna försämra Stocknets prognosmodell med två metoder: en manipulering och en konkatenering. Källa: https://arxiv.org/pdf/2205.01094.pdf

I ett experiment kunde forskarna försämra Stocknets prognosmodell med två metoder: en manipulering och en konkatenering. Källa: https://arxiv.org/pdf/2205.01094.pdf

Attackytan för en fientlig attack på automatiserade och maskinlärningsbaserade aktieprediktionsystem är att ett växande antal av dem förlitar sig på organisk social media som prediktorer för prestation; och att manipulera denna “i-fältet”-data är en process som kan, potentiellt, formuleras på ett tillförlitligt sätt.

Förutom Twitter, tar system av denna natur in data från Reddit, StockTwits och Yahoo News, bland andra. Skillnaden mellan Twitter och de andra källorna är att retweets kan redigeras, även om de ursprungliga tweets inte kan. Å andra sidan är det bara möjligt att göra tillägg (t.ex. kommentarer eller relaterade) inlägg på Reddit, eller att kommentera och betygsätta – åtgärder som rätteligen behandlas som partiska och egennyttiga av datasaneringsrutinerna och praxisen för ML-baserade aktieprediktionsystem.

I ett experiment, på Stocknet-prediktionsmodellen, kunde forskarna orsaka betydande nedgångar i aktievärdeprediktion med två metoder, varav den mest effektiva, manipulationsattacken med redigerade retweets, kunde orsaka de mest allvarliga nedgångarna.

Detta åstadkoms, enligt forskarna, genom att simulera ett enda byte i en retweet från en “respekterad” finansiell Twitter-källa:

Orden har betydelse. Här har skillnaden mellan 'filled' och 'exercised' (inte ett uppenbart elakt eller vilseledande ord, men bara som en synonym) teoretiskt sett kostat en investerare tusentals i aktieavvärdering.

Orden har betydelse. Här har skillnaden mellan ‘filled’ och ‘exercised’ (inte ett uppenbart elakt eller vilseledande ord, men bara som en synonym) teoretiskt sett kostat en investerare tusentals i aktieavvärdering.

Artikeln säger:

‘Våra resultat visar att den föreslagna attackmetoden kan uppnå konsekvent framgång och orsaka betydande ekonomisk förlust i handelssimulering genom att enbart konkatenera en störd men semantiskt liknande tweet.’

Forskarna drar slutsatsen:

‘Detta arbete visar att vår fientliga attackmetod konsekvent lurar olika finansiella förutsägelsemodeller, även med fysiska begränsningar som att den ursprungliga tweeten inte kan ändras. Genom att lägga till en retweet med endast ett ord ersatt, kan attacken orsaka 32% ytterligare förlust till vår simulerade investeringsportfölj.

‘Genom att studera den finansiella modellens sårbarhet, är vårt mål att öka den finansiella gemenskapens medvetenhet om AI-modellens risker, så att vi i framtiden kan utveckla mer robusta AI-arkitekturer med människor i beslutsprocessen.’

Studien har titeln A Word is Worth A Thousand Dollars: Adversarial Attack on Tweets Fools Stock Prediction och kommer från sex forskare vid University of Illinois Urbana-Champaign, State University of New York at Buffalo och Michigan State University. Tre av forskarna är även knutna till IBM.

Otursord

Artikeln undersöker om det välstuderade fältet av fientliga attacker på textbaserade djupinlärningsmodeller är tillämpliga på aktiemarknadsmodeller, vars förutsägelseförmåga beror på några mycket “mänskliga” faktorer som endast kan uppskattas grovt utifrån sociala medier.

Som forskarna noterar, har potentialen för social medie-manipulering för att påverka aktiepriser visats, men inte ännu med de metoder som föreslås i arbetet; 2013 en skadlig tweet som syriska hackare tog på sig ansvaret för på Associated Press hackade Twitter-konto utplånade 136 miljarder USD av aktiemarknadsvärde på cirka tre minuter.

Metoden som föreslås i det nya arbetet implementerar en konkateneringsattack, som lämnar den ursprungliga tweeten orörd, men felciterar den:

Från det supplementära materialet för artikeln, exempel på retweets som innehåller ersatta synonymer som ändrar avsikt och betydelse av det ursprungliga meddelandet, utan att faktiskt förvränga det på ett sätt som människor eller enkla filter kan upptäcka - men som kan utnyttja algoritmerna i aktiemarknadsmodeller.

Från det supplementära materialet för artikeln, exempel på retweets som innehåller ersatta synonymer som ändrar avsikt och betydelse av det ursprungliga meddelandet, utan att faktiskt förvränga det på ett sätt som människor eller enkla filter kan upptäcka – men som kan utnyttja algoritmerna i aktiemarknadsmodeller.

Forskarna har angripit skapandet av fientliga retweets som kombinatorisk optimering – problemet med att skapa fientliga exempel som kan lura en offermodell, även med ett mycket begränsat ordförråd.

Ordbyte med sememer - 'den minsta semantiska enheten i mänskliga språk'. Källa: https://aclanthology.org/2020.acl-main.540.pdf

Ordbyte med sememer – ‘den minsta semantiska enheten i mänskliga språk’. Källa: https://aclanthology.org/2020.acl-main.540.pdf

Artikeln observerar:

‘I fallet med Twitter, kan motståndare publicera skadliga tweets som är konstruerade för att manipulera nedströmsmodeller som tar dem som indata.

‘Vi föreslår att attackera genom att publicera semantiskt liknande fientliga tweets som retweets på Twitter, så att de kan identifieras som relevant information och samlas in som modellinmatning.’

För varje tweet i en särskilt utvald pool, löste forskarna ordvalproblemet under begränsningarna för ord- och tweetbudgetar, som placerar allvarliga begränsningar i termer av semantisk avvikelse från det ursprungliga ordet, och ersättning av ett “skadligt/harmlos” ord.

De fientliga tweets formuleras baserat på relevanta tweets som sannolikt kommer att tillåtas i nedströms aktieprediktionsystem. Tweeten måste också passera obesvärat genom Twitters innehållsmodereringssystem, och får inte verka vara kontrafaktisk för den tillfälliga mänskliga läsaren.

Följande tidigare arbete (från Michigan State University, tillsammans med CSAIL, MIT och MIT-IBM Watson AI Lab), ersätts valda ord i måltweeten med synonymer från en begränsad pool av synonymmöjligheter, alla som måste vara semantiskt mycket nära det ursprungliga ordet, medan de upprätthåller sitt ”förvanskande inflytande”, baserat på det förmodade beteendet av aktiemarknadsmodeller.

Algoritmerna som användes i de efterföljande experimenten var Joint Optimization (JO) och Alternating Greedy Optimization (AGO).

Datasets och experiment

Denna metod testades på en aktieprediktionsdataset som bestod av 10 824 exempel på relevanta tweets och marknadsprestandainformation över 88 aktier mellan 2014-2016.

Tre “offer”-modeller valdes: Stocknet; FinGRU (en derivat av GRU); och FinLSTM (en derivat av LSTM).

Utvärderingsmetriker bestod av Attack Success Rate (ASR), och en nedgång i offermodellens F1-poäng efter den fientliga attacken. Forskarna simulerade en Long-Only Buy-Hold-Sell-strategi för testerna. Vinst och förlust (PnL) beräknades också i simuleringarna.

Resultat från experimenten. Se också första grafen i toppen av den här artikeln.

Resultat från experimenten. Se också första grafen i toppen av den här artikeln.

Under JO och AGO, ökar ASR med 10%, och F1-poängen för modellen minskar med 0,1 i genomsnitt, jämfört med en slumpmässig attack. Forskarna noterar:

‘En sådan prestandaförsämring anses vara betydande i sammanhanget med aktieprediktion, med tanke på att den bästa prediktionsnoggrannheten för interdagsavkastning bara är cirka 60%.’

I vinst- och förlust-delen av (den virtuella) attacken på Stocknet, var resultaten från de fientliga retweets också anmärkningsvärda:

‘För varje simulering, har investeraren 10 000 USD (100%) att investera; resultaten visar att den föreslagna attackmetoden med en retweet med endast ett ordbyte kan orsaka investeraren en ytterligare förlust på 3 200 USD (75%-43%) till portföljen efter cirka 2 år.’

 

Publicerad första gången den 4 maj 2022.

Skribent inom maskininlärning, domänspecialist på mänsklig bildsyntes. Tidigare chef för forskningsinnehåll på Metaphysic.ai, fram till dess upplösning i DNEG:s Brahma.ai.
Webbplats: martinanderson.ai
Kontakt: martin@martinanderson.ai