Verdsettelse av aksjer med motstridende konstruerte retweets

Et felles forskningsprosjekt mellom amerikanske universiteter og IBM har formulert et bevis for en motstridende angrep som teoretisk sett kan forårsake tap på aksjemarkedet, bare ved å endre ett ord i en retweet av en Twitter-post.

I ett eksperiment var forskerne i stand til å lamme Stocknet-prediksjonsmodellen med to metoder: en manipulasjonsangrep og en konkateneringsangrep. Kilde: https://arxiv.org/pdf/2205.01094.pdf

Angrepsflaten for en motstridende angrep på automatiserte og maskinlæringsbaserte aksjeprediksjonsystemer er at et økende antall av dem er avhengige av organisk sosial medier som prediktorer for ytelse; og at manipulering av denne ‘i-feltet’-dataen er en prosess som kan, potensielt, være pålitelig formulert.

Foruten Twitter, inngår systemer av denne typen data fra Reddit, StockTwits og Yahoo News, blant andre. Forskjellen mellom Twitter og de andre kildene er at retweets kan redigeres, selv om de opprinnelige tweetene ikke kan. På den andre siden er det bare mulig å lage tilleggsposter (dvs. kommentarer eller relaterte poster) på Reddit, eller å kommentere og vurdere – handlinger som rettferdig behandles som partiske og selvbetjent av datasaneringsrutinene og praksisene til ML-baserte aksjeprediksjonsystemer.

I ett eksperiment, på Stocknet-prediksjonsmodellen, var forskerne i stand til å forårsake merkbar nedgang i aksjeverdiprediksjon ved to metoder, hvorav den mest effektive, manipulasjonsangrepet (dvs. redigerte retweets), var i stand til å forårsake de mest alvorlige nedgangene.

Dette ble effektuert, ifølge forskerne, ved å simulere en enkelt erstatning i en retweet fra en ‘respektert’ finansiell Twitter-kilde:

Ord teller. Her har forskjellen mellom ‘filled’ og ‘exercised’ (ikke et åpenbart ondsinnet eller misvisende ord, men bare om klassifisert som et synonym) teoretisk kostet en investor tusener av dollar i aksjedevaluering.

Artikkelen sier:

‘Våre resultater viser at den foreslåtte angrepsmetoden kan oppnå konsistent suksessrate og forårsake betydelig økonomisk tap i handelssimulering ved bare å konkatenerere en forstyrret, men semantisk lik tweet.’

Forskerne konkluderer:

‘Dette arbeidet demonstrerer at vår motstridende angrepsmetode konsistent luret forskjellige finansielle prognosemodeller, selv med fysiske begrensninger som at den opprinnelige tweeten ikke kan endres. Ved å legge til en retweet med bare ett ord erstattet, kan angrepet forårsake 32% ekstra tap i vårt simuleringsinvesteringportefølje.

‘Gjennom å studere finansiell modells sårbarhet, er vårt mål å øke den finansielle samfunnets bevissthet om AI-modellens risikoer, så at vi i fremtiden kan utvikle mer robuste menneske-i-løkken AI-arkitektur.’

Artikkelen er tittelen Et ord er verdt tusen dollar: Motstridende angrep på tweets luret aksjeprediksjon, og kommer fra seks forskere, som kommer fra henholdsvis University of Illinois Urbana-Champaign, State University of New York at Buffalo og Michigan State University, med tre av forskerne tilknyttet IBM.

Uheldige ord

Artikkelen undersøker om det godt studerte feltet av motstridende angrep på tekstbaserte dypelæringsmodeller er anvendelige på aksjeprediksjonsmodeller, hvis prognoseevne avhenger av noen meget ‘menneskelige’ faktorer som bare kan være grovt antydet fra sosiale mediekilder.

Som forskerne bemerker, har potensialet for sosial medie-manipulering til å påvirke aksjepriser vært godt demonstrert, selv om ikke ennå ved de metoder som foreslås i arbeidet; i 2013 var en ondsinnet syrisk-kravd tweet på den hakket Twitter-kontoen til Associated Press ødela 136 milliarder USD av aksjemarkedsverdi på om lag tre minutter.

Metoden som foreslås i det nye arbeidet implementerer en konkateneringsangrep, som lar den opprinnelige tweeten uberørt, mens den misbruker den:

Fra suppleringen til artikkelen, eksempler på retweets som inneholder erstattede synonymer som endrer intensjonen og betydningen av den opprinnelige meldingen, uten å forstyrre den på en måte som mennesker eller enkle filtre kan fange – men som kan utnytte algoritmene i aksjemarkedsprediksjonsystemer.

Forskerne har nærmet seg skapelsen av motstridende retweets som kombinatorisk optimering-problemer – skapelsen av motstridende eksempler som kan luret et offermodell, selv med et svært begrenset vokabular.

Orderstatning ved hjelp av sememer – ‘den minste semantiske enheten i menneskelige språk’. Kilde: https://aclanthology.org/2020.acl-main.540.pdf

Artikkelen observerer:

‘I tilfelle Twitter, kan motstandere poste skadelige tweets som er konstruert for å manipulere nedstrømsmodeller som tar dem som innputt.

‘Vi foreslår å angripe ved å poste semantisk like motstridende tweets som retweets på Twitter, så at de kan identifiseres som relevante informasjon og samles inn som modellinnputt.’

For hver tweet i en spesielt valgt gruppe, løste forskerne ordvalgsproblemet under begrensningene av ord- og tweet-budsjett, som legger strenge begrensninger i forhold til semantisk divergens fra det opprinnelige ordet, og erstatning av et ‘skadelig/benyttig’ ord.

De motstridende tweetene er formulert basert på pertinente tweets som sannsynligvis vil bli tillatt inn i nedstrøms aksjeprediksjonsystemer. Tweeten må også passere uhindret gjennom Twitters innholdsmodereringssystem, og må ikke fremstå som kontrafaktisk for den tilfeldige menneskelige observatøren.

Følgende tidligere arbeid (fra Michigan State University, sammen med CSAIL, MIT og MIT-IBM Watson AI Lab), erstattes valgte ord i måltweeten med synonymer fra en begrenset gruppe av synonympossibiliteter, alle av hvilke må være semantisk svært nære det opprinnelige ordet, mens de opprettholder sin ‘korruperende innflytelse’, basert på antatt atferd av aksjemarkedsprediksjonsystemer.

Algoritmene som ble brukt i de påfølgende eksperimentene var Joint Optimization (JO)-solveren og Alternating Greedy Optimization (AGO)-solveren.

Datasett og eksperimenter

Dette tilnærmingen ble prøvd ut på et aksjeprediksjonsdatasett som bestod av 10 824 eksempler på pertinente tweets og markedsytelseinformasjon over 88 aksjer mellom 2014-2016.

Tre ‘offer’-modeller ble valgt: Stocknet; FinGRU (en avledning av GRU); og FinLSTM (en avledning av LSTM).

Evaluering av metrikker bestod av Angreps Suksess Rate (ASR), og en nedgang i offermodellens F1-poeng etter motstridende angrep. Forskerne simulerte en Long-Only Buy-Hold-Sell-strategi for testene. Profit og Tap (PnL) ble også beregnet i simuleringsene.

Resultater fra eksperimentene. Se også første graf øverst i denne artikkelen.

Under JO og AGO, øker ASR med 10%, og F1-poeng til modellen synker med 0,1 i gjennomsnitt, sammenlignet med et tilfeldig angrep. Forskerne bemerker:

‘Slik [en] ytelsefall er betraktet som betydelig i sammenheng med aksjeprediksjon, gitt at state-of-the-art-prediksjonsnøyaktigheten for interday-avkastning bare er om lag 60%.’

I Profit-og-Tap-delen av (virtuell) angrep på Stocknet, var resultater fra motstridende retweets også bemerkelsesverdige:

‘For hver simulering, har investoren $10K (100%) å investere; resultater viser at den foreslåtte angrepsmetoden med en retweet med bare ett ord erstattet kan forårsake investoren et ekstra $3,2K (75%-43%) tap i porteføljen etter om lag to år.’

Først publisert 4. mai 2022.