Snížení hodnoty akcií pomocí adversariálně vytvořených retweetů

Společná výzkumná spolupráce mezi univerzitami ve Spojených státech a IBM vytvořila koncept adversářského útoku, který teoreticky může způsobit ztráty na akciovém trhu, a to pouze změnou jednoho slova v retweetu příspěvku na Twitteru.

V jednom experimentu byli výzkumníci schopni znefunkčníovat model Stocknet dvěma metodami: manipulačním útokem a konkatenačním útokem. Zdroj: https://arxiv.org/pdf/2205.01094.pdf

Útočný povrch pro adversářský útok na automatizované a strojově učené modely předpovídání akcií je ten, že rostoucí počet z nich se spoléhá na organické sociální média jako prediktory výkonu; a že manipulace s těmito “v divočině” daty je proces, který lze potenciálně spolehlivě formulovat.

Kromě Twitteru systémy tohoto typu přijímají data z Redditu, StockTwits a Yahoo News, mezi ostatními. Rozdíl mezi Twitterem a ostatními zdroji je ten, že retweety jsou editovatelné, i když původní tweety nejsou. Na druhou stranu je možné pouze přidat další (tj. komentáře nebo související) příspěvky na Redditu, nebo komentovat a hodnotit – akce, které jsou správně považovány za stranické a sebepromující v rámci rutinních a praktik sanitace dat v modelech založených na strojovém učení.

V jednom experimentu na modelu Stocknet byli výzkumníci schopni způsobit významné poklesy hodnoty akcií dvěma metodami, z nichž nejúčinnější, manipulační útok (tj. upravené retweety), způsobil nejzávažnější poklesy.

Toho bylo dosaženo, podle výzkumníků, simulací jediné substituce v retweetu z “respektovaného” finančního zdroje Twitteru:

Slova mají význam. Zde rozdíl mezi ‘filled’ a ‘exercised’ (ne otevřeně zlomyslný nebo zavádějící slovo, ale téměř kategorizovaný jako synonymum) teoreticky stál investora tisíce v devalvaci akcií.

Článek uvádí:

‘Naše výsledky ukazují, že navrhovaná metoda útoku může dosáhnout konzistentních úspěchů a způsobit významné finanční ztráty v simulaci obchodování pouze konkatenačním perturbovaným, ale sémanticky podobným tweetem.’

Výzkumníci uzavírají:

‘Tato práce demonstruje, že naše metoda adversářského útoku konzistentně oklame různé finanční předpovědní modely, i s fyzickými omezeními, že surový tweet nemůže být upraven. Přidáním retweetu s pouze jedním nahrazeným slovem může útok způsobit 32% další ztrátu na našem simulovaném investičním portfoliu.

‘Cílem našeho studia finanční vulnerability je zvýšit povědomí finanční komunity o rizicích modelů umělé inteligence, aby v budoucnu mohli vyvinout více robustní architekturu lidské smyčky.’

Článek je nazvaný A Word is Worth A Thousand Dollars: Adversarial Attack on Tweets Fools Stock Prediction a pochází od šesti výzkumníků z University of Illinois Urbana-Champaign, State University of New York at Buffalo a Michigan State University, z nichž tři jsou přidruženi k IBM.

Nešťastná slova

Článek zkoumá, zda dobře prozkoumané pole adversářských útoků na textové hluboké učené modely je aplikovatelné na modely předpovídání akcií, jejichž předpovědní schopnosti závisí na některých velmi “lidských” faktorech, které lze pouze hrubě odhadnout z sociálních médií.

Jako výzkumníci poznamenávají, potenciál manipulace sociálních médií pro ovlivnění cen akcií byl dobře prokázán, i když ne yet touto metodou navrhovanou v práci; v roce 2013 jeden zavrženíhodný syrský tweet na uhrazovaném účtu Associated Press smazal 136 miliard dolarů z hodnoty akciového trhu přibližně za tři minuty.

Metoda navrhovaná v nové práci implementuje konkatenační útok, který ponechává původní tweet nedotčený, zatímco ho cituje:

Z dodatkového materiálu pro článek, příklady retweetů obsahujících nahrazená synonyma, která mění záměr a význam původní zprávy, bez skutečného zkreslení, aby mohly využít algoritmy v systémech předpovídání akcií.

Výzkumníci se přiblížili k vytvoření adversářských retweetů jako kombinatorické optimalizace – vytvoření adversářských příkladů schopných oklamat oběť modelu, i s velmi omezenou slovní zásobou.

Nahrazování slov pomocí semémů – ‘minimální sémantická jednotka lidských jazyků’. Zdroj: https://aclanthology.org/2020.acl-main.540.pdf

Článek uvádí:

‘V případě Twitteru mohou útočníci zveřejňovat zlomyslné tweety, které jsou vytvořeny tak, aby manipulovaly s downstream modely, které je berou jako vstup.

‘Navrhujeme útok tím, že zveřejníme sémanticky podobné adversářské tweety jako retweety na Twitteru, aby mohly být identifikovány jako relevantní informace a shromážděny jako modelový vstup.’

Pro každý tweet ve speciálně vybrané sadě vyřešili výzkumníci problém výběru slov v rámci omezení slov a tweetů, která klade přísná omezení ve smyslu sémantické odchylky od původního slova a nahrazení “zavrženíhodného/benigního” slova.

Adversářské tweety jsou formulovány na základě relevantních tweetů, které jsou pravděpodobně povoleny do downstream systémů předpovídání akcií. Tweet musí také projít bez problémů skrz systém moderace obsahu Twitteru a nesmí se jevit jako protichůdný lidskému pozorovateli.

Následující předchozí práci (z Michigan State University, společně s CSAIL, MIT a MIT-IBM Watson AI Lab), vybraná slova v cílovém tweetu jsou nahrazena synonymy z omezené sady synonym, všechny z nichž musí být sémanticky velmi blízko k původnímu slovu, zatímco zachovávají jeho “korumpující vliv”, založený na odhadnutém chování systémů předpovídání akcií.

Algoritmy použité v následujících experimentech byly Joint Optimization (JO) solver a Alternating Greedy Optimization (AGO) solver.

Datové sady a experimenty

Tento přístup byl vyzkoušen na datové sadě předpovídání akcií, která zahrnovala 10 824 příkladů relevantních tweetů a informací o výkonu trhu napříč 88 akciemi mezi 2014-2016.

Tři “oběť” modely byly vybrány: Stocknet; FinGRU (odvozený od GRU); a FinLSTM (odvozený od LSTM).

Metric used for evaluation consisted of Attack Success Rate (ASR), a drop in the victim model’s F1 score after the adversarial attack. The researchers simulated a Long-Only Buy-Hold-Sell strategy for the tests. Profit and Loss (PnL) was also calculated in the simulations.

Výsledky experimentů. Viz také první graf na začátku tohoto článku.

Pod JO a AGO se ASR zvyšuje o 10% a F1 skóre modelu klesá o 0,1 v průměru ve srovnání s náhodným útokem. Výzkumníci poznamenávají:

‘Takový pokles výkonu je považován za významný v kontextu předpovídání akcií, protože stávající předpovědní přesnost mezidenní návratnosti je pouze asi 60%.’

V části Profit-and-Loss (virtuálního) útoku na Stocknet byly výsledky adversářských retweetů také pozoruhodné:

‘Pro každý simulaci má investor $10 000 (100%) k investování; výsledky ukazují, že navrhovaná metoda útoku s retweetem s pouze jedním nahrazeným slovem může způsobit investorovi další $3 200 (75%-43%) ztrátu na portfoliu po asi 2 letech.’

Poprvé zveřejněno 4. května 2022.