Andersonův úhel

Snížení hodnoty akcií pomocí adversariálně vytvořených retweetů

Martin Anderson
Přidejte Unite.AI mezi své preferované zdroje na Google
Klíčové bodyÚprava jediného slova v retweetu může způsobit dodatečnou ztrátu portfolia o 32 %.
Zobrazit více
  • Úprava jediného slova v retweetu může způsobit dodatečnou ztrátu portfolia o 32 %.
  • Útok zneužívá upravitelné retweety, zatímco původní tweety zůstávají nezměnitelné.
  • Modely pro predikci akcií spoléhající na data ze sociálních médií jsou zranitelné vůči sémantické manipulaci.

Společná výzkumná spolupráce mezi univerzitami ve Spojených státech a IBM vytvořila koncept adversářského útoku, který teoreticky může způsobit ztráty na akciovém trhu, a to pouze změnou jednoho slova v retweetu příspěvku na Twitteru.

V jednom experimentu byli výzkumníci schopni znefunkčnit model Stocknet dvěma metodami: manipulačním útokem a konkatenačním útokem. Zdroj: https://arxiv.org/pdf/2205.01094.pdf

V jednom experimentu byli výzkumníci schopni znefunkčnit model Stocknet dvěma metodami: manipulačním útokem a konkatenačním útokem. Zdroj: https://arxiv.org/pdf/2205.01094.pdf

Útočný povrch pro adversářský útok na automatizované a strojově učené modely předpovídání akcií je ten, že rostoucí počet z nich se spoléhá na organické sociální média jako prediktory výkonu; a že manipulace s těmito “v divočině” daty je proces, který lze potenciálně spolehlivě formulovat.

Kromě Twitteru systémy tohoto typu přijímají data z Redditu, StockTwits a Yahoo News, mezi ostatními. Rozdíl mezi Twitterem a ostatními zdroji je ten, že retweety jsou editovatelné, i když původní tweety nejsou. Na druhou stranu je možné pouze přidat další (tj. komentáře nebo související) příspěvky na Redditu, nebo komentovat a hodnotit – akce, které jsou správně považovány za stranické a sebepromující v rámci rutinních a praktik sanitace dat v modelech založených na strojovém učení.

V jednom experimentu na Stocknetu, předpovědním modelu byli výzkumníci schopni způsobit významné poklesy předpovídané hodnoty akcií dvěma metodami, z nichž nejúčinnější, manipulační útok (tj. upravené retweety), způsobil nejzávažnější poklesy.

Toho bylo dosaženo, podle výzkumníků, simulací jediné substituce v retweetu z “respektovaného” finančního zdroje Twitteru:

Slova mají význam. Zde rozdíl mezi 'filled' a 'exercised' (ne otevřeně zlomyslný nebo zavádějící slovo, ale téměř kategorizovaný jako synonymum) teoreticky stál investora tisíce v devalvaci akcií.

Slova mají význam. Zde rozdíl mezi ‘filled’ a ‘exercised’ (ne otevřeně zlomyslný nebo zavádějící slovo, ale téměř kategorizovaný jako synonymum) teoreticky stál investora tisíce v devalvaci akcií.

Článek uvádí:

‘Naše výsledky ukazují, že navrhovaná metoda útoku může dosáhnout konzistentních úspěchů a způsobit významné finanční ztráty v simulaci obchodování pouze konkatenačním perturbovaným, ale sémanticky podobným tweetem.’

Výzkumníci uzavírají:

‘Tato práce demonstruje, že naše metoda adversářského útoku konzistentně oklame různé finanční předpovědní modely, i s fyzickými omezeními, že surový tweet nemůže být upraven. Přidáním retweetu s pouze jedním nahrazeným slovem může útok způsobit 32% další ztrátu na našem simulovaném investičním portfoliu.

‘Cílem našeho studia zranitelnosti finančních modelů je zvýšit povědomí finanční komunity o rizicích modelů umělé inteligence, aby v budoucnu mohli vyvinout více robustní architekturu umělé inteligence se zapojením člověka.’

Článek je nazvaný A Word is Worth A Thousand Dollars: Adversarial Attack on Tweets Fools Stock Prediction a pochází od šesti výzkumníků z University of Illinois Urbana-Champaign, State University of New York at Buffalo a Michigan State University, z nichž tři jsou přidruženi k IBM.

Nešťastná slova

Článek zkoumá, zda dobře prozkoumané pole adversářských útoků na textové hluboké učené modely je aplikovatelné na modely předpovídání akcií, jejichž předpovědní schopnosti závisí na některých velmi “lidských” faktorech, které lze pouze hrubě odhadnout z sociálních médií.

Jako výzkumníci poznamenávají, potenciál manipulace sociálních médií pro ovlivnění cen akcií byl dobře prokázán, i když dosud ne touto metodou navrhovanou v práci; v roce 2013 jeden zavrženíhodný syrský tweet na napadeném účtu Associated Press smazal 136 miliard dolarů z hodnoty akciového trhu přibližně za tři minuty.

Metoda navrhovaná v nové práci implementuje konkatenační útok, který ponechává původní tweet nedotčený, přitom ho nesprávně cituje:

Z dodatkového materiálu pro článek, příklady retweetů obsahujících nahrazená synonyma, která mění záměr a význam původní zprávy, aniž by je zkreslily způsobem, který by lidé nebo jednoduché filtry zachytili, ale mohou využít algoritmy v systémech předpovídání akcií.

Z dodatkového materiálu pro článek, příklady retweetů obsahujících nahrazená synonyma, která mění záměr a význam původní zprávy, aniž by je zkreslily způsobem, který by lidé nebo jednoduché filtry zachytili, ale mohou využít algoritmy v systémech předpovídání akcií.

Výzkumníci se přiblížili k vytvoření adversářských retweetů jako kombinatorické optimalizace – vytvoření adversářských příkladů schopných oklamat oběť modelu, i s velmi omezenou slovní zásobou.

Nahrazování slov pomocí semémů – 'minimální sémantická jednotka lidských jazyků'. Zdroj: https://aclanthology.org/2020.acl-main.540.pdf

Nahrazování slov pomocí semémů – ‘minimální sémantická jednotka lidských jazyků’. Zdroj: https://aclanthology.org/2020.acl-main.540.pdf

Článek uvádí:

‘V případě Twitteru mohou útočníci zveřejňovat zlomyslné tweety, které jsou vytvořeny tak, aby manipulovaly s downstream modely, které je berou jako vstup.

‘Navrhujeme útok tím, že zveřejníme sémanticky podobné adversářské tweety jako retweety na Twitteru, aby mohly být identifikovány jako relevantní informace a shromážděny jako modelový vstup.’

Pro každý tweet ve speciálně vybrané sadě vyřešili výzkumníci problém výběru slov v rámci omezení slov a tweetů, která klade přísná omezení ve smyslu sémantické odchylky od původního slova a nahrazení “zavrženíhodného/benigního” slova.

Adversářské tweety jsou formulovány na základě relevantních tweetů, které jsou pravděpodobně povoleny do downstream systémů předpovídání akcií. Tweet musí také projít bez problémů skrz systém moderace obsahu Twitteru a nesmí se běžnému lidskému pozorovateli jevit jako nepravdivý.

Následující předchozí práci (z Michigan State University, společně s CSAIL, MIT a MIT-IBM Watson AI Lab), vybraná slova v cílovém tweetu jsou nahrazena synonymy z omezené sady synonym, všechny z nichž musí být sémanticky velmi blízko k původnímu slovu, zatímco zachovávají jeho “korumpující vliv”, založený na odhadnutém chování systémů předpovídání akcií.

Algoritmy použité v následujících experimentech byly Joint Optimization (JO) solver a Alternating Greedy Optimization (AGO) solver.

Datové sady a experimenty

Tento přístup byl vyzkoušen na datové sadě předpovídání akcií, která zahrnovala 10 824 příkladů relevantních tweetů a informací o výkonu trhu napříč 88 akciemi mezi 2014-2016.

Tři “oběť” modely byly vybrány: Stocknet; FinGRU (odvozený od GRU); a FinLSTM (odvozený od LSTM).

Hodnoticí metriky zahrnovaly úspěšnost útoku (ASR) a pokles skóre F1 modelu-oběti po adversářském útoku. Výzkumníci pro testy simulovali strategii Long-Only Buy-Hold-Sell, tedy nákup, držení a prodej bez krátkých pozic. V simulacích počítali také zisk a ztrátu (PnL).

Výsledky experimentů. Viz také první graf na začátku tohoto článku.

Výsledky experimentů. Viz také první graf na začátku tohoto článku.

Pod JO a AGO se ASR zvyšuje o 10% a F1 skóre modelu klesá o 0,1 v průměru ve srovnání s náhodným útokem. Výzkumníci poznamenávají:

‘Takový pokles výkonu je považován za významný v kontextu předpovídání akcií, protože stávající předpovědní přesnost mezidenní návratnosti je pouze asi 60%.’

V části Profit-and-Loss (virtuálního) útoku na Stocknet byly výsledky adversářských retweetů také pozoruhodné:

‘Pro každou simulaci má investor $10 000 (100%) k investování; výsledky ukazují, že navrhovaná metoda útoku s retweetem s pouze jedním nahrazeným slovem může způsobit investorovi další $3 200 (75%-43%) ztrátu na portfoliu po asi 2 letech.’

 

Poprvé zveřejněno 4. května 2022.

Spisovatel v oblasti strojového učení, odborník na syntézu lidských obrazů. Bývalý vedoucí výzkumného obsahu ve společnosti Metaphysic.ai, až do jejího sloučení do Brahma.ai společnosti DNEG.
Webová stránka: martinanderson.ai
Kontakt: martin@martinanderson.ai