Andersonin kulma
Osakkeiden arvon alentaminen vihamielisesti muokatuilla retviiteillä

Keskeiset kohdatYhden sanan muokkaaminen uudelleentwiitissä voi aiheuttaa 32 %:n lisäportfoliotappion.
Näytä lisää
- Yhden sanan muokkaaminen uudelleentwiitissä voi aiheuttaa 32 %:n lisäportfoliotappion.
- Hyökkäys käyttää hyväksi muokattavia uudelleentwiittejä, kun alkuperäiset twiitit pysyvät muuttumattomina.
- Osake-ennustemallit luottavat sosiaalisen median dataan, joka on altis semanttiselle manipulaatiolle.
Yhdysvaltalaisten yliopistojen ja IBM:n yhteistutkimuksessa on kehitetty konseptitodiste vastakkaishyökkäyksestä, joka voisi teoriassa aiheuttaa osakemarkkinatappioita muuttamalla vain yhden sanan Twitter-viestin uudelleentwiittauksessa.

Yhdessä kokeessa tutkijat pystyivät heikentämään Stocknet-ennustemallin toimintaa kahdella menetelmällä: manipulaatiohyökkäyksellä ja yhdistämishyökkäyksellä. Lähde: https://arxiv.org/pdf/2205.01094.pdf
Automaattisten ja koneoppimiseen perustuvien osake-ennustejärjestelmien hyökkäyspinta syntyy siitä, että yhä useammat niistä käyttävät sosiaalisessa mediassa luontaisesti syntyvää sisältöä tuottojen ennustamiseen. Tällaisen todellisessa ympäristössä syntyvän datan manipulointiin voidaan mahdollisesti kehittää luotettava menettely.
Twitterin lisäksi tällaiset järjestelmät käyttävät muun muassa Redditin, StockTwitsin ja Yahoo Newsin tietoja. Artikkelin kuvaamassa asetelmassa Twitter eroaa muista lähteistä siinä, että uudelleentwiittauksen sisältöä voi muokata, vaikka alkuperäistä twiittiä ei voi. Redditissä puolestaan voi vain julkaista lisäviestejä, kuten kommentteja tai aiheeseen liittyvää sisältöä, tai kommentoida ja arvioida. Koneoppimiseen perustuvien osake-ennustejärjestelmien datanpuhdistuskäytännöt käsittelevät tällaisia toimia perustellusti puolueellisina ja omaa etua tavoittelevina.
Yhdessä Stocknet-ennustemallilla tehdyssä kokeessa tutkijat pystyivät aiheuttamaan merkittäviä laskuja osakkeiden arvon ennustemallissa kahdella menetelmällä, joista tehokkain, manipulaatiohyökkäys (ts. muokatut retviitit), pystyi aiheuttamaan vakavimmat laskut.
Tämä saavutettiin, kuten tutkijat mainitsivat, simuloimalla yhden korvaamisen “arvostetun” taloudellisen Twitter-lähteen retviitissä:

Sana on tärkeä. Tässä ero ‘filled’ ja ‘exercised’ (joka ei ole ilmiselvästi vaarallinen tai harhaanjohtava sana, mutta melkein luokiteltavissa synonyyminä) on teoriassa maksanut sijoittajalle tuhansia osakkeiden arvon laskussa.
Raportti toteaa:
‘Tuloksemme osoittavat, että ehdotettu hyökkäysmenetelmä voi saavuttaa johdonmukaisen onnistumisprosentin ja aiheuttaa merkittävän taloudellisen menetyksen kaupankäyntisimulaatiossa yksinkertaisesti yhdistämällä häiriintyneen, mutta semanttisesti samanlaisen twiitin.’
Tutkijat toteavat:
‘Tämä työ osoittaa, että meidän vihamielinen hyökkäysmenetelmä voi johdonmukaisesti hämätä erilaisia taloudellisia ennustemalleja, vaikka alkuperäinen twiitti ei voida muuttaa. Lisäämällä retviitin, jossa on vain yksi sana korvattu, hyökkäys voi aiheuttaa 32 %:n lisämenetyksen simuloituun sijoitusportfolioomme.
‘Tutkimalla taloudellisen mallin haavoittuvuutta, tavoitteemme on lisätä taloudellisen yhteisön tietoisuutta AI-mallien riskeistä, jotta voidaan kehittää luotettavampia ihmisten ohjaamia AI-arkkitehtuureja tulevaisuudessa.’
Tutkimus on nimeltään A Word is Worth A Thousand Dollars: Adversarial Attack on Tweets Fools Stock Prediction. Sen kuusi tutkijaa ovat Illinoisin yliopiston Urbana–Champaignin kampukselta, New Yorkin osavaltionyliopistosta Buffalossa ja Michiganin osavaltionyliopistosta. Kolmella heistä on myös yhteys IBM:ään.
Epäonniset sanat
Raportti tutkii, voidaanko tekstipohjaisiin syvän oppimisen malleihin kohdistuvia vihamielisiä hyökkäyksiä soveltaa osake-ennustemalleihin, joiden ennustuskyky perustuu joihinkin inhimillisiin tekijöihin, joita voidaan vain karkeasti arvioida sosiaalisesta mediasta.
Kuten tutkijat toteavat, sosiaalisen median manipuloinnin vaikutus osakekursseihin on jo osoitettu, vaikkakaan ei tässä työssä ehdotetuilla menetelmillä. Vuonna 2013 Associated Pressin hakkeroidulla Twitter-tilillä julkaistu haitallinen twiitti, jonka tekijöiksi ilmoittautuivat syyrialaiset hakkerit, hävitti osakemarkkinoiden arvosta 136 miljardia Yhdysvaltain dollaria noin kolmessa minuutissa.
Tutkijat toteavat, että heidän ehdottamansa menetelmä toteuttaa yhdistämishyökkäyksen, joka jättää alkuperäisen twiitin koskemattomaksi, mutta sitä siteeraa väärin:

Raportin liitteestä, esimerkkejä retviiteistä, joissa on korvattu synonyymejä, jotka muuttavat alkuperäisen viestin tarkoitusta ja merkitystä ilman, että ihmiset tai yksinkertaiset suodattimet huomaavat sitä – mutta jotka voivat hyödyntää osake-ennustemallien algoritmeja.
Tutkijat ovat lähestyneet vihamielisten retviittien luomista kombinatorisena optimointiongelmana – luomalla vihamielisiä esimerkkejä, jotka voivat hämätä uhri-mallia, vaikka sanastoa on rajoitettu.

Sanojen korvaaminen semeemien eli ihmiskielten pienimpien merkitysyksiköiden avulla. Lähde: https://aclanthology.org/2020.acl-main.540.pdf
Raportti toteaa:
‘Twitterissä viholliset voivat lähettää vaarallisia twiittejä, jotka on suunniteltu manipuloimaan myöhemmissä käsittelyvaiheissa käytettäviä malleja, jotka ottavat ne syötteeksi.
‘Ehdotamme hyökkäystä lähettämällä semanttisesti samanlaisia vihamielisiä twiittejä retviiteinä Twitterissä, jotta ne voidaan tunnistaa merkityksellisinä tietoina ja kerätä mallin syötteenä.’
Jokaiselle twiitille erityisesti valitussa joukossa tutkijat ratkaisivat sanan valintaa ongelmassa, jossa on sana- ja twiittibudjetit, jotka asettavat ankarat rajoitukset semanttisen poikkeaman suhteen alkuperäisestä sanasta, ja “vaarallisen/harmittoman” sanan korvaamisesta.
Vihamieliset twiitit muodostetaan merkityksellisistä twiiteistä, jotka ovat todennäköisesti otettavia myöhempien käsittelyvaiheiden osake-ennustejärjestelmiin. Twiitin on myös ohitettava Twitterin sisällön valvontajärjestelmä ja se ei saa näyttää tosiasioiden vastaiselta satunnaisen lukijan silmissä.
Seuraamalla aiempaa tutkimusta (Michiganin osavaltion yliopistosta, yhdessä CSAIL:n, MIT:n ja MIT-IBM Watson AI Lab:n kanssa), valitut sanat kohdetwiitissä korvataan synonyymeillä rajoitetusta synonyymien joukosta, jotka on semanttisesti hyvin lähellä alkuperäistä sanaa, säilyttäen “korruptoivan vaikutuksensa”, joka perustuu osake-ennustemallien käyttäytymiseen.
Algoritmit, joita käytettiin myöhemmissä kokeissa, olivat Joint Optimization (JO) -ratkaisija ja Alternating Greedy Optimization (AGO) -ratkaisija.
Tietojoukko ja kokeet
Tätä lähestymistapaa kokeiltiin osake-ennusteen tietojoukossa, joka koostui 10 824 esimerkistä merkityksellisistä twiiteistä ja markkinan suorituskyvystä 88 osakkeella vuosina 2014–2016.
Kolme “uhri”-mallia valittiin: Stocknet; FinGRU (GRU:n johdannainen); ja FinLSTM (LSTM:n johdannainen).
Arviointimittareina käytettiin Hyökkäyksen onnistumisprosenttia (ASR) ja uhri-mallin F1-arvon laskua hyökkäyksen jälkeen. Tutkijat simuloivat Long-Only Buy-Hold-Sell -strategiaa kokeissa. Voitto ja tappio (PnL) laskettiin myös simulaatioissa.

Kokeiden tulokset. Katso myös ensimmäinen kaavio tämän artikkelin alussa.
JO:n ja AGO:n alaisuudessa ASR:n arvo nousee 10 prosentilla, ja mallin F1-lukuarvo laskee keskimäärin 0,1 verrattuna satunnaiseen hyökkäykseen. Tutkijat toteavat:
‘Tällainen suorituskyvyn lasku on merkittävä osake-ennusteen kontekstissa, koska päivien välisten tuottojen parhaiden ennustemallien tarkkuus on vain noin 60 prosenttia.
Voiton ja tappion osuudessa (virtuaalisessa) hyökkäyksessä Stocknetiä vastaan vihamielisten retviittien tulokset olivat myös merkittäviä:
‘Jokaisessa simulaatiossa sijoittajalla on 10 000 dollaria (100 prosenttia) sijoitettavaksi; tulokset osoittavat, että ehdotetun hyökkäysmenetelmän avulla voidaan aiheuttaa sijoittajalle lisäksi 3 200 dollarin (75-43 prosentin) tappio portfolioonsa noin kahden vuoden kuluttua.’
Julkaistu ensimmäisen kerran 4. toukokuuta 2022.












