Svalutazione delle azioni con retweet creati in modo avversario

Una collaborazione di ricerca congiunta tra università statunitensi e IBM ha formulato un attacco avversario di prova che è teoricamente in grado di causare perdite nel mercato azionario, semplicemente cambiando una parola in un retweet di un post di Twitter.

In un esperimento, i ricercatori sono stati in grado di ostacolare il modello di previsione Stocknet con due metodi: un attacco di manipolazione e un attacco di concatenazione. Fonte: https://arxiv.org/pdf/2205.01094.pdf

L’attacco superficiale per un attacco avversario ai sistemi di previsione automatizzati e di apprendimento automatico delle azioni è che un numero crescente di essi si basa sui social media organici come predittori di prestazioni; e che la manipolazione di questi dati “in natura” è un processo che può, potenzialmente, essere formulato in modo affidabile.

Oltre a Twitter, sistemi di questo tipo inglobano dati da Reddit, StockTwits e Yahoo News, tra gli altri. La differenza tra Twitter e le altre fonti è che i retweet sono modificabili, anche se i tweet originali non lo sono. D’altra parte, è possibile solo pubblicare post aggiuntivi (ad esempio commenti o post correlati) su Reddit, o commentare e valutare – azioni che vengono trattate correttamente come partigiane e auto-serventi dalle routine e dalle pratiche di sanificazione dei dati dei sistemi di previsione delle azioni basati sull’apprendimento automatico.

In un esperimento, sul modello di previsione Stocknet, i ricercatori sono stati in grado di causare notevoli cali nel valore di previsione delle azioni con due metodi, il più efficace dei quali, l’attacco di manipolazione (ad esempio retweet modificati), è stato in grado di causare i cali più gravi.

Questo è stato effettuato, secondo i ricercatori, simulando una sostituzione singola in un retweet da una fonte finanziaria “rispettata” di Twitter:

Le parole contano. Qui, la differenza tra ‘filled’ e ‘exercised’ (non una parola maliziosa o fuorviante, ma quasi categorizzata come un sinonimo) ha teoricamente costato a un investitore migliaia di dollari in svalutazione delle azioni.

Il documento afferma:

‘I nostri risultati mostrano che il metodo di attacco proposto può raggiungere tassi di successo costanti e causare significative perdite monetarie nella simulazione di trading semplicemente concatenando un tweet perturbato ma semanticamente simile.’

I ricercatori concludono:

‘Questo lavoro dimostra che il nostro metodo di attacco avversario inganna costantemente vari modelli di previsione finanziaria anche con vincoli fisici che il tweet grezzo non può essere modificato. Aggiungendo un retweet con una sola parola sostituita, l’attacco può causare una perdita aggiuntiva del 32% al nostro portafoglio di investimenti simulato.

‘Attraverso lo studio della vulnerabilità del modello finanziario, il nostro obiettivo è quello di aumentare la consapevolezza della comunità finanziaria dei rischi del modello di apprendimento automatico, in modo che in futuro possiamo sviluppare un’architettura di apprendimento automatico più robusta con l’intervento umano.’

Il documento è intitolato Una parola vale mille dollari: attacco avversario ai tweet inganna la previsione delle azioni, e proviene da sei ricercatori, provenienti dalle università dell’Illinois a Urbana-Champaign, della State University of New York a Buffalo e della Michigan State University, con tre dei ricercatori affiliati a IBM.

Parole sfortunate

Il documento esamina se il campo ben studiato degli attacchi avversari ai modelli di apprendimento automatico basati sul testo sia applicabile ai modelli di previsione del mercato azionario, la cui capacità di previsione dipende da fattori molto “umani” che possono essere solo approssimativamente dedotti dai social media.

Come notano i ricercatori, il potenziale della manipolazione dei social media per influenzare i prezzi delle azioni è stato ampiamente dimostrato, anche se non ancora con i metodi proposti nel lavoro; nel 2013 un tweet malizioso sulla pagina Twitter hackerata dell’Associated Press ha cancellato 136 miliardi di dollari di valore di mercato in circa tre minuti.

Il metodo proposto nel nuovo lavoro implementa un attacco di concatenazione, che lascia intatto il tweet originale, mentre lo cita in modo errato:

Dai materiali supplementari del documento, esempi di retweet contenenti sinonimi sostituiti che cambiano l’intento e il significato del messaggio originale, senza distorcerlo in modo tale che gli esseri umani o i filtri semplici possano coglierlo – ma che possono sfruttare gli algoritmi dei sistemi di previsione del mercato azionario.

I ricercatori hanno affrontato la creazione di retweet avversari come un problema di ottimizzazione combinatoria – la creazione di esempi avversari in grado di ingannare un modello vittima, anche con un vocabolario molto limitato.

Sostituzione di parole utilizzando sememi – l’unità semantica minima delle lingue umane. Fonte: https://aclanthology.org/2020.acl-main.540.pdf

Il documento osserva:

‘Nel caso di Twitter, gli avversari possono pubblicare tweet maliziosi che sono stati creati per manipolare i modelli a valle che li prendono come input.

‘Proponiamo di attaccare pubblicando tweet avversari semanticamente simili come retweet su Twitter, in modo che possano essere identificati come informazioni rilevanti e raccolti come input del modello.’

Per ogni tweet in un pool selezionato appositamente, i ricercatori hanno risolto il problema di selezione delle parole sotto i vincoli di budget di parole e tweet, che pongono gravi restrizioni in termini di divergenza semantica dalla parola originale e della sostituzione di una parola “maliziosa/benigna”.

I tweet avversari sono formulati sulla base di tweet pertinenti che sono probabilmente ammessi nei sistemi di previsione del mercato azionario a valle. Il tweet deve anche superare indisturbato il sistema di moderazione dei contenuti di Twitter e non deve apparire come contraddittorio per l’osservatore umano casuale.

Seguendo lavori precedenti (della Michigan State University, insieme a CSAIL, MIT e al MIT-IBM Watson AI Lab), le parole selezionate nel tweet di destinazione vengono sostituite con sinonimi da un pool limitato di possibilità di sinonimi, tutti i quali devono essere semanticamente molto vicini alla parola originale, mantenendo la loro “influenza corrotta”, sulla base del comportamento inferito dei sistemi di previsione del mercato azionario.

Gli algoritmi utilizzati negli esperimenti successivi sono stati il solver di ottimizzazione congiunta (JO) e il solver di ottimizzazione alternata (AGO).

Set di dati e esperimenti

Questo approccio è stato provato su un set di dati di previsione delle azioni che comprende 10.824 esempi di tweet pertinenti e informazioni sulle prestazioni del mercato tra 2014-2016.

Tre modelli “vittime” sono stati scelti: Stocknet; FinGRU (un derivato di GRU); e FinLSTM (un derivato di LSTM).

Le metriche di valutazione consistevano nel tasso di successo dell’attacco (ASR) e in un calo del punteggio F1 del modello vittima dopo l’attacco avversario. I ricercatori hanno simulato una strategia di acquisto-tenuta-vendita a lungo termine per i test. Il profitto e la perdita (PnL) sono stati calcolati anche nelle simulazioni.

Risultati degli esperimenti. Vedi anche il primo grafico in alto in questo articolo.

Sotto JO e AGO, l’ASR aumenta del 10% e il punteggio F1 del modello diminuisce di 0,1 in media, rispetto a un attacco casuale. I ricercatori notano:

‘Una tale diminuzione delle prestazioni è considerata significativa nel contesto della previsione del mercato azionario, dato che la precisione di previsione dello stato dell’arte dell’andamento giornaliero è solo dell’60%.’

Nella sezione Profitto e Perdita (virtualmente) dell’attacco al modello Stocknet, i risultati dei retweet avversari sono stati altrettanto degni di nota:

‘Per ogni simulazione, l’investitore ha 10.000 dollari (100%) da investire; i risultati mostrano che il metodo di attacco proposto con un retweet con una sola parola sostituita può causare una perdita aggiuntiva di 3.200 dollari (75%-43%) al portafoglio dell’investitore dopo circa due anni.’

Pubblicato per la prima volta il 4 maggio 2022.