Aandelen waarderen met behulp van vijandig gecraftede retweets

Een gezamenlijke onderzoeks samenwerking tussen Amerikaanse universiteiten en IBM heeft een proof-of-concept adversarial aanval ontwikkeld die theoretisch in staat is om verliezen op de aandelenmarkt te veroorzaken, simpelweg door één woord te veranderen in een retweet van een Twitter-bericht.

In één experiment waren de onderzoekers in staat om het Stocknet-voorspellingsmodel te ontwrichten met twee methoden: een manipulatie-aanval en een concatenatie-aanval. Bron: https://arxiv.org/pdf/2205.01094.pdf

Het aanvalsoppervlak voor een adversarial aanval op geautomatiseerde en machine learning-aandelenvoorspellingsystemen is dat een groeiend aantal ervan afhankelijk is van organische sociale media als voorspellers van prestaties; en dat het manipuleren van deze ‘in-the-wild’-gegevens een proces is dat potentieel betrouwbaar kan worden geformuleerd.

Naast Twitter nemen systemen van deze aard gegevens op van Reddit, StockTwits en Yahoo News, onder andere. Het verschil tussen Twitter en de andere bronnen is dat retweets bewerkbaar zijn, zelfs als de oorspronkelijke tweets dat niet zijn. Aan de andere kant is het alleen mogelijk om extra (d.w.z. commentaar of gerelateerde) berichten te plaatsen op Reddit, of om te commentaren en te beoordelen – acties die terecht als partijdig en zelfbedienend worden behandeld door de gegevens-saneringsroutines en -praktijken van ML-gebaseerde aandelenvoorspellingsystemen.

In één experiment, op het Stocknet-voorspellingsmodel, waren de onderzoekers in staat om opvallende dalingen in aandelenwaarde-voorspelling te veroorzaken door twee methoden, waarvan de meest effectieve, manipulatie-aanval (d.w.z. bewerkte retweets), in staat was om de meest ernstige dalingen te veroorzaken.

Dit werd volgens de onderzoekers bereikt door een enkele substitutie te simuleren in een retweet van een ‘gerespecteerd’ financieel Twitter-bron:

Woorden tellen. Hier heeft het verschil tussen ‘filled’ en ‘exercised’ (niet een overtly kwaadaardig of misleidend woord, maar net zo goed gecategoriseerd als een synoniem) theoretisch een belegger duizenden gekost in aandelenwaardevermindering.

Het artikel zegt:

‘Onze resultaten laten zien dat de voorgestelde aanvalsmethode consistent succes kan behalen en aanzienlijke financiële verliezen kan veroorzaken in handelssimulaties door simpelweg een gestoorde maar semantisch vergelijkbare tweet te concatenaten.’

De onderzoekers concluderen:

‘Dit werk toont aan dat onze adversarial aanvalsmethode consistent verschillende financiële voorspellingsmodellen kan misleiden, zelfs met fysieke beperkingen dat de raw tweet niet kan worden gewijzigd. Door een retweet toe te voegen met slechts één woord vervangen, kan de aanval 32% extra verlies veroorzaken aan ons gesimuleerde beleggingsportfolio.

‘Door de kwetsbaarheid van financiële modellen te bestuderen, is ons doel om de financiële gemeenschap bewust te maken van de risico’s van AI-modellen, zodat we in de toekomst meer robuuste human-in-the-loop AI-architectuur kunnen ontwikkelen.’

Het artikel heeft als titel A Word is Worth A Thousand Dollars: Adversarial Attack on Tweets Fools Stock Prediction, en komt van zes onderzoekers, afkomstig van de University of Illinois Urbana-Champaign, de State University of New York at Buffalo, en Michigan State University, met drie van de onderzoekers aangesloten bij IBM.

Ongelukkige Woorden

Het artikel onderzoekt of het goed bestudeerde veld van adversarial aanvallen op tekstgebaseerde deep learning-modellen toepasbaar is op aandelenmarktvoorspellingsmodellen, waarvan de voorspellingskracht afhankelijk is van enkele zeer ‘menselijke’ factoren die alleen ongeveer kunnen worden afgeleid uit sociale media-bronnen.

De onderzoekers merken op dat het potentieel van sociale media-manipulatie om aandelenprijzen te beïnvloeden goed is aangetoond, hoewel nog niet door de methoden die in het artikel worden voorgesteld; in 2013 heeft een kwaadaardige Syrische-geclaimde tweet op het gehackte Twitter-account van de Associated Press 136 miljard USD aan aandelenmarktwaarde weggevaagd in ongeveer drie minuten.

De methode die in het nieuwe artikel wordt voorgesteld, implementeert een concatenatie-aanval, die de oorspronkelijke tweet ongemoeid laat, terwijl deze wordt misgeciteerd:

Uit het supplementaire materiaal voor het artikel, voorbeelden van retweets met vervangen synoniemen die de intentie en betekenis van het oorspronkelijke bericht veranderen, zonder dat dit zo wordt verstoord dat mensen of eenvoudige filters het zouden kunnen opmerken – maar die de algoritmes in aandelenmarktvoorspellingsystemen kunnen exploiteren.

De onderzoekers hebben de creatie van vijandige retweets benaderd als combinatorische optimalisatie-probleem – het creëren van vijandige voorbeelden die in staat zijn om een slachtoffermodel te misleiden, zelfs met een zeer beperkte woordenschat.

Woordvervanging met sememen – de ‘minimum semantische eenheid van menselijke talen’. Bron: https://aclanthology.org/2020.acl-main.540.pdf

Het artikel merkt op:

‘In het geval van Twitter kunnen tegenstanders kwaadaardige tweets plaatsen die zijn ontworpen om downstream-modellen te manipuleren die deze als invoer nemen.

‘We stellen voor om aan te vallen door semantisch vergelijkbare vijandige tweets te plaatsen als retweets op Twitter, zodat ze kunnen worden geïdentificeerd als relevante informatie en verzameld als modelinvoer.’

Voor elke tweet in een speciaal geselecteerd zwembad, losten de onderzoekers het woordselectieprobleem op onder de beperkingen van woord- en tweetbudgetten, die ernstige beperkingen opleggen in termen van semantische afwijking van het oorspronkelijke woord, en de vervanging van een ‘kwaadaardig/onSchadelijk’ woord.

De vijandige tweets worden geformuleerd op basis van pertinente tweets die waarschijnlijk toegelaten worden tot downstream-aandelenvoorspellingsystemen. De tweet moet ook ongehinderd door Twitter’s contentmoderatiesysteem passeren, en moet niet tegenstrijdig lijken met de menselijke waarnemer.

Volgend op eerder werk (van Michigan State University, samen met CSAIL, MIT en het MIT-IBM Watson AI Lab), worden geselecteerde woorden in de doeltweet vervangen door synoniemen uit een beperkte pool van synoniem-mogelijkheden, die allemaal semantisch zeer dichtbij het oorspronkelijke woord moeten zijn, terwijl ze hun ‘corrupte invloed’ behouden, op basis van afgeleid gedrag van aandelenmarktvoorspellingsystemen.

De algoritmes die in de daaropvolgende experimenten werden gebruikt, waren de Joint Optimization (JO) solver en de Alternating Greedy Optimization (AGO) solver.

Datasets en Experimenten

Deze aanpak werd uitgeprobeerd op een aandelenvoorspellingsdataset die bestond uit 10.824 voorbeelden van pertinente tweets en marktuitvoeringsinformatie over 88 aandelen tussen 2014-2016.

Drie ‘slachtoffer’-modellen werden geselecteerd: Stocknet; FinGRU (een afgeleide van GRU); en FinLSTM (een afgeleide van LSTM).

Evaluatiemetrics bestonden uit Aanvalsuccesratio (ASR) en een daling in de F1-score van het slachtoffermodel na de vijandige aanval. De onderzoekers simuleerden een Long-Only Buy-Hold-Sell-strategie voor de tests. Winst en Verlies (PnL) werd ook berekend in de simulaties.

Resultaten van de experimenten. Zie ook de eerste grafiek bovenaan dit artikel.

Onder JO en AGO steeg de ASR met 10%, en daalde de F1-score van het model met 0,1 gemiddeld, in vergelijking met een willekeurige aanval. De onderzoekers merken op:

‘Een dergelijke [prestatie]daling wordt als significant beschouwd in de context van aandelenvoorspelling, aangezien de state-of-the-art-voorspellingsnauwkeurigheid van interday-return ongeveer 60% is.‘

In de Profit-and-Loss-tranche van de (virtuele) aanval op Stocknet waren de resultaten van vijandige retweets ook opvallend:

‘Voor elke simulatie heeft de belegger $10.000 (100%) te investeren; de resultaten laten zien dat de voorgestelde aanvalsmethode met een retweet met slechts één woordvervanging een extra verlies van $3.200 (75%-43%) kan veroorzaken aan het portfolio van de belegger na ongeveer 2 jaar.’

Origineel gepubliceerd op 4 mei 2022.