Abwertung von Aktien durch widersprüchlich gestaltete Retweets

Im Rahmen einer gemeinsamen Forschungskooperation zwischen US-Universitäten und IBM wurde ein Proof-of-Concept-Angriff entwickelt, der theoretisch in der Lage ist, durch die einfache Änderung eines einzigen Wortes im Retweet eines Twitter-Posts Verluste an der Börse zu verursachen.

In einem Experiment konnten die Forscher das Stocknet-Vorhersagemodell mit zwei Methoden behindern: einem Manipulationsangriff und einem Verkettungsangriff. Quelle: https://arxiv.org/pdf/2205.01094.pdf

Die Angriffsfläche für einen gegnerischen Angriff auf automatisierte und maschinell lernende Bestandsprognosesysteme besteht darin, dass a steigende Zahl von ihnen verlassen sich auf organische soziale Medien zur Leistungsvorhersage; und dass die Manipulation dieser „in-the-wild“-Daten ein Prozess ist, der möglicherweise zuverlässig formuliert werden kann.

Neben Twitter beziehen Systeme dieser Art Daten unter anderem von Reddit, StockTwits und Yahoo News. Der Unterschied zwischen Twitter und den anderen Quellen besteht darin, dass Retweets editierbar sind, auch wenn die ursprünglichen Tweets nicht editierbar sind. Auf Reddit hingegen ist es nur möglich, zusätzliche (z. B. kommentierende oder verwandte) Beiträge zu verfassen oder zu kommentieren und zu bewerten – Aktionen, die von den Datenbereinigungsroutinen und -praktiken ML-basierter Aktienprognosesysteme zu Recht als parteiisch und eigennützig eingestuft werden.

In einem Experiment, am Stocknetz Prognose Modellkonnten die Forscher durch zwei Methoden einen deutlichen Rückgang der Aktienwertprognose herbeiführen, wobei die effektivste davon, ein Manipulationsangriff (d. h. bearbeitete Retweets), den stärksten Rückgang verursachen konnte.

Dies wurde den Forschern zufolge durch die Simulation einer einzigen Ersetzung in einem Retweet einer „angesehenen“ Twitter-Quelle aus dem Finanzbereich erreicht:

Worte sind wichtig. Hier hat der Unterschied zwischen „ausgefüllt“ und „ausgeübt“ (kein offenkundig böswilliges oder irreführendes Wort, sondern eher als Synonym zu bezeichnen) einen Anleger theoretisch Tausende durch Aktienabwertung gekostet.

Das Papier sagt:

„Unsere Ergebnisse zeigen, dass die vorgeschlagene Angriffsmethode durch die einfache Aneinanderreihung eines gestörten, aber semantisch ähnlichen Tweets konsistente Erfolgsraten erzielen und bei der Handelssimulation erhebliche finanzielle Verluste verursachen kann.“

Die Forscher kommen zu dem Schluss:

„Diese Arbeit zeigt, dass unsere gegnerische Angriffsmethode verschiedene Finanzprognosemodelle konsequent täuscht, selbst wenn physische Einschränkungen vorliegen, die dazu führen, dass der Roh-Tweet nicht geändert werden kann.“ Wenn man einen Retweet hinzufügt, bei dem nur ein Wort ersetzt wird, kann der Angriff zu einem zusätzlichen Verlust von 32 % für unser simuliertes Anlageportfolio führen.

„Durch die Untersuchung der Anfälligkeit von Finanzmodellen ist es unser Ziel, das Bewusstsein der Finanzgemeinschaft für die Risiken des KI-Modells zu schärfen, damit wir in Zukunft eine robustere KI-Architektur mit menschlicher Einbindung entwickeln können.“

Die Krepppapier ist betitelt Ein Wort ist tausend Dollar wert: Kontroverser Angriff auf Tweets macht Aktienprognosen zum Narren, und stammt von sechs Forschern, die unterschiedlich von der University of Illinois Urbana-Champaign, der State University of New York at Buffalo und der Michigan State University stammen, wobei drei der Forscher mit IBM verbunden sind.

Unglückliche Worte

In dem Artikel wird untersucht, ob das gut erforschte Feld der feindlichen Angriffe auf textbasierte Deep-Learning-Modelle auf Modelle zur Vorhersage des Aktienmarkts anwendbar ist, deren Prognosefähigkeit von einigen sehr „menschlichen“ Faktoren abhängt, die aus Social-Media-Quellen nur grob abgeleitet werden können.

Wie die Forscher anmerken, wurde das Potenzial der Social-Media-Manipulation zur Beeinflussung von Aktienkursen gut nachgewiesen, allerdings noch nicht durch die in der Arbeit vorgeschlagenen Methoden; im Jahr 2013 a bösartiger, von Syrern behaupteter Tweet Auf dem gehackten Twitter-Konto der Associated Press wurden Aktienmarktwerte in Höhe von 136 Milliarden US-Dollar vernichtet in etwa drei Minuten.

Die in der neuen Arbeit vorgeschlagene Methode implementiert einen Verkettungsangriff, der den ursprünglichen Tweet unberührt lässt und ihn gleichzeitig falsch zitiert:

Aus dem ergänzenden Material für den Artikel Beispiele für Re-Tweets, die ersetzte Synonyme enthalten, die die Absicht und Bedeutung der ursprünglichen Nachricht ändern, ohne sie tatsächlich so zu verzerren, dass Menschen oder einfache Filter sie erkennen könnten – aber die die Algorithmen darin ausnutzen können Börsenprognosesysteme.

Die Forscher haben die Erstellung kontroverser Retweets als angegangen kombinatorische Optimierung Problem – die Erstellung kontroverser Beispiele, die in der Lage sind, ein Opfermodell zu täuschen, selbst mit einem sehr begrenzten Vokabular.

Wortersetzung mit seme – die „minimale semantische Einheit menschlicher Sprachen“. Quelle: https://aclanthology.org/2020.acl-main.540.pdf

Das Papier stellt fest:

„Im Fall von Twitter können Angreifer bösartige Tweets veröffentlichen, die darauf abzielen, nachgelagerte Modelle zu manipulieren, die sie als Eingabe verwenden.“

„Wir schlagen vor, den Angriff so zu starten, dass wir semantisch ähnliche gegnerische Tweets als Retweets auf Twitter posten, sodass sie als relevante Informationen identifiziert und als Modell-Input gesammelt werden können.“

Für jeden Tweet aus einem speziell ausgewählten Pool lösten die Forscher das Problem der Wortauswahl unter den Einschränkungen von Wort- und Tweet-Budgets, die hinsichtlich der semantischen Abweichung vom Originalwort und der Ersetzung durch ein „bösartiges/gutartiges“ Wort erhebliche Einschränkungen mit sich bringen.

Die kontroversen Tweets basieren auf relevanten Tweets, die wahrscheinlich in nachgelagerte Aktienprognosesysteme einfließen. Der Tweet muss außerdem ungehindert das Inhaltsmoderationssystem von Twitter passieren und darf für den flüchtigen menschlichen Beobachter nicht kontrafaktisch erscheinen.

folgende vorherige Arbeit (von der Michigan State University, zusammen mit CSAIL, MIT und dem MIT-IBM Watson AI Lab) werden ausgewählte Wörter im Ziel-Tweet durch Synonyme aus einem begrenzten Pool möglicher Synonyme ersetzt, die alle semantisch sehr nah am Originalwort sein müssen, während sie gleichzeitig ihren „korrumpierenden Einfluss“ beibehalten, basierend auf dem abgeleiteten Verhalten von Börsenprognosesystemen.

Die in den nachfolgenden Experimenten verwendeten Algorithmen waren der Joint Optimization (JO)-Löser und der Alternating Greedy Optimization (AGO)-Löser.

Datensätze und Experimente

Dieser Ansatz wurde anhand eines Aktienprognosedatensatzes ausprobiert, der 10,824 Beispiele relevanter Tweets und Marktleistungsinformationen für 88 Aktien umfasste 2014 - 2016.

Es wurden drei „Opfer“-Modelle ausgewählt: Stocknetz; FinGRU (ein Derivat von CRANE); und FinLSTM (eine Ableitung von LSTM).

Die Bewertungsmetriken bestanden aus der Angriffserfolgsrate (ASR) und einem Rückgang des Opfermodells F1-Punktzahl nach dem gegnerischen Angriff. Die Forscher simulierten a Long-Only Buy-Hold-Sell Strategie für die Tests. In den Simulationen wurden auch Gewinne und Verluste (PnL) berechnet.

Ergebnisse der Experimente. Siehe auch die erste Grafik oben in diesem Artikel.

Unter JO und AGO steigt die ASR um 10 %, und der F1-Score des Modells sinkt im Vergleich zu einem zufälligen Angriff um durchschnittlich 0.1. Die Forscher stellen fest:

„Ein solcher Leistungsabfall wird im Zusammenhang mit Aktienprognosen als erheblich angesehen, da die Vorhersagegenauigkeit der Interday-Rendite nach dem Stand der Technik nur etwa 60 % beträgt.“'

In der Gewinn-und-Verlust-Tranche des (virtuellen) Angriffs auf Stocknet waren auch die Ergebnisse gegnerischer Retweets bemerkenswert:

„Bei jeder Simulation stehen dem Anleger 10 US-Dollar (100 %) zum Investieren zur Verfügung. Die Ergebnisse zeigen, dass die vorgeschlagene Angriffsmethode mit einem Retweet mit nur einem einzigen Wortersatz dem Anleger nach etwa zwei Jahren einen zusätzlichen Verlust von 3.2 US-Dollar (75 %-43 %) in seinem Portfolio bescheren kann.“

Erstveröffentlichung am 4. Mai 2022.