逆説的に作成されたリツイートで株を下落させる

米国の大学とIBMの共同研究により、理論的には単語の1つを変更するだけで株価に損失をもたらすことができる、概念実証のための敵対的攻撃が考案された。この攻撃は、Twitterの投稿のリツイートで単語の1つを変更するだけで実現可能である。

実験の1つで、研究者は2つの方法、操作攻撃と連結攻撃でStocknet予測モデルを損なうことができた。 出典：https://arxiv.org/pdf/2205.01094.pdf

自動化された株式予測システムや機械学習モデルに対する敵対的攻撃の攻撃面は、多くのシステムが有機的なソーシャルメディアをパフォーマンスの予測として頼りにしていることであり、この「野外」のデータを操作するプロセスは、潜在的に信頼性の高いものになる可能性がある。

Twitter以外に、StockTwits、Yahoo Newsなどからデータを取得するシステムもある。Twitterと他のソースの違いは、リツイートは編集可能であるが、元のツイートは編集できないことである。一方、Redditでは追加の投稿やコメント、評価のみが可能であり、これらのアクションはMLベースの株式予測システムのデータサニタイズルーチンや慣行によって、当然ながら党派的で自己利益的なものとみなされる。

実験の1つで、Stocknet予測モデルで、研究者は2つの方法、操作攻撃と連結攻撃で株価予測の値を著しく低下させることができた。最も効果的な方法は操作攻撃（編集されたリツイート）であり、最も深刻な低下をもたらした。

これは、研究者によると、「信頼できる」金融Twitterソースからのリツイートの単語の1つを置き換えることで実現された。

単語は重要である。ここでは、「filled」と「exercised」の違い（明らかな悪意や誤解を与える単語ではなく、ほぼ同義語である）が、理論的には投資家に数千ドル相当の株式価値の低下をもたらした。

論文では次のように述べられている。

‘提案された攻撃方法は、連結されたしかし意味的に類似したツイートによって、トレーディングシミュレーションで一貫した成功率を達成し、重大な金銭的損失をもたらすことができる.’

研究者は結論付けた。

‘この研究は、提案された敵対的攻撃方法が、物理的な制約があっても、さまざまな金融予測モデルを一貫して欺くことができることを実証した。単語の1つを置き換えたリツイートを追加することで、攻撃はシミュレートされた投資ポートフォリオに32%の追加損失をもたらすことができる。’

‘金融モデルの脆弱性を研究することで、金融コミュニティがAIモデルのリスクを認識することを目的としている。将来、より堅牢な人間がループに組み込まれたAIアーキテクチャを開発できるようにしたい。’

論文はA Word is Worth A Thousand Dollars: Adversarial Attack on Tweets Fools Stock Predictionと題され、イリノイ大学アーバナ・シャンペーン校、ニューヨーク州立大学バッファロー校、ミシガン州立大学の6人の研究者によって執筆された。3人の研究者はIBMと関連がある。

不幸な単語

この論文では、テキストベースのディープラーニングモデルに対する既知の敵対的攻撃の分野が、人間の要因に大きく依存する株式予測モデルに適用可能かどうかを検討している。

研究者によると、ソーシャルメディアの操作が株価に与える影響はすでに実証されているが、まだこの研究で提案された方法では実証されていない。2013年、シリアのハッカーがAPのTwitterアカウントをハックし、136億ドルの株式市場の価値が約3分で失われた。

この新しい研究で提案された方法は、連結攻撃を実装しており、元のツイートは変更せずに、引用ツイートを変更する。

論文の補足資料から、意図と重要性を変更する単語の置き換えを含むリツイートの例。人間や単純なフィルタでは検知できないが、株式予測システムのアルゴリズムを利用できる。

研究者は、敵対的リツイートの作成を組み合わせ最適化問題として扱った。

セメムを使用した単語の置き換え – 人間の言語の「最小の意味単位」 出典：https://aclanthology.org/2020.acl-main.540.pdf