Andersonの視点

敵対的に作成したリツイートで株式価値を下落させる

Martin Anderson
Unite.AI を Google の優先ソースに追加
要点リツイート内の一言を編集することで、ポートフォリオの損失が32%追加される可能性がある。
もっと見る
  • リツイート内の一言を編集することで、ポートフォリオの損失が32%追加される可能性がある。
  • この攻撃は、元のツイートが変更不可能なまま、編集可能なリツイートを悪用する。
  • ソーシャルメディアデータに依存する株価予測モデルは、意味操作に対して脆弱である。

米国の大学とIBMの共同研究により、理論的には単語の1つを変更するだけで株価に損失をもたらすことができる、概念実証のための敵対的攻撃が考案された。この攻撃は、Twitterの投稿のリツイートで単語の1つを変更するだけで実現可能である。

実験の1つで、研究者は2つの方法、操作攻撃と連結攻撃でStocknet予測モデルを損なうことができた。出典:https://arxiv.org/pdf/2205.01094.pdf

実験の1つで、研究者は2つの方法、操作攻撃と連結攻撃でStocknet予測モデルを損なうことができた。 出典:https://arxiv.org/pdf/2205.01094.pdf

自動化された株式予測システムや機械学習モデルに対する敵対的攻撃の攻撃面は、増え続ける数のシステムが有機的なソーシャルメディアをパフォーマンスの予測として頼りにしていることであり、この「野外」のデータを操作するプロセスは、潜在的に信頼性の高いものになる可能性がある。

Twitter以外に、Reddit、StockTwits、Yahoo Newsなどからデータを取得するシステムもある。Twitterと他のソースの違いは、リツイートは編集可能であるが、元のツイートは編集できないことである。一方、Redditでは追加の投稿やコメント、評価のみが可能であり、これらのアクションはMLベースの株式予測システムのデータサニタイズルーチンや慣行によって、当然ながら党派的で自己利益的なものとみなされる。

実験の1つで、Stocknet予測モデルで、研究者は2つの方法、操作攻撃と連結攻撃で株価予測の値を著しく低下させることができた。最も効果的な方法は操作攻撃(編集されたリツイート)であり、最も深刻な低下をもたらした。

これは、研究者によると、「信頼できる」金融Twitterソースからのリツイートの単語の1つを置き換えることで実現された。

単語は重要である。ここでは、「filled」と「exercised」の違い(明らかな悪意や誤解を与える単語ではなく、ほぼ同義語である)が、理論的には投資家に数千ドル相当の株式価値の低下をもたらした。

単語は重要である。ここでは、「filled」と「exercised」の違い(明らかな悪意や誤解を与える単語ではなく、ほぼ同義語である)が、理論的には投資家に数千ドル相当の株式価値の低下をもたらした。

論文では次のように述べられている。

‘提案された攻撃方法は、連結されたしかし意味的に類似したツイートによって、トレーディングシミュレーションで一貫した成功率を達成し、重大な金銭的損失をもたらすことができる.’

研究者は結論付けた。

‘この研究は、提案された敵対的攻撃方法が、元のツイートを変更できないという物理的な制約があっても、さまざまな金融予測モデルを一貫して欺くことができることを実証した。単語の1つを置き換えたリツイートを追加することで、攻撃はシミュレートされた投資ポートフォリオに32%の追加損失をもたらすことができる。’

‘金融モデルの脆弱性を研究することで、金融コミュニティがAIモデルのリスクを認識することを目的としている。将来、より堅牢な人間がループに組み込まれたAIアーキテクチャを開発できるようにしたい。’

論文はA Word is Worth A Thousand Dollars: Adversarial Attack on Tweets Fools Stock Predictionと題され、イリノイ大学アーバナ・シャンペーン校、ニューヨーク州立大学バッファロー校、ミシガン州立大学の6人の研究者によって執筆された。3人の研究者はIBMと関連がある。

不幸な単語

この論文では、テキストベースのディープラーニングモデルに対する既知の敵対的攻撃の分野が、人間の要因に大きく依存する株式予測モデルに適用可能かどうかを検討している。

研究者によると、ソーシャルメディアの操作が株価に与える影響はすでに実証されているが、まだこの研究で提案された方法では実証されていない。2013年には、ハッキングされたAP通信のTwitterアカウントから投稿された、シリアのハッカーが犯行を主張した悪意あるツイートにより、1,360億ドルの株式市場価値が約3分で失われた。

この新しい研究で提案された方法は、連結攻撃を実装しており、元のツイートは変更せずに、引用ツイートを変更する。

論文の補足資料から、意図と重要性を変更する単語の置き換えを含むリツイートの例。人間や単純なフィルタでは検知できないが、株式予測システムのアルゴリズムを利用できる。

論文の補足資料から、意図と重要性を変更する単語の置き換えを含むリツイートの例。人間や単純なフィルタでは検知できないが、株式予測システムのアルゴリズムを利用できる。

研究者は、敵対的リツイートの作成を組合せ最適化問題として扱った。これは、ごく限られた語彙でも対象モデルを欺ける敵対的事例を作成する問題である。

セメムを使用した単語の置き換え - 人間の言語の「最小の意味単位」

意味素を使用した単語の置き換え – 人間の言語の「最小の意味単位」 出典:https://aclanthology.org/2020.acl-main.540.pdf


機械学習のライターで、人間画像合成の専門家です。Metaphysic.ai の研究コンテンツ部門の元責任者で、DNEG の Brahma.ai に統合されるまで勤務していました。
ウェブサイト: martinanderson.ai
連絡先: martin@martinanderson.ai