敵対的に作成されたリツイートによる株の価値の低下

米国の大学とIBMの共同研究は、理論的にはTwitter投稿のリツイート内の単語をXNUMX語変更するだけで株式市場の損失を引き起こすことができる概念実証の敵対的攻撃を策定した。

ある実験では、研究者らは操作攻撃と連結攻撃という XNUMX つの方法で Stocknet 予測モデルを妨害することができました。 出典：https://arxiv.org/pdf/2205.01094.pdf

自動化された機械学習株価予測システムに対する敵対的攻撃の攻撃対象領域は、 増え続けます 彼らのうち、パフォーマンスの予測材料としてオーガニック ソーシャル メディアに依存しています。 そして、この「実際の」データを操作するプロセスは、潜在的に確実に定式化できる可能性があります。

Twitter 以外にも、この種のシステムは Reddit、StockTwits、Yahoo News などからデータを取り込みます。 Twitter と他のソースの違いは、元のツイートは編集できなくても、リツイートは編集できることです。 一方で、Reddit 上で追加の投稿 (コメントまたは関連) を行うこと、またはコメントと評価を行うことのみが可能です。これらの行為は、データの衛生管理ルーチンおよび ML ベースの株式の慣行によって、当然のことながら党派的で利己的なものとして扱われます。予測システム。

ある実験では、 ストックネット 予測 研究者らはXNUMXつの方法で株価予測に顕著な下落を引き起こすことができ、その中で最も効果的な操作攻撃（つまり編集されたリツイート）は最も深刻な下落を引き起こすことができた。

研究者らによると、これは「尊敬される」Twitter の金融情報源からのリツイートにおける XNUMX つの置換をシミュレートすることによって行われました。

言葉は重要です。 ここで、「満たされた」と「行使された」（あからさまに悪意のある言葉や誤解を招く言葉ではありませんが、ほぼ同義語に分類されます）の違いは、理論的には投資家に株式の評価額を下げるという数千ドルのコストをもたらします。

論文は次のように述べています。

「私たちの結果は、提案された攻撃方法が、混乱しているが意味的に類似したツイートを単に連結するだけで、一貫した成功率を達成し、取引シミュレーションで重大な金銭的損失を引き起こす可能性があることを示しています。」

研究者らは次のように結論づけています。

「この研究は、生のツイートを変更できないという物理的制約があるにもかかわらず、私たちの敵対的攻撃手法がさまざまな財務予測モデルを一貫して欺いていることを示しています。 単語 32 つだけを置き換えたリツイートを追加すると、この攻撃により、シミュレーションされた投資ポートフォリオに XNUMX% の追加損失が発生する可能性があります。

「金融モデルの脆弱性の研究を通じて、私たちの目標は、AI モデルのリスクに対する金融コミュニティの認識を高め、将来的にはより堅牢な人間参加型 AI アーキテクチャを開発できるようにすることです。」

当学校区の 紙 というタイトルです 一言は千ドルの価値がある: ツイートに対する敵対的攻撃が株価予測を愚かにするイリノイ大学アーバナ・シャンペーン校、ニューヨーク州立大学バッファロー校、ミシガン州立大学出身のXNUMX人の研究者から構成されており、研究者のうちXNUMX人はIBMに所属している。

残念な言葉

この論文では、テキストベースの深層学習モデルに対する敵対的攻撃というよく研究された分野が、株式市場予測モデルに適用できるかどうかを検証しています。株式市場予測モデルの予測能力は、ソーシャル メディア ソースから大まかに推測することしかできない非常に「人間的」な要素に依存しています。

研究者らが指摘しているように、ソーシャルメディア操作が株価に影響を与える可能性は十分に実証されているが、研究で提案されている方法ではまだ実証されていない。 2013年に シリア人が主張する悪意のあるツイート AP通信のTwitterアカウントがハッキングされ、136億ドルの株式市場価値が消失 XNUMX分くらいで.

新しい研究で提案された方法は、元のツイートをそのままにして誤引用する連結攻撃を実装します。

論文の補足資料から、元のメッセージの意図と重要性を変更する置換同義語を含むリツイートの例を示します。人間や単純なフィルターがキャッチできるような方法で実際にメッセージを歪めることはありませんが、アルゴリズムを悪用する可能性があります。株式市場予測システム。

研究者らは、敵対的なリツイートの作成に次のように取り組んできました。 組み合わせ最適化 問題 – たとえ非常に限られた語彙であっても、被害者モデルをだますことができる敵対的な例を作成すること。

を使用した単語の置換 セメム – 「人間の言語の最小意味単位」。 出典: https://aclanthology.org/2020.acl-main.540.pdf

同紙は次のように述べている。

「Twitter の場合、攻撃者は、入力として受け取るダウンストリーム モデルを操作するように細工された悪意のあるツイートを投稿する可能性があります。

「私たちは、意味的に類似した敵対的なツイートをリツイートとして Twitter に投稿することで攻撃し、それらが関連情報として識別され、モデルの入力として収集されるようにすることを提案します。」

研究者らは、特別に選択されたプール内の各ツイートについて、単語とツイートの予算の制約の下で単語選択の問題を解決しました。この制約により、元の単語からの意味の乖離や、「悪意のある/良性」の単語の置き換えという点で厳しい制限が課されます。 。

敵対的なツイートは、下流の株価予測システムに許可される可能性が高い関連ツイートに基づいて作成されます。 また、ツイートは Twitter のコンテンツ管理システムを妨げられることなく通過する必要があり、一般の人間の観察者にとっては反事実であるように見えてはなりません。

フォロー 先の仕事 (ミシガン州立大学、CSAIL、MIT、MIT-IBM Watson AI Lab から) ターゲットのツイート内で選択された単語は、限られた同義語の可能性のプールからの同義語に置き換えられます。そのすべては意味的に元の単語に非常に近いものでなければなりません。株式市場予測システムの推測された動作に基づいて、その「腐敗的な影響力」を維持しながら、その言葉。

その後の実験で使用されたアルゴリズムは、Joint Optimization (JO) ソルバーと Alternating Greedy Optimization (AGO) ソルバーでした。

データセットと実験

このアプローチは、10,824 銘柄にわたる関連ツイートと市場パフォーマンス情報の 88 例で構成される株価予測データセットで試行されました。 2014-2016.

XNUMX つの「被害者」モデルが選択されました。 ストックネット; FinGRU (の派生品) GRU); および FinLSTM (の派生品) LSTM).

評価指標は、攻撃成功率 (ASR) と被害者モデルの低下で構成されていました。 F1スコア 敵対的な攻撃の後。 研究者らは、 ロングのみの買い、ホールド、売り テストの戦略。 シミュレーションでは損益 (PnL) も計算されました。

実験の結果。 この記事の上部にある最初のグラフも参照してください。

JO および AGO では、ランダム攻撃と比較して、ASR が 10% 増加し、モデルの F1 スコアが平均 0.1 低下します。 研究者らは次のように指摘している。

「最先端の日次収益予測精度がわずか約 60% であることを考慮すると、このような業績の低下は株価予測の観点からは重大であると考えられます。」'

Stocknet に対する (仮想) 攻撃の損益部分では、敵対的なリツイートの結果も注目に値します。

「各シミュレーションに対して、投資家は 10 ドル (100%) を投資できます。 結果は、単一の単語のみを置換したリツイートによる提案された攻撃方法は、約 3.2 年後に投資家のポートフォリオにさらに 75 万ドル (43% ～ 2%) の損失を引き起こす可能性があることを示しています。」

初版は4年2022月XNUMX日。