敵対的な例による自然言語処理システムの攻撃

英国とカナダの研究者らは、自然言語処理 (NLP) システムに対する一連のブラック ボックス型敵対攻撃を考案しました。これは、Google、Facebook、IBM、Microsoft が広く導入しているシステムを含む、広く普及している言語処理フレームワークに対して効果的です。

この攻撃は、機械学習翻訳システムに意味のないものを強制したり、実際に翻訳の性質を変更させたりすることによって、システムを機能不全にするために使用される可能性があります。 NLP モデルのトレーニングのボトルネックに。有害なコンテンツを誤って分類すること。インデックス作成に欠陥を生じさせ、検索エンジンの結果を汚染する。検索エンジンが、人が完全に読み取れる悪意のあるコンテンツまたは否定的なコンテンツを識別できないようにすること。さらには、NLP フレームワークに対してサービス拒否 (DoS) 攻撃を引き起こすこともあります。

著者らは、論文で提案された脆弱性を、研究対象となっている製品の提供者である匿名の複数の関係者に開示しているものの、NLP業界は敵対的攻撃に対する防御が遅れていると考えている。論文には次のように記されている。

これらの攻撃は、不可視文字やホモグリフといった言語コーディングの特徴を悪用します。過去にはスパムやフィッシング詐欺で散発的に見られたものの、現在大規模に導入されている多くのNLPシステムの設計者は、これらの特徴を完全に無視していたようです。

いくつかの攻撃は、可能な限り「ブラックボックス」な環境で実行されました。つまり、ローカルにインストールされたNLPフレームワークのFOSS版ではなく、MLaaSシステムへのAPI呼び出しを介して実行されたのです。これらのシステムの総合的な有効性について、著者らは以下のように述べています。

すべての実験は、無制限のモデル評価が許可されるブラックボックス設定で実行されましたが、評価されたモデルの重みや状態へのアクセスは許可されません。 これは、商用の Machine Learning-as-a-Service (MLaaS) 製品に対する攻撃を含め、ほぼすべての設定で攻撃の可能性がある最も強力な脅威モデルの XNUMX つを表しています。 調査されたすべてのモデルは、知覚できない摂動攻撃に対して脆弱でした。

「これらの攻撃の適用可能性は、理論上は適切な防御策が講じられていないあらゆるテキストベースの NLP モデルに一般化されるはずだと私たちは考えています。」

当学校区の 紙 というタイトルです 悪い文字: 知覚できない NLP 攻撃、ケンブリッジ大学とエディンバラ大学の XNUMX 学部の XNUMX 人の研究者と、トロント大学の XNUMX 人の研究者によるものです。

論文のタイトルは模範的である。研究者が採用した 4 つの主要な攻撃方法の 1 つの基礎となる「知覚できない」Unicode 文字が満載されている。

論文のタイトルにも謎が隠されている。

メソッド

この論文では、次の XNUMX つの主な効果的な攻撃方法を提案しています。 見えない文字; 同形文字、および 並べ替えこれらは、ブラックボックスシナリオにおいてNLPフレームワークに対して広範囲に及ぶことが研究者によって判明した「普遍的な」手法である。 削除 この文字は、オペレーティング システムのクリップボードを使用する特殊な NLP パイプラインにのみ適していることが研究者によって判明しました。

1: 見えない文字

この攻撃では、Unicode システムのグリフにマップされないフォント内のエンコードされた文字が使用されます。 Unicode システムは電子テキストを標準化するために設計されており、現在では複数の言語および記号グループにわたる 143,859 文字をカバーしています。 これらのマッピングの多くには、フォントに表示される文字が含まれません (当然のことながら、Unicode で考えられるすべてのエントリの文字を含めることはできません)。

論文からは、目に見えない文字を使用した攻撃の仮想的な例が示されています。これは、入力単語を、自然言語処理システムにとって何の意味も持たないセグメントに分割するか、慎重に作成された場合は正確な翻訳を妨げる可能性があります。 カジュアルな読者にとっては、どちらの場合も原文は正しいものです。 出典：https://arxiv.org/pdf/2106.09898.pdf

通常、これらの非文字のいずれかを使用してゼロ幅のスペースを作成することはできません。ほとんどのシステムでは、認識されない文字を表すために「プレースホルダー」記号 (四角形や斜めのボックス内の疑問符など) が表示されるためです。

しかし、論文が述べているように、現在のコンピューティングシーンを支配しているフォントはほんの一握りであり、当然のことながら、それらのフォントは Unicode 標準に準拠する傾向があります。

そのため、研究者たちは実験にGNUのUnifontグリフを選択しました。これは、Unicodeの「堅牢なカバレッジ」という理由だけでなく、NLPシステムに入力される可能性のある他の多くの「標準」フォントと見た目が似ていることも理由です。Unifontから生成された不可視文字はレンダリングされませんが、テストされたNLPシステムでは可視文字としてカウントされます。

アプリケーション
論文自体の「作成された」タイトルに戻ると、選択したテキストから Google 検索を実行しても期待どおりの結果が得られないことがわかります。

これはクライアント側の影響ですが、サーバー側への影響はもう少し深刻です。 同紙は次のように述べている。

「たとえ摂動された文書が検索エンジンのクローラーによってクロールされたとしても、その文書のインデックス作成に使用される用語は摂動の影響を受けるため、摂動されていない用語での検索ではその文書が表示される可能性は低くなります。 したがって、文書を検索エンジンから「一目瞭然」に隠すことが可能です。

「応用例として、不正な企業が財務報告書内の否定的な情報を隠蔽し、株式アナリストが使用する専門検索エンジンがその情報を見つけられないようにすることができます。」

「不可視文字」攻撃がそれほど効果的でなかった唯一のシナリオは、有害コンテンツ、固有表現抽出（NER）、そして感情分析モデルに対するものでした。著者らは、これはモデルが不可視文字を含むデータで学習されたか、モデルのトークナイザー（生の言語入力をモジュール化されたコンポーネントに分解する）が既に不可視文字を無視するように設定されていたためだと推測しています。

2: ホモグリフ

ホモグリフとは、別の文字に似た文字です。意味上の弱点を利用して 2000 年に悪用されました。 詐欺レプリカ PayPal 支払い処理ドメインの。

この論文の仮説的な例では、ホモグリフ攻撃により、一般的なラテン文字が視覚的に区別できないホモグリフ (赤で囲まれた部分) に置き換えられ、翻訳の意味が変化します。

著者のコメント*:

「私たちは、機械学習モデルが次のような処理を行うことを発見しました。 ニューラル機械翻訳システムなどのユーザーが提供したテキストは、このスタイルの攻撃に対して特に脆弱です。 たとえば、市場をリードするサービスを考えてみましょう。 Google翻訳。 書き込み時に「」という文字列を入力すると、ペイパ英語で「l」 ロシアのモデルでは正しく出力されます。ペイパルl」ですが、置き換えます 入力内のラテン文字 a とキリル文字 а 「папа」（英語では「father」）を誤って出力します。'

研究者らは、多くの NLP パイプラインは、その言語固有の辞書外にある文字を、 （「不明」）トークンの場合、この安全対策が機能する前に、汚染されたテキストをパイプラインに呼び出すソフトウェアプロセスが評価のために未知の単語を伝播する可能性がある。著者らは、この 「驚くほど大きな攻撃対象領域が開かれる」.

3: 並べ替え

Unicodeでは左から右に記述する言語がサポートされており、順序はUnicodeの双方向性（ビディ) アルゴリズム。 したがって、単一の文字列内に右から左への文字と左から右への文字が混在することは混乱を招くため、Unicode では特殊な制御文字による BIDI のオーバーライドを許可することでこれを考慮しています。 これらにより、固定されたエンコード順序でほぼ任意のレンダリングが可能になります。

論文の別の理論的な例では、翻訳メカニズムが間違った右から左/左から右のエンコーディングに従っているため、翻訳されたテキストのすべての文字が間違った順序で配置されます。そうするよう命令する敵対的なソーステキスト（丸で囲んだ部分）。

著者らは、論文執筆時点では、この手法は Chromium ウェブブラウザ、Google Chrome ブラウザの上流ソース、Microsoft Edge ブラウザ、その他多数のフォークにおける Unicode 実装に対して有効であったと述べています。

また： 削除

その後の結果グラフが明確になるように、ここに含めます。 削除 攻撃には、バックスペースまたはその他のテキストに影響を与えるコントロール/コマンドを表す文字が含まれます。これらは、テキスト マクロに似たスタイルで言語読み取りシステムによって効果的に実装されます。

著者らは次のように観察しています。

'Unicode の少数の制御文字により、 隣接するテキストが削除されます。 最も単純な例は、バックスペース (BS) 文字と削除 (DEL) 文字です。 キャリッジ リターン (CR) を使用すると、テキスト レンダリング アルゴリズムが行の先頭に戻り、その内容が上書きされます。

'ために たとえば、「こんにちは」を表すエンコードされたテキスト CRさようなら World」は「Goodbye」として表示されます。 世界"。'

前述したように、この攻撃が機能するには事実上、ありえないレベルのアクセスが必要であり、システム的にかどうかにかかわらず、クリップボード経由でコピー アンド ペーストされたテキスト、つまり珍しい NLP インジェスト パイプラインでのみ完全に効果を発揮します。

とにかく研究者たちはそれをテストしましたが、その安定した仲間と同等のパフォーマンスを示しました。 ただし、最初の XNUMX つの方法を使用した攻撃は、ドキュメントまたは Web ページをアップロードするだけで実装できます (検索エンジンや Web スクレイピング NLP パイプラインに対する攻撃の場合)。

削除攻撃では、細工された文字がその前にあるものを効果的に消去するか、または単一行のテキストを XNUMX 番目の段落に強制的に挿入しますが、どちらの場合も、一般の読者にはそれが明らかではありません。

現在の NLP システムに対する有効性

研究者らは、Facebook、IBM、Microsoft、Google、HuggingFace の XNUMX つの人気のあるクローズドソース モデルと XNUMX つのオープンソース モデルにわたって、さまざまな非標的型攻撃および標的型攻撃を実行しました。

彼らはまたテストしました 「スポンジ」攻撃 モデルに対して。スポンジ攻撃は、NLPシステムに対する事実上のDoS攻撃であり、入力テキストが「計算不能」となり、トレーニングの速度が著しく低下します。これは通常、データの前処理によって不可能になるはずのプロセスです。

評価された XNUMX つの NLP タスクは、機械翻訳、有害なコンテンツの検出、テキスト含意分類、固有表現認識、センチメント分析でした。

テストは、それぞれが Ubuntu 上で Intel Xeon Silver 100 CPU を実行する不特定多数の Tesla P4110 GPU で実施されました。 API 呼び出しを行う場合に利用規約に違反しないように、実験は摂動バジェット XNUMX (ソース テキストに影響なし) ～ XNUMX (最大の混乱) で一律に繰り返されました。 研究者らは、より多くの反復が許可されれば、得られた結果を超える可能性があると主張しています。

Facebookの フェアセック EN-FRモデル。

IBMに対する攻撃の結果 有毒成分分類器 Googleの パースペクティブ API.

Facebook の Fairseq に対する 2 つの攻撃: 「非標的型」は混乱を狙うのに対し、「標的型」は翻訳された言語の意味を変えることを目的としている。

研究者らは、同様に「人間が読める」妨害テキストを生成できなかった従来のフレームワークに対して自らのシステムをさらにテストし、ステルス性の大きな利点を維持しながら、システムがこれらとほぼ同等、あるいは大幅に優れていることを発見した。

すべての手法、攻撃ベクトル、ターゲットの平均有効性は、実行される反復がほとんどなく、約 80% で推移しています。

研究者らは結果について次のように述べています。

「おそらく、私たちの知覚できない摂動攻撃の最も憂慮すべき側面は、その適用範囲が広いことです。私たちがテストしたテキストベースの NLP システムはすべて影響を受けます。」 実際、ユーザーが指定したテキストを入力として取り込む機械学習モデルは、理論的にはこの攻撃に対して脆弱です。

「敵対的影響はアプリケーションやモデルによって異なる場合がありますが、すべてのテキストベースのモデルはエンコードされたテキストに基づいており、コーディングが適切に制限されない限り、すべてのテキストは敵対的エンコードの対象となります。」

ユニバーサル光学式文字認識?

これらの攻撃は、事実上Unicodeの「脆弱性」に依存しており、入力テキストをすべてラスタライズし、光学式文字認識（OCR）をサニタイズ処理として用いるNL​​Pパイプラインであれば、これらの攻撃を未然に防ぐことができます。その場合、これらの混乱した攻撃を読む人々に見える、悪意のない意味がNLPシステムに渡されることになります。

しかし、研究者らがこの理論をテストするために OCR パイプラインを実装したところ、BLEU (バイリンガル評価アンダースタディー) スコアはベースライン精度を 6.2% 低下させ、これを改善するには OCR テクノロジーの改善がおそらく必要であることを示唆しています。

さらに、彼らは、BIDI 制御文字をデフォルトで入力から削除し、珍しい同形異義語をマッピングしてインデックス付けし（彼らはこれを「困難な作業」と表現しています）、トークナイザーやその他の取り込みメカニズムで目に見えない文字に対抗できるようにすべきだと提案しています。

最後に、研究グループは、NLP 分野に対して、現在コンピューター ビジョン研究で大きな関心が寄せられている分野である敵対的攻撃の可能性に対して、より警戒するよう求めています。

「テキストベースの NLP システムを構築および導入するすべての企業は、悪意のある行為者に対して自社のアプリケーションを堅牢なものにしたいのであれば、このような防御策を実装することをお勧めします。」

* インライン引用をハイパーリンクに変換しました

18 年 08 月 14 日 2021:XNUMX – IBM に関する重複した言及を削除し、自動内部リンクを引用から移動 – MA