サイバーセキュリティ
光学的アドバーサリアル攻撃は道路標識の意味を変更できる
米国の研究者は、機械学習システムが何を見ているかを正しく解釈する能力に対するアドバーサリアル攻撃を開発しました。実世界の物体にパターン化された光を照射することで、ミッションクリティカルなアイテムである道路標識を含むものに対してです。一つの実験では、’STOP’ の道路標識の意味を ’30mph’ の速度制限標識に変換することに成功しました。
標識に照射された工夫された光によって作られた歪みは、機械学習システムでそれがどのように解釈されるかを歪める。 ソース: https://arxiv.org/pdf/2108.06247.pdf
この 研究 は、インディアナ州のパーデュー大学から出ており、《光学的アドバーサリアル攻撃》と題されています。
OPtical ADversarial attack (OPAD) は、構造化された照明を使用して標的物体の外観を変更するもので、コモディティプロジェクター、カメラ、コンピューターだけが必要です。研究者は、この技術を使用してホワイトボックス攻撃とブラックボックス攻撃の両方を成功させました。
OPAD のセットアップと、人間にはほとんど認識されない歪み.
OPAD のセットアップは、ViewSonic 3600 ルーメン SVGA プロジェクター、Canon T6i カメラ、ラップトップコンピューターで構成されています。
ブラックボックスとターゲット攻撃
ホワイトボックス攻撃は、攻撃者がトレーニングモデル手順または入力データの管理に直接アクセスできる可能性のあるまれなシナリオです。ブラックボックス攻撃は、機械学習がどのように構成されているか、または至少どのように動作するかを推測し、「影」のモデルを作成し、元のモデルで動作するように設計されたアドバーサリアル攻撃を開発することで通常構成されます。
ここでは、クラスフィアーを欺くために必要な視覚的な歪みの量が示されています。
後者の場合、特別なアクセスは必要ありませんが、現在の学術研究および商業研究で広く使用されているオープンソースコンピュータビジョンライブラリおよびデータベースの普及により、これらの攻撃は大幅に支援されます。
新しい論文に記載されている OPAD 攻撃はすべて「ターゲット攻撃」であり、特定の物体がどのように解釈されるかを変更することを目指しています。システムは抽象的な攻撃も実行可能であることを実証していますが、研究者は、現実世界の攻撃者はより具体的な破壊的な目的を持っているでしょう。
OPAD 攻撃は、コンピュータビジョンシステムで使用される画像にノイズを注入するという、頻繁に研究されている原理の実世界版に過ぎません。このアプローチの価値は、歪みをターゲット物体に「投影」するだけでミス分類をトリガーできることです。トロイの木馬画像をトレーニングプロセスに組み込むことははるかに難しいです。
‘STOP’ 標識に ‘speed 30’ 画像のハッシュ化された意味を OPAD で上書きした場合、ベースライン画像は 140/255 の強度で一様に照らされました。次に、プロジェクター補償照明が投影された 勾配降下攻撃 として適用されました。
OPAD のミス分類攻撃の例。
研究者は、このプロジェクトの主な課題は、プロジェクター機構を調整してセットアップすることであり、角度、光学、他の要因がこのエクスプロイトに課題を与えるためであると述べています。
さらに、このアプローチは夜間のみで機能する可能性があります。明らかな照明が「ハック」を明らかにするかどうかも要因の 1 つです。標識がすでに照らされている場合、プロジェクターはその照明を補償する必要があり、反射された歪みもヘッドライトに抵抗できる必要があります。都市環境で最も効果的である可能性があります。ここでは、環境照明はより安定している可能性があります。
この研究は、コロンビア大学の 2004 年の研究を ML 向けに構築しており、物体の外観を変更するために他の画像を投影します。光学ベースの実験であり、OPAD の悪性の潜在能力はありません。
テストでは、OPAD は 64 回の攻撃のうち 31 回でクラスフィアーを欺くことができました。成功率は 48% でした。研究者は、成功率は攻撃対象の物体の種類によって大きく異なることを指摘しています。もっさりしたまたは曲がった表面 (それぞれテディベアやマグなど) は、攻撃を実行するのに十分な直接の反射率を提供できません。一方、意図的に反射率の高い平面 (道路標識など) は、OPAD の歪みにとって理想的な環境です。
オープンソース攻撃面
すべての攻撃は、特定のデータベースに対して実行されました。ドイツの交通標識認識データベース (GTSRB、新しい論文では GTSRB-CNN と呼ばれています) は、2018 年に類似の攻撃シナリオでモデルをトレーニングするために使用されました。ImageNet の VGG16 データセットと ImageNet の Resnet-50 セットも使用されました。
これらの攻撃は「単に理論的」なのであって、オープンソースデータセットに対して行われているのであって、自動運転車のプロプライエタリなクローズドシステムに対して行われているのではないのでしょうか。そうである場合、主要な研究機関がオープンソースのエコシステム、アルゴリズム、データセットに頼っておらず、代わりにクローズドソースのデータセットと不透明な認識アルゴリズムを秘密裏に開発している場合に限ります。
しかし、一般的にはそうではありません。ランドマークデータセットは、すべての進歩 (および評価/評判) を測定するためのベンチマークとなり、オープンソースの画像認識システム (YOLO シリーズなど) は、世界中の共同作業を通じて、同等の原理で動作する内部で開発されたクローズドシステムを先んじています。
FOSS露出
コンピュータビジョン フレームワークのデータが最終的に完全にクローズドデータに置き換えられる場合でも、モデルを「空にした」重みは、決して完全に捨てられない FOSS データで最初の段階で調整されることがよくあります。つまり、結果として得られるシステムは、FOSS 方法でターゲットにされる可能性があります。
さらに、CV システムのこの種のアーキテクチャにオープンソースアプローチを使用することで、プライベート企業は、他のグローバル研究プロジェクトからの分岐イノベーションを無料で利用できます。追加の金融的インセンティブが、システムをアクセス可能なままにするために提供され、商業化の段階でしかクローズシステムにできないため、FOSS メトリクスが深く埋め込まれることになります。
