光学的悪意のある攻撃は道路標識の意味を変更できる

米国の研究者は、機械学習システムが見るものを正しく解釈する能力に対する悪意のある攻撃を開発しました。実世界の物体にパターン化された光を照射することで、道路標識などのミッションクリティカルアイテムを含むものを含めます。ある実験では、このアプローチは、道路脇の「ストップ」の標識の意味を「30mph」の速度制限標識に変換することに成功しました。

物体に工夫された光を照射して作られた歪みは、機械学習システムで解釈される方法を歪める。 出典: https://arxiv.org/pdf/2108.06247.pdf

この研究は、光学的悪意のある攻撃と呼ばれています。インディアナ州のパーデュー大学から来ています。

OPtical ADversarial attack（OPAD）という用語は、構造化された照明を使用してターゲットオブジェクトの外観を変更することを提案しています。これには、一般的なプロジェクタ、カメラ、コンピュータのみが必要です。研究者は、この技術を使用して、ホワイトボックス攻撃とブラックボックス攻撃の両方を実行することができました。

OPADのセットアップと、人間にはほとんど認識されないが、誤分類を引き起こすのに十分な歪み。

OPADのセットアップには、ViewSonic 3600ルーメンのSVGAプロジェクタ、Canon T6iカメラ、ラップトップコンピュータが含まれます。

ブラックボックスとターゲット攻撃

ホワイトボックス攻撃は、攻撃者がトレーニングモデル手順または入力データの管理に直接アクセスできる可能性のあるまれなシナリオです。ブラックボックス攻撃は、機械学習が構成されているか、あるいはそれがどのように動作するかを推測することで、通常は構成されます。『影』モデルを作成し、元のモデルに効果的な悪意のある攻撃を開発します。

ここでは、クラスフィーアを欺くために必要な視覚的な歪みの量が示されています。

後者の場合、特別なアクセスは必要ありませんが、現在の学術的および商業的研究で一般的なオープンソースコンピュータビジョンライブラリとデータベースの普及により、これらの攻撃は大幅に助長されます。

新しい論文に記載されているOPAD攻撃はすべて『ターゲット』攻撃であり、特定のオブジェクトがどのように解釈されるかを特に変更しようとします。システムは一般化された抽象的な攻撃を達成することも実証されていますが、研究者は、現実世界の攻撃者はより具体的な破壊的な目的を持っているでしょう。

OPAD攻撃は、コンピュータビジョンシステムで使用される画像にノイズを注入するという、よく研究されている原理の現実世界版にすぎません。このアプローチの価値は、物体に歪みを『投影』することで、誤分類を引き起こすことができるという点にあります。『トロイの木馬』画像をトレーニングプロセスに組み込むことは、より困難なタスクです。

OPADが『速度30』画像のハッシュ化された意味を『ストップ』標識に課すことができた場合、ベースライン画像は140/255の強度で物体を均一に照らしたものでした。次に、プロジェクタ補償照明が勾配降下攻撃として適用されました。

OPADの誤分類攻撃の例。

研究者は、このプロジェクトの主な課題は、プロジェクタメカニズムを調整してセットアップすることであり、角度、光学、他の要因がこの搾取に課題を与えることが多かったと述べています。

さらに、このアプローチは夜間のみで機能する可能性が高いです。明らかな照明が『ハック』を明らかにするかどうかも要因です。標識などの物体がすでに照らされている場合、プロジェクタはその照明を補償する必要があり、反射された歪みもヘッドライトに抵抗できる必要があります。都市環境で最も効果的である可能性があります。ここでは、環境照明はより安定している可能性があります。

この研究は、実質的に、コロンビア大学の2004年の研究のML向けイテレーションを構築しています。この研究では、物体の外観を変えるために他の画像を投影するという、光学的な実験が行われました。これには、OPADの悪意のある潜在性はありません。

テストでは、OPADは64回の攻撃のうち31回でクラスフィーアを欺くことができました。成功率は48％でした。研究者は、成功率は攻撃されるオブジェクトの種類に大きく依存することを指摘しています。もっさりした表面や曲がった表面（それぞれ、テディベアやマグの例）は、攻撃を実行するのに十分な直接的な反射性を提供できません。一方、意図的に反射性のある平面（道路標識などの例）は、OPADの歪みにとって理想的な環境です。

オープンソース攻撃面

すべての攻撃は、特定のデータベースに対して実行されました。ドイツの交通標識認識データベース（GTSRB、新しい論文ではGTSRB-CNNと呼ばれています）が使用されました。このデータベースは、2018年に同様の攻撃シナリオのために使用されました。ImageNetのVGG16データセットと、ImageNetのResnet-50セットも使用されました。

これらの攻撃は、オープンソースデータセットに対して行われているため、実用的ではないのでしょうか。自律車両のプロプライエタリ、クローズドシステムではなく、オープンソースデータセットに対して行われているからです。そうであるでしょう。研究の大きな研究機関がオープンソースエコシステム、アルゴリズム、データセットに頼っていない場合、そして代わりに閉じたシステムと不透明な認識アルゴリズムを秘密裏に開発している場合です。

しかし、一般的にはそうではありません。ランドマークデータセットは、すべての進歩（および評価/評判）が測定される基準となります。一方、YOLOシリーズなどのオープンソース画像認識システムは、世界中の共同作業を通じて、同様の原則で動作する内部で開発されたクローズドシステムよりも先を行っています。

FOSSの脆弱性

コンピュータビジョンフレームワーク内のデータが最終的に完全にクローズドデータに置き換えられる場合でも、空になったモデルの重みは、開発の初期段階で頻繁にFOSSデータで調整されます。FOSSデータは完全に捨て去られることはなく、結果として得られるシステムは、FOSS方法で潜在的に標的とされる可能性があります。

さらに、コンピュータビジョンシステムに対してオープンソースアプローチを使用することは、プライベート企業が、他のグローバル研究プロジェクトからの分岐イノベーションを、無料で利用できるようにします。アーキテクチャをアクセス可能に保つための金銭的インセンティブが追加されます。商業化の段階でシステムをクローズすることを試みることができますが、その時点では、推測可能なFOSSメトリックの完全なセットがすでに深く埋め込まれています。