MITの研究チームがアドバーサリアル・エクサンプルに対して耐性を持つAIネットワークを設計した

MITの研究チームは、AIが間違った予測を行ったり、間違った行動をとったりする可能性のある「アドバーサリアル」なエクサンプルに対処するために、ディープラーニング・アルゴリズムを開発しました。MITチームが設計したアルゴリズムは、AIシステムが混乱したデータ・ポイントに直面したときでも、精度を維持し、間違った行動を避けるのに役立ちます。

AIシステムは、イベントの入力特性を分析して、イベントに応じた行動を決定します。自律走行車を操縦するAIは、車のカメラから得られたデータを分析して、適切な行動を決定しなければなりません。しかし、AIが分析する画像データが実世界の正確な表現ではない可能性があります。カメラ・システムの故障により、画像のいくつかのピクセルが変更される可能性があり、AIが誤った結論を導き出す可能性があります。

「アドバーサリアル・インプット」は、AIシステムのための視覚的な錯覚です。これらは、AIを混乱させる入力データです。アドバーサリアル・インプットは、AIが間違った行動をとることを目的として作成できます。たとえば、コンピュータ・ビジョン・システムのために、猫の画像をわずかに変更して、AIがそれをコンピュータ・モニターとして誤って分類することができます。MITの研究チームは、AIが入力データについて一定の「懐疑心」を維持できるようにすることで、アドバーサリアル・エクサンプルに対して耐性を持つアルゴリズムを設計しました。

MITの研究者たちは、彼らのアプローチを「Certified Adversarial Robustness for Deep Reinforcement Learning」と呼びました。これは、CARRLと略称されます。CARRLは、強化学習・ネットワークと伝統的なディープ・ニューラル・ネットワークの両方を組み合わせたものです。強化学習では、モデルを「報酬」で訓練し、目標に近づくにつれて報酬を増やします。強化学習モデルは、Deep Q-Network (DQN) を訓練するために使用されます。DQNは、伝統的なニューラル・ネットワークのように機能しますが、入力値を報酬のレベルと関連付けることもできます。

CARRLは、入力データのさまざまな可能な値をモデル化することで機能します。

たとえば、AIが画像内のドットの位置を追跡しようとしている場合、AIはドットの位置がアドバーサリアルな影響を受けた結果である可能性を考慮し、ドットが存在する可能性のある領域を考慮します。ネットワークは、ドットの位置の最悪のシナリオに基づいて決定を下し、最悪のシナリオで最高の報酬を生み出す行動を選択します。

アドバーサリアル・エクサンプルに対して耐性を持つための従来の方法は、入力画像のわずかに変更されたバージョンをAIネットワークに通して、同じ決定が常に下されるかどうかを確認することです。画像の変更が結果に大きな影響を与えない場合、ネットワークがアドバーサリアル・エクサンプルに対して耐性を持っている可能性は高いです。しかし、このアプローチは、迅速な決定が必要なシナリオでは実行可能な戦略ではありません。なぜなら、このテスト方法は時間がかかり、計算コストがかかるからです。したがって、MITのチームは、最悪のシナリオに基づいて決定を下すことができるニューラル・ネットワークを作成することを目指しました。

MITの研究者たちは、AIがポン・ゲームをプレイすることで彼らのアルゴリズムをテストしました。彼らは、アドバーサリアル・エクサンプルを含むために、ボールが実際よりもわずかに下に表示された画像をAIに与えました。アドバーサリアル・エクサンプルの影響が増加するにつれて、従来の修正技術は失敗し始めましたが、CARRLは比較してより多くのゲームに勝つことができました。CARRLは、衝突回避タスクでもテストされました。タスクは、2つのエージェントが衝突せずに位置を交換することを目指す仮想環境で行われました。研究チームは、最初のエージェントの2番目のエージェントに対する認識を変更し、CARRLは不確実性の高い条件でさえも、最初のエージェントを2番目のエージェントの周りを回避することができました。ただし、CARRLは最終的に目的地を完全に避けるほど過度に慎重になりました。

MIT航空宇宙工学科のポスドクであるマイケル・エベレット氏は、この研究がロボットが予測不可能な状況に対処する能力に影響を与える可能性があると説明しています。エベレット氏は、MITニュースのインタビューで次のように述べています。

「人々は、ロボットのセンサーを遮るためにロボットの前で立ったり、ロボットと交流したりすることがありますが、必ずしも良い意図で行われるわけではありません。ロボットは、人々が何をするかを予測し、避けることができるようにするにはどうすればよいのでしょうか。どのようなアドバーサリアル・モデルに対して防御するのでしょうか。私たちは、これについてどうすればよいのかを考えています。」