AI 研究者が信頼性の高い信頼区間の迅速な計算方法を開発、モデルが信頼できない場合の報告

MIT の研究者は最近、ディープラーニングネットワークモデルが迅速に信頼性の高い信頼区間を計算できる技術を開発しました。この技術により、データサイエンティストや AI ユーザーは、モデルが提供する予測の信頼性を判断できます。

人工ニューラルネットワークを基盤とする AI システムは、多くの決定を行っており、その多くは人々の健康と安全に関係しています。したがって、ニューラルネットワークには、出力の信頼性を推定する方法が必要です。ハーバード大学と MIT の研究チームは、ニューラルネットワークが予測とともに信頼性の指標を生成する迅速な方法を設計しました。

ディープラーニングモデルは過去 10 年で大幅に進化し、現在ではデータ分類タスクで人間を上回る性能を発揮しています。ディープラーニングモデルは、自律走行車や医療画像の診断など、人々の健康と安全が危険にさらされる可能性のある分野で使用されています。これらの分野では、モデルが 99% の精度を持っていても、1% の誤った予測が大惨事につながる可能性があります。したがって、データサイエンティストは、予測の信頼性を判断する方法が必要です。

信頼区間を生成する方法は複数存在しますが、ニューラルネットワークの不確実性を推定する伝統的な方法は遅く、計算コストが高くなります。ニューラルネットワークは非常に大規模で複雑であり、数十億のパラメータを持つことがあります。予測を生成するだけでも数分から数時間かかることがあり、信頼区間を生成するにはさらに時間がかかります。以前の不確実性の量化方法は、サンプリングやネットワークの繰り返し実行に依存していましたが、これは高速なトラフィックを必要とするアプリケーションでは実行可能ではありません。

MIT ニュースによると、アレクサンダー・アミーニが率いる MIT とハーバードの研究チームは、「ディープ・エビデンシャル・リグレッション」と呼ばれる技術を使用して不確実性の推定を加速しました。アミーニによると、データサイエンティストは、高速なモデルと不確実性の信頼性の高い推定が必要です。モデルと不確実性の推定を両立させるために、研究者はモデルを 1 回実行するだけで不確実性を推定する方法を設計しました。

研究者は、ニューラルネットワークモデルを決定ごとに確率分布を生成するように設計しました。ネットワークはトレーニング中に決定の証拠を保持し、証拠に基づいて確率分布を生成します。エビデンシャル分布はモデルの信頼性を表し、入力データと決定の両方の不確実性を表します。入力データと決定の両方の不確実性を把握することは重要です。不確実性を減らすには、不確実性の源を知る必要があります。

研究者は、コンピュータビジョンタスクに不確実性の推定技術を適用してテストしました。モデルは画像のシリーズにトレーニングされた後、予測と不確実性の推定を生成しました。ネットワークは、誤った予測が行われた場合に高い不確実性を正しく推定しました。アミーニは、「ネットワークのエラーに合わせて調整された不確実性の推定器の品質を判断する上で最も重要なことだった」と述べています。

研究チームは、ネットワークアーキテクチャーをさらにテストしました。技術をストレステストするために、「外部データセット」と呼ばれる、ネットワークが以前見たことがないオブジェクトのデータセットを使用してテストしました。予測が行われた場合、ネットワークは高い不確実性を報告しました。室内環境にトレーニングされたネットワークは、屋外環境の画像に高い不確実性を表示しました。テスト結果は、ネットワークが高い不確実性の決定を強調し、信頼できない状況でそれらを信頼しないことを示しました。

研究チームは、ネットワークが画像を改ざんしたことを検出できることも報告しました。研究チームが画像に敵対的なノイズを追加した場合、ネットワークは新しく改ざんされた画像に高い不確実性の推定を付与しました。人間の観察者が見ることができないほど微妙な効果でした。

この技術が信頼性が高くなる場合、ディープエビデンシャルリグレッションは AI モデルの安全性を向上させることができます。アミーニによると、ディープエビデンシャルリグレッションは、リスクの高い状況で AI モデルを使用する際に、ユーザーが慎重な決定を下すのに役立ちます。アミーニは、MIT ニュースを通じて次のように述べています。

「これらの（ニューラルネットワーク）モデルは、研究室から現実世界への移行が進んでいます。人々の命に関わる可能性のある状況で、医師や車の乗客など、誰でもがその決定に関連するリスクや不確実性を認識する必要があります。」