AI 研究者が信頼区間を迅速に計算する方法を開発、モデルが信頼できない場合を報告

MIT の研究者は最近 手法を開発しました。これにより、ディープラーニング ネットワーク モデルは信頼度を迅速に計算でき、データ サイエンティストやその他の AI ユーザーがモデルの予測を信頼するかどうかを判断できます。

AI システムは、人工ニューラル ネットワークに基づいており、多くの決定を行っています。これらの決定には、人の健康と安全が関係するものもあります。したがって、ニューラル ネットワークには、出力の信頼度を推定する方法が必要であり、データ サイエンティストは予測の信頼性を判断できます。ハーバード大学と MIT の研究チームは、ニューラル ネットワークが予測とともに信頼度を迅速に生成する方法を設計しました。

ディープラーニング モデルは、過去 10 年間でますます洗練されてきました。現在、データ分類タスクで人間を上回ることができます。ディープラーニング モデルは、自律走行車の運転や医療画像の診断など、人の健康と安全が危険にさらされる可能性のある分野で使用されています。これらの場合、モデルが 99% 正確であっても、1% のエラーが発生する可能性があり、災害につながる可能性があります。したがって、データ サイエンティストが予測の信頼性を判断する方法が必要です。

信頼区間を生成する方法は、いくつかありますが、ニューラル ネットワークの不確実性を推定する従来の方法は、かなり遅く、計算コストが高くなります。ニューラル ネットワークは非常に大きく複雑で、数十億のパラメータを持つことがあります。予測を生成するだけでも計算コストが高く、時間がかかります。不確実性の推定もさらに時間がかかります。以前の不確実性の量化方法の多くは、サンプリングやネットワークを繰り返し実行して信頼度を推定することに依存していました。これは、高速化されたトラフィックが必要なアプリケーションでは常に実行可能ではありません。

MIT News によると、アレクサンダー・アミーニが MIT とハーバードの研究チームを率いています。アミーニによると、研究チームが開発した方法は、「ディープ・エビデンシャル・リグレッション」と呼ばれる手法を使用して、不確実性の推定を加速します。アミーニは、データ サイエンティストが高速なモデルと不確実性の推定を必要とするため、信頼できないモデルを判断できるようにする必要があると述べています。モデルと不確実性の推定の両方を維持するために、研究チームはモデルを 1 回実行するだけで不確実性を推定する方法を設計しました。

研究チームは、ニューラル ネットワーク モデルを設計して、各決定に確率分布を生成しました。ネットワークは、トレーニング中に決定の証拠を保持し、証拠に基づいて確率分布を生成します。エビデンシャル分布は、モデルの信頼度を表し、モデルの最終的な決定と元の入力データの両方の不確実性を表します。入力データと決定の両方の不確実性を捉えることは重要です。不確実性を減らすには、不確実性の源を知る必要があります。

研究チームは、コンピュータ ビジョン タスクに不確実性の推定手法を適用してテストしました。モデルは画像のシリーズにトレーニングされた後、予測と不確実性の推定を生成しました。ネットワークは、誤った予測が行われたインスタンスで高い不確実性を正しく予測しました。アミーニは、モデルのテスト結果について、「ネットワークが行うエラーに非常に適合しており、私たちが新しい不確実性推定器の品質を判断する上で最も重要なことであると考えました」と述べています。

研究チームは、ネットワーク アーキテクチャでさらにテストを実施しました。手法をストレス テストするために、データを「外部データ」、つまりネットワークが以前見たことがないオブジェクトのセットにテストしました。予想通り、ネットワークはこれらの未知のオブジェクトに対して高い不確実性を報告しました。室内環境にトレーニングした場合、ネットワークは外部環境の画像に対して高い不確実性を表示しました。テスト結果は、ネットワークが高い不確実性のある決定を強調し、特定の高リスク状況では信頼しないことを示しました。

研究チームは、ネットワークが画像が改ざんされたことを判断できることも報告しました。研究チームが写真に敵対的なノイズを加えた場合、ネットワークは新しく改ざんされた画像に高い不確実性の推定を付与しました。平均的な人間の観察者が見ることができないほど微妙な効果でした。

この手法が信頼性が証明されれば、ディープ エビデンシャル リグレッションは一般的に AI モデルの安全性を向上させることができます。アミーニによると、ディープ エビデンシャル リグレッションは、リスクのある状況で AI モデルを使用する際に、慎重な決定を下すのに役立ちます。 MIT News によると、アミーニは次のように述べています。

「これらの（ニューラル ネットワーク）モデルは、研究室の外に出て、人間の命に関わる可能性のある状況に触れ始めています。医者や車の乗客など、誰でも、この決定に関連するリスクや不確実性を認識する必要があります。」