Googleの研究者がAIモデルを妨げる未規定化問題を発見

最近、Googleの研究チームは、AIモデルが失敗する一般的な原因を特定し、未規定化を主要な理由の1つとして挙げました。これは、機械学習モデルが実験室でのテストと開発では優秀に動作するのに対し、現実世界でのタスクでは期待どおりに動作しないことが多い原因です。

機械学習モデルは、現実世界のタスクに取り組む際に、しばしば失敗します。実験室でのテストと開発では最適に動作しますが、現実世界では期待どおりに動作しないことがあります。実験室でのテストと開発のパフォーマンスと現実世界のパフォーマンスの不一致は、多くの理由で発生します。AIモデルが現実世界のタスクで失敗する最も一般的な理由の1つは、データシフトという概念です。データシフトとは、機械学習モデルを開発するために使用されるデータと、モデルに適用されるデータの根本的な違いです。たとえば、高品質の画像データでトレーニングされたコンピュータビジョンモデルは、低品質のカメラで撮影されたデータを処理する際に苦労します。

MIT Technology Reviewによると、Googleの40人の研究者チームは、機械学習モデルのパフォーマンスが大きく異なる別の理由を発見しました。問題は「未規定化」と呼ばれる統計概念で、観測された現象に多くの可能な原因があるが、モデルではそれらすべてが考慮されていない場合に発生します。研究のリーダーであるAlex D’Amourによると、この問題は多くの機械学習モデルで発生し、「どこでも起こっている」と述べています。

通常の機械学習モデルのトレーニング方法は、モデルに多量のデータを与えて、関連するパターンを抽出させることです。次に、モデルは未見の例を与えられ、学習した特徴に基づいてその例の性質を予測するように求められます。モデルが一定の精度に達すると、トレーニングは通常完了したとみなされます。

Googleの研究チームによると、モデルがトレーニングデータ以外のデータにも一般化できるようにするために、さらに多くの作業が必要です。機械学習モデルの従来のトレーニング方法では、さまざまなモデルが生成され、それらすべてがテストに合格しますが、これらのモデルは、小さなが重要な点で異なります。モデル内の異なるノードに異なるランダムな値が割り当てられる場合や、トレーニングデータが異なる方法で選択または表現される場合があります。これらの違いは小さく、無視しやすいですが、すべての小さな変更の影響が累積すると、現実世界でのパフォーマンスに大きな違いをもたらす可能性があります。

この未規定化は問題です。トレーニングプロセスが優秀なモデルを生成できる場合でも、貧弱なモデルを生成する可能性もあり、違いはモデルが実際に使用されるまで発見されない可能性があります。

未規定化の影響を評価するために、研究チームはさまざまなモデルを調査しました。すべてのモデルは同じトレーニングプロセスでトレーニングされ、次にモデルを一連のテストに適用してパフォーマンスの違いを強調しました。1つの例では、50個の異なる画像認識システムがImageNetデータセットでトレーニングされました。モデルはすべて同じでしたが、トレーニングの開始時にランダムに割り当てられたニューラルネットワークの値だけが異なりました。モデルをテストするストレステストは、ImageNet-Cと呼ばれる、コントラストや明るさの調整によって変更された画像で構成されるImageNetのバリエーションを使用して実行されました。モデルはまた、日常の物体が異常な向きや状況で表示される画像のシリーズであるObjectNetでもテストされました。すべての50個のモデルはトレーニングデータセットでほぼ同じパフォーマンスを示したものの、ストレステストでモデルを実行すると、パフォーマンスは大きく異なりました。

研究チームは、2つの異なるNLPシステムをトレーニングしてストレステストした場合や、さまざまなコンピュータビジョンモデルをテストした場合にも同様の結果が得られました。すべての場合で、モデルはトレーニングプロセスが同じにもかかわらず、激しく異なりました。

アレックス・ダムールによると、機械学習の研究者とエンジニアは、モデルを公開する前に、さらに多くのストレステストを実行する必要があります。これは、ストレステストが特定のタスクに合わせて調整され、現実世界のデータを使用する必要があるため、行うのが難しい場合があります。未規定化問題の1つの潜在的な解決策は、同時に多くのモデルを生成し、それらを一連の現実世界のタスクにテストして、最も一貫して優秀な結果を示すモデルを選択することです。このようなモデルを開発するには、多くの時間とリソースが必要ですが、特に医療や安全が第一の懸念事項である状況で使用されるAIモデルでは、トレードオフは価値があるかもしれません。アレックス・ダムールは、MIT Technology Reviewを通じて次のように述べています。

「私たちは、モデルに対する要件を正確に指定する必要があります。なぜなら、モデルが世界で失敗するまでに、要件を発見することが多いからです。」