研究者らはデータセットの偏りを克服するために神経科学者に期待している

MIT、ハーバード大学、富士通株式会社の研究者チームは、機械学習モデルがデータセットの偏りを克服する方法を模索しました。 彼らは神経科学のアプローチに頼って、人工ニューラルネットワークが見たことのない物体を認識できるかどうかにトレーニングデータがどのように影響するかを研究しました。 

この研究は ネイチャーマシンインテリジェンス. 

トレーニングデータの多様性

研究結果は、トレーニング データの多様性がニューラル ネットワークがバイアスを克服できるかどうかに影響を与えることを示しました。 ただし、データの多様性はネットワークのパフォーマンスに悪影響を与える可能性もあります。 研究者らはまた、ニューラル ネットワークのトレーニング方法も、偏ったデータセットを克服できるかどうかに影響を与える可能性があることを示しました。 

Xavier Boix は、脳・認知科学部門 (BCS) および脳・精神・機械センター (CBMM) の研究員です。 彼はこの論文の上級著者でもあります。 

「ニューラル ネットワークはデータセットのバイアスを克服できるので、心強いです。 しかし、ここで重要なのは、データの多様性を考慮する必要があるということです。 大量の生データを収集するだけで、何かが得られるという考えをやめる必要があります。 そもそもデータセットをどのように設計するかについて非常に注意する必要があります」と Boix 氏は言います。

チームは神経科学者の考え方を取り入れて、新しいアプローチを開発しました。 Boix 氏によると、実験では制御されたデータセットを使用するのが一般的であるため、チームはさまざまなポーズのさまざまなオブジェクトの画像を含むデータセットを構築しました。 次に、一部のデータセットが他のデータセットよりも多様になるように組み合わせを制御しました。 XNUMX つの視点のみからオブジェクトを示す画像が多いデータセットは多様性が低くなりますが、複数の視点からオブジェクトを示す画像が多いデータセットは多様性が高くなります。 

研究者らはこれらのデータセットを取得し、画像分類のためのニューラル ネットワークをトレーニングするために使用しました。 次に、トレーニング中にネットワークが認識しなかった視点からオブジェクトを識別する能力がどれほど優れているかを研究しました。 

彼らは、より多様なデータセットにより、ネットワークが新しい画像や視点をより適切に一般化できるようになり、これが偏見を克服するために重要であることを発見しました。 

「しかし、データの多様性が多ければ多いほど良いというわけではありません。 ここには緊張があります。 ニューラルネットワークがまだ見たことのない新しいものを認識する能力が向上すると、すでに見たものを認識するのが難しくなります」とボイクス氏は言う。

ニューラルネットワークをトレーニングする方法

また、チームは、両方のタスクを一緒にトレーニングしたモデルと比較して、タスクごとに個別にトレーニングしたモデルのほうがバイアスを克服できることも発見しました。 

「結果は本当に驚くべきものでした。 実際、初めてこの実験を行ったとき、私たちはこれはバグだと思いました。 あまりにも予想外だったので、それが本当の結果であると理解するまでに数週間かかりました」とボイクス氏は続けます。

より詳細な分析により、ニューロンの特殊化がこのプロセスに関与していることが明らかになりました。 画像内のオブジェクトを認識するようにニューラル ネットワークがトレーニングされると、XNUMX 種類のニューロンが出現します。 XNUMX つのニューロンはオブジェクト カテゴリの認識に特化し、もう XNUMX つは視点の認識に特化します。 

ネットワークがタスクを個別に実行するようにトレーニングされると、特殊化されたニューロンがより顕著になります。 ただし、両方のタスクを同時に完了するようにネットワークがトレーニングされると、一部のニューロンが希薄化します。 これは、彼らが XNUMX つのタスクに特化していないことを意味し、混乱する可能性が高くなります。 

「しかし、次の疑問は、これらのニューロンがどのようにしてそこに到達したのかということです。 ニューラル ネットワークをトレーニングすると、学習プロセスからニューラル ネットワークが現れます。 誰もネットワークのアーキテクチャにこの種のニューロンを含めるよう指示しませんでした。 そこが魅力的なんです」とボイクス氏は言う。

研究者らは、今後の研究でこの問題を調査するとともに、新しいアプローチをより複雑なタスクに適用することを検討しています。