マシンラーニング研究を支配する影響力のあるデータセットのカルテル

カリフォルニア大学とGoogle Researchの新しい論文は、西洋の有力な機関、特に政府機関から提供される少数の「ベンチマーク」マシンラーニングデータセットが、AI研究分野を支配していることを発見しました。

研究者は、ImageNetなどの人気オープンソースデータセットに頼る傾向が、実用的、倫理的、そして政治的な懸念を引き起こすと結論付けています。

Facebookが主導するコミュニティプロジェクトPapers With Code（PWC）からのコアデータに基づいて、著者は、広く使用されるデータセットがわずか数つのエリート機関によって導入され、最近では80％に増加したと主張しています。

‘私たちは、データセットの使用における世界的な不平等が増加しており、サンプルの中で43,140のデータセット使用のうち50％以上が、主に西洋の12のエリート機関によって導入されたデータセットに対応していることを発見しました。’

過去10年間のタスク非依存的なデータセット使用の地図。含める基準は、機関または会社が50％以上の使用を占める場合です。右側に、機関とデータセットの両方に対するジニ係数を示します。ソース：https://arxiv.org/pdf/2112.01716.pdf

優勢な機関には、スタンフォード大学、Microsoft 、プリンストン大学、Facebook 、Google 、Max Planck Institute、AT&Tがあります。トップ10のデータセットソースのうち4つは企業機関です。

論文では、エリートデータセットの使用が増加するにつれて、研究チームが既存のベンチマークデータセットに対するSOTA結果を達成することに重点を置くようになり、独自のデータセットを作成するよりも既存のデータセットを使用することが優先されるようになっていることを指摘しています。

‘私たちは、SOTAベンチマークの科学的妥当性が、研究者が広く認知されたデータセットで競争できることを示す社会的信頼性と同一視されることが多いと考えます。’

‘このダイナミクスは、成功したベンチマークとそれを導入するエリート機関が、分野内で過大な地位を獲得する「マシュー効果」（「富める者はより富み、貧しい者はより貧しくなる」）を作り出すと考えられます。’

この論文は、Reduced, Reused and Recycled: The Life of a Dataset in Machine Learning Researchと題され、UCLAのBernard KochとJacob G. Foster、Google ResearchのEmily DentonとAlex Hannaによって執筆されています。

この研究は、ドミナントなデータセットの使用が増加するにつれて、実用的、倫理的、そして政治的な懸念が生じることを示しています。また、NeurIPS 2021でのレビュアーは、この研究が「マシンラーニング研究に関与するすべての人にとって非常に関連性が高い」と述べています。

必要性から腐敗へ

‘ベンチマークは、特定のタスクをデータセットと関連する評価メトリックを通じて形式化する。ベンチマークの実践は、1980年代の「AIの冬」後に政府の出資者によって導入され、研究に対する出資の価値をより正確に評価するために行われた。’

論文では、ベンチマーク文化の初期の利点が、データセットが強力になり、研究の方向性を決定するようになると、欠点に覆われるようになっていることを示しています。

‘私たちは、研究コミュニティが新しい問題を提起するのではなく、既存のベンチマークデータセットに対するSOTA結果を達成することに重点を置いていると考えます。’

‘私たちは、既存のベンチマークデータセットに対する盲目的な従属が、研究者が過度に適合した結果を達成するよう促し、実際のデータに対する性能が低下する可能性があると考えます。’

コンピュータビジョン研究における政府の影響

論文では、コンピュータビジョン研究が、特に顔認識（FR）データセットにおいて、政府、企業、プライベート機関の利益が衝突することが多いことを示しています。

‘企業、政府機関の目標は、プライバシー（例：監視）と衝突する可能性があり、学術機関やAIの社会的利害関係者の目標とは異なるものです。’

‘顔認識タスクの場合、純粋に学術的なデータセットの使用は平均よりも大幅に低下しています。（4つのデータセット（33.69％の総使用）は、企業、米軍、または中国政府によって独占的に資金提供されました（MS-Celeb-1M、CASIA-Webface、IJB-A、VggFace2）。MS-Celeb-1Mは、プライバシーの価値に関する利害関係者の意見の相違により撤回されました。’

画像生成と顔認識研究コミュニティで使用されるトップデータセット。

論文では、画像生成（または画像合成）という比較的新しい分野が、既存の古いデータセットに大きく依存していることを示しています。

‘私たちの研究結果は、データセットが頻繁にタスクコミュニティ間で移行することを示しています。最も極端な場合、タスクコミュニティのベンチマークデータセットの多数は、他のタスクのために作成されました。’

‘私たちは、データセット開発を奨励し、インセンティブ構造を変更してデータセット開発が評価され、報酬されるようにすることは、データセットの使用と、最終的にMLR研究のアジェンダを形作る視点を多様化することに十分ではないと考えます。’

‘私たちは、データセット開発を奨励することに加えて、資源が乏しい機関の人々が高品質のデータセットを作成するための重要な資金を優先する、公平性志向の政策介入を主張します。これにより、現代のML方法を評価するためのベンチマークデータセットを、社会的、文化的に多様化させることができます。’

2021年12月6日、16:49（GMT+2）- 見出しの所有格を修正しました。- MA