研究者がコンピュータビジョンの偏見に対抗するための新しいツールを開発

人工知能（AI）の分野では最近、コンピュータビジョンの偏見が問題となっている。多くの専門家が、AIシステム内に偏見があることを発見しており、これは、法廷での判決プログラムなどのさまざまなアプリケーションで歪んだ結果につながっている。

これらの問題を解決しようとする大きな努力が進行中であり、最新の開発はプリンストン大学から来ている。同大学の研究者は、AIシステムを訓練するために使用される画像内で潜在的な偏見をフラグ付けできる新しいツールを作成した。

この研究は、8月24日に開催されたバーチャルヨーロッパコンピュータビジョン会議で発表された。

AIシステムの偏見

現在のAIシステムに偏見が存在する主な理由の1つは、オンラインソースからの大量の画像で訓練されることが多いことである。これらの画像はステレオタイプであり、コンピュータビジョンの開発に使用されると、結果としてモデルが無意識的に影響を受けることがある。コンピュータビジョンは、コンピュータが人、物体、行動を識別できるようにするものである。

研究者によって開発されたツールはオープンソースであり、視覚的なデータセット内の潜在的な偏見を自動的に明らかにすることができる。このツールは、画像セットがコンピュータビジョンモデルを訓練する前に作用し、表現不足やステレオタイプに関する問題が影響を及ぼす前に解決される。

REVISE

新しいツールはREVISEと呼ばれ、データセット内の潜在的な偏見を特定するために統計的手法に依存している。オブジェクトベース、性別ベース、地理ベースの3つの分野に焦点を当てている。

REVISEは完全に自動化されており、以前の方法に基づいて構築されており、フィルタリングとデータセットの画像のバランスをとることができる。

新しいツールは、データセット内のコンテンツを分析するために既存の画像注釈と測定値に依存している。既存の注釈には、オブジェクトの数や画像の国別の情報などがある。

ツールが機能する例として、REVISEは、人や花の画像が性別によって異なることを示した。男性は花と一緒に式や会議に出席することが多く、女性は花と一緒に絵や舞台裏のシナリオに出現することが多かった。

オルガ・ルサコフスキーは、コンピューターサイエンスの助教授であり、Visual AI Labの主任調査員である。論文は、大学院生のアンジェリーナ・ウォンとコンピューターサイエンスの准教授であるアルヴィンド・ナラヤナンと共同で執筆された。

ツールが不一致を特定した後、「これは完全に無害な事実か、または何か深いことが起こっているか、それは自動化するのは非常に難しい」とルサコフスキーは述べた。

表現不足または誤表現された地域

世界のさまざまな地域は、コンピュータビジョンデータセット内で表現不足であり、これはAIシステムの偏見につながる可能性がある。REVISEは、画像の多くがアメリカ合衆国やヨーロッパ諸国から来ていることを明らかにした。また、他の地域からの画像には、ローカル言語での画像キャプションが不足していることが多く、多くの画像が観光客の視点から撮影された可能性があることも明らかになった。

「…この地理分析は、物体認識が依然として偏っており、排他的であり、さまざまな地域や人々に不均等に影響を与える可能性があることを示している」とルサコフスキーは続けた。

「コンピューターサイエンスにおけるデータセットの収集方法は、最近まで十分に調査されていなかった」とウォンは述べた。画像の収集については、「インターネットからスクレイピングされており、人々は常に自分の画像がデータセットで使用されていることを認識していない。より多様な人々のグループから画像を収集する必要があるが、尊重される方法で収集する必要がある」。

ビセンテ・オルドニェス・ロマンは、バージニア大学のコンピューターサイエンスの助教授である。

「ツールやベンチマークは重要なステップである…これらにより、パイプラインの早い段階でこれらの偏見を捉えることができ、問題設定や仮定およびデータ収集方法について再考することができる」とオルドニェス・ロマンは述べた。「コンピュータビジョンには、表現やステレオタイプの伝播に関する特定の課題がある。プリンストンVisual AI Labによるような研究は、これらの問題を明らかにし、軽減するための戦略を提供する」。

研究者によって開発された新しいツールは、AIシステム内の偏見を解決するための重要なステップである。問題を解決するには今が最も良い時期であり、システムが進化し、複雑になるにつれて問題を解決することはより困難になるからである。