新しいツールは、GAN が画像から何を残しているかを研究者に示すことができる

最近、MIT-IBM Watson AI Lab の研究者チームは、画像の生成を求められたときに、敵対的生成ネットワークが画像から除外したものを表示する方法を作成しました。 研究はこう名付けられた GANが生成できないものの確認、そして最近コンピュータビジョンに関する国際会議で発表されました。

生成的敵対的ネットワーク 過去数年間で、より堅牢かつ洗練され、広く使用されるようになりました。 彼らは、画像が比較的小さな領域に限定されている限り、詳細に満ちた画像をレンダリングするのに非常に優れています。 ただし、GAN を使用して大規模なシーンや環境の画像を生成すると、パフォーマンスが低下する傾向があります。 GAN が交通量の多い通りなど、多くのオブジェクトやアイテムでいっぱいのシーンをレンダリングするように要求されるシナリオでは、GAN は画像の多くの重要な側面を省略することがよくあります。

MITニュースによると、この研究は、マサチューセッツ工科大学電気工学およびコンピューターサイエンス学部の大学院生であるデイビッド・バウ氏の一部によって開発されました。バウ氏は、研究者は通常、機械学習システムがどのような注目を集めるかを洗練し、特定の入力を特定の出力にどのようにマッピングできるかを見極めることに集中していると説明した。しかし、バウ氏はまた、どのデータが機械学習モデルによって無視されるかを理解することは、同じくらい重要である場合が多く、研究チームは彼らのツールが研究者に無視されたデータに注意を払うよう促すことを望んでいるとも説明した。

バウ氏が GAN に興味を持ったのは、GAN がニューラル ネットワークのブラック ボックスの性質を調査し、ネットワークがどのように推論しているかを直感的に理解するために使用できるという事実によって促進されました。 バウ氏は以前、人工ニューロンの特定のクラスターを識別し、本、雲、木などの現実世界のオブジェクトの表現を担当するものとしてラベルを付けることができるツールに取り組んでいました。 バウ氏は、アーティストが GAN を使用して写真から特定の特徴を削除したり追加したりできる GANPaint と呼ばれるツールの使用経験もありました。 Bau 氏によると、GANPaint アプリケーションによって GAN の潜在的な問題が明らかになり、Bau 氏が画像を分析したときに問題が明らかになりました。 バウ氏はMITニュースにこう語った。

「私のアドバイザーは常に、数値を超えて実際の画像を精査するよう勧めてくれました。 私たちが調べてみると、人々が選択的にドロップアウトされているという現象がすぐに分かりました。」

機械学習システムは画像からパターンを抽出するように設計されていますが、関連するパターンを無視してしまう可能性もあります。 バウ氏と他の研究者は、屋内および屋外のさまざまなシーンで GAN をトレーニングする実験を行ったが、さまざまな種類のシーンすべてにおいて、GAN は車、道路標識、人物、自転車などの重要な詳細を省略していた。これは、取り残されたオブジェクトは、問題のシーンにとって重要でした。

研究チームは、GAN が画像でトレーニングされる場合、GAN は風景や建物などの大きな静止物体など、表現しやすい画像のパターンを捕捉しやすいのではないかと仮説を立てました。 これらのパターンは、車や人物など、解釈が難しい他のパターンよりも学習されます。 GAN が画像生成時に重要で意味のある詳細を省略することが多いことは周知の事実ですが、MIT チームの研究は、GAN が画像内のオブジェクト クラス全体を省略することが実証されたのは初めてかもしれません。

研究チームは、人間が画像を見る際に気になるオブジェクトを除外した場合でも、GANは数値目標を達成する可能性があると指摘している。 GANS によって生成された画像を複雑なシステムのトレーニングに使用する場合 自動運転車のように標識、人物、その他の車などの重要なオブジェクトが画像から除外される可能性があるため、画像データを綿密に精査する必要があります。 Bau 氏は、彼らの研究により、モデルのパフォーマンスが精度だけに基づいてはいけない理由が示されていると説明しました。

「ネットワークが私たちが望んでいる選択をしているかどうかを確認するには、ネットワークが何をしているのか、そして何をしていないのかを理解する必要があります。」