新しいツールがGANが画像から省略しているものを研究者に示すことができる

最近、MIT-IBM Watson AI Labの研究チームは、GANが画像を生成する際に省略しているものを表示する方法を開発しました。この研究は、GANが生成できないものを見ると呼ばれており、最近、コンピュータビジョンの国際会議で発表されました。

GANは、近年、より強力で複雑で広く使用されるようになってきました。小さな領域に制限された画像を生成する場合、詳細な画像をレンダリングすることができます。しかし、GANが大きなシーンや環境の画像を生成する場合、性能が低下することがあります。多くのオブジェクトやアイテムが含まれるシーン、例えば忙しい通りをGANが生成する場合、重要な画像の側面を省略することがあります。

MIT Newsによると、この研究は、MITの電気工学およびコンピュータ科学科の大学院生であるDavid Bauによって開発されました。Bauは、研究者は通常、機械学習システムが注目するものと、入力が特定の出力にマッピングされる方法を理解することに集中しています。しかし、Bauは、機械学習モデルが無視するデータを理解することも重要であると説明し、研究チームはツールが研究者に無視されたデータに注意を向けることを希望しています。

BauのGANへの興味は、GANがニューラルネットワークのブラックボックスの性質を調査し、ネットワークがどのように推論するかを理解するために使用できるという事実によって刺激されました。Bauは以前、特定のクラスタの人工ニューロンを識別し、実世界のオブジェクト、例えば本、雲、木を表現するものとしてラベル付けするツールで働いていました。Bauはまた、GANPaintというツールで働いていました。これは、GANを使用して写真から特定の機能を追加または削除することを可能にします。Bauによると、GANPaintアプリケーションは、GANの潜在的な問題を明らかにしました。この問題は、Bauが画像を分析したときに明らかになりました。 MIT Newsによると、Bauは次のように述べています。

「私のアドバイザーは私たちに、数字を見て、実際の画像を調べるように常に勧めてきました。私たちが調べたとき、現象はすぐに明らかになった：人々は選択的に除外されていた。」

機械学習システムは画像からパターンを抽出するように設計されていますが、関連するパターンを無視することもできます。Bauと他の研究者は、さまざまな室内外のシーンでGANをトレーニングしましたが、すべてのシーンで、GANは重要な詳細、例えば車、道路標識、人、自転車などを省略しました。これは、省略されたオブジェクトがシーンに重要である場合でも当てはまります。

研究チームは、GANが画像をトレーニングするとき、GANは、より簡単に表現できるパターン、例えば大きな静的なオブジェクト、例えば風景や建物をより簡単に捉えることができるという仮説を立てました。GANはこれらのパターンを、より難しいパターン、例えば車や人をより簡単に捉えることができるため、学習します。GANが画像を生成する際に重要な詳細を省略することはよく知られていることですが、MITチームの研究は、GANが画像内のオブジェクトクラス全体を省略することを示した最初の例である可能性があります。

研究チームは、GANが数値的な目標を達成することができるが、人間が画像をみる際に重要なオブジェクトを省略することもあることを指摘しています。GANが生成する画像が、例えば自律車などの複雑なシステムをトレーニングするために使用される場合、画像データを慎重に調べる必要があります。重要なオブジェクト、例えば標識、人、他の車が画像から省略される可能性があるためです。Bauは、研究がモデル性能を精度のみに基づいて評価するべきではないことを示しています。

「私たちは、ネットワークが何をしているか、 何をしていないかを理解する必要があります。そうすれば、ネットワークが私たちが望む選択をすることを保証できます。」