新しいツールが、GANsが画像から省略するものを研究者に示すことができる

最近、MIT-IBM Watson AI Labの研究チームは、GANsが画像を生成する際に省略するものを表示する方法を開発しました。この研究は、GANsが生成できないものをみると命名され、最近、コンピュータビジョンの国際会議で発表されました。

Generative Adversarial Networksは、過去数年間でより強固で洗練され、幅広く使用されるようになりました。小さな領域に限定された画像の場合、詳細に満ちた画像をレンダリングすることが非常に上手になりました。しかし、GANsが大きなシーンや環境の画像を生成する際には、必ずしも良く機能しません。多くの物体やアイテムが含まれるシーン、例えば忙しい通りなどの場合、GANsは重要な側面を省略することがよくあります。

MIT Newsによると、この研究は、MITの電気電子工学およびコンピュータ科学科の大学院生であるDavid Bauによって開発されました。Bauは、研究者は通常、機械学習システムが注目するものを洗練し、特定の入力が特定の出力にマッピングされる方法を理解することに集中していることを説明しました。ただし、Bauは、機械学習モデルが無視するデータを理解することも同様に重要であり、研究チームは彼らのツールが研究者に無視されたデータに注目することを奨励することを希望していることも説明しました。

BauのGANsへの興味は、GANsがニューラルネットワークのブラックボックスの性質を調査し、ネットワークがどのように推論するかについての直感を得るために使用できるという事実によって刺激されました。Bauは以前、特定のクラスタの人工ニューロンを識別し、実世界の物体である本、雲、木などを表現する責任があるとラベル付けすることができるツールで働いていました。Bauはまた、GANsを使用して写真から特定の機能を追加または削除できるGANPaintというツールにも経験がありました。Bauによると、GANPaintアプリケーションは、GANsの潜在的な問題を明らかにしました。この問題は、Bauが画像を分析したときに明らかになりました。 BauはMIT Newsに次のように述べています。

「私のアドバイザーは、常に数字の向こう側を見て、実際の画像を調べるように私たちに勧めてきました。私たちが調べたとき、現象はすぐに明らかになった：人々が選択的に除外されていた。」

機械学習システムは画像からパターンを抽出するように設計されていますが、関連するパターンを無視することもできます。Bauと他の研究者は、さまざまな屋内および屋外のシーンでGANsをトレーニングしましたが、すべてのタイプのシーンで、GANsは重要な詳細、例えば車、道路標識、人、自転車などを省略しました。これは、省略されたオブジェクトがシーンにとって重要であった場合でも同様でした。

研究チームは、GANsが画像をトレーニングするとき、GANsは、風景や建物などの大きな静的オブジェクトのような、より簡単に表現できるパターンをより簡単に捉える可能性があると仮定しました。GANsは、これらのパターンを、車や人などのより解釈が難しいパターンよりも優先して学習します。GANsが画像を生成する際に重要な詳細を省略することは、以前から知られていたことですが、MITチームの研究は、GANsが画像内でオブジェクトクラス全体を省略することを示した最初の研究である可能性があります。

研究チームは、GANsが重要なオブジェクト、例えば標識、人、または他の車などを省略していても、GANsが数値的な目標を達成する可能性があることを指摘しています。GANsによって生成された画像が、自律走行車などの複雑なシステムをトレーニングするために使用される場合は、画像データを慎重に調べる必要があります。重要なオブジェクトが画像から省略される可能性があるためです。Bauは、モデル性能の評価は精度のみに基づいて行うべきではないと説明しました。

「ネットワークが何をしているか、そして何をしていないかを理解する必要があります。そうすることで、ネットワークが私たちが望む選択を行うことを保証できます。」