研究者はAIを使用して、反射がオリジナル画像とどのように異なるかを調査する

コーネル大学の研究者は最近、機械学習システムを使用して、画像の反射がオリジナル画像とどのように異なるかを調査しました。 ScienceDailyによると、研究チームによって作成されたアルゴリズムは、画像が反転または反射されたときに、オリジナル画像とは異なる特徴があることを発見しました。

コーネル・テックのコンピューターサイエンスの准教授であるノア・スナベリーは、この研究の主任著者でした。スナベリーによると、この研究プロジェクトは、研究者が画像が反射されたときに、明らかな違いと微妙な違いがあることに気付いたときに始まりました。スナベリーは、最初の見た目では非常に対称に見えるものでも、通常は反射であることがわかることを説明しました。「新しい方法で情報を抽出することで得られる発見に興味を持っています」とスナベリーは、ScienceDailyによると述べています。

研究者は、画像を使用してアルゴリズムを訓練しました。これは、顔が明らかに非対称ではないためです。反転された画像とオリジナル画像を区別するデータで訓練されたAIは、さまざまなタイプの画像で60％から90％の精度を達成しました。

反転された画像を区別するためにAIが学習した視覚的な特徴の多くは、人間が反転された画像を見たときに判別するのが非常に難しいものでした。AIが使用していた特徴をよりよく解釈するために、研究者はヒートマップを作成しました。ヒートマップは、AIが焦点を当てていた画像の領域を示しました。研究者によると、AIが反転された画像を区別するために使用した最も一般的なヒントの1つは、テキストでした。これは予想通りでした。研究者は、反転された画像とオリジナル画像の間のより微妙な違いをよりよく理解するために、訓練データからテキストを含む画像を削除しました。

テキストを含む画像を訓練セットから削除した後、研究者は、AI分類器がシャツの襟元、携帯電話、腕時計、顔などの画像の特徴に焦点を当てていることを発見しました。これらの特徴のいくつかには、AIが特定できる明らかなパターンがあります。たとえば、人々は通常、携帯電話を右手で持ち、シャツの襟元のボタンは左側にあります。ただし、顔の特徴は通常、高度に対称的であり、違いは小さく、人間の観察者には検出するのが非常に難しいものです。

研究者は、AIが焦点を当てていた顔の領域を強調する別のヒートマップを作成しました。AIは、反転された画像を検出するために、人の目、髪、ひげを使用していました。なぜ人の目が左を向いているのかは不明ですが、写真が撮られたときに人々は少し左を向いていることが多いようです。髪やひげが反転された画像の指標となる理由は不明ですが、研究者は、人の利き手が、剃り方や髪のとかし方によって明らかになる可能性があると推測しています。これらの指標は信頼できない可能性がありますが、複数の指標を組み合わせることで、研究者はより高い信頼性と精度を達成できます。

このような研究がさらに必要になりますが、もし発見が一貫して信頼できるものであれば、研究者が機械学習アルゴリズムをより効率的に訓練する方法を見つけるのに役立つ可能性があります。コンピュータビジョンのAIは、画像の反射を使用して訓練されることがよくあります。これは、利用可能な訓練データを増やすための効果的で迅速な方法だからです。反射された画像がどのように異なるかを分析することで、機械学習研究者は、機械学習モデルに存在する偏見をよりよく理解し、画像を不正確に分類するのを防ぐことができます。

スナベリーは、ScienceDailyによると、次のように述べています。

「これにより、コンピュータビジョンのコミュニティに、データセットを増やすためにフリップをいつ行うか、行わないかという疑問が残ります。私は、この質問について人々が考えるようになり、アルゴリズムに偏見を与える方法を理解するためのツールを開発することを希望しています」。