研究者がAIを使用して、反射とオリジナル画像の違いを調査する

コーネル大学の研究者は最近、機械学習システムを使用して、画像の反射とオリジナル画像の違いを調査しました。 ScienceDailyの報告によると、研究チームが作成したアルゴリズムは、画像が反射またはフリップされたときに、オリジナル画像と異なる特徴があることを発見しました。

コーネルテックのコンピューターサイエンスの准教授であるノア・スナベリーは、この研究の主任著者でした。スナベリーによると、この研究プロジェクトは、研究者が画像が反射されたときに、明らかな違いと微妙な違いがあることに気づいたときに始まりました。スナベリーは、最初は対称性があるように見えるものでも、反射されたときには通常、違いが見られることを説明しました。 “新しい情報を得る方法で発見をすることができるのは、面白いと思います”とスナベリーはScienceDailyに語りました。

研究者は、画像を使用してアルゴリズムをトレーニングしました。顔は明らかに非対称ではないため、研究者は顔の画像を使用してアルゴリズムをトレーニングしました。反射された画像とオリジナル画像を区別するトレーニングデータでアルゴリズムをトレーニングした結果、AIは60％から90％の精度でさまざまな種類の画像を正確に識別することができました。

反射された画像を識別するためにAIが学習した視覚的な特徴の多くは、人間が見るには非常に微妙で難しいものです。AIが使用する特徴をよりよく解釈するために、研究者はヒートマップを作成しました。ヒートマップは、AIが注目する画像の領域を示しました。研究者によると、AIが反射された画像を識別するために使用する最も一般的な特徴の1つは、テキストでした。テキストを含む画像をトレーニングデータから除外して、反射された画像とオリジナル画像のより微妙な違いをよりよく理解するために、研究者はテキストを含む画像をトレーニングデータから除外しました。

テキストを含む画像をトレーニングセットから除外した後、研究者は、AI分類器がシャツの襟、携帯電話、腕時計、顔などの画像の特徴に焦点を当てていることを発見しました。これらの特徴のいくつかは、AIが注目する明らかなパターンがあります。たとえば、人々は通常、携帯電話を右手で持っていますし、シャツの襟のボタンは通常、左側にあります。しかし、顔の特徴は通常、高度に対称性があり、人間の観察者が検出するのが非常に難しい小さな違いしかありません。

研究者は、AIが注目する顔の領域を強調した別のヒートマップを作成しました。AIは、人の目、髪、ひげを使用して反射された画像を検出することが多かったです。なぜ人々は写真を撮られる時に少し左を見ているのかは不明ですが、髪やひげが反射された画像の指標となる理由についても、研究者は不明です。研究者は、人の利き手が、剃毛や髪をとかす方法によって明らかになる可能性があると推測しています。ただし、これらの指標は信頼性が低い可能性がありますが、複数の指標を組み合わせることで、研究者はより高い信頼性と精度を達成できます。

この研究の結果が一貫性があり、信頼性が高ければ、研究者は機械学習アルゴリズムのトレーニング方法を見つけるのに役立つ可能性があります。コンピュータビジョンのAIは、画像の反射を使用してトレーニングされることがよくあります。これは、利用可能なトレーニングデータを効率的に増やす方法だからです。反射された画像とオリジナル画像の違いを分析することで、機械学習の研究者は、画像を不正確に分類する可能性のある、機械学習モデル内の偏見をよりよく理解できる可能性があります。

スナベリーは、ScienceDailyに語ったように、

“これは、コンピュータビジョンのコミュニティにとって、データセットを増やすために画像を反射させることがいつ適切で、いつ不適切であるかという、未解決の質問を提起します。私は、この質問についてより多く考えるようになり、アルゴリズムにどのように偏見を与えるかを理解するためのツールを開発し始めることを希望しています”。