ディープラーニングモデルはAI生成画像を認識するのに苦労するかもしれない

新しい論文の結果によると、最先端のAIは、人間よりもAI生成画像を認識して解釈する能力が著しく低いことがわかりました。これは、機械学習モデルが合成データでトレーニングされることが増える将来に、懸念される問題です。データが「本物」かどうかがわからない場合に、モデルはどうなるでしょうか。

ここでは、resnext101_32x8d_wsl予測モデルが「ベーグル」カテゴリで苦労している様子が見られます。テストでは、コアターゲットワード（この場合は「ベーグル」）が上位5つの予測結果に含まれない場合、認識失敗とみなされました。ソース：https://arxiv.org/pdf/2208.10760.pdf

この新しい研究では、コンピュータビジョンに基づく認識フレームワークの2つのカテゴリをテストしました。オブジェクト認識と視覚質問回答（VQA）です。

左側はオブジェクト認識システムからの推論の成功と失敗、右側はAIの理解を探究し、重要な方法でシーンと画像を探究するように設計されたVQAタスクです。ソース：https://arxiv.org/pdf/2105.05312.pdfとhttps://arxiv.org/pdf/1505.00468.pdf

10の最先端モデルを、DALL-E 2とMidjourneyによって生成された画像でテストしました。最も優れたモデルは、上位5つの精度で60％と80％を達成しました。一方、ImageNetは、非合成の実世界のデータでトレーニングされたもので、同様のカテゴリで91％と99％を達成しました。人間のパフォーマンスは通常、さらに高くなります。

分布シフト（別名「モデルドリフト」、予測モデルがトレーニングデータから「実際の」データに移行したときに予測能力が低下すること）の問題に対処して、論文では以下のことが述べられています。

「人間は生成された画像を認識し、質問に答えることが容易です。私たちは、深層モデルは生成されたコンテンツを理解するのに苦労し、ファインチューニングを行うと改善されるかもしれません。また、生成された画像と実際の写真の間には、大きな分布シフトがあります。分布シフトはカテゴリ依存的であるようです。」

合成データがコンピュータビジョン研究の将来を救う可能性があると考えられている一方で、合成データは、リソースと予算が不足していることが多いため、超大規模なキュレーションが必要です。Stable Diffusion画像の新しいトレンド（DALL-E 2の商業化と広告の普及により）と、合成画像の一般的な増加により、業界標準のデータセット（Common Crawlなど）に「偽」画像が流入する可能性があります。

画像生成フレームワークの開発のスピードは、画像を分類する能力を上回っています。したがって、「偽」画像検出システムへの関心が高まっています。これらのシステムは、ディープフェイク検出システムと同様ですが、画像全体を評価する必要があります。

新しい論文は、「深層モデルは生成された画像を理解する能力がどの程度あるか」というタイトルで、サンフランシスコのマシンラーニングスタートアップQuintic AIのAli Borjiによって書かれています。

データ

この研究は、Stable Diffusionのリリース前に行われ、DALL-E 2とMidjourneyによって生成された17のカテゴリのデータを使用しました。カテゴリには、ゾウ、キノコ、ピザ、プレッツェル、トラクター、ウサギなどがあります。

テストされた認識システムとVQAシステムが最も重要なキーコンセプトを識別するように挑戦された画像の例。

画像はウェブ検索とツイッターから取得され、DALL-E 2のポリシー（少なくとも当時）に従って、人間の顔が含まれる画像は除外されました。人間が認識できるだけの高品質の画像のみが選択されました。

オブジェクト認識とVQAタスクの2つの画像セットがキュレーションされました。

オブジェクト認識の各テストカテゴリの画像数。

オブジェクト認識のテスト

オブジェクト認識テストでは、ImageNetでトレーニングされた10のモデルがテストされました。AlexNet、ResNet152、MobileNetV2、DenseNet、ResNext、GoogleNet、ResNet101、Inception_V3、Deit、ResNext_WSLです。

テストされたシステムのいくつかのクラスは他よりもグラニュラなので、平均化アプローチを適用する必要がありました。たとえば、ImageNetには「時計」に関する3つのクラスがあり、特定の画像のトップ5のラベルに任意の「時計」が含まれている場合を成功とみなすためのいくつかの種類の任意のメトリックを定義する必要がありました。

17カテゴリ全体のモデルごとのパフォーマンス。

このラウンドで最も優れたモデルはresnext101_32x8d_wsで、上位1位（上位5つの予測の中で最も好ましい予測が正しい概念である場合）で約60％、上位5位（好ましい概念が上位5つの予測の中に含まれている場合）で約80％を達成しました。

著者は、このモデルの優れたパフォーマンスは、ソーシャルメディアプラットフォームでのハッシュタグの弱い教師あり予測にトレーニングされたためであると示唆しています。ただし、これらのリーディング結果は、ImageNetが実データで達成する91％と99％よりも著しく低いと著者は指摘しています。これは、ImageNet画像と生成画像の分布の間にある大きなギャップによるものであると彼は示唆しています。

システムにとって最も難しい5つのカテゴリは、凧、カメ、リス、サングラス、ヘルメットの順でした。論文では、凧クラスはしばしば風船、パラシュート、傘と混同されるが、これらの区別は人間の観察者にとっては容易であると指摘しています。

特定のカテゴリ（凧やカメなど）は、すべてのモデルで普遍的な失敗を引き起こしましたが、他のカテゴリ（プレッツェルやトラクターなど）は、テストされたモデルでほぼ普遍的な成功をもたらしました。

両極化カテゴリ：いくつかのターゲットカテゴリは、すべてのモデルを混乱させたか、またはすべてのモデルが識別するのが比較的簡単でした。

著者は、これらの発見は、すべてのオブジェクト認識モデルが共通の強みと弱点を共有していることを示唆している可能性があると推測しています。

視覚質問回答のテスト

次に、著者は、オープンエンドと自由形式のVQA、および二値質問（「はい」または「いいえ」で答えることができる質問）でVQAモデルをテストしました。論文では、最近の最先端VQAモデルは、VQA-v2データセットで95％の精度を達成できることが示されています。

このテストラウンドでは、著者は50の画像をキュレーションし、241の質問をこれらの画像について行いました。うち132は肯定的な答え、109は否定的な答えでした。質問の平均長さは5.12ワードでした。

このラウンドでは、OFAモデルを使用しました。これは、タスクに依存しないフレームワークで、タスクの包括性をテストするために使用され、最近、VQA-v2テスト標準セットでトップスコアを獲得しました。OFAは、生成された画像で77.27％の精度を達成しましたが、VQA-v2テスト標準セットでは94.7％の精度を達成しました。

テストのVQAセクションからの質問と結果の例。 ‘GT’は’Ground Truth’（正解）を表します。

論文の著者は、生成された画像にVQA-v2データセットにないセマンティックコンセプトが含まれていることが原因である可能性が高いと示唆していますが、VQAテストの質問が一般的なVQA-v2の質問よりも難しい可能性もあります。

データストリームのLSD?

意見

AI生成画像の新しい増加は、機械学習モデルが合成データでトレーニングされることが増える将来に、特に問題となる可能性があります。画像は、自然には存在しないコアコンセプトの瞬間的で抽象的な結合を提示できます。また、従来の方法では生成するのが極めて時間がかかる画像です。これは、弱い教師ありデータ収集システムに特に問題となる可能性があります。なぜなら、これらのシステムは、高ボリュームのラベル付けされていない合成データを処理するように設計されていないからです。

そのようなシステムでは、画像に実際には存在しない異なるオブジェクトを特徴とする「奇妙な」合成画像を、不正なクラスに分類してしまう可能性があります。

「宇宙飛行士が馬に乗っている」は、画像生成システムの新しい世代の最も象徴的なビジュアルとなりました。しかし、これらの「非現実的な」関係は、注意が払われなければ、実際の検出システムに侵入する可能性があります。ソース：https://twitter.com/openai/status/1511714545529614338?lang=en

これがトレーニング前に事前に防止されなければ、自動化されたパイプラインは、機械学習システムに信じがたい、またはひどい関連付けをトレーニングする可能性があります。これにより、システムの有効性が低下し、高レベルの関連付けがダウンストリームのシステムやサブクラス、カテゴリに伝播する可能性があります。

代わりに、断片的な合成画像は、将来新しいアーキテクチャが現れ、特にアドホックな合成画像に対処しようとする場合、後のシステムの精度に「冷却効果」をもたらす可能性があります。

どちらの場合でも、Stable Diffusionの時代の合成画像は、合成画像と機能の創出を可能にしたコンピュータビジョン研究分野にとって、頭痛の種となる可能性があります。なぜなら、この分野は、データの収集とキュレーションが現在よりもはるかに自動化され、時間がかかり、コストがかかることを希望しているからです。

2022年9月1日に初めて公開されました。