Andersonの視点
AIのハルシネーションを利用した画像のリアリズム評価
Unite.AI を Google の優先ソースに追加
ロシアからの新しい研究は、AI生成画像のリアリズムを検出するための従来の方法とは異なるアプローチを提案しています。具体的には、大規模なビジョン言語モデル（LVLM）の精度を向上させるのではなく、意図的にそのハルシネーションの傾向を利用するのです。
この新しいアプローチでは、LVLMを使用して画像についての多数の「原子的事実」を抽出し、それらの間の矛盾を体系的に測定するために自然言語推論（NLI）を適用します。つまり、モデル自身の欠陥を診断ツールとして利用して、常識に反する画像を検出します。
WHOOPS!データセットからの2つの画像と、LVLMモデルによって自動生成された文。左側の画像はリアルなので、一貫した説明が得られますが、右側の画像は不自然なので、モデルはハルシネーションを起こし、矛盾したり虚偽の文を生成します。 出典：https://arxiv.org/pdf/2503.15948
2番目の画像のリアリズムを評価するように求められた場合、LVLMは何かが間違っていることを認識できます。なぜなら、描かれたラカムには3つのこぶがあり、自然界ではこれは知られていないからです。
しかし、LVLMは初期段階では「>2つのこぶ」を「>2つの動物」と混同します。なぜなら、これは「ラカムの写真」の中で3つのこぶを見られる唯一の方法だからです。次に、3つのこぶよりもさらにありそうもないもの（「2つの頭」）をハルシネーションし、最初にその疑念を引き起こしたはずの、ありそうもない追加のこぶについては詳細に述べません。
研究者は、LVLMモデルがこの種の評価をネイティブに実行でき、ファインチューニングされたモデルと同等かそれ以上の性能を発揮できることを発見しました。ファインチューニングは複雑で高価で、ダウンストリームの適用性が脆いので、このようなタスクのモデルを開発するための新しいアプローチは、一般的な傾向から離れた新しい発見です。
オープンアセスメント
このアプローチの重要性は、オープンソースのフレームワークで展開できることです。先進的で高投資のモデルであるChatGPTは（論文では認めていますが）、このタスクでより優れた結果をもたらす可能性がありますが、この文献の価値は、ローカルな実装で新しいブレークスルーを取り込む可能性にあります。特に、ホビイストやVFXコミュニティにとっての価値は、高度なモデルをプロプライエタリな商用APIシステムに依存することなく、開発を進めることができることです。
新しい論文は「Don’t Fight Hallucinations, Use Them: Estimating Image Realism using NLI over Atomic Facts」と題され、Skolkovo Institute of Science and Technology（Skoltech）、Moscow Institute of Physics and Technology、MTS AI、AIRIの5人の研究者によって執筆されました。この研究にはGitHubページもあります。
方法
著者は、イスラエル/米国のWHOOPS!データセットを使用しています。
WHOOPS!データセットからの不可能な画像の例。画像がどのように信憑性のある要素を組み合わせて、不可能な要素を構成するかが注目に値します。 出典：https://whoops-benchmark.github.io/
このデータセットは、500の合成画像と10,874の注釈で構成されており、AIモデルのコモンスンス推論と構成理解をテストするために特別に設計されています。デザイナーがテキストから画像生成システム（MidjourneyやDALL-Eシリーズ）を使用して、自然には捉えられないシナリオを生成することで作成されました。
WHOOPS!データセットからのさらに多くの例。 出典：https://huggingface.co/datasets/nlphuji/whoops
新しいアプローチは3つのステージで機能します。まず、LVLM（特にLLaVA-v1.6-mistral-7b）は、画像についての多数のシンプルな文を生成します。これらの文は「原子的事実」と呼ばれ、Diverse Beam Searchを使用して生成され、出力の多様性が保証されます。
Diverse Beam Searchは、多様性を増やした目的関数を最適化することで、より多様なキャプションオプションを生成します。 出典：https://arxiv.org/pdf/1610.02424
次に、生成された各文は、自然言語推論モデルを使用して、他のすべての文と比較され、文のペアが互いに含意、矛盾、または中立的であるかどうかを示すスコアが割り当てられます。
矛盾は、画像内にハルシネーションや非リアルな要素があることを示します。
検出パイプラインのスキーマ。
最後に、ペアごとのNLIスコアは、生成された文の全体的な整合性を量化する単一の「リアリティスコア」に集約されます。
研究者は、クラスタリングベースのアプローチが最も優れたパフォーマンスを示したことを発見しました。クラスタリングアルゴリズム（k-means clustering）を使用して、個々のNLIスコアを2つのクラスタに分割し、下位値クラスタのセントロイドを最終的なメトリックとして選択しました。
2つのクラスタを使用することで、リアリスティック画像と非リアリスティック画像を区別する二項分類タスクの性質と一致しています。ロジックは、単に最低スコアを選択することと似ていますが、クラスタリングでは、単一のアウトライアではなく、複数の事実間の平均的な矛盾を表現することができます。
データとテスト
研究者は、WHOOPS!ベンチマークテストセットでシステムをテストしました。テストでは、回転テストスプリット（クロスバリデーション）を使用しました。テストされたモデルは、BLIP2 FlanT5-XLとBLIP2 FlanT5-XXLでした。
指示に従うためのベースラインとして、著者はLVLMに「これは不自然ですか？簡潔な文で説明してください」というフレーズを提示しました。これは、以前の研究で、非リアリスティック画像を検出するために効果的であることが示されています。
評価されたモデルは、LLaVA 1.6 Mistral 7B、LLaVA 1.6 Vicuna 13B、およびInstructBLIPの2つのサイズ（7/13億パラメータ）でした。
テスト手順は、102組のリアリスティック画像と「不自然」画像（「変な」画像）で中心となりました。各組は、1つの正常な画像と1つのコモンスンスを破る対象画像で構成されました。
3人の人間のアノテーターが画像をラベル付けし、92%の合意を達成しました。これは、人間が「不自然さ」を何とみなすかについて強い合意があることを示しています。評価方法の精度は、リアリスティック画像と非リアリスティック画像を正しく区別する能力によって測定されました。
システムは、3回のクロスバリデーションで評価され、データをランダムにシャッフルし、固定シードを使用しました。著者は、トレーニング中に含意スコア（論理的に同意する文）と矛盾スコア（論理的に矛盾する文）の重みを調整しましたが、「中立」のスコアは0に固定されました。最終的な精度は、すべてのテストスプリットの平均で計算されました。
5つの生成された事実のサブセットに対するさまざまなNLIモデルと集約方法の精度の比較。
上記の初期結果について、論文は次のように述べています。
「[‘clust’]」方法は、最も優れたパフォーマンスを示すものの1つです。これは、すべての矛盾スコアの集約が極端な値だけに焦点を当てるのではなく、重要であることを示しています。さらに、NLIモデルの最大モデル（nli-deberta-v3-large）は、すべての集約方法で他のモデルを上回り、問題の本質をより効果的に捉えていることを示しています。
著者は、最適な重みは一貫して矛盾よりも含意を好み、矛盾が非リアリスティック画像を区別する上でより情報量が大きいことを示しました。彼らの方法は、テストされたすべてのゼロショット方法を上回り、ファインチューンされたBLIP2モデルに近いパフォーマンスを示しました。
WHOOPS!ベンチマークでのさまざまなアプローチのパフォーマンス。ファインチューンされた（ft）方法は上部に、ゼロショット（zs）方法は下部にリストされています。モデルサイズはパラメータの数を示し、精度は評価メトリックとして使用されます。
彼らはまた、InstructBLIPが、同じプロンプトで比較可能なLLaVAモデルよりも優れたパフォーマンスを示したことに注目しました。GPT-4oの優れた精度を認めつつも、実用的なオープンソースソリューションを示したいという著者の意図を強調し、ハルシネーションを診断ツールとして明示的に利用する点で新規性を主張しています。
結論
しかし、著者は彼らのプロジェクトが2024年のFaithScoreの研究に負っていることを認めています。これは、テキサス大学ダラス校とジョンズ・ホプキンス大学の共同研究です。
FaithScore評価のイラスト。まず、LVLM生成の答え内の記述的な文を特定します。次に、これらの文を個々の原子的事実に分解します。最後に、これらの原子的事実を入力画像と比較してその正確性を確認します。下線のテキストは客観的な記述的内容を強調し、青いテキストはハルシネーションを示します。FaithScoreは、事実の正確さの解釈可能な尺度を提供します。 出典：https://arxiv.org/pdf/2311.01477
FaithScoreは、LVLM生成の記述の忠実度を、画像コンテンツとの一致性を確認することで評価します。一方、新しい論文の方法は、ハルシネーションを明示的に利用して、生成された事実の矛盾を使用して非リアリスティック画像を検出します。
新しい研究は、現在の言語モデルの特性と、ハルシネーションする傾向に依存しています。如果、将来的に完全にハルシネーションをしないモデルが開発された場合、現在の研究の一般原則は適用されなくなります。しかし、これは依然として挑戦的な展望です。
初版：2025年3月25日火曜日
