AI 研究における「さらに多くのラベルをダウンロード！」の幻想

現在の機械学習研究では、機械学習自体が AI データセットの注釈の品質を向上させるために使用できるという見方が一般的です。特に、ビジョン言語モデル（VLMs）で使用される画像キャプションを意図した場合に、この考え方は、人間の注釈のコストが高く、注釈者のパフォーマンスを監督する追加の負担があるため、推進されています。

これは、2000 年代初頭の「RAM をダウンロードする」のメムと同じで、ハードウェアの制限をソフトウェアベースの修正で解決できるという考えを風刺しています。

これは、無視されている問題でもあります。新しい AI モデルは、一般の人々や商業的な分野で広く注目されていますが、注釈は、機械学習パイプラインで重要な詳細であるにもかかわらず、幅広いフレームワークの周りの興奮によって隠れています。

実際、機械学習システムがパターンを認識して再現する能力（ほぼすべての AI システムの中心的な使用例）は、現実世界の注釈の品質と一貫性に依存しています。注釈は、人間によって作成または判断されるラベルやフレーズで、非理想的な状況で個々のデータ ポイントについて主観的な判断を下すことがよくあります。

人間の観察者から取られた例に含まれないデータで、注釈者の動作のパターンを観察して再現しようとするシステムは、うまく機能することはできません。何が「似ている」かは、まったく同じではありません。ドメイン間の等価性は、コンピュータービジョンで問題の多い追求です。

「上流データの責任」はどこかで止まる必要がありますが、この場合は、そこで止まります。人間の小脳が、人工システムのためにデータを符号化するために、主観的な区別をする必要があります。

RAG トレード

最近までは、データセット注釈の不完全さから生じる不正確さは、生成的な AI システムから得られる不完全だがまだ販売可能な結果の文脈で、ある程度受け入れられていました。

実際、今年のシンガポールの研究では、結論が、幻覚（つまり、AI システムが私たちの意図を裏切るものを発明するとき）は、必然的であり、システムの概念的なアーキテクチャに組み込まれていると示しています。

これに対抗するために、RAG ベースのエージェント（インターネット検索を介して事実を「検証」できるエージェント）は、研究と応用された商業的な解決策で人気を博しています。ただし、リソース コストとクエリの待ち時間が増加します。さらに、トレーニング済みモデルに適用される新しい情報は、ネイティブ レイヤーに特徴的なより複雑で密接に結合された接続と競合することはできません。

これらのモデルに情報を提供する注釈データが、最初からかなり不完全でない場合に、よりよい結果になるでしょう。完璧ではありませんが（少なくとも、人間の主観性の領域に侵入する活動であるため）、それでもっとも近いものです。

RePOPE

ドイツからの新しい論文は、古い、広く使用されているデータセットに頼ることから生じる問題に焦点を当て、特に画像キャプションの精度と信頼性に焦点を当てています。研究者の発見は、ベンチマークのラベル エラーが、ビジョン言語モデルでの幻覚を隠したり歪曲したりする可能性があることを示しています。

新しい論文から、元のキャプションが画像内のオブジェクトを正しく識別できなかった例。研究者の POPE ベンチマーク データセットの手動修正は、これらの欠点を解決し、注釈のキュレーションを節約するコストを示しています。ソース: https://arxiv.org/pdf/2504.15707

例えば、モデルがストリート シーンの画像を見せられ、そこに自転車があるかどうかを尋ねられたとします。モデルは「はい」と答えます。ベンチマーク データセットが自転車がないと示唆している場合、モデルは「間違っている」とマークされます。ただし、画像に自転車が明らかに表示されていて、注釈の際に見過ごされた場合、モデルの答えは正解であり、ベンチマークが失敗しています。

このようなエラーは、データセット全体に蓄積し、どのモデルが正確で、どのモデルが幻覚に陥りやすいかについて、歪んだ画像を与え、問題を確実に診断または対処することを困難にします。

新しい論文は、ビジョン言語モデルが画像内のオブジェクトの存在または不存在を正しく判断できるかどうかをテストする、広く使用されているベンチマークである Polling-based Object Probing Evaluation（POPE）を再検討しています。

POPE は、長年にわたり注釈の精度が高いと考えられてきた、Microsoft COCO: Common Objects in Context （MSCOCO）データセットからのラベルに基づいています。

POPE は、生成されたキャプションを解析するのではなく、モデルに画像内の特定のオブジェクトの存在について「はい/いいえ」の質問を出すことで、オブジェクトの幻覚を、大きなビジョン言語モデルで二項分類タスクとして再定義します。

ビジョン言語モデルのオブジェクトの幻覚の例。太字のラベルは、元の注釈で存在するとマークされたオブジェクトを示し、赤いラベルはモデルによって幻覚されたオブジェクトを示しています。左の例は、伝統的な指示ベースの評価を反映し、右側の 3 つの例は、POPE ベンチマークのさまざまなバリアントから描かれています。ソース: https://aclanthology.org/2023.emnlp-main.20.pdf

グラウンド トゥルース オブジェクト（答え: 「はい」）は、サンプルされた存在しないオブジェクト（答え: 「いいえ」）とペアになります。これは、ランダム、頻繁（「人気」）、または共発生ベース（「アドバーサリアル」）の戦略を使用して行われます。このセットアップにより、プロンプトに敏感でない、より安定した評価が可能になります。

新しい論文の著者は、POPE の精度を疑問視するために、元の MSCOCO データセットのラベルを再確認しました。驚くほど多くのラベルが間違っているか、不明確であることがわかりました。

2014 年の MSCOCO データセットからの例。ソース: https://arxiv.org/pdf/1405.0312

これらのエラーにより、モデルがランク付けされ、当初は上位を争っていたモデルが、正解されたラベルで評価されたときに後退しました。

テストでは、著者は、さまざまなオープン ウェイト ビジョン言語モデルを、元の POPE ベンチマークと修正された RePOPE バージョンの両方で評価しました。

論文によると、修正された注釈により、特に F1 スコアで、モデル ランキングに大きな変化が生じました。POPE では上位を争っていたいくつかのモデルは、RePOPE では下位に落ちました。

著者は、このシフトが、注釈エラーがモデルの実際の幻覚の挙動をどれだけ隠しているかを示しており、RePOPE は幻覚の脆弱性を評価するためのより信頼性の高いツールであると主張しています。

新しい論文のもう 1 つの例から、元の POPE キャプションが画像内の微妙なオブジェクト（右端の写真のトラムのキャビンの横に座っている人や、左から 2 番目の写真のテニス プレーヤーに隠された椅子）を正しく認識できなかったことがわかります。

方法とテスト

研究者は、元の MSCOCO データセットのすべての注釈を再ラベル付けしました。各データ インスタンスに 2 人の人間のラベラーが割り当てられました。元のラベルの品質に関する曖昧さが生じた場合（以下の例を参照）、これらの結果はテスト ラウンドから除外されました。

POPE でのラベルの一貫性の欠如を反映する曖昧なケース。例えば、テディ ベアがクマとしてラベル付けされた場合、オートバイが自転車としてラベル付けされた場合、または空港の車両が車としてラベル付けされた場合。これらのケースは、主観的な分類と MSCOCO の元のラベルの不一致のため、RePOPE から除外されました。

論文では、次のことが述べられています。

「元の注釈者は、背景やガラスの後ろの人を見逃した。テニス プレーヤーは背景の ‘椅子’ を隠し、コールスローには見える部分が小さなニンジンのストライプしかない。」

「一部のオブジェクトについて、COCO の注釈は、元の注釈者によって使用された定義の違いにより、非常に一貫性がなく、テディ ベアをクマとして、オートバイをモーターサイクルとして、または空港の車両を車として分類するなど、不一致が生じます。したがって、これらの画像と質問のペアを ‘曖昧’ と注釈します。」

再注釈の結果: POPE のすべてのバリアントで共有される陽性質問。POPE で「はい」とラベル付けされたもののうち、9.3% が不正確であり、13.8% が曖昧であることがわかりました。「いいえ」質問の場合、1.7% が誤ってラベル付けされ、4.3% が曖昧でした。

著者は、OpenVLM リーダーボード上のトップ アーキテクチャを含む、さまざまなオープン ウェイト モデルを POPE と RePOPE の両方で評価しました。

結果グラフは、ラベルを修正した後に、真陽性と偽陽性の数がどのように変化するかを示しています。

真陽性はすべてのモデルで低下し、モデルが誤ったラベルで正解とされたことが多かったことを示しています。一方、偽陽性はより変動しました。

POPE の「ランダム」バージョンでは、偽陽性は多くのモデルでほぼ 2 倍になりました。これは、オブジェクトが画像に存在していたが、元の注釈で見過ごされたことが多かったことを示しています。この場合、多くのモデル エラーは、実際にはデータセットのラベル付けミスでした。

POPE の「アドバーサリアル」バージョンでは、質問が共発生に基づいていたため、偽陽性は減少しました。これは、実際には画像に存在していたが、ラベル付けされていなかったオブジェクトが存在する可能性が高かったことを反映しています。

これらの変化は、精度とリコールに影響しましたが、モデル ランキングは両方のメトリックで比較的安定しました。

POPE の主な評価尺度である F1 スコアは、ラベル修正に対してはるかに敏感でした。ランダム サブセットでは、元のラベルで上位を争っていたモデル (InternVL2.5-8B や -26B など) が、RePOPE で評価されたときに下位に落ちました。他のモデル (Ovis2-4B や -8B など) は、RePOPE で上位に浮上しました。

精度スコアでも同様のパターンが見られましたが、著者は、これらのスコアが現在、正解と負の例の数が不均衡なため、偏っている可能性があると指摘しています。

著者は、注釈エラーがベンチマークの結果に与える大きな影響は、高品質のデータの必要性を強調しており、オブジェクトの幻覚をより信頼性の高い評価のために、修正されたラベルを GitHub で公開しています。

ただし、ベンチマークの飽和を完全に解決するものではないと指摘し、さらに課題を提示しています。多くのモデルは、真陽性と真陰性の率が 90% を超えています。したがって、RePOPE とともに、より課題的な負の例を使用する DASH-B などの追加のベンチマークが必要です。

結論

この実験は、関与するデータセットの規模が非常に小さかったため、実行可能でした。同じ仮説を超大規模データセットで証明することは、データの非常に限られたフラグメントで作業することを意味し、多様性の高い大規模データセットでは、統計的に代表的なグループを分離することは困難になる可能性があります。

これは、AI 研究における「さらに多くのラベルをダウンロード！」の幻想を浮き彫りにします。データセットの品質と一貫性は、AI モデルのパフォーマンスに大きな影響を与えるため、より優れたデータとより優れたアノテーションが必要です。

「より優れた」データと「より多くの」データは、それ自体が別の問題です。Amazon Mechanical Turk などのレース トゥ ザ ボトムの経済では、アノテーションの量を増やすことができますが、これは、劣悪な結果につながる可能性のある潜在的に搾取的なサブ経済です。

代わりに、アノテーション タスクを、同じ出費でより多くのアノテーションを得ることができる経済地域に外注することもできます。ただし、アノテーターがモデルの使用例から遠ざかるにつれて、結果のモデルがターゲット ドメインのニーズや期待と一致する可能性は低くなります。

これは、機械学習開発の経済学における最も永続的な未解決の課題の 1 つです。

最初に公開: 2025 年 4 月 23 日（水曜日）