最新の言語モデルも時系列ロジックを理解するのに苦労する

未来の状態を予測することは、コンピュータビジョン研究における重要なミッションです。特にロボティクスでは、現実世界の状況を考慮する必要があります。ミッションクリティカルなタスクを担当するマシンラーニングシステムは、物理世界に対する適切な理解が必要です。

しかし、時系列現実に対する明らかに印象的な知識は、欺瞞的である可能性があります。アラブ首長国連邦の新しい論文によると、最新のマルチモーダル大規模言語モデル（MLLMs）、包括してGPT-4oやGoogle Geminiなどのセクターのリーダーは、画像における時間の表現を解釈する際に苦労しています。

例として、人間にとっては簡単な順序付きペア（以下の画像参照）を、MLLMsに提示すると、複雑な状況や構成（例：2番目の画像が最初に表示される、画像を1つに結合する、順序が正しくない複数の画像など）で苦労することがわかりました。

研究者が新しい研究のために編集したデータセットのサンプル。研究者はこのデータをhttps://huggingface.co/datasets/fazliimam/temporal-vqa/viewerで公開しています

研究者は、MLLMsに基本的な時系列推論課題、たとえばイベントの順序を決定したり時間間隔を推定したりすることを依頼しました。結果は、7つのMLLMsが人間の精度よりも著しく低かったことを示しました。

「全体的に、結果は、現在のMLLMsが提案されたベンチマークに苦労していることを示しています。GPT-4oは他のモデルよりも優れたパフォーマンスを示していますが、異なる設定で一貫して正確な時系列推論を示すことができません。」

「一貫した精度スコアは、すべてのモデルで著しく低く、時系列シーケンスを視覚入力から理解および解釈する能力に重大な限界があることを示しています。これらの欠陥は、モデルの多画像入力や最適化されたプロンプトが提供されても明らかであり、現在のアーキテクチャとトレーニング方法が時系列順序の理解に不十分であることを示唆しています。」

マシンラーニングシステムは、最も正確で効率的で人間に優しい結果を最適化するように設計されています。ただし、推論を明示的に開示しないため、いつの間にか「ショートカット」を使用しているかどうかを判断することは難しい場合があります。

その場合、MLLMは「正しい答え」を「間違った方法」で到達する可能性があります。そうした答えが正しい場合、モデルに誤った自信を与える可能性があり、同じ方法で後続のタスクで誤った結果を生み出す可能性があります。

さらに、人間がそれに感銘を受けて、トライアルや注釈セッションで肯定的なフィードバックを与えると、データと/orモデルの方向性に影響を与える可能性があります。

この場合、MLLMsは時間の経過や時系列現象を真正に理解しているのではなく、時間スタンプや画像の配置などの二次的な指標に基づいて「時系列理解」を「フェイク」している可能性があります。

これは、MLLMsが人間と同等の時系列現象の概念を「汎化」していないことを示唆しています。

新しい論文は、マルチモーダルMLLMsは視覚時系列理解と推論ができるか？答えはノー！というタイトルで、アラブ首長国連邦のモハメド・ビン・ザイード大学の3人の研究者によって発表されました。

データとテスト

著者は、以前のベンチマークや研究、たとえばMMMUやTemporalBenchは、単一の画像入力に焦点を当てているか、MLLMsに回答しやすい質問を出していますが、ショートカット動作の傾向を明らかにすることはできないと述べています。

したがって、著者は2つの新しいアプローチを提案しています：時系列順序理解（TOU）と時間差推定（TLE）。TOUアプローチでは、モデルがビデオフレームのペアからイベントの正しい順序を決定する能力をテストします。TLE方法では、MLLMの2つの画像間の時間差を推定する能力を評価します。

論文からのTemporarlVQAベンチマークの2つの主要タスク：時系列順序理解では、モデルは2つの画像のうちどちらが最初に発生したイベントを示しているかを決定します。時間差推定では、モデルは2つの画像間の時間差を推定します。

研究者は、TOUベンチマークのために360の画像ペアをキュレーションしました。画像は、PixabayとPexelsからのオープンソースビデオから選ばれ、データセットをGUI経由で利用できるようにしました。

ビデオは、日常活動を行う人々や動物、植物などの様々な主題を扱っていました。フレームのペアは、イベントのシーケンスを表し、開始フレームを「明らか」にするのに十分な変化を示すように選択されました。

人間の選択を使用して、フレームが明確に順序付けられるようにしました。たとえば、1つのキュレーションされたペアは、1つのフレームで半分満たされたティーカップと、別のフレームでティーカップが完全に満たされたティーを示しています。

これらの2つの画像の時系列ロジックは避けられません。ティーはスプートから吸い戻すことはできないからです。

このようにして、360の画像ペアが得られました。

TLEアプローチの場合、著者はGoogleとFlickrから著作権フリーの画像を選択し、YouTubeの著作権フリーのビデオから選択されたフレームも使用しました。ビデオの主題は、秒から日、季節までの変化を示すものでした。

したがって、TLE方法のために125の画像ペアがキュレーションされました。

テストされたMLLMsのすべてが多画像を処理できるわけではありませんでした。したがって、テストは各モデルの能力に応じて異なりました。

キュレーションデータセットの複数のバージョンが生成され、画像ペアのいくつかは垂直に、他のペアは水平に結合されました。さらに、ペアの真の順序が入れ替わるバージョンもありました。

2つのプロンプトタイプが開発されました。最初のプロンプトは次のテンプレートに従います。

左/上/最初の画像で発生したイベントは、右/下/2番目の画像で発生したイベントよりも前に発生しましたか？真または偽を理由とともに示してください。

2番目のプロンプトは次のスキーマに従います。

2つの画像のうち、どちらが最初に発生したイベントを示していますか？理由とともに左/右/上/下/最初/2番目を示してください。

TLEの場合、質問は多肢選択式で、モデルは2つの画像の時間差を評価する必要があり、選択肢には秒、分、時間、日、月、年が含まれていました。

使用されたプロンプトは次のとおりです。

与えられた画像で、最初の画像（左）と2番目の画像（右）の間でどれくらいの時間が経過したと推定します。

次の選択肢の1つを選択してください。

1. 1. 15秒未満
B. 2分から15分の間
C. 1時間から12時間の間
D. 2日から30日の間
E. 4か月から12か月の間
F. 3年以上

テストされたMLLMsは、ChatGPT-4o、Gemini1.5-Pro、LlaVa-NeXT、InternVL、Qwen-VL、Llama-3-vision、LLaVA-CoTでした。

時系列順序理解：結果

異なるモデルの時系列順序理解の結果。精度と一貫性がさまざまな設定とプロンプトで示されています。

結果について、著者は、テストされたすべてのMLLMs、GPT-4o（全体的なパフォーマンスが最も優れていた）を含め、TemporarlVQAベンチマークに苦労していることを発見しました。

著者は、MLLMsの精度が一貫して低いことを示唆しており、視覚入力からの時系列シーケンスを理解および解釈する能力に重大な限界があることを示しています。これらの欠陥は、モデルの多画像入力や最適化されたプロンプトが提供されても明らかであり、現在のアーキテクチャとトレーニング方法が時系列順序の理解に不十分であることを示唆しています。

テストは、プロンプト戦略に対するパフォーマンスの違いを示しました。GPT-4oは最適化されたプロンプトで改善しました（シングル画像設定で4％、マルチ画像設定で65.3％）。ただし、パフォーマンスはまだ十分な水準に達していませんでした。

LLaVA-NeXTやQwen-VLなどのモデルは、プロンプトの変更に敏感で、代替プロンプトを使用するとパフォーマンスが低下しました。これは、プロンプトエンジニアリングだけがMLLMsの時系列推論の根本的な限界を克服できないことを示唆しています。

テストは、画像の配置（垂直vs.水平）がモデルのパフォーマンスに大きな影響を与えることも示しました。GPT-4oは垂直配置で一貫性を向上させ、39.2％から52.8％に上昇しました。ただし、LLaVAシリーズなどの他のモデルは、方向に強い偏見を示し、1つの方向では優れており、もう1つの方向では失敗していました。

これらの不一致は、モデルの真の時系列推論ではなく、レイアウトに関連するパターンや視覚特徴に依存していることを示唆しています。

GPT-4oの予測を、さまざまな入力順序で強調した質的テスト。最初の順序では、画像ペアが元の順序で提示され、2番目の順序では順序が逆になります。正しい分類は緑、純粋な誤分類は赤、妄想的な推論はオレンジ、無効な推論は茶色で示されています。

シングル画像入力とマルチ画像入力の比較テストは、全体的な改善が限定的であることを示しました。GPT-4oはマルチ画像入力でわずかに改善しました（P1では31.0％から43.6％、P2では46.0％から65.3％）。

他のモデル、たとえばInternVLは、安定したが低い精度を示しました。Qwen-VLはわずかな改善を示しました。著者は、これらの結果が、追加の視覚的コンテキストが時系列推論能力を大幅に向上させることを示していないことを示唆しています。

人間の研究では、3つの調査が実施され、最も優れたマルチモーダルMLLMのパフォーマンスを人間の推定と比較するために実施されました。

人間は90.3％の精度を達成し、GPT-4oの65.3％を25％上回りました。データセットは信頼性が高く、人間のエラーは最小限で、正しい答えについて一貫した合意が見られました。

最初のテストの人間ユーザー研究の結果。

時間差推定：結果

時間差推定の結果：時間差推定では、画像ペア間の時間間隔を特定するモデルの精度を評価します。

これらのテストでは、MLLMsは時間差推定で適切にパフォーマンスしました。GPT-4oは70％の精度を達成しましたが、他のモデルは著しく悪かったです（上の表を参照）。パフォーマンスは、さまざまな時間スケール間でも著しく異なりました。

著者は次のように述べています。

「時間差推定のタスクでは、MLLMsが画像ペア間の時間間隔を推定する能力をテストします。GPT-4oやGemini1.5-Proなどのトップパフォーマーを含むすべてのMLLMsは、このタスクに苦労しています。GPT-4oは60-70％の精度レベルで一貫したパフォーマンスを示していますが、秒や年では強いパフォーマンスを示していますが、時間では低いパフォーマンスを示しています。」

「同様に、LLaVA-CoTは秒や日という時間間隔で優れたパフォーマンスを示していますが、他の時間間隔では著しく低いパフォーマンスを示しています。」

人間の研究では、平均的な人間のパフォーマンスが、GPT-4o（このカテゴリでも最も優れたモデル）を12.3％上回りました。

著者は、一部の課題は特に難しかったと述べています。1つの場合、すべての人間参加者とAI参加者が間違った答えを返しました。

著者は、GPT-4oが「かなりロバストな推論能力」を示していることを結論付けています。

結論

MLLMsが「ショートカット」データを大量に蓄積し、吸収することで、提示された課題を克服できるようになれば、人間のような汎化能力を開発したかどうかは、もう重要ではありません。

私たちが自分の時系列推論能力をどのように獲得するのかは、まだわかっていません。私たちも、学習した経験の量が、人間の「直感」として機能するパターンを明らかにするまで、「ショートカット」を使用していますか。