1fpsを超える動画に字幕をつける課題

機械学習システムが動画内で発生するイベントを認識する能力は、AIベースの動画生成の将来にとって極めて重要です。特に、動画データセットは、ユーザーの要求に従い、過度に複雑にならないモデルを生成するために正確なキャプションを必要とするからです。 幻覚.

Google の VidReCap プロジェクトのキャプション スキーマの例。 出典: https://sites.google.com/view/vidrecap

効果的なトレーニング データセットに必要な規模のビデオに手動でキャプションを付けるというのは、非常識なことです。AI システムをトレーニングしてビデオに自動キャプションを付けることは可能ですが、多様性と網羅性を確保するために、人間が生成した膨大なサンプルが依然としてグラウンド トゥルースとして必要です。

さらに重要なのは、現在のAIベースのビデオキャプションモデルはほぼすべて 1fpsで動作これは、感情認識システムにおける突然の微細な表情の変化、バスケットボールなどの高速スポーツにおける急速な出来事、激しい動き、ドラマチックな映画における急速なカットなど、多くのシナリオにおける変化を識別するのに十分な密度のキャプチャ率ではありません。 PySceneDetect これらを識別できない（または使用されていない）可能性があり、注意のウィンドウを明らかに強化する必要がある他の多くのシナリオがあります。

クリックして再生します。 世界で最も遅いスポーツの 1982 つであるこのスポーツで、アレックス ヒギンズが XNUMX 年にレイ リアドンを破って世界チャンピオンの座を獲得したとき、スピーディーでありながら人生を変えるようなアクションが繰り広げられました。 出典: https://www.youtube.com/watch?v=_1PuqKno_Ok

素早く行動し、論理を破る

この低いレートは、さまざまなロジスティック上の理由から標準となっています。まず、ビデオキャプションは、システムが1フレームずつ連続して学習する場合でも、さまざまな方法を使用して一連のフレームを意味的に結合して解釈可能なキャプションシーケンスにする場合でも、リソースを大量に消費するアクティビティです。どちらの場合でも、 コンテキストウィンドウ ハードウェアの制約によって必然的に制限されます。

1fps が現在の標準となっているもう 300 つの理由は、ビデオには通常、急速なイベントが詰め込まれていないことです。したがって、静止したスヌーカー テーブルの XNUMX フレームに、ポットされた黒いボールが優勝を決めるほんの一瞬と同じ注目を向けるのは冗長です (上記の例を参照)。

スポーツ動画における決定的瞬間を特定するには、より広範な二次手がかりを用いることが可能です。例えば、バスケットボールの試合で、観客が素早くスラムダンクシュートを決めたときの持続的な反応などです。しかし、このような手がかりは他の理由（選手の予期せぬ負傷など）で発生する可能性もあり、必ずしも信頼できるものではありません。これは、誤ったラベル付けがされた動画データセットが、幻覚や指示の誤解釈を引き起こす動画生成モデルを生み出す一例です。例えば、スラムダンクシュートを生成するように指示された際に、モデルが選手の負傷を示唆してしまう可能性があります（観客の興奮という「二次手がかり」は、特定の種類のイベントに限定されるわけではないため）。

これは多くの点で「予算」の問題であり、またある意味では手続き上の問題でもあります。これまでのフレームワークは、まばらなキーフレームで重要な情報を効果的に捉えられるという原則に基づいて動作してきましたが、これは動画のジャンルや主題の他の側面を確立する上でより効果的です。なぜなら、その場合、証拠は複数のフレームにわたって持続するからです。

F-16

中国からの新しい論文は、ビデオを分析できる初のマルチモーダル大規模言語モデル（MLLM、または単にLLM）の形で解決策を提示している。 16fpsで 分析速度を上げることによる大きな落とし穴を回避しながら、標準の 1fps ではなく XNUMXfps で分析を実行します。

テストでは、著者らは、新しいシステム「 F-16は、GPT-4oやGoogleのGemini-1.5 Proといった独自の最先端モデルを凌駕する性能を発揮します。他の現行モデルは試験においてF-16の性能に匹敵、あるいは上回る性能を発揮しましたが、競合モデルははるかに大きく、扱いにくいものでした。

F-16は（後ほど詳しく検証しますが）かなり高度なハードウェアで訓練されましたが、推論は通常、訓練よりもはるかに負荷が小さいです。そのため、近い将来リリースされる予定のコードは、中級または上級の国産GPUで実行できると期待できます。

趣味のシーン（そして多くの場合、プロのVFXシーンも含む）の活性化に必要なのは、おそらく、このようなビデオキャプションモデルが機能することだ。 量子化されたこれにより、ジェネレーティブ ビデオ シーン全体が API ベースの商用システムに移行したり、ローカル フレームワークを商用オンライン GPU サービスに接続するよう消費者に強制したりすることがなくなります。

スケールアップを超えて

著者らは、この種のアプローチはデータセットのスケールアップに代わる実用的な方法であると述べています。また、新しいシステムではイベントをより細かく区別するため、問題にさらに多くのデータを投入する場合にも、この種のアプローチが依然として好ましいと推測できます。

彼らは述べています：

「低フレーム レートのサンプリングでは、特にシーンが急速に変化するビデオ、複雑な詳細、または高速モーションのビデオでは、重要な視覚情報が失われる可能性があります。さらに、キーフレームが欠落しているにもかかわらず、モデルがキーフレーム情報に依存するラベルでトレーニングされている場合、予測を予想されるコンテンツと一致させることが困難になり、幻覚やパフォーマンスの低下につながる可能性があります...」

「…F-16は、同規模のモデルの中で一般的なビデオ品質保証においてSOTA性能を達成し、高フレームレートビデオ理解においても明確な優位性を示し、GPT-4oなどの商用モデルを凌駕しています。この研究は、マルチモーダルLLM研究における高フレームレートビデオ理解の進歩に向けた新たな方向性を切り開きます。」

当学校区の 新しい紙 改善というタイトルの 16フレーム/秒のLLMビデオ理解は、清華大学とByteDanceの8人の著者によって執筆されたものです。

方法

連続するフレームには冗長な情報が含まれていることが多いため、F-16は高フレームレートのアライナーを適用して、視覚的な意味を保持しながら主要なモーションの詳細を圧縮してエンコードします。各フレームは、事前にトレーニングされた画像エンコーダーによって最初に処理され、特徴表現を抽出してから、アライナーに渡されます。 ガウス誤差線形単位 (GELU)。

F-16 のアーキテクチャは 16 FPS でビデオを処理し、従来の低フレーム レート モデルよりも多くのフレームをキャプチャします。また、高フレーム レート アライナーは、視覚的なセマンティクスを維持しながら、余分な視覚トークンを追加せずにモーション ダイナミクスを効率的にエンコードします。 出典: https://arxiv.org/pdf/2503.13956

増加したフレーム数を効率的に処理するために、F-16はフレームを小さな処理ウィンドウにグループ化し、XNUMX層構造を使用して視覚的特徴を統合します。 多層パーセプトロン （MLP）は、最も関連性の高いモーションの詳細のみを保持し、不要な重複を減らしながら、アクションの時間的な流れを維持するのに役立ちます。空間 最大プーリング レイヤーはトークン数をさらに圧縮し、計算コストを制限内に抑えます。

処理されたビデオトークンは、 クウェン2-7B LLM は、抽出された視覚的特徴と指定されたユーザープロンプトに基づいてテキスト応答を生成します。

著者らは、ビデオ入力をこのように構成することで、F-16 は効率性を維持しながら、動的なシーンでより正確なイベント認識を可能にすると主張している。

ショートバージョン

F-16は事前学習済み画像LLMを拡張し、 LLaVA-ワンビジョンは、映像入力パイプラインを変換することで映像を処理します。標準的な画像LLMは個々のフレームを処理しますが、F-16の高フレームレートアライナーは複数のフレームをモデルがより効率的に処理できる形式に再フォーマットします。これにより、冗長な情報でシステムが過負荷になるのを防ぎながら、正確な映像理解に必要な重要なモーションキューを維持します。

F-16は、画像ベースの基盤との互換性を確保するために、アライナーを再構築して事前学習済みのパラメータを再利用します。 サブマトリックスこのアプローチにより、連続したビデオ入力に適応しながら、単一フレーム モデルからの知識を統合できます。

アライナーはまず、フレーム シーケンスを LLM に最適化された形式に圧縮し、最も有益な特徴を保持しながら不要な詳細を破棄します。アーキテクチャ設計により、システムは計算要求を制御しながら高フレーム レートのビデオを処理できます。著者らはこれを、スケーリングがビデオ キャプション作成の唯一の (または最善の) 方法ではないことの証拠であると主張しています。

ペースを変える

16FPSでビデオを処理すると動きの理解は向上しますが、特に推論中の計算コストが増加するため、F-16では 可変フレームレートデコード この方法により、再トレーニングなしでフレーム レートを動的に調整できます。

F-16 で使用可能なシングル フレームおよび高フレーム レート アライナー。

この柔軟性により、高精度が要求されない場合にモデルは低い FPS で効率的に動作し、計算オーバーヘッドが削減されます。

テスト時に低いフレーム レートが選択されると、F-16 は入力フレームを繰り返して予想される寸法に一致させることにより、以前にトレーニングされたアライナー パラメータを再利用します。これにより、モデルはアーキテクチャを変更することなくビデオを効果的に処理できるようになります。

重要なモーションの詳細が失われるリスクのある単純なダウンサンプリング (つまり、フレームを単純に削除する) とは異なり、この方法ではアライナーの学習したモーション表現が保持され、フレーム レートが低下しても精度が維持されます。一般的なビデオ理解の場合、FPS 設定を低くすると、パフォーマンスを大幅に低下させることなく推論を高速化できます。一方、高速モーション分析では、16 FPS の機能をフルに活用できます。

データとテスト

Qwen2-7Bをベースに構築されたFP-16は、LLaVA-OneVisionを拡張し、 SigLIP 画像エンコーダーとして。ビデオ フレームを 16 FPS でサンプリングすると、各ビデオから最大 1,760 フレームを取得できます。長いビデオ クリップの場合、フレームは均一に (つまり、よりまばらに) サンプリングされます。

訓練では、F-16は、 LLaVAビデオ含みます LLaVAビデオ178K, NExT-QA, アクティビティネットQA, 知覚テスト.

F-16は高速スポーツデータセットでさらに微調整された。 ファインジム, ダイビング48, サッカーネット著者らはまた、シュートが成功したかどうか（高フレームレート処理を必要とするタスク）に焦点を当て、276年13月25日から2024月XNUMX日までの間に行われたXNUMXのNBAゲームのコレクションをキュレーションしました。

このモデルは、 NSVA テストセットパフォーマンスは次のように測定されます F1スコア.

体操とダイビングのモデルはイベント認識の精度に基づいて評価され、サッカーとバスケットボールのモデルはパスとシュートの結果を追跡しました。

モデルは1日間トレーニングされた。 時代 128 NVIDIA H100 GPU（GPUあたり標準の80GBのVRAMでは、10,24テラバイトのGPUメモリの使用が必要でした。最近の基準から見ても、これは私が個人的にコンピュータービジョン研究文献を追いかけて出会った最高スペックのGPUクラスターです）。 学習率 訓練中は2×10⁻⁵が使用されました。

さらに、 ロラ スポーツデータで微調整されたLoRAアダプタは64GPUで5エポック使用されました。ここではLLMのみがトレーニングされ、画像エンコーダは 凍結.

最初のラウンドで「一般的なビデオ理解」のためにテストされた競合フレームワークは、GPT-4o、Gemini-1.5-Pro、Qwen2-VL-7B でした。 ビデオLLaMA2-7B; ビデオチャット2-HD-7B; LLaVA-OV-7B; ミニCPM-V2.6-8B; LLaVA-ビデオ-7B、および NVILA-7B;

モデルは次の点で評価されました。 ビデオ-MME; ビデオビスタ; テンポラルベンチ; モーションベンチ; 次のQA; ミリタリー、および ロングビデオベンチ.

モデル間のビデオ QA 結果の比較。複数のベンチマークでの FPS 制限とパフォーマンスを示します。F-16 は、Video-MME、NQA、TPB、MB で 7B モデルの中で SOTA を達成し、GPT-4o や Gemini-1.5-Pro などの独自モデルに匹敵します。

これらの結果について、著者らは次のように述べています。

「それぞれ短いビデオの理解用に設計された Video-MME Short、Medium、および NeXT-QA データセットでは、当社のモデルは以前の 7B SOTA モデルを精度で 3.2%、1.0%、および 0.9% 上回り、短いビデオでの優れたパフォーマンスが際立っています。」

Video-MME Long、LongVideoBench、MLVU などの長時間ビデオの理解を評価するベンチマークでは、フレームのサンプリングがまばらになり、処理ウィンドウ内のフレームに大きな変動が生じるため、課題はさらに大きくなります。

これにより、モダリティアライナーが限られたトークン表現内で時間的変化を効果的にエンコードすることが困難になります。その結果、F-16は、同じビデオデータセットで学習された[LLaVA-Video-7B]と比較して、わずかにパフォーマンスが低下します。

著者らは続けて、F-16 の高フレーム レート処理により、既存の 13.5B モデルと比較して、TemporalBench で 2.5% の改善、MotionBench で 7% の向上がもたらされ、GPT-4o や Gemini-1.5-Pro などの商用モデルと同等のレベルのパフォーマンスが得られたと述べています。

高速スポーツビデオの理解

F-16 は、FineGym、Diving48、SoccerNet、NBA データセットでテストされ、高速スポーツアクションを理解する能力が評価されました。

トレーニングでは、手動で注釈を付けた 10,000 個の NBA クリップを使用して、ボールの動きと選手のアクション、および F1 スコアで評価された NSVA テスト セットを使用してモデルがシュートが成功したかどうかを正しく判断できるかどうかに重点が置かれました。

高速スポーツ ビデオ分析の結果。高フレーム レート アライナーを備えた F-16 は、すべてのスポーツ タスクにおいて、低フレーム レート アライナーよりも優れたパフォーマンスを発揮しました。GPT-4o と Gemini-1.5-Pro は、ドメイン内のトレーニング知識を必要としない NBA および SoccerNet QA でも評価されました。

体操の動作認識を測定する FineGym では、F-16 は以前の 13.8B SOTA モデルよりも 7% 優れたパフォーマンスを発揮し、きめ細かい動作理解が向上していることが示されました。

ダイビング48では、離陸、 宙返り, ツイスト, フライト 段階があり、F-16 はこれらの遷移を認識する際に高い精度を示しました。

SoccerNet の場合、モデルは 10 秒間のクリップを分析してボールのパスを識別し、結果は既存の 7B モデルよりも改善され、FPS が高いほど小さくて素早い動きを追跡できることが示されました。

NBA データセットでは、F-16 のシュート結果を判断する能力は、GPT-4o や Gemini-1.5-Pro などのより大規模な独自モデルの精度に近づいており、さらにフレーム レートが高いほど動的な動きを処理する能力が向上することが示唆されています。

可変フレームレート

F-16 は、適応性を測定するためにさまざまなフレーム レートでテストされました。再トレーニングの代わりに、アライナーの入力構造に合わせてフレームを繰り返すことで、低い FPS を処理しました。このアプローチでは、単純に削除する (精度の低下を引き起こしやすい) よりも高いパフォーマンスが維持されました。

結果は、FPS を下げるとモーション認識にいくらか影響があったものの、F-16 は依然として低フレーム レート モデルよりも優れており、16 FPS 未満でも優れた結果を維持していることを示しています。

左は、さまざまなテスト FPS とシーケンス長で Video-MME Long セットの 16 本のビデオを計測した推論中のさまざまな F-300 モジュールの時間消費です。右は、さまざまな FPS でトレーニングおよびテストされたモデルの Video-MME パフォーマンスの比較です。実線は同じ FPS でトレーニングおよびテストされたモデルを表し、破線は 16 FPS でトレーニングされたモデルを低いフレーム レートでテストした場合のパフォーマンスを示しています。

F-16 の高フレーム レート処理により計算要件が増加しましたが、アライナーは冗長なビジュアル トークンを圧縮することでこれらのコストを管理するのに役立ちました。

このモデルは、低 FPS モデルよりもビデオごとに多くの FLOP を必要としましたが、トークンごとに優れた精度も達成しました。これは、フレーム選択とトークン圧縮戦略が、追加された計算を相殺するのに役立ったことを示しています。

まとめ：

この特定の研究分野の重要性や課題をいくら強調してもし過ぎることはない。特に今年は、 飛躍の年 生成ビデオでは、ビデオデータセットのキュレーションと字幕の品質の欠点が指摘されている 鋭い安堵に.

また、内部ビデオの詳細を正確に記述することに伴う課題は、VRAM、時間、またはディスク領域を投入するだけでは解決できないことも強調しておく必要があります。長くて退屈なビデオ部分 (たとえば、ゴルフやスヌーカーのビデオ クリップなど) からイベントを分離/抽出する方法は、現在 SOTA ソリューションを支配しているセマンティック アプローチとメカニズムを再考することで改善されます。これらの制限の一部は、リソースが乏しい時代に確立されたためです。

（ちなみに、16年では2025fpsは非常に低いフレームレートのように思えますが、これは非常に人気のある ワン2.1 生成ビデオモデル、そしてそれゆえ最も少ない問題で動作する速度。研究現場がここでの「標準エントロピー」の可能性に注目してくれることを期待したい。時には時代遅れの制約もある。 将来の基準を永続させることができる)

初版発行日：19年2025月XNUMX日水曜日