AI生成映像用ビデオコーデック

AIを使い放題にできる時代が終わりに近づくなか、AI動画生成の新たな省コスト手法が、トークン数と時間の大幅な節約を約束しています。

AI推論の実際のコストを前に、冷静な見方（関連資料）が現在のAI革命の猛烈な勢いに加わり、機械学習のコストを合理化することへの関心が高まっています。AIを自社環境に取り込むことの可能性やプライベートAIの広がりに加え、VRAMなどのリソースを大量に消費する機械学習処理そのものも、明らかに最適化が必要です。^{[1] [2] [3]}

動画生成は、この点でおそらく最大のリソース消費源です。映画を再圧縮したり、動画編集ソフトから書き出したりしたことがあれば、このAIとは無関係な作業がハードウェアに与える負荷をご存じでしょう。RAMとCPUサイクルを消費し、圧縮アルゴリズムがホストコンピューターに及ぼす影響を抑えなければ、ほかの用途に使えなくなることもよくあります。

AI動画の普及によって、この計算資源を大量に消費する処理が世界中のデータセンターでどれほど繰り返されているかは、想像に難くありません。その規模では、ごく小さな効率改善でも合計すればすぐに大きな意味を持ちます。

フレームに着目する

こうした背景のもと、上海の研究チームがJD.com (JD ) と共同で新たに提案したのが、動画コーデックです。対象は、巨大な未加工フレームを小さな動画ファイルに圧縮して書き出す処理ではなく、AI動画を生成する処理そのものです。

通常の動画コーデックは、すべてのフレームを完全な画像として保存するわけではありません。Iフレームと呼ばれる完全な画像を少数保存し、それ以外はフレーム間の変化として記録します。

例えば人物が少し動いた場合、場面全体を書き直すのではなく、その変化が生じた部分だけを記録します。以前のフレームから導かれるのがPフレームで、Bフレームでは後続フレームの情報も利用できます。

動画コーデックの仕組み。上段には時間順にI、P、Bと表示されたフレームが並びます。Iフレームは全体を保存するためフルカラーで、P・Bフレームは再構成されることを示すため薄く表示されています。矢印は、以前のフレーム、後のフレーム、またはその両方を参照するかを示します。下段は、全体が保存されたIフレーム（左）、以前のフレームから構成されるPフレーム（左から2番目）、前後両方のフレームから構成されるBフレーム（右）です。

近接した情報を再利用することで動画ファイルは小さくなります。ほとんどのフレームは新しい画像ではなく、前のフレームがどう変わったかを示す指示として働くためです。したがってIフレームは、容量を多く使う非圧縮または最小限の圧縮の完全な画像であり、その間のフレームはIフレームとの差分や互いの差分だけで構成されます。

もしすべてのフレームが完全な非圧縮画像なら、実質的には圧縮が行われていません。このような非圧縮動画として保存すると、2時間の映画で1テラバイト近く、あるいはそれ以上のディスク容量が必要です。しかし、これがAIが動画を作る仕組みです^†。動画をどう構成するか計算するとき、すべてのフレームに等しくリソースとトークンを割り当てます。

規模がもたらす節約

新しい研究「AdaCodec: A Predictive Visual Code for Video MLLMs」では、完全な視覚トークンを使う対象を参照フレーム（Iフレーム）だけに限定し、その間のすべてのフレームを「コンパクトなPトークン」で表現します。従来の実世界の動画コーデックが使ってきた圧縮に、明らかに着想を得た方式です。

この内部圧縮の後、生成AI動画を通常どおり圧縮できます。理論上、節約効果はすべてサーバー側に生じます。

AdaCodecの概要。左では、動画を適応的な画像グループに分け、予測が難しい場面に完全なIフレームを割り当て、その間のPフレームをコンパクトな動き・残差情報で表現します。右では、11のベンチマークでQwen3-VL-8Bと同等以上の性能を示し、さまざまなトークン予算で長時間動画の精度を高く維持しながら、動画トークン数を大幅に減らして応答遅延も短縮しています。 出典

報告されたAdaCodecのテスト結果を見ると、節約を追求する価値はあります。論文によると、同じ処理量で未変更のQwen3-VL-8Bモデルをすべての主要ベンチマークで上回り、動画トークンを約86％削減しても、同モデルと同等以上の性能を保ちました。

著者らは次のように述べています*。

「私たちは予測符号化から着想を得ています。これは、生の信号ではなく予測の誤差を送る仕組みです。この原理には生物学的な根拠があります。視覚系は、期待される入力と実際に観測された入力のずれである予測誤差を符号化すると考えられています。入力そのものを符号化するのではありません。」

「現代の動画コーデックも、工学的に同じ残差符号化の考え方を使っています。参照フレームは全内容を持ち、予測フレームは参照フレームに対する動きと残差信号を持ちます。」

「目的は異なりますが、これらのシステムには共通の条件構造があります。近接するサンプルに重複があれば、通信路は予測で説明できなかった情報を運ぶべきだというものです。」

「ただし標準的なコーデックは、LLMが消費する視覚トークンではなく、ビットストリームと人間が見るための再構成に最適化されています。そこで、この仕組みを動画理解用のMLLMインターフェースとして設計し直しました。」

上海交通大学、Shanghai Innovation Institute、JD.comの11人の研究者によるこの研究には、関連プロジェクトページがあります。ソースコードの公開も約束されています。^{[1] [2]}

方法

先に述べたように、システムは各フレームをまったく新しい画像として扱う代わりに、フレーム間の変化を探します。下図の左では、現在のフレームの小さな領域を、以前のフレームで最も似た領域と照合しています。

AdaCodecの構成図。

2つの位置の距離が動きベクトルとなり、残る見た目の違いが残差となります。このコンパクトな記述によって、完全な画像を保存する必要がなくなります。

右では、その情報がAIモデルに入力されます。重要な参照フレームは完全な画像として処理しますが、その間のフレームは、はるかに小さな動きと残差のトークンで表現します。これにより、処理する視覚データを大幅に減らしつつ、動画を解析するのに十分な情報を保持できるようです。

興味深い課題は、どのフレームを完全に保存するかという判断です。従来の動画コーデックは、必要かどうかにかかわらず参照フレームを一定間隔で配置するのが一般的です。AdaCodecは、特に重要な瞬間を見つけようとします。

例えば、アパートで2人がほぼ動かずに会話している場面に、突然SWATチームが窓から突入するとします。直ちにカメラの視点や編集によるカット数が増え、一定の参照フレーム間隔では足りないほど多くのデータが必要になります。

これが、圧縮率を変化させる可変ビットレートなどの方式の考え方です。元の動画からこうした動きの多い区間を分析し、必要な箇所により多くのデータを割り当てますが、時間とリソースのコストは決して小さくありません。

AdaCodecでは、近接フレームから正確に予測できる場合、コンパクトな動き・残差トークンを使い続けます。場面が大きく変化した場合は、先ほどのSWATの例でも、もっと穏やかな変化でも、完全な参照フレームを挿入します。処理予算を動画全体に均等配分する代わりに、重要な視覚情報へより多く使えるのです。

データとテスト

研究者らは、前述のQwen3-VL-8Bを基盤モデルとして、動画理解の3分野を対象とする11のベンチマークでAdaCodecを評価しました。長時間動画の性能はMLVU、LongVideoBench、LVBenchで、時間的な理解はTempCompass、MotionBench、TOMATOで、一般的な動画理解はVideo-MME、MVBench、NExT-QA、PerceptionTest、EgoSchemaで評価しました。

テストしたオープンソースモデルは、InternVL3.5-8B、Keye-VL-1.5-8B、GLM-4.1V-9B、MiniCPM-V-4.5-8B、Eagle2.5-8B、PLM-8B、LLaVA-Video-7B、VideoChat-Flash-7B、Molmo2-8B、Molmo2-O-7Bです。

表中のGPT-5、Gemini、Claudeの各バージョンは、比較の基準としてのみ掲載されています。CoPE-VideoLM-7BとReMoRa-7Bは、コーデックに着想を得た圧縮で視覚トークンの使用量を減らす先行の動画言語モデルで、AdaCodecに最も近い直接の比較対象です。

長時間動画の理解、時間的推論、一般的な動画理解を対象とする11のベンチマークの主な結果。スコアが高いほど性能が優れています。LVB = LongVideoBench、V-MME = Video-MME。太字と下線は、オープンソースモデルの最高値と2番目の値を示します。クローズドソースモデルの値は、入手できる場合は公式報告から採用し、不足分はMolmo2から取得するか、著者らが評価しました。

公平に比較するため、AdaCodecと標準のQwen3-VL-8Bシステムには同じ数の視覚トークンを割り当てました。結果が計算資源の違いではなく、圧縮方式の有効性を反映するようにするためです。

最も強く圧縮する設定では、AdaCodecは視覚トークンの使用量を約86％削減しながら、長時間動画、時間的理解、一般的な動画理解の課題で、基準システムと同等か、わずかに上回る性能を示しました。

節約したトークンを、より多くの動画フレームの処理に振り向けると、すべての長時間動画ベンチマークとすべての時間的理解ベンチマークで性能が向上しました。改善幅はLongVideoBenchで最大+5.4ポイント、TOMATOで最大+4.3ポイントに達し、研究内でも特に優れたオープンソースの結果の一部を生み出しました。

結論

この種の研究は通常、ハイパースケール事業者を対象としますが、趣味で使う人や中小企業にも関心を持たれる取り組みです。ローカルで合理的にAIを運用しようとする、新たな社会的な節制志向の一部になる可能性があります。

r/stablediffusionのようなコミュニティでは、これは以前からおなじみの話です。主要なオープンソースモデルが公開されるたび、GGUF、量子化した重みなどを使って極限まで最適化したバージョンへと仕立て直され、多少の忍耐は必要でも、低価格帯のグラフィックスカードで動くようになります。

この第3次AIブームの見せ場重視の段階が本当に終わったのであり、企業が推論の実際のコストに尻込みするという前提に立つなら、AdaCodecのような取り組みは、これから訪れる「大規模な最適化」の一部になるかもしれません。^{[1] [2] [3]}

^† これは、ユーザー向けの形式やファイルサイズに動画を書き出すこととは異なります。対象は、推論時にAIモデル内部で行われるフレームの生成と取りまとめです。

* 著者の本文中の引用を、筆者の判断で適宜ハイパーリンクに置き換えました。

初出：2026年6月4日（木）