AI ベースのビデオ編集の改善への道

ビデオ/画像合成研究部門では、ビデオ編集*アーキテクチャを定期的に発表しており、過去 9 か月間で、この種の発表はさらに頻繁に行われるようになりました。とはいえ、中核となる課題は重大であるため、そのほとんどは最先端の段階的な進歩を示すものに過ぎません。

しかし、今週、中国と日本の間で新たな共同研究が行われた結果、必ずしも画期的な成果ではないにしても、このアプローチを詳しく検討する価値のある事例がいくつか生まれた。

以下のビデオクリップ（論文の関連プロジェクトサイトから引用。ブラウザに負荷がかかる可能性があるので注意してください）では、システムのディープフェイク機能は現在の構成では存在しないものの、ビデオマスク（左下）に基づいて、写真に写っている若い女性の身元をもっともらしく大幅に変更する優れた機能を備えていることがわかります。

クリックして再生します。 左下に視覚化されたセマンティック セグメンテーション マスクに基づいて、元の (左上) 女性は、プロンプトに示されているアイデンティティの入れ替えは達成されないものの、著しく異なるアイデンティティに変換されます。 出典: https://yxbian23.github.io/project/video-painter/ （執筆時点では、この自動再生と動画満載のサイトはブラウザをクラッシュさせやすい状態でしたのでご注意ください。）より高解像度で詳細な映像をご覧になりたい場合は、ソース動画（アクセス可能な場合）をご覧ください。また、プロジェクトの概要動画（https://www.youtube.com/watch?v=HYzNfsD3A0s）で例をご覧ください。

この種のマスクベースの編集は静的な分野では定着している。 潜在拡散モデルなどのツールを使って コントロールネットただし、以下に示すように、マスクされた領域によってモデルに創造的な柔軟性が提供される場合でも、ビデオの背景の一貫性を維持することははるかに困難です。

クリックして再生します。 新しいVideoPainterメソッドで、また違った種類の作品に仕上がりました。より高解像度で詳細な映像をご覧になりたい場合は、ソースビデオ（アクセス可能な場合）をご覧ください。また、プロジェクトの概要ビデオ（https://www.youtube.com/watch?v=HYzNfsD3A0s）でサンプル動画もご覧いただけます。

新しい研究の著者は、テンセント自身の ブラシネット 建築（これは 昨年取り上げた) および ControlNet に適用され、どちらもフォアグラウンドとバックグラウンドの生成を分離できるデュアル ブランチ アーキテクチャを扱います。

しかし、この方法を非常に生産性の高い拡散トランスフォーマー（DiT）アプローチに直接適用すると、 提案された OpenAIのSoraによるこの研究は、著者らが指摘するように、特別な課題をもたらす」

「[BrushNet と ControlNet のアーキテクチャ] をビデオ DiT に直接適用すると、いくつかの課題が生じます。[まず、] ビデオ DiT の堅牢な生成基盤と大きなモデル サイズを考えると、コンテキスト エンコーダーとしてフル/ハーフ ジャイアントのビデオ DiT バックボーンを複製することは不要であり、計算上法外になります。

「[第二に] BrushNet の純粋な畳み込み制御ブランチとは異なり、マスクされた領域内の DiT のトークンには、グローバル アテンションによる背景情報が本質的に含まれており、DiT バックボーン内のマスクされた領域とマスクされていない領域の区別が複雑になります。

「[最後に]、ControlNet ではすべてのレイヤーにわたる特徴注入が欠如しており、修復タスクのための高密度背景制御が妨げられています。」

そこで研究者らは、プラグアンドプレイ方式のアプローチを、デュアルブランチフレームワークという形で開発しました。 ビデオペインター.

VideoPainterは、軽量なコンテキストエンコーダを用いて事前学習済みのDiTを強化する、デュアルブランチのビデオインペインティングフレームワークを提供します。このエンコーダはバックボーンのパラメータのわずか6%を占めるため、著者らは従来の手法よりも効率的なアプローチであると主張しています。

このモデルは、効率的な背景ガイダンスのための合理化された 2 層コンテキスト エンコーダー、マスクされたトークンとマスクされていないトークンを分離するマスク選択機能統合システム、および長いビデオ シーケンス全体で ID の一貫性を維持するインペインティング領域 ID 再サンプリング手法という 3 つの重要な革新を提案しています。

By 凍結 VideoPainter は、事前トレーニング済みの DiT とコンテキスト エンコーダーの両方を備え、ID アダプターを導入しながら、以前のクリップからの修復領域トークンがビデオ全体で維持されるようにし、ちらつきや不整合を軽減します。

このフレームワークはプラグアンドプレイ互換性も考慮して設計されており、ユーザーは既存のビデオ生成および編集ワークフローにシームレスに統合できます。

この作業をサポートするには コグビデオ-5B-I2V 著者らは、生成エンジンとして、これまでで最大のビデオ修復データセットを作成したと述べている。 VPデータコレクションは390,000万本以上のクリップで構成され、合計886時間以上の動画が収録されています。また、関連するベンチマークフレームワークも開発しました。 VPベンチ.

クリックして再生します。 プロジェクトのウェブサイトのサンプルから、VPDataコレクションとVPBenchテストスイートを活用したセグメンテーション機能を確認できます。より高解像度で詳細なサンプルをご覧になりたい場合は、ソースビデオをご覧ください。また、プロジェクトの概要ビデオ（https://www.youtube.com/watch?v=HYzNfsD3A0s）でサンプルもご覧いただけます。

当学校区の 新作 というタイトルです VideoPainter: プラグアンドプレイのコンテキストコントロールによる任意の長さのビデオの修復と編集は、Tencent ARC Lab、香港中文大学、東京大学、マカオ大学の 7 人の著者によるものです。

前述のプロジェクトサイトのほかに、著者らはよりアクセスしやすい YouTubeの概要、そして ハグフェイスページ.

方法

VPData のデータ収集パイプラインは、収集、注釈付け、分割、選択、キャプション付けで構成されています。

データセット構築パイプラインのスキーマ。 出典: https://arxiv.org/pdf/2503.05639

この編集に使用されたソースコレクションは、 ビデヴォ 　 Pexels当初は約450,000万本のビデオが入手されました。

前処理段階には複数のライブラリとメソッドが使用されました。 何でも認識 フレームワークは、主要なオブジェクトを識別することを目的としたオープンセットビデオのタグ付けを提供するために使用されました。 グラウンドング・ダイノ 識別されたオブジェクトの周囲の境界ボックスの検出に使用され、 何でもセグメント化モデル 2 (SAM 2) フレームワークを使用して、これらの粗い選択を高品質のマスク セグメンテーションに精製しました。

シーンの遷移を管理し、ビデオの修復の一貫性を確保するために、VideoPainterは PySceneDetect 自然な区切りでクリップを識別してセグメント化し、同じオブジェクトを複数の角度から追跡することで発生することが多い混乱したシフトを回避します。クリップは 10 秒間隔に分割され、XNUMX 秒未満のものは破棄されます。

データの選択には、次の 3 つのフィルタリング基準が適用されました。 美的品質、評価は Laion-美的スコア予測; 動きの強さ、測定方法 オプティカルフロー ラフト、および コンテンツの安全性安定拡散法によって検証された 安全チェッカー.

既存のビデオセグメンテーションデータセットの大きな制限の 1 つは、生成モデルをガイドするために非常に重要な詳細なテキスト注釈が不足していることです。

研究者らは、比較可能なコレクションにはビデオキャプションが欠けていることを強調している。

そのため、VideoPainterのデータキュレーションプロセスには、次のようなさまざまな主要な視覚言語モデルが組み込まれています。 コグVLM2 　 チャット GPT-4o キーフレームベースのキャプションとマスクされた領域の詳細な説明を生成します。

VideoPainter は、背景コンテキストの抽出と前景の生成を分離するカスタム軽量コンテキスト エンコーダーを導入することで、事前トレーニング済みの DiT を強化します。これは、以下の図解スキーマの右上に示されています。

VideoPainterの概念スキーマ。VideoPainterのコンテキストエンコーダは、ノイズを含む潜在変数、ダウンサンプリングされたマスク、マスクされたビデオ潜在変数をVAEで処理し、背景トークンのみを事前学習済みのDiTに統合することで曖昧性を排除します。IDリサンプルアダプタは、学習中にマスクされた領域トークンを連結し、推論中に以前のクリップからリサンプリングすることで、IDの一貫性を確保します。

このエンコーダは、冗長な処理でバックボーンに負担をかける代わりに、合理化された入力で動作します。ノイズの多い潜在信号とマスクされたビデオ潜在信号（ 変分オートエンコーダ、または VAE)、およびダウンサンプリングされたマスク。

ノイズ潜在情報は生成コンテキストを提供し、マスクされたビデオ潜在情報は DiT の既存の分布と一致し、互換性の向上を目指します。

以前の研究でモデルの大部分が複製されていたと著者らは述べていますが、VideoPainter は DiT の最初の 2 つのレイヤーのみを統合します。抽出されたこれらの特徴は、構造化されたグループ単位で凍結された DiT に再導入されます。つまり、初期のレイヤーの特徴はモデルの最初の半分に情報を提供し、後の特徴は 2 番目の半分を改良します。

さらに、トークン選択メカニズムにより、背景に関連する特徴のみが再統合され、マスクされた領域とマスクされていない領域との混同が防止されます。著者らは、このアプローチにより、VideoPainter は背景の保存において高い忠実度を維持しながら、前景の修復効率を向上させることができると主張しています。

著者らは、提案する手法は、最も人気のあるものを含む多様な様式化手法をサポートしていると指摘している。 低ランク適応 (LoRA)。

データとテスト

VideoPainterは、CogVideo-5B-I2Vモデルと、そのテキストからビデオへの同等のモデルを使用してトレーニングされました。キュレーションされたVPDataコーパスは、480x720ピクセルで使用されました。 学習率 1×10の^-5.

IDリサンプルアダプタは2,000ステップ、コンテキストエンコーダは80,000ステップでトレーニングされ、どちらも アダム・W オプティマイザー。トレーニングは、64 個の NVIDIA V100 GPU を使用して 16 段階で行われました (ただし、論文では、これらに 32 GB の VRAM が搭載されていたのか、XNUMX GB の VRAM が搭載されていたのかは明記されていません)。

ベンチマークのために、 デイビス ランダムマスクには が使用され、セグメンテーションベースのマスクには著者独自の VPBench が使用されました。

VPBench データセットには、オブジェクト、動物、人間、風景、さまざまなタスクが含まれており、次の 4 つのアクションをカバーしています。 加えます, 削除します, 変化する, swapこのコレクションには、45 秒間のビデオが 6 本、平均 30 秒間のビデオが XNUMX 本含まれています。

このプロセスでは8つの指標が利用された。マスク領域保存については、著者らは ピーク信号対雑音比 （PSNR）; 学習された知覚類似性指標 （LPIPS）; 構造類似性指数 （SSIM）；および 平均絶対誤差 （メー）。

テキストの配置には、研究者らは CLIP 類似性 クリップのキャプションと実際に認識されるコンテンツとの間の意味的な距離を評価するとともに、マスクされた領域の精度も評価します。

出力ビデオの全体的な品質を評価するために、 フレシェビデオ距離 （FVD）が使用されました。

ビデオ修復の定量的な比較ラウンドでは、著者らは従来のアプローチと自らのシステムを対比した。 プロペインター, コココ 　 歯車入力 （CogVideoX）。このテストは、画像修復モデルを使用してクリップの最初のフレームを修復し、次に画像からビデオ（I2V）バックボーンを使用して結果を潜在的ブレンド操作に伝播するというもので、 2023紙 イスラエルから。

プロジェクトのウェブサイトは執筆時点では完全には機能しておらず、またプロジェクト関連のYouTube動画にもサイトに掲載されているすべての例が掲載されているわけではないため、論文で概説されている結果に非常に具体的な動画例を見つけるのは困難です。そこで、論文で紹介されている静的な結果の一部を示し、最後にプロジェクトサイトから抽出した追加の動画例をいくつか紹介して記事を締めくくります。

VPBench (セグメンテーション マスク) および Davis (ランダム マスク) での VideoPainter と ProPainter、COCOCO、および Cog-Inp の定量的な比較。メトリックは、マスクされた領域の保持、テキストの配置、およびビデオ品質をカバーします。赤 = 最高、青 = 2 番目に良い。

これらの定性的な結果について、著者らは次のようにコメントしています。

セグメンテーションベースの VPBench では、ProPainter と COCOCO がほとんどのメトリックにわたって最悪のパフォーマンスを示しています。これは主に、完全にマスクされたオブジェクトをインペイントできないことと、単一バックボーン アーキテクチャでは競合する背景の保存と前景の生成のバランスを取るのが難しいことが原因です。

ランダムマスクベンチマークであるDavisでは、ProPainterは部分的な背景情報を活用することで改善が見られました。一方、VideoPainterは、背景の保存と前景の生成を効果的に分離するデュアルブランチアーキテクチャにより、セグメンテーション（標準および長尺）とランダムマスク全体で最適なパフォーマンスを実現しています。

次に著者らは定性テストの静的な例を示しており、その中からいくつかを以下に紹介します。いずれの場合も、より詳しい情報についてはプロジェクト サイトと YouTube ビデオを参照してください。

以前のフレームワークの修復方法との比較。

クリックして再生します。 プロジェクト サイトの「結果」ビデオから私たちが連結した例です。  

ビデオ修復のこの定性的なラウンドに関して、著者は次のようにコメントしています。

「VideoPainter は、ビデオの一貫性、品質、テキスト キャプションとの配置において、一貫して優れた結果を示しています。特に、ProPainter は、生成ではなく背景ピクセルの伝播のみに依存しているため、完全にマスクされたオブジェクトを生成できません。

COCOCO は基本的な機能を示していますが、背景の保存と前景の生成のバランスを取ろうとする単一バックボーン アーキテクチャのため、インペイントされた領域 (一貫性のない船舶の外観と急激な地形の変化) で一貫した ID を維持できません。

「Cog-Inp は基本的な修復結果を実現しますが、ブレンディング操作でマスクの境界を検出できないため、重大なアーティファクトが発生します。

さらに、VideoPainter は ID 再サンプリングにより ID の一貫性を維持しながら、1 分を超える一貫性のあるビデオを生成できます。

研究者らはさらに、この方法で字幕を拡張し、改善された結果を得るためのVideoPainterの能力をテストし、システムを ユニエディット, DiTCtrl, 再ビデオ.

3 つの従来のアプローチと比較したビデオ編集の結果。

著者らは次のようにコメントしています。

VPBenchにおける標準動画と長時間動画の両方において、VideoPainterは優れたパフォーマンスを発揮し、エンドツーエンドでReVideoを凌駕しています。この成功は、優れた背景保持機能と前景生成機能を保証するデュアルブランチアーキテクチャによるものです。編集されていない領域では高い忠実度を維持しながら、編集された領域は編集指示に厳密に一致するようにします。さらに、長時間動画におけるIDの一貫性を維持するインペインティング領域IDリサンプリングも備えています。

この論文ではこの指標の静的な定性的な例を取り上げていますが、それらはあまり明確ではありません。そのため、代わりに、このプロジェクトで公開されたさまざまなビデオに散りばめられた多様な例を読者に紹介します。

最後に、人間による研究が実施され、50 人のユーザーが VPBench と編集サブセットからランダムに選択された XNUMX 世代を評価するように求められました。例では、背景の保持、プロンプトへの配置、および全体的なビデオ品質が強調されました。

VideoPainter のユーザー調査の結果。

著者らは次のように述べています。

「VideoPainter は既存の基準を大幅に上回り、両方のタスクのすべての評価基準でより高い選好率を達成しました。」

しかし、彼らは、VideoPainter の生成品質はベース モデルに依存しており、複雑な動きや物理特性に苦労する可能性があることを認めています。また、低品質のマスクや位置がずれたキャプションではパフォーマンスが低下することも指摘しています。

まとめ：

VideoPainter は、文献に追加する価値があるようです。ただし、最近のソリューションの典型として、かなりの計算能力が必要です。さらに、プロジェクト サイトでのプレゼンテーション用に選択された例の多くは、最良の例にはほど遠いものです。したがって、このフレームワークを将来のエントリや、より広範な以前のアプローチと比較するのは興味深いでしょう。

* ここで言及しておくべきことは、「ビデオ編集」とは、この用語の伝統的な意味である「さまざまなクリップをシーケンスに組み立てる」ことではなく、機械学習技術を使用して、既存のビデオクリップの内部コンテンツを直接変更または何らかの方法で修正することを意味するということです。

初版発行日：10年2025月XNUMX日（月）