Andersonの視点
AI動画生成における完全な制御に向けて
Unite.AI を Google の優先ソースに追加
ビデオ基礎モデルであるHunyuanやWan 2.1などのモデルは強力ですが、映画やテレビの制作（特にVFX制作）で要求されるような粒度の高い制御を提供していません。
プロフェッショナルなビジュアルエフェクトスタジオでは、オープンソースモデルやStable Diffusion、Kandinsky、Fluxなどのイメージベース（ビデオではなくイメージ）のモデルは、CGIや組み合わせ技法とともに使用され、特定の創造的なニーズに合わせて生み出された生の出力を調整するために使用されます。監督が「それは見た目が良さそうですが、もう少し[n]にしたい」と言ったとき、モデルがそのようなリクエストに応えることができないと言うことはできません。
代わりに、AI VFXチームは、ビデオ合成の限界を少しでも押し広げるために、伝統的なCGIや組み合わせ技法とともに、カスタマイズされた手順やワークフローを使用します。
アナロジーによって、基礎ビデオモデルは、ChromeのようなWebブラウザーのデフォルトインストールと似ています。デフォルトで多くのことができますが、自分のニーズに合わせて調整したい場合は、プラグインが必要になります。
制御フリーク
拡散ベースの画像合成の世界では、最も重要な第三者システムはControlNetです。
ControlNetは、エッジマップ、深度マップ、またはポーズ情報などの追加入力で画像またはビデオ生成を導くことができる、拡散ベースの生成モデルに構造化された制御を追加する技術です。
画像（上行）、セマンティックセグメンテーション>画像（下左）およびポーズガイド画像生成（下左）が可能になります。” width=”779″ height=”422″ /> ControlNetのさまざまな方法により、深度>画像（上行）、セマンティックセグメンテーション>画像（下左）およびポーズガイド画像生成（下左）が可能になります。
テキストプロンプトのみに頼るのではなく、ControlNetはこれらの条件信号を処理するための独立したニューラルネットワークブランチ、またはアダプターを導入します。
これにより、ユーザーの仕様に従った精密な出力が可能になり、特に正確な構成、構造、またはモーション制御が必要なアプリケーションで特に有用です。
ポーズガイドにより、ControlNetを介してさまざまな正確な出力タイプを取得できます。
しかし、このようなアダプターベースのフレームワークにはいくつかの欠点があります。
まず、アダプターは独立してトレーニングされるため、複数のアダプターを組み合わせると、ブランチコンフリクトが発生し、生成品質が低下する可能性があります。
二つ目に、アダプターはパラメータの冗長性を導入し、各アダプターに余分な計算とメモリが必要になり、拡張が非効率的になります。
三つ目に、アダプターは柔軟性がありますが、最適化されていない結果を生み出すことが多く、完全にファインチューンされたモデルに比べて劣ることがあります。これらの問題により、アダプターベースの方法は、複数の制御信号のシームレスな統合を必要とするタスクに効果的ではありません。
理想的には、ControlNetの能力は、モデルのネイティブトレーニングに組み込まれるべきです。モジュラーな方法で、将来の明らかな進歩、たとえば同時ビデオ/オーディオ生成またはネイティブのリップシンク機能（外部オーディオ用）を容易に組み込むことができるようにする必要があります。
現在、追加の機能はすべて、ポストプロダクションのタスクまたは、基礎モデルの重みに敏感な非ネイティブ手順である必要があります。
FullDiT
中国から新しいオファーが登場し、ControlNetスタイルの対策を、後で考えではなく、生成ビデオモデルにトレーニング時に直接組み込むシステムを提案しています。
新しい論文から：FullDiTアプローチは、アイデンティティの押し付け、深度、カメラの動きをネイティブ生成に組み込むことができ、同時にこれらの組み合わせを呼び出すことができます。
FullDiTと呼ばれる新しいアプローチは、アイデンティティ転送、深度マッピング、カメラの動きなどのマルチタスク条件を、トレーニングされた生成ビデオモデルの統合された部分に融合させます。著者は、プロトタイプのトレーニングモデルと、プロジェクトサイトで利用できるビデオクリップを生成しました。
以下の例では、カメラの動き、アイデンティティ情報、テキスト情報（ユーザーのテキストプロンプト）を組み込んだ生成が示されています。
クリックして再生します。 ControlNetスタイルのユーザーによる押し付けは、ネイティブトレーニングされた基礎モデルでのみ行われます。 ソース：https://fulldit.github.io/
著者は、実験的にトレーニングされたモデルを機能的な基礎モデルとして提案するのではなく、ネイティブのテキストからビデオ（T2V）およびイメージからビデオ（I2V）モデルがユーザーに提供する制御の種類の概念実証として提案しています。
このようなモデルがないため、研究者は、FullBenchと呼ばれるマルチタスクビデオの評価のための新しいベンチマークを作成しました。同等のテストで先行するアプローチに対して最先端のパフォーマンスを主張しています。ただし、FullBenchは著者自身によって設計されたため、その客観性は未検証であり、1,400件のケースのデータセットはより広範な結論に至るには限られている可能性があります。
このアーキテクチャが新しい種類の制御を組み込む可能性は、特に興味深いです。著者は次のように述べています。
‘この研究では、カメラ、アイデンティティ、深度情報の制御条件のみを探索しました。他の条件やモダリティ、たとえばオーディオ、スピーチ、ポイントクラウド、オブジェクトバウンディングボックス、光流などについては、さらに調査する必要があります。FullDiTの設計では、最小限のアーキテクチャ変更で他のモダリティをシームレスに統合できますが、既存のモデルを新しい条件やモダリティに迅速かつ費用効率的に適応させる方法は、まだ重要な問題です。’
FullDiTは、現状では、ControlNetスタイルの機能を備えたビデオ基礎モデルとしては独自のものですが、将来の革新にも対応できるアーキテクチャであることは良いことです。
クリックして再生します。 プロジェクトサイトからのユーザー制御可能なカメラの動きの例です。
新しい論文は、FullDiT：マルチタスクビデオ生成基礎モデルによるフルアテンションと題されており、Kuaishou TechnologyとThe Chinese University of Hong Kongの9人の研究者によって書かれています。プロジェクトページはこちらにあり、新しいベンチマークデータはHugging Faceにあります。
方法
著者は、FullDiTの統一された注意メカニズムにより、空間的および時間的な関係をすべての条件にわたって学習することができる、クロスモダリティ表現学習が強化されることを主張しています。
新しい論文によると、FullDiTは、フルセルフアテンションを介して、複数の入力条件を統一されたシーケンスに変換します。対照的に、アダプターベースのモデル（左端）は、各入力ごとに独立したモジュールを使用し、冗長性、コンフリクト、劣ったパフォーマンスにつながります。
アダプターベースのセットアップとは異なり、各入力ストリームを個別に処理するのではなく、この共有アテンション構造により、ブランチコンフリクトを回避し、パラメータオーバーヘッドを削減します。著者は、アーキテクチャが新しい入力タイプに拡張できることを主張しており、トレーニング中に見られなかった条件の組み合わせ（たとえば、カメラモーションとキャラクターのアイデンティティのリンク）に一般化する兆候も見られます。
クリックして再生します。 プロジェクトサイトからのアイデンティティ生成の例です。
FullDiTのアーキテクチャでは、すべての条件入力（テキスト、カメラの動き、アイデンティティ、深度など）は、統一されたトークン形式に変換されます。これらのトークンは、単一の長いシーケンスに結合され、フルセルフアテンションを使用して、トランスフォーマーのスタックを介して処理されます。このアプローチは、先行する研究であるOpen-Sora PlanやMovie Genに従っています。
この設計により、モデルは、すべての条件にわたって時間的および空間的関係を共同で学習することができます。各トランスフォーマブロックは、すべてのシーケンスにわたって動作し、モダリティ間のダイナミックな相互作用を可能にします。アーキテクチャは、将来の追加の制御信号を容易に組み込むように設計されており、大きな構造変更を必要とせずに拡張できます。
3つの力
FullDiTは、各制御信号を標準化されたトークン形式に変換し、すべての条件を統一された注意フレームワークで処理できるようにします。カメラの動きについては、モデルは各フレームの外部パラメータ（位置、向きなど）のシーケンスをエンコードします。これらのパラメータはタイムスタンプ付きで、埋め込みベクトルに投影され、信号の時間的性質を反映します。
アイデンティティ情報は、空間的であるため時間的ではないため、異なります。モデルは、各フレームの各部分に存在するキャラクターを示すアイデンティティマップを使用します。これらのマップは、パッチに分割され、各パッチは、空間的アイデンティティのヒントを捉える埋め込みに投影され、モデルは特定のフレームの領域を特定のエンティティに関連付けることができます。
深度は、空間的および時間的な信号です。モデルは、深度ビデオを、時間をまたいで空間を跨ぐ3Dパッチに分割し、これらのパッチを、フレーム間の構造を保存するように埋め込みます。
埋め込み後、これらの条件トークン（カメラ、アイデンティティ、深度）は、単一の長いシーケンスに結合され、FullDiTはフルセルフアテンションを使用してこれらを共同で処理できます。これにより、モデルはモダリティ間および時間間で相互作用を学習することができます。
データとテスト
FullDiTのトレーニングアプローチは、各条件タイプに合わせて選択的に注釈付けられたデータセットに依存しましたが、すべての条件を同時に必要としません。
テキスト条件の場合、MiraDataプロジェクトで概説されている構造化キャプションアプローチに従います。
MiraDataプロジェクトのビデオ収集および注釈付けパイプライン。 ソース：https://arxiv.org/pdf/2407.06358
カメラの動きについては、RealEstate10Kデータセットが主なデータソースでした。高品質のグラウンドトゥルースカメラパラメータの注釈付けがあるためです。
しかし、著者は、静的なシーンのカメラデータセット（RealEstate10Kなど）のみでトレーニングすると、生成されたビデオで動的なオブジェクトや人間の動きが減少することに気付きました。対策として、内部データセットを使用して、よりダイナミックなカメラの動きを含む追加のファインチューニングを実施しました。
アイデンティティの注釈付けは、ConceptMasterプロジェクトで開発されたパイプラインを使用して生成され、細粒度のアイデンティティ情報の効率的なフィルタリングと抽出を可能にしました。
ConceptMasterフレームワークは、カスタマイズされたビデオでアイデンティティの切り離し問題を解決しながら、概念の忠実性を維持するように設計されています。 ソース：https://arxiv.org/pdf/2501.04698
深度の注釈付けは、Depth Anythingを使用してPanda-70Mデータセットから取得されました。
データの順序による最適化
著者は、トレーニングの初期段階で、より挑戦的なタスクを先に導入する、漸進的なトレーニングスケジュールを実装しました。モデルは、簡単なタスクを学習する前に、複雑なタスクに十分な容量を確保する必要があります。
トレーニングの順序は、テキストからカメラ条件に続いて、アイデンティティ、そして最後に深度でした。簡単なタスクは一般的に後で導入され、例の数も少なくなりました。
著者は、ワークロードをこのように順序付けることの価値を強調しています。
‘事前トレーニング段階で、より挑戦的なタスクは、トレーニング時間を延ばす必要があり、学習プロセスの初期段階で導入されるべきであることを観察しました。これらのタスクは、出力ビデオとは大きく異なる複雑なデータ分布を伴い、モデルがそれらを正確に捉えるために十分な容量を必要とします。’
‘逆に、簡単なタスクを早期に導入すると、モデルはそれらを最初に学習することを優先し、すぐに最適化のフィードバックが得られるため、より挑戦的なタスクの収束を妨げる可能性があります。’
研究者が採用したデータトレーニングの順序の図。赤はデータ量が多いことを示しています。
初期の事前トレーニングの後、最終的なファインチューニング段階で、視覚的な品質とモーションのダイナミクスを向上させるためにモデルをさらに改良しました。その後、トレーニングは標準的な拡散フレームワーク*に従いました。ビデオ潜在変数にノイズを加え、モデルはそれを予測して除去することを学習しました。埋め込み条件トークンをガイダンスとして使用しました。
FullDiTと既存の方法を評価し、公正な比較を行うために、著者は、1,400個のテストケースからなるFullBenchと呼ばれるカリブレーション済みのベンチマークスイートを導入しました。
新しいFullBenchベンチマークのデータエクスプローラーのインスタンス。 ソース：https://huggingface.co/datasets/KwaiVGI/FullBench
各データポイントには、カメラの動き、アイデンティティ、深度などのさまざまな条件信号のグラウンドトゥルース注釈が含まれていました。
メトリック
著者は、テキストの整列、カメラの制御、アイデンティティの類似性、深度の精度、全体的なビデオの品質の5つの主要な側面をカバーする10のメトリックを使用して、FullDiTを評価しました。
テキストの整列は、CLIP類似性で測定され、カメラの制御は、回転誤差（RotErr）、変換誤差（TransErr）、カメラの動きの一貫性（CamMC）で評価され、CamI2V（CameraCtrlプロジェクト）に従います。
アイデンティティの類似性は、DINO-IとCLIP-Iで評価され、深度制御の精度は、平均絶対誤差（MAE）で量化されました。
ビデオの品質は、MiraDataからの3つのメトリックで評価されました。スムーズ性のためのフレームレベルのCLIP類似性、ダイナミクスのための光流ベースのモーション距離、視覚的魅力のためのLAION-Aestheticスコア。
トレーニング
著者は、約10億パラメータを含む内部（非公開）テキストからビデオの拡散モデルを使用して、FullDiTをトレーニングしました。パラメータサイズを控えめに設定することで、先行する方法との比較の公正性を維持し、再現性を確保しました。
トレーニングビデオは長さや解像度が異なっていたため、著者は各バッチを共通の解像度に標準化し、シーケンスごとに77フレームをサンプリングし、注意と損失マスクを適用してトレーニングの有効性を最適化しました。
Adamオプティマイザは、64個のNVIDIA H800 GPUのクラスタで、1×10−5の学習率で使用され、合計5,120GBのVRAM（エンスージアストシンセシスコミュニティでは、RTX 3090の24GBがまだ贅沢な標準と見なされていることを考慮して）でした。
モデルは約32,000ステップでトレーニングされ、ビデオごとに最大3つのアイデンティティ、20フレームのカメラ条件、21フレームの深度条件を組み込み、すべての77フレームから均等にサンプリングされました。
推論の際には、モデルは、384×672ピクセルの解像度でビデオを生成しました（約5秒、15フレーム/秒）で、50の拡散推論ステップと、5のクラス分類器フリーガイダンススケールでした。
先行する方法
カメラからビデオへの評価については、著者は、FullDiTを、MotionCtrl、CameraCtrl、CamI2Vと比較しました。すべてのモデルは、RealEstate10Kデータセットを使用してトレーニングされ、公正性と一貫性を確保しました。
アイデンティティ条件付き生成については、比較可能なオープンソースのマルチアイデンティティモデルが利用できないため、モデルは、1BパラメータのConceptMasterモデルと比較され、同じトレーニングデータとアーキテクチャを使用しました。
深度からビデオのタスクについては、Ctrl-AdapterとControlVideoと比較しました。
単一タスクビデオ生成の定量的な結果。FullDiTは、カメラからビデオ生成のためにMotionCtrl、CameraCtrl、CamI2Vと比較され、アイデンティティからビデオ生成のためにConceptMaster（1Bパラメータ版）と比較され、深度からビデオ生成のためにCtrl-AdapterとControlVideoと比較されました。すべてのモデルは、デフォルトの設定で評価されました。一貫性のために、各方法から16フレームが均等にサンプリングされ、先行するモデルの出力の長さに一致しました。
結果は、FullDiTが、テキスト、カメラの動き、アイデンティティ、深度の制御に関連するメトリックで、最先端のパフォーマンスを達成したことを示しています。
全体的な品質メトリックでは、システムは一般的に他の方法を上回りましたが、スムーズ性はConceptMasterよりもわずかに低かったです。ここで著者は次のように述べています。
‘FullDiTのスムーズ性は、ConceptMasterよりもわずかに低いです。スムーズ性の計算は、隣接するフレーム間のCLIP類似性に基づいているため、FullDiTはConceptMasterよりも大きな変動を示すため、スムーズ性メトリックに影響します。’
‘美的スコアについては、評価モデルがペインティングスタイルの画像を好むため、ControlVideoは美的スコアが高いです。’
定性的比較については、FullDiTプロジェクトサイトのサンプルビデオを参照するのが良いでしょう。PDFの例は静的なため、またここで完全に再生するには大きすぎます。
PDFの定性的結果の最初のセクション。追加の例については、ソース論文を参照してください。これらはここで再生するには広すぎます。
著者は次のように述べています。
‘FullDiTは、アイデンティティの保存とダイナミクス、視覚的な品質の両方で、ConceptMasterを上回ります。ConceptMasterとFullDiTは同じバックボーンでトレーニングされているため、フルアテンションによる条件の挿入の有効性が強調されます。’
‘…他の結果は、FullDiTが既存の深度からビデオおよびカメラからビデオ方法よりも、制御可能性と生成品質の両方で優れていることを示しています。’
FullDiTの出力の複数の信号を含むPDFの例のセクション。追加の例については、ソース論文とプロジェクトサイトを参照してください。
結論
FullDiTは、より機能的なビデオ基礎モデルの分野への興奮した一歩ではありますが、ControlNetスタイルの機能を大規模に実装する需要がいつになるかはわかりません。少なくとも、FOSSプロジェクトの場合、商業的な支援なしに必要な大量のGPU処理能力を取得するのに苦労することになるからです。
主な課題は、DepthやPoseなどのシステムを使用するには、ComfyUIなどの比較的複雑なユーザーインターフェイスに非凡なほどの熟練度が必要であるということです。したがって、このような機能的なFOSSモデルは、閉じたドアの後ろでそれをキュレーションしてトレーニングするための金銭的資源や意志を持たない小規模なVFX会社によって開発される可能性が高いです。
一方で、API駆動の「レンタルAI」システムは、モデルに直接トレーニングされた付随的な制御システムに対する解釈可能な方法を開発する動機を持つ可能性があります。
クリックして再生します。 FullDiTを使用したビデオ生成にDepth+Text制御を課す。
* 著者は、既知の基礎モデル（SDXLなど）を指定していません。
2025年3月27日初版。
