たった 2 枚の画像からより優れた AI ビデオを生成

ビデオフレーム補間（VFI）は、 未解決の問題 生成ビデオ研究における課題は、ビデオシーケンス内の既存の 2 つのフレームの間に中間フレームを生成することです。

クリックして再生します。 Google とワシントン大学の共同プロジェクトである FILM フレームワークは、趣味やプロの分野で今でも人気の高い効果的なフレーム補間方法を提案しました。左側には、2 つの別個の異なるフレームが重ね合わされています。中央には「終了フレーム」があり、右側にはフレーム間の最終的な合成が示されています。 出典: https://film-net.github.io/ および https://arxiv.org/pdf/2202.04901

大まかに言えば、この技術は1世紀以上前に遡り、 伝統的なアニメーションで使用される それ以来、マスターの「キーフレーム」は主要なアニメーション アーティストによって生成され、中間フレームの「トゥイーン」作業は他のスタッフによって、より単純な作業として実行されるようになりました。

生成AIが登場する以前は、フレーム補間は次のようなプロジェクトで使用されていました。 リアルタイム中間フロー推定 （ライフ）、 深度認識ビデオ フレーム補間 （DAIN）、そしてGoogleの 大きな動きに対するフレーム補間 (FILM – 上記参照) 既存のビデオのフレーム レートを上げるため、または人工的に生成されたスローモーション効果を有効にするために使用します。これは、クリップの既存のフレームを分割し、推定中間フレームを生成することによって実現されます。

VFIは、より優れたビデオコーデックの開発にも使用され、より一般的には、 オプティカルフローベースのシステム（生成システムを含む）は、次のキーフレームに関する事前の知識を活用して、その前のインタースティシャル コンテンツを最適化および形成します。

ジェネレーティブビデオシステムの終了フレーム

Luma や Kling などの最新の生成システムでは、ユーザーは開始フレームと終了フレームを指定でき、2 つの画像のキーポイントを分析して 2 つの画像間の軌跡を推定することでこのタスクを実行できます。

以下の例からわかるように、「終了」キーフレームを提供することで、結果が完璧でなくても (特に大きな動きの場合)、生成ビデオ システム (この場合は Kling) がアイデンティティなどの側面を維持できるようになります。

クリックして再生します。 Kling は、ユーザーが終了フレームを指定できるビデオ ジェネレーターの 1 つです (Runway や Luma など)。ほとんどの場合、最小限の動きが最もリアルで欠陥の少ない結果をもたらします。 出典: https://www.youtube.com/watch?v=8oylqODAaH8

上記の例では、ユーザーが指定した 2 つのキーフレーム間で人物の ID が一貫しているため、比較的一貫したビデオ生成が行われます。

開始フレームのみが提供されている場合、生成システムの注意ウィンドウは通常、ビデオの開始時に人物がどのように見えたかを「思い出す」のに十分な大きさではありません。むしろ、すべての類似性が失われるまで、各フレームごとにアイデンティティが少しずつ変化する可能性があります。次の例では、開始画像がアップロードされ、テキストプロンプトによって人物の動きが誘導されています。

クリックして再生します。 終了フレームがないため、Kling は次のフレームの生成を導くために直前のフレームの小さなグループのみを使用します。重要な動きが必要な場合、このアイデンティティの萎縮は深刻になります。

俳優の類似性は指示に対して柔軟ではないことがわかります。これは、生成システムは俳優が笑っている場合どのように見えるかを知らず、シード画像 (利用可能な唯一の参照) では俳優は笑っていないためです。

バイラル生成クリップの大半は、こうした欠点を目立たなくするために注意深くキュレーションされています。しかし、時間的に一貫性のある生成ビデオ システムの進歩は、フレーム補間に関する研究部門の新たな開発に依存する可能性があります。唯一の代替手段は、従来の CGI を駆動する「ガイド」ビデオとして頼ることであるためです (この場合も、テクスチャと照明の一貫性を実現することは現時点では困難です)。

さらに、最近のフレームの小さなグループから新しいフレームを導き出すというゆっくりとした反復的な性質により、 非常に難しい 大きくて大胆な動きを実現します。これは、システムがトレーニングされている可能性が高いより緩やかな動きとは対照的に、フレームを横切って高速で移動するオブジェクトが、1 つのフレームのスペース内で一方から他方へ移動する可能性があるためです。

同様に、ポーズの大幅かつ大胆な変化は、アイデンティティの変化だけでなく、顕著な不一致につながる可能性があります。

クリックして再生します。 この Luma の例では、要求された動きがトレーニング データで適切に表現されていないようです。

フレーマ

ここで、中国から最近発表された興味深い論文について触れたいと思います。この論文では、本物そっくりのフレーム補間技術の新たな最先端技術を実現したと主張しており、ドラッグベースのユーザーインタラクションを提供する初めての技術であるとされています。

Framerでは、直感的なドラッグベースのインターフェースを使用してユーザーが動きを指示できますが、「自動」モードもあります。出典: https://www.youtube.com/watch?v=4MPGKgn7jRc

ドラッグ中心のアプリケーションは 頻繁な in 　 レポート 最近、研究部門は、テキストプロンプトによって得られるかなり粗い結果に基づかない生成システムのための手段を提供することに苦労しています。

新しいシステムは、 フレーマは、ユーザーによるドラッグ操作に従うだけでなく、より従来的な「自動操縦」モードも備えています。従来のトゥイーン機能に加え、このシステムはタイムラプス シミュレーションや、入力画像のモーフィングや斬新なビューを生成することができます。

Framer のタイムラプス シミュレーション用に生成されたインタースティシャル フレーム。 出典: https://arxiv.org/pdf/2410.18978

新しいビューの生成に関しては、Framer は Neural Radiance Fields (NeRF) の領域に少し踏み込んでいますが、必要なのは 2 つの画像だけです。一方、NeRF では通常、6 つ以上の画像入力ビューが必要です。

テストでは、Stability.aiの 安定した動画の普及 潜在拡散生成ビデオモデルは、ユーザー調査において、近似された競合アプローチよりも優れたパフォーマンスを発揮することができました。

執筆時点では、コードは公開される予定である GitHubで上の画像の元となったビデオサンプルはプロジェクトサイトで公開されており、研究者らは YouTubeビデオ.

XNUMXμmの波長を持つ 新しい紙 というタイトルです Framer: インタラクティブなフレーム補間浙江大学とアリババ傘下のアント・グループの研究者9人によるものだ。

方法

Framer は、2 つのモダリティのいずれにおいてもキーポイント ベースの補間を使用します。キーポイント ベースの補間では、入力画像の基本トポロジが評価され、必要に応じて「移動可能な」ポイントが割り当てられます。実際には、これらのポイントは ID ベースのシステムにおける顔のランドマークに相当しますが、任意の表面に一般化されます。

研究者 微調整 安定したビデオ拡散（SVD） オープンビッド-1M データセットに、最後のフレームの合成機能が追加されました。これにより、最終フレームに向かう（またはそこから戻る）パスを評価できる軌道制御メカニズム（下のスキーマ画像の右上）が容易になります。

Framer のスキーマ。

最後のフレームの条件付けの追加に関して、著者は次のように述べています。

事前にトレーニングされた SVD の視覚的な事前条件を可能な限り保持するために、SVD の条件付けパラダイムに従い、潜在空間と意味空間にそれぞれエンドフレーム条件を挿入します。

具体的には、SVD の場合と同様に、最初の [フレーム] の VAE エンコードされた潜在特徴を最初のフレームのノイズ潜在特徴と連結します。さらに、条件と対応するノイズ潜在特徴が空間的に整列していることを考慮して、最後のフレームの潜在特徴 zn を最後のフレームのノイズ潜在特徴と連結します。

「さらに、最初のフレームと最後のフレームの CLIP 画像埋め込みを個別に抽出し、それらを連結してクロスアテンション機能の注入を行います。」

ドラッグベースの機能については、軌道モジュールはMeta AI主導の コトラッカー フレームワークは、多数の可能性のある経路を評価します。これらは 1 ～ 10 個の可能な経路に絞り込まれます。

得られた点の座標は、 ドラッグNUWA および ドラッグエニシング アーキテクチャ。これにより、 ガウスヒートマップ、移動の対象となる領域を個別化します。

その後、データは条件付けメカニズムに送られ、 コントロールネットは、もともと Stable Diffusion 用に設計された補助的な適合システムであり、その後他のアーキテクチャにも適応されました。

オートパイロットモードでは、特徴のマッチングは最初に SIFTは、軌道を解釈し、それを自動更新メカニズムに渡します。 ドラッグガン および ドラッグ拡散.

Framer におけるポイント軌道推定のスキーマ。

データとテスト

フレーマーの微調整では、空間注意と残差ブロックが 凍結、時間的注意層と残差ブロックのみが影響を受けました。

モデルは10,000回の反復で訓練され、 アダム・W、で 学習率 1e-4の、そして バッチサイズ トレーニングは 16 個の NVIDIA A16 GPU で実施されました。

この問題に対する従来のアプローチではドラッグベースの編集が提供されていなかったため、研究者は Framer の自動操縦モードを旧製品の標準機能と比較することを選択しました。

現在の拡散ベースのビデオ生成システムのカテゴリでテストされたフレームワークは、 LDMVFI; ダイナミッククラフター、および SVDKFI従来のビデオシステムでは、競合するフレームワークは AMT; ライフ; 味; そして前述の映画。

ユーザー調査に加えて、 DAVIS および UCF101 データセット。

定性テストは、研究チームの客観的な能力とユーザー調査によってのみ評価できる。しかし、この論文では、従来の これらの指標は、現在の提案にはほとんど適していません。

「PSNR、SSIM、LPIPS などの [再構成] メトリックは、元のビデオとピクセルが揃っていない他の妥当な補間結果をペナルティにするため、補間されたフレームの品質を正確に把握できません。

「FID などの生成メトリックはある程度の改善をもたらしますが、時間的な一貫性を考慮せず、フレームを個別に評価するため、まだ不十分です。」

それにもかかわらず、研究者たちはいくつかの一般的な指標を用いて定性テストを実施しました。

Framer と競合システムを比較した定量的な結果。

著者らは、不利な状況にもかかわらず、Framer はテストされた方法の中で最高の FVD スコアを達成したと指摘しています。

以下は、定性的な比較のための論文のサンプル結果です。

以前のアプローチとの定性的な比較。より詳細な情報については論文を参照してください。また、ビデオの結果は https://www.youtube.com/watch?v=4MPGKgn7jRc でご覧いただけます。

著者らは次のようにコメントしています。

「[私たちの]方法は、既存の補間技術と比較して、はるかに鮮明なテクスチャと自然な動きを生み出します。従来の方法ではコンテンツを正確に補間できないことが多い、入力フレーム間に大きな違いがあるシナリオで特に優れたパフォーマンスを発揮します。」

「LDMVFI や SVDKFI などの他の拡散ベースの方法と比較して、Framer は困難なケースに対して優れた適応性を示し、より優れた制御を提供します。」

ユーザー調査では、研究者は 20 人の参加者を集め、さまざまな方法でテストした結果をランダムに並べた 100 個のビデオを評価しました。その結果、最も「リアル」な製品を評価する 1000 件の評価が得られました。

ユーザー調査の結果。

上のグラフからわかるように、ユーザーは Framer の結果を圧倒的に好みました。

このプロジェクトに付随するYouTube ビデオ モーフィングや漫画の中間表現など、フレームのその他の潜在的な用途のいくつかを概説します。これらが、このコンセプト全体の始まりです。

まとめ：

AI ベースのビデオ生成のタスクにとって、この課題が現在どれほど重要であるかは、いくら強調してもし過ぎることはありません。これまで、アマチュアとプロの両方のコミュニティで、フレーム間のトゥイーン処理に FILM や (非 AI) EbSynth などの古いソリューションが使用されてきましたが、これらのソリューションには顕著な制限があります。

新しい T2V フレームワークの公式サンプル ビデオが不誠実にキュレーションされているため、機械学習システムは 3D モーフィング可能モデル (3DMM) などのガイダンス メカニズムや LoRA などのその他の補助的なアプローチに頼ることなく、動いているジオメトリを正確に推測できるという誤解が広く広まっています。

正直に言うと、トゥイーン自体は、たとえ完璧に実行できたとしても、この問題に対する「ハック」またはごまかしにすぎません。とはいえ、テキスト プロンプトや現在のさまざまな代替手段によるガイダンスを実行するよりも、2 つの適切に整列したフレーム画像を作成する方が簡単な場合が多いため、この古い方法の AI ベースのバージョンが反復的に進歩していくのは喜ばしいことです。

初版発行日：29年2024月XNUMX日火曜日