マイクロソフト、GODIVAというテキストからビデオを生成するマシンラーニングフレームワークを提案

マイクロソフトリサーチアジアとデューク大学の共同研究により、テキストプロンプトのみからビデオを生成するマシンラーニングシステムが開発されました。このシステムは、Generative Adversarial Networks (GANs)を使用しません。

このプロジェクトは、GODIVA (Generating Open-DomaIn Videos from nAtural Descriptions)と呼ばれています。GODIVAは、OpenAIのDALL-Eイメージシンセシスシステムで使用されているアプローチを基にしています。こちらで紹介されました。

GODIVAの初期結果。2つのプロンプトから生成されたビデオのフレーム。上部の2つの例は、プロンプト「Play golf on grass」から生成されました。下部の3つ目は、プロンプト「A baseball game is played」から生成されました。ソース：https://arxiv.org/pdf/2104.14806.pdf

GODIVAは、Vector Quantised-Variational AutoEncoder (VQ-VAE)モデルを使用しています。このモデルは、2018年にGoogleのDeepMindプロジェクトの研究者によって最初に導入されました。また、DALL-Eの変換能力の重要なコンポーネントでもあります。

VQ-VAEモデルのアーキテクチャ。右側に埋め込み空間があり、エンコーダー/デコーダーが次元空間を共有して再構築中の損失を低減しています。ソース：https://arxiv.org/pdf/1711.00937.pdf

VQ-VAEは、予測ビデオを生成するために使用されてきました。ユーザーは初期のフレーム数を提供し、システムに追加のフレームを生成するよう要求します。

以前の研究：VQ-VAEは、提供されたソース素材からフレームを推論します。ソース：https://openreview.net/forum?id=bBDlTR5eDIX

しかし、研究者は、GODIVAがVQ-VAEを使用した最初の純粋なテキストからビデオ（T2V）実装であると主張しています。以前のプロジェクトでは、GANsを使用して、より不安定な結果が得られました。

テキストからビデオのシードポイント

提出物は、オリジネーションフレームの作成基準について詳細に説明していませんが、GODIVAは、どこからともなくシードイメージを召喚してから、それを低解像度のビデオフレームに外挿するようです。

GODIVAのテキストからイメージタスクを実行するための3次元スパースアテンションシステムの柱状表現。自己回帰は、4つの要因を予測します：入力テキスト、前のフレームとの相対位置（NVIDIAのSPADEやOptical Flowアプローチを超えて進化した他の方法と同様）、同じ行の同じフレーム、同じ列の同じ列。

実際、オリジネーションは、使用されたデータのラベルから来ています。GODIVAは、YouTubeから15年間で136百万のキャプション付きビデオクリップで構成されるHowto100Mデータセットで事前トレーニングされました。このデータセットには、23,000のラベル付きアクティビティが含まれています。ただし、各可能なアクティビティは、クリップの非常に高い数に存在し、一般化によって増加します（例：「ペットと動物」には3,500万クリップがありますが、「犬」には762,000クリップしかありません）。したがって、可能なスタートポイントの選択肢はまだ多数あります。

モデルは、MicrosoftのMSR Video to Text（MSR-VTT）データセットで評価されました。アーキテクチャのさらなるテストとして、GODIVAは、Moving MnistデータセットとDouble Moving Mnistデータセットでスクラッチからトレーニングされました。これらのデータセットは、元のMNISTデータベースから派生しています。MNISTデータベースは、Microsoft 、Google 、ニューヨーク大学のCourant Institute of Mathematical Sciencesの共同プロジェクトです。

連続ビデオ合成におけるフレーム評価

Peking UniversityのIRC-GANと同様に、GODIVAは、元のMNIST方法に4つの追加の列評価を追加しました。元のMNIST方法では、前のフレームと後のフレームを上→下と左→右で評価しました。IRC-GANとGODIVAは、フレームを左→右、右→左、上→下、下→上で評価します。

GODIVAから生成された追加フレーム。

ビデオ品質とプロンプトへの忠実度の評価

画像生成の成功を評価するために、研究者は2つのメトリックを使用しました。1つはCLIP類似性に基づいており、もう1つは新しい相対マッチング（RM）メトリックです。

OpenAIのCLIPフレームワークは、画像をテキストにゼロショットマッチングできます。また、モデルを逆転させることで画像シンセシスを実行できます。研究者は、CLIPから得られたスコアを、テキストプロンプトとグラウンドトゥルースビデオの間の類似性で割って、RMスコアを算出しました。別のスコアリングラウンドでは、出力が200人によって評価され、結果はプログラムスコアと比較されました。

最後に、GODIVAは、以前の2つのフレームワーク、TFGANと2017年のDuke/NEC共同研究のT2Vに対してテストされました。

TFGANは、128平方ピクセルを生成できますが、GODIVAとT2Vは、上記の例では64×64の出力に制限されています。ただし、研究者は、GODIVAが、ボルダーやコミットした動きを生成し、特定のプロンプトなしにシーンの変更を生成し、クローズアップショットの生成を避けないことを指摘しています。

後の実行では、GODIVAは128x128pxの出力を生成し、POVの変更があります。

プロジェクト独自のRMメトリックでは、GODIVAは、品質（ビデオの品質）と忠実度（生成されたコンテンツが入力プロンプトにどれだけ近いか）について、100%に近いスコアを達成します。

研究者は、ビデオベースのCLIPメトリックの開発が、この画像シンセシスの分野に歓迎される追加であると認めています。なぜなら、結果の品質を評価するための公平な基準を提供するからです。過去10年間で、標準的なコンピュータービジョンチャレンジに対して、過剰適合と一般化の欠如が増加してきたためです。

また、システムのさらなる開発において、長いビデオを生成することは、ロジスティック上の考慮事項になるだろうと述べています。64×64ピクセルの出力の10フレームだけでも、2560の視覚トークンが必要になります。これは、パイプラインの膨張となり、すぐに高価で管理不能になる可能性があります。