AI動画に過去の記憶を与える

3月には、生成AI動画が一度見たものや場所を記憶し、再び描写して視覚的な一貫性を保つことの難しさを取り上げました。

この問題の結果、AIの世界モデルの中でドアを通り抜け、10秒後に振り返ると、通ってきたはずのドアがなくなっていることがあります。

これは簡単に修正できる不具合ではありません。生成AI動画は、次々と生じる「次の展開」を絶えず作り出しているため、かなり前のことや、短いコンテキストウィンドウから消えてしまったことを実際に記憶するのは難しいのです。

そのため、学習済みのAI世界モデルを探索することは、テクスチャや形状が固定され、ベクターデータやビットマップデータとして保存されているモデリング済みのCG環境を探索するのとは異なります。むしろ、おおよその確率でできた夢の中を歩くようなものです。同じものをまったく同じ形で二度見つけることはあるかもしれませんが、それは文脈を手がかりに潜在空間から再び呼び出されたからにすぎず、モデルがそれを作り出した、あるいは目にしたことを実際に記憶しているわけではありません。

したがって、一般的な生成AI動画の世界モデルは、脳卒中やけがなどの出来事より前の記憶は完全に保っている一方、その出来事以降は新たな記憶を作れない前向性健忘の人に似ています（クリストファー・ノーラン監督作『メメント』で、ガイ・ピアース演じる人物がこの症状に苦しむ姿が描かれ、広く知られるようになりました。 [2000]メイン記事の画像にも登場しています）。

このように、動画モデルは多くの領域について深く根付いた理解を保持していますが、新しいことを記憶する能力はありません。

足跡をたどる

3月に取り上げたHyDRAの解決策は、圧縮された視覚トークンを「メモリーバンク」に保存する方式に基づいていました。これにより、AIが生成したキャラクターは画面外に移動しても、最初に登場したときと同じ姿で戻ってくることができます。

この「パンくずを残す」方式を採用する手法はほかにもいくつかあります。しかし、複雑な3D形状を生成して後に残す方法は、ファイルサイズが大きくなるうえ、応答性や遅延など、ほかの潜在的なボトルネックも生じるという代償を伴います。

こうした「3Dを基盤とする世界モデル」には、NVIDIA主導のGen3Cがあります。HyDRA方式では、この問題を解決するための最も一般的な手法、つまり「見た」ものを点群に変換する方法が用いられています。点群は、いわば簡略化された3D形状です。

クリックして再生HyDRA方式では、持続的に保持される3D点群キャッシュを動画生成の指針として活用します。これにより、カメラの移動中もシーンの一貫性が保たれ、以前に見た場所が再び現れます。 出典

同様の手法には、オックスフォード大学による2025年のVMEMや、同じ時期に始まったスタンフォード大学主導の共同研究SPMemなどもあります。

クリックして再生。スタンフォード大学主導の共同研究SPMemによるものです。静的な風景の持続的な3Dマップに、動きを捉える直近の動画フレームと、視覚的な細部を補うために選んだ過去のフレームを組み合わせることで、モデルが再訪時にも場所を記憶できるようにします。 出典 

しかし、3D形状の処理はどれも負荷が大きく、推論に求められる要件も厳しくなります。CGアーティストのように環境内を歩き回りながら、絶えずそれを「構築」していくのは簡単ではありません。さらに、後から別の動画や視点、テイクを使う場合にも、作成した形状を参照できなければなりませんが、これは難しい課題です。

より軽量な記憶

「AI動画の記憶」に取り組む最新のプロジェクトは、清華大学が主導する新たな共同研究で、タイトルは「動画世界モデルのための持続的な平面メモリ」です。

クリックして再生。清華大学主導のPPMemプロジェクトのウェブサイトから、システムの動作例を紹介します。PPMemは、先行プロジェクトSPMemで使われていたボリューム型の3Dメモリを、よりコンパクトな平面の集まりに置き換えます。カメラの移動に合わせて平面を更新・再利用することで、以前に見た環境の一貫性を保ちます。 出典 

上の動画部分*が示すように、PPMemは3D環境をよりコンパクトに表現することで、従来の手法を改良しています。以前に見た環境を再構築するために個々の点を何百万個も保存する代わりに、壁や床、家具などの平面を特定し、再利用可能な幾何学的平面である平面プリミティブとして保存します。そして、環境の新たな領域が生成されるたびに、それらを持続的なローカルメモリに継続的に追加していきます。

PPMemが永続的な3Dメモリーを構築しながら動画を生成する例を2つ示す。各例では、左側に入力画像があり、その下にカメラの予定経路が表示されている。1段目を左から右へ、続いて2段目を同じように読むと、カメラが店舗または庭を探索していく様子がわかる。小さなカラー inset は、移動が進むにつれて保存された3Dサーフェスが蓄積し、すでに探索した風景が保持されていく様子を示している。 出典

カメラが以前訪れた場所に戻ると、保存された平面が視野内に再投影され、新しいフレームの生成を導く。これにより、保持して処理する必要がある空間情報の量が減る。また、同じ物体や周囲の景色が再訪のたびに変化したり消えたりするのを防ぐ助けにもなる。

平面プリミティブ、すなわち数学的なベクトルで定義されたパラメトリックオブジェクトを用いることで、「パンくずを残す方式」をより機敏かつ巧みに解決できると著者らは述べている。

「短いクリップだけでなく世界全体を生成するモデルには、生成した内容を記憶するための、同様にコンパクトで構造化されたメモリーが必要だ。平面プリミティブは、その役割を担う自然な候補である。

「各プリミティブは、わずか7個の数値（中心の深度、2つの矩形の広がり、回転クォータニオン）でパラメーター化されており、3Dの幾何構造を明示的に表現する。そのデータ量は、ピクセル単位の表現に比べて桁違いに小さい。」

必要に応じて再生してください。 PPMemが生成する平面プリミティブの軽量な集合体は、カメラがワールドモデル内を移動する間に、広範な幾何形状だけでなく細部も捉えて保持できる。上に可視化された緑色の領域は、暗色>緑色へとマッピングされる過程でメモリーに保持される。

こうした平面で探索済みの世界をどこまで表現できるかは、メモリーや、予測可能なその他のボトルネックによって当然制限される。そのため、何時間も世界を歩き回った後に戻ってきて、すべてが出発時のままになっているのを確認することはできない。しかし、この種の「レベルベース」の制約は、ビデオゲーム愛好家にはなじみ深いだろう。強力ではあるものの有限なローカルリソースは、条件を最も限定した環境で最高の結果を得る傾向がある。

クリックして再生。PPMemでは、カメラが環境内を移動すると、見たものを表す軽量な「平面」（緑色の領域で表示）が残される。カメラが再び戻ってきた場合も、それらの平面はそのまま残っている。

したがって、上の映像では、あるレベルが部屋ごとに「マッピング」され、フロア全体が緑色になるまで進む様子が見られる。こうなると自由に探索でき、さらに平面を生成する必要性は減る（ただし、なくなるわけではない）。

手法

PPMemは、HyDRAが使用するWan2.1-T2V-1.3Bではなく、Wan2.2-TI2V-5Bを基に開発された。これは50億パラメータの動画拡散モデルであり、Plana3Rを応用した幾何形状予測システムが追加されている。既存の動画バックボーンは維持しつつ、その内部表現から幾何情報を抽出するための独立した処理経路が導入された。

PPMemの動画生成・3Dメモリーシステムの概略図。上側の経路で動画を生成し、下側の経路で可視サーフェスの形状と位置を記録する。これらの情報は右側の保存メモリーに追加され、そのメモリーを使って動画の次の区間を導く。下部の矢印は、こうした情報がシステムにフィードバックされる仕組みを示している。

2段階ある学習のうち最初の段階では、カメラ制御による動画生成を行うため、Wan 2.2をファインチューニングした。その際、入力画像と以前のフレームの投影ビューを使って、意図したカメラの動きを設定した。続いて動画バックボーンを凍結し、新たな幾何コンポーネントを個別に学習させた。

学習には、DL3DVとRealEstate10Kから得た80,000本を超えるクリップを、576×1024の解像度で使用した。参照深度情報はMoGe-2から取得し、推定された距離をVGGTが生成した3D再構成に合わせた。

こうしてPPMemの平面予測システムは、サーフェスの深度と向きを推定するよう学習され、出力は参照用の幾何形状と照合された。さらに、レンダリングされたサーフェスにも追加の学習を施し、再構成されたシーンとの一致度を高めた。

動画モデルの基盤部分を変更せずに幾何形状に特化した処理を導入するため、低ランク適応（LoRA）を使用した。

推論時には、これらの適応を無効にした状態で通常の動画生成処理を完了し、その後、別の処理パスで幾何形状を抽出する。これにより、2つの処理を実質的に独立させている。

その後、約25フレームずつのセグメントに分けて動画を生成する。意図したカメラの動きを用いて、各新規シーケンスに必要な視覚情報と空間情報を準備する。これには、以前に生成した風景を投影した映像、どの領域が見えているかを示すマスク、蓄積されたジオメトリから導出した深度情報が含まれる。

新たな表面の予測精度を高めるため、保存された深度情報を、DINOv2-Baseを基にした視覚トランスフォーマーを用いて、モデルがすでに持つシーンの理解と組み合わせる。

学習時には、深度マップの一部を選択的なマスキングによって隠し、不完全な空間データから表面のジオメトリを予測するようモデルに求めることで、汎化性能を高めた。

新たなジオメトリを生成した後、重複する表面や遮蔽された表面を検出して平面プールを調整し、より信頼性の高い観測結果が得られた場合には、信頼性の低い推定値を取り除く。これにより、カメラの移動に応じて、保存された表現を段階的に修正できる。表面の予測結果を際限なく蓄積するだけではない。

結果

評価では、この手法をGen3C、Voyager、VMEM、SPMemと比較した。いずれも、リポジトリの既定のコードとパラメーターを使用した。

使用した指標は、ピーク信号対雑音比（PSNR）、学習ベースの知覚類似度指標（LPIPS）、CLIP類似度、DINOv2類似度だった（詳細な例外については論文を参照）。

最初のテストでは、DL3DVとRealEstate10Kのデータセットを用い、49フレームおよび121フレームのシーケンスにおける動画品質について、PPMemを他の手法と比較した。

DL3DVとRealEstate10Kにおいて、49フレームおよび121フレームの動画を対象に、PPMem、Gen3C、Voyager、VMem、SPMemの品質を比較。PPMemは4つすべての指標で最高スコアまたは同率最高スコアを記録し、その優位性は概してシーケンスが長くなるほど大きくなった。

この結果について、著者らは次のように述べている。

「PPMemは、Gen3C（Cosmos 7B）やVoyager（HunyuanVideo 約13B）よりも小さなベースモデル（Wan 2.2 5B）を使用しているにもかかわらず、両方のデータセットと両方のフレーム数設定において、すべての指標で最高の結果を達成する。T’

PPMemは、カメラから物体や表面までの距離を推定する能力についても評価された。DL3DVの121フレームにわたる評価では、動画と深度情報を同時に生成できる唯一の競合モデルであるVoyagerよりも、正確な深度推定が得られたと著者らは述べている。

2つ目の定性的テストでは、DL3DVのシーン内をカメラが移動する際、300～400フレームにわたって風景の一貫性を保つ能力を比較した。PPMemは、競合モデルよりも、以前に見た周囲の景観の外観と構造を良好に維持した。その優位性は、シーケンスが続くにつれて大きくなった。

クリックして再生。元の映像より低い解像度でしか結果を再現できないものの、論文に掲載された静止画よりも動画のほうが分かりやすいと考えた。そのため、PPMemのプロジェクトサイトにあるより高画質なバージョンもご覧いただきたい。

著者らは次のように述べている。

「PPMemは全期間を通じて最も高い知覚的忠実度を維持し、時間の経過とともに差は広がる。特にDINOv2では顕著で、300フレーム時点で次点の手法を約0.27上回る。」

288フレームのシーケンスから6つの時点を選び、Gen3C、VMem、SPMem、Voyager、PPMemが生成した動画フレームを元映像（正解映像）と比較。カメラが動く中でも、PPMemは花壇の外観と周囲の風景をより一貫して維持する一方、競合手法では細部の歪みや消失が次第に目立つ。

論文によると、動画が約400フレームに達した時点で、探索済みのシーン全体をPPMemでは約10万個の平面プリミティブで表現でき、必要なメモリーはわずか5MBだという。

これは、同じ風景を高密度な3D点群の個々の点として保存する場合と比べて、およそ1,000倍コンパクトだ。そのため、既存の研究の流れにおける漸進的な進歩と見なされていたかもしれないこの論文は、このアーキテクチャの運用面に実質的な改善をもたらしているようだ。

結論

新しい論文は、対象とする問題の範囲や条件の中では画期的な進展ですが、世界モデルの潜在空間をランダムに探索すると、消えずに残る泡のように幾何形状があたりにまき散らされるというパラダイムから、私たちはまだ抜け出せていません。そうして生じた幾何形状は、後続のシーンや後の文脈で再利用するために、あとから復元しなければならない場合があります。

この復元処理は、従来型のCGIメッシュやテクスチャを貼り付けたモデルを取り込むよりも、はるかに厄介です。このアプローチ全体は「いささか本末転倒」だとも言えるでしょう。理想的には、AIモデルはRAGやルックアップシステムのような仕組みを通じて固定アセットを取得・参照できる一方で、潜在空間を移動する柔軟性と創造の自由も保つべきです。

多くを求めすぎているのかもしれませんが、「パンくず」を残す手法は、ライト兄弟以前にあった奇妙な解決策に相当するように、私には思えます。

* 動画の全編はプロジェクトサイトをご覧ください。

初公開：2026年10月20日（火）