让 AI 视频也记住往事

早在 3 月，我们就探讨过生成式 AI 视频在记住它见过的事物和地点方面面临的困难。这些模型需要记住这些内容，才能再次将其重现，并保持画面一致。

这一问题的实际结果是：你可能穿过 AI 世界模型中的一扇门，十秒后转身，却发现刚才走过的那扇门已经不见了。

这并非一个能轻易修复的小故障：生成式 AI 视频必须不断构想接下来要出现的内容，因此它实际上无法记住太久以前的事，也无法记住已超出其狭窄上下文窗口的内容。

这意味着，探索经过训练的 AI 世界模型，并不像探索建模的 CGI 环境：后者的纹理和几何结构都是固定的，并以矢量数据和位图数据的形式保存。相反，这更像是在一场由近似概率构成的梦境中漫步——你或许会两次遇到完全相同的东西，但那只是因为它在上下文的作用下再次从潜在空间中被召唤出来，并非模型真的记得自己曾创造或见过它。

因此，普通的生成式 AI 视频世界模型就像一个患有顺行性遗忘症的人：在中风或受伤等脑部事件发生前，他拥有完整的记忆；但自事件发生后，他便无法形成新的记忆。（这一病症因克里斯托弗·诺兰的《记忆碎片》中盖·皮尔斯饰演的角色而广为人知 [2000]，该角色出现在本文主图中。）

因此，视频模型对许多领域保有深刻且根深蒂固的理解，却没有记住任何新内容的能力。

面包屑轨迹

我们在 3 月介绍过的HyDRA 解决方案，采用由压缩视觉词元组成的“记忆库”，使 AI 生成的角色能够走出屏幕范围，再次出现时仍保持初次亮相时的样貌。

还有其他一些方法也采用这种“面包屑”思路；不过，生成并留存复杂的 3D 几何结构虽然能解决问题，却会增加文件体积、降低响应能力、带来延迟，并可能造成其他瓶颈。

这些“以 3D 几何为基础的世界模型”包括由 NVIDIA 牵头开发的Gen3C。其 HyDRA 方法采用解决这一特定问题最常见的做法：将模型“看到”的内容转换为点云，也就是经过简化的 3D 几何结构：

点击播放。HyDRA 方法使用持久化的 3D 点云缓存来引导视频生成；随着摄像机移动以及先前见过的区域再次出现，该缓存能保持场景一致性。来源

还有其他类似方法，例如牛津大学于 2025 年推出的VMEM，以及同一时期由斯坦福大学牵头的SPMem合作项目：

点击播放来自斯坦福大学牵头的 SPMem 合作项目。该项目将静态场景的持久化 3D 地图与用于呈现运动的近期视频帧相结合，并选取较早的视频帧补充视觉细节，帮助模型在重访地点时记住这些地方。来源 

但处理任何 3D 几何结构都十分繁重，也会给推理带来很大负担。要像 CG 艺术家那样在环境中四处走动、同时不断“构建”环境，并不容易。除此之外，其他片段、视角或拍摄镜头之后也必须能够引用已创建的几何结构，这并非易事。

更轻量的记忆

最新加入“AI 视频记忆”领域的项目，是由清华大学牵头的一项新合作，题为《用于视频世界模型的持久平面记忆》：

点击播放。这是清华大学牵头的 PPMem 项目网站展示的系统运行实例。PPMem 以更紧凑的一组平面取代了此前 SPMem 项目使用的体积式 3D 记忆，并随着摄像机移动不断更新和重复利用这些平面，从而保持先前见过的环境前后一致。来源 

如上方视频片段*所示，PPMem 通过采用更紧凑的 3D 环境表示方式，改进了此前的方法。系统不会存储数百万个独立点来重建先前见过的环境，而是识别墙壁、地板和家具等平面，并将它们存储为可重复利用的几何平面，称为平面基元；随着环境中新的部分逐渐生成，这些平面会不断加入持久化的局部记忆：

PPMem 在构建持久化 3D 记忆的同时生成视频的两个示例。每个示例左侧都是输入图像，下方显示摄像机规划的路线。按第一行、再按第二行从左到右阅读带编号的帧，可以看到摄像机正在探索一家商店或一座花园。小型彩色插图展示了随着探索推进，存储的 3D 表面如何逐渐累积，并保留先前探索过的场景。 来源

当摄像机返回先前到过的位置时，存储的平面会重新投射到它的视野中，为新帧的生成提供指引，同时减少必须保留和处理的空间信息量。这也有助于避免熟悉的物体和周围环境在再次到访时发生变化或消失。

作者称，采用平面基元——由数学向量定义的参数化对象——可以更灵活、更娴熟地解决“面包屑式方法”所面临的问题：

“能够生成完整世界、而不只是短片段的模型，需要一种类似的紧凑、结构化记忆，用于记录它已经生成的内容。平面基元自然适合承担这一角色。

“每个基元只需用 7 个数字进行参数化（中心深度、两个矩形范围和一个旋转四元数），即可明确表示 3D 几何结构；与逐像素表示相比，其紧凑程度高出多个数量级。”

如有需要，点击播放。PPMem 生成的轻量级平面基元组合，在摄像机穿行于世界模型时，既能捕捉并保留细节，也能记录整体几何形状。上方显示的绿色部分会保留在记忆中，其映射过程为从深色>绿色。

这类平面能够表示已探索世界的范围，自然会受到内存和其他可预见瓶颈的限制；这意味着不可能在世界中漫游数小时后，再回来发现一切都还保持原样。不过，电子游戏爱好者对这种“关卡式”限制并不陌生：他们强大但有限的本地资源，往往能在范围最受限的条件下取得最佳效果：

点击播放。在 PPMem 中，摄像机穿行于环境时，会留下轻量级的“平面”（以绿色区域表示）来记录它所看到的内容；如果摄像机之后再次漫游回来，这些平面仍会留在那里。

因此，在上方可以看到，这样一个关卡正按房间逐一“绘制”出来，直到整层楼都变成绿色，可以自由探索，而且生成更多平面的需求有所减少（但并未完全消除）。

方法

PPMem 基于 Wan2.2-TI2V-5B 开发（而非 HyDRA 使用的 Wan2.1-T2V-1.3B）。这是一种拥有 50 亿个参数的视频扩散模型，并加入了改编自 Plana3R 的几何预测系统。研究保留了现有的视频主干网络，同时引入了一条独立的处理路径，从其内部表征中提取几何信息：

PPMem 视频生成与 3D 记忆系统示意图。上方路径生成视频，下方路径记录可见表面的形状和位置。这些信息会添加到右侧存储的记忆中，随后用于引导下一段视频的生成。底部的箭头显示了这些信息如何反馈至系统。

在两个训练阶段中的第一个阶段，研究人员对 Wan 2.2 进行了微调，使其能够根据摄像机控制生成视频，并利用源图像和先前帧的投影视图来确定预期的摄像机运动。随后，视频主干网络被冻结，新的几何组件则单独训练。

训练使用了来自 DL3DV 和 RealEstate10K 的 80,000 多段视频片段，分辨率为 576×1024。参考深度信息取自 MoGe-2，估算出的距离则与 VGGT 生成的 3D 重建结果进行了对齐。

因此，PPMem 的平面预测系统经过训练，能够估算表面深度和朝向，并将输出与参考几何信息进行比对。研究人员还对渲染出的表面进行了额外训练，以提高其与重建场景的一致性。

研究使用了低秩适配（LoRA）来引入针对几何信息的处理能力，同时不改动底层视频模型。

推理时，系统会在禁用这些适配的情况下完成常规视频生成流程，随后再单独执行一次处理，以提取几何信息，从而使这两项操作基本保持独立。

随后，视频会以约 25 帧为一段生成，并利用预定的摄像机运动，为每个新序列准备所需的视觉和空间信息。这包括先前生成场景的投影视图、标示可见区域的掩码，以及根据累积的几何信息推导出的深度信息。

为了更准确地预测新表面，模型会将存储的深度信息与其已有的场景理解相结合，并使用基于DINOv2-Base的视觉Transformer。

训练期间，部分深度图会通过选择性掩码暂时隐去，要求模型根据不完整的空间数据预测表面几何形状，从而提升泛化能力。

生成新的几何信息后，系统会检查平面池中是否存在表面重叠或遮挡，并在获得更可靠的观测结果时，移除可信度较低的估算。这样，随着摄像机移动，存储的表示便能逐步得到修正，而不是无休止地累积每一次表面预测。

结果

测试中，研究人员使用各方法默认的代码库代码和参数，将该方法与 Gen3C、Voyager、VMEM 和 SPMem 进行了比较。

使用的指标包括峰值信噪比（PSNR）、学习感知相似度指标（LPIPS）、CLIP 相似度和 DINOv2 相似度（具体例外情况见论文）。

在第一项测试中，研究人员使用 DL3DV 和 RealEstate10K 数据集，将 PPMem 与其他参测方法进行比较，并对 49 帧和 121 帧序列的视频质量进行评估：

在 DL3DV 和 RealEstate10K 数据集上，对 PPMem、Gen3C、Voyager、VMem 和 SPMem 生成的 49 帧及 121 帧视频进行质量比较。PPMem 在全部四项指标上的得分均为最高或并列最高，而且序列越长，其优势通常越明显。

对于这些结果，作者表示：

“PPMem 在两个数据集、两种帧数预算下的所有指标上都取得了最佳结果，尽管它使用的基础模型（Wan 2.2 5B）比 Gen3C（Cosmos 7B）和 Voyager（HunyuanVideo ∼13B）更小。T’

研究人员还测试了 PPMem 估算物体和表面与摄像机之间距离的能力。作者指出，在 DL3DV 的 121 帧视频中，与 Voyager 相比，PPMem 得出的深度估算更加准确；Voyager 是唯一能够同时生成视频和深度信息的参测模型。

第二项定性测试比较了各参测方法在摄像机穿行于 DL3DV 场景、视频长度达到 300–400 帧时维持场景一致性的能力。与其他参测模型相比，PPMem 更能保持先前见过的环境外观和结构，而且序列越长，其优势越明显：

点击播放。虽然我们只能以低于原始视频的分辨率重现结果，但我们认为，视频比论文中的静态结果更能说明问题，因此建议读者前往 PPMem 项目网站查看更高画质的版本。

作者在此表示：

“PPMem 始终保持最高的感知保真度，而且差距会随时间推移不断扩大——在 DINOv2 上尤为明显：到第 300 帧时，PPMem 比次优方法领先 约0.27。”

在一个包含 288 帧的序列中，展示了 Gen3C、VMem、SPMem、Voyager 和 PPMem 在六个时间点生成的视频帧，并与原始视频（真实场景）进行对照。随着摄像机移动，PPMem 更能持续保留花坛的外观和周围景物；相比之下，其他方法生成的画面逐渐出现失真或细节丢失。

论文指出，在约 400 帧的视频之后，PPMem 能用约 100,000 个平面图元表示整个探索过的场景，仅占用 5MB 内存。

由于这种表示方式比将同一场景存储为稠密三维点云中的独立点紧凑约一千倍，这篇论文或许原本会被视为对既有研究方向的一项渐进式推进，但显然，它在该架构的资源管理方面带来了实质性改进。

结论

尽管这篇新论文在目标问题的范围和参数设定内取得了令人振奋的进展，但我们仍受困于这样一种范式：世界模型在潜在空间中进行随机探索时，会像持久性泡沫一样四处喷散几何结构；而这些几何结构之后可能需要在后续场景中或其他情境下找回。

这种找回操作远比导入传统的 CGI 网格和贴图繁琐得多。有人可能会认为，整套方法“有些本末倒置”：理想情况下，AI 模型应能通过某种 RAG 或查找系统检索和引用固定资产，同时保留在潜在空间中移动的灵活性和创作自由。

要求未免太高，但在我看来，“面包屑”方法似乎相当于莱特兄弟之前那些稀奇古怪的解决方案。

* 完整视频请见项目网站。

首次发布于2026年10月20日（星期二）