面向AI生成视频的视频编解码器

随着人工智能可以无限使用的时代逐渐结束，一种更经济的AI视频生成方法有望显著节省token和时间。

人工智能推理的实际开销，让高速发展的人工智能行业重新审慎看待成本，也促使人们更关注如何控制机器学习的开销。除了将人工智能部署在内部以及私有人工智能的兴起，耗费大量显存和计算资源的机器学习流程也显然需要优化。

在这方面，视频生成或许是资源消耗最显著的任务。如果您曾重新压缩影片，或从视频编辑软件导出视频，就会知道这类非人工智能任务会给硬件带来多大负担：它占用内存和处理器，若不限制压缩算法的资源使用，还可能让计算机无法处理其他工作。

只需想象一下，AI视频的兴起让这种消耗大量算力的流程在全球数据中心重复了多少次。在这样的运行规模下，即使是极小的改进，累积起来也会立即产生重要影响。

聚焦视频帧

在这一背景下，上海研究人员与JD.com (JD )合作提出的新研究，设计了一种视频编解码器。它针对的不是最终渲染时将庞大的原始帧压缩成较小视频文件的过程，而是AI视频生成本身。

普通视频编解码器不会把每一帧都存成完整图像，而是只保存少量完整图像，称为I帧，再记录帧之间的变化。

例如，视频中的人稍微移动时，编解码器只记录发生变化的区域，而不必重新保存整个场景。其中包括P帧，由之前的帧推导而来；以及B帧，还可以使用之后帧中的信息：

视频编解码器的结构：上方按时间顺序展示标有I、P、B的帧。I帧完整存储并以完整色彩显示，P帧和B帧则以淡色表示重建。箭头显示它们使用之前的帧、之后的帧或两者的信息。下方依次是完整存储的帧（I帧，左）、根据之前帧构建的帧（P帧，左起第二个），以及根据之前和之后帧构建的帧（B帧，右）。

复用相邻信息可以减小视频文件。大多数帧不是新图像，而是描述前一帧如何变化的指令。因此，I帧是占用较大空间的完整图像，未经压缩或仅做最低限度压缩；中间帧则只记录相对于I帧以及彼此之间的差异。

当每一帧都是完整的未压缩图像时，影片实际上没有压缩。一部两小时的电影若以这种方式存储，会占用接近甚至超过1TB的磁盘空间。然而，AI生成影片时恰恰如此^†：计算如何构建视频时，为每一帧投入相同数量的资源和token。

规模化节省

新研究《AdaCodec: A Predictive Visual Code for Video MLLMs》则只在参考帧（I帧）上使用完整的视觉token，所有中间帧都表示为紧凑的P-token。这显然借鉴了传统视频编解码器的压缩思路。

经过这种内部压缩后，AI生成的最终视频仍可用普通方法压缩。理论上，这些节省都发生在服务器端：

AdaCodec概览。左侧将视频划分为自适应图像组：难以预测的时刻保留完整I帧，中间P帧则以紧凑的运动和残差信息表示。右侧显示，系统在11项基准测试中达到或超过Qwen3-VL-8B，在不同token预算下保持更高的长视频准确率，同时处理明显更少的视频token并降低响应延迟。 来源

根据报告的AdaCodec测试结果，这些节省值得争取。论文称，在使用相同计算量的情况下，系统在所有主要基准测试中都优于未经修改的Qwen3-VL-8B模型。即使视频token数量减少约86%，它仍能达到或超过该模型的表现。

作者们指出*：

“我们的灵感来自预测编码：系统传输的是预测误差，而非原始信号。这一原则有生物学依据：人们认为，视觉系统编码的是预测误差，即预期输入与实际观察到的输入之间的差异，而不是输入本身。”

“现代视频编解码器在工程上采用了相同的残差编码思路：参考帧提供完整内容，预测帧则提供相对于参考帧的运动和残差信号。”

“这些系统的目标不同，但有相同的条件结构：相邻样本存在冗余时，信道应传输预测无法解释的内容。”

“不过，标准编解码器优化的是比特流和供人观看的图像重建，而不是LLM使用的视觉token。因此，我们将这一机制重新设计为用于视频理解的MLLM接口。”

论文由上海交通大学、上海创新研究院和JD.com的11名研究人员撰写，配有项目页面，并承诺公开源代码。

方法

如前所述，系统并不将每一帧都视为全新图像，而是寻找前后帧的变化。下图左侧将当前帧的一小块区域与之前某帧中最相似的区域匹配：

AdaCodec结构示意图。

两个位置之间的距离构成运动矢量，剩余的视觉差异构成残差。这些紧凑的描述代替了存储完整图像的需要。

右侧展示了所得信息如何输入AI模型。重要的参考帧仍按完整图像处理，中间帧则用小得多的运动和残差token表示。这样似乎能让模型在处理明显更少视觉数据的同时，保留足够的信息来理解视频。

一个有趣的问题是决定哪些帧值得完整保存。传统视频编解码器通常以固定间隔插入参考帧，不论是否需要。AdaCodec则试图找出最重要的时刻。

例如，两个人在公寓里几乎不动地交谈，突然一队SWAT特警破窗而入。镜头角度和剪辑切换随即增多，需要的数据远超固定参考帧间隔所能提供的范围：

这也是可变比特率等可变压缩方法的思路。这些方法分析源视频中变化密集的片段，在需要的地方分配更多数据，而这会消耗不少时间和资源。

在AdaCodec中，如果能根据相邻帧准确预测当前帧，系统便继续使用紧凑的运动和残差token。如果场景发生明显变化，无论像特警闯入那样剧烈还是相对平缓，系统就插入完整参考帧。这样便能将更多可用计算预算用于重要视觉信息，而不是平均分配给整段视频。

数据和测试

研究人员以此前提到的Qwen3-VL-8B为基础模型，在涵盖三个视频理解领域的11项基准测试中评估AdaCodec：长视频性能，使用MLVU、LongVideoBench和LVBench进行评估；时序理解，使用TempCompass、MotionBench和TOMATO进行评估；以及通用视频理解，使用Video-MME、MVBench、NExT-QA、PerceptionTest和EgoSchema进行评估。

测试的开源模型包括InternVL3.5-8B；Keye-VL-1.5-8B；GLM-4.1V-9B；MiniCPM-V-4.5-8B；Eagle2.5-8B；PLM-8B；LLaVA-Video-7B；VideoChat-Flash-7B；Molmo2-8B；以及Molmo2-O-7B。

GPT-5、Gemini和Claude的各个版本仅作为对照基线列于下表。 CoPE-VideoLM-7B 和 ReMoRa-7B 则是更早的视频语言模型，通过借鉴编解码器的压缩方法减少视觉token，因而是AdaCodec最接近的直接竞争者：

涵盖长视频理解、时序推理和通用视频理解的11项基准测试主要结果。分数越高，表现越好。LVB = LongVideoBench；V-MME = Video-MME。粗体和下划线分别表示开源模型中的最高和第二高分数。闭源模型的分数优先取自已有官方报告；缺失结果取自Molmo2或由作者评估。

为了公平比较，AdaCodec与标准Qwen3-VL-8B系统获得了相同数量的视觉token。因此，结果反映的是压缩方法的效果，而非计算资源的差异。

在压缩最强的设置下，AdaCodec将视觉token使用量减少约86%，同时在长视频、时序和通用视频理解任务中达到或略超基础系统的表现。

将节省的token用于处理更多视频帧后，所有长视频基准和所有时序基准的表现均有提升：LongVideoBench提高了5.4分，TOMATO提高了4.3分，取得了研究中开源模型的一些最佳成绩。

结论

虽然这类项目通常面向超大规模服务商，但这样的研究也会引起爱好者和中小企业的兴趣。它有可能成为一种新的公开节俭风潮的一部分，推动更合理的本地AI部署。

对r/stablediffusion等社区来说，这早已是惯例：每个重要的开源模型发布后，人们都会反复优化，将其改造成高度优化的版本（GGUF、量化权重等），只要有些耐心，就能在较低端的显卡上运行。

如果这第三轮AI热潮的炫技阶段确实已经结束，并假设企业会被真实的推理成本吓退，那么AdaCodec之类的方案可能成为即将到来的“大优化”的一部分。

^† 这并不是将视频最终输出为用户易用的格式或文件大小，而是指AI模型在推理时内部生成和汇集视频帧的过程。

* 我在合理范围内将作者的文内引文转换成了超链接。

首次发布于2026年6月4日，星期四