Anderson 视角

用AI从视频中移除物体和人物

Martin Anderson
将 Unite.AI 添加到您在 Google 上的首选来源
AI-generated stylized image depicting a magician robot showing an empty cabinet with a lady's tiara at the bottom. GPT-1.5
要点EffectErase提出了一种新颖的数据集及方法,用于从视频中移除物体及其阴影等二次视觉效果。
查看更多
  • EffectErase提出了一种新颖的数据集及方法,用于从视频中移除物体及其阴影等二次视觉效果。
  • 该系统通过联合训练移除与插入任务,将处理焦点集中于同一受影响区域,以确保一致性。
  • EffectErase通过显式建模物体与其视觉副作用之间的时空关联,在性能上超越了现有方法。

不,如果由AI来决定,孩子就不会留在照片里。

 

从图像和视频中移除人物与物体,是面向视觉特效(VFX)的AI研究中的热门方向,相关专用数据集和框架不断增加。最新成果来自中国复旦大学大数据研究院,名为EffectErase。这一视频物体移除系统会考虑物体对周围场景的影响。作者称,其测试表现明显优于现有最佳方法:

根据项目网站素材剪辑的EffectErase示例。请注意:所链接的网站含有大量未经优化、自动播放的高分辨率视频,可能影响浏览器稳定性。本文末尾嵌入的YouTube视频提供了更易查看、更完整的介绍。 来源

这项工作创建并整理了一个部分由新素材组成的数据集,包含近350个原创实拍与合成场景。这些场景要么使用专用设备拍摄,要么从公共资源库*获取,再用于以开源Blender 3D为核心构建的工作流程。

结合实拍与合成素材的Video Object Removal(VOR)数据集,是EffectErase应用的基础。该应用建立在视频生成系统Wan2.1之上。研究还定义了两个相关的新评测基准:VOR Eval和VOR Wild,分别用于有、无真实参考值的样本。

(虽然论文有配套项目网站,但网站承载了大量高分辨率视频,负荷较重,难以加载。如果使用不便,可以查看我剪辑到上方嵌入视频中的片段。)

新数据集与同类既有数据集的规模对比。 来源:https://arxiv.org/pdf/2603.19224

新数据集与同类既有数据集的规模对比。 来源

研究人员称,无论按定量指标还是由人进行的定性评估,他们的方法都取得了领先水平的表现。

他们指出,以往工作并不总能移除物体附带的影响,例如阴影和反射。这一数据集经过精心设计,旨在弥补该缺陷:

以往方法只关注待移除物体,而忽略反射、阴影等间接痕迹的示例。

以往方法只关注待移除物体,而忽略反射、阴影等间接痕迹的示例。

新论文题为EffectErase: Joint Video Object Removal and Insertion for High-Quality Effect Erasing,由复旦大学计算机科学与人工智能学院的四名研究人员撰写。

方法

混合VOR数据集的设计涵盖足够广泛的情境,以考虑从视频中移除人物或物体时可能涉及的所有影响:

VOR数据集中的成对帧说明,物体移除不仅要处理可见主体,还要处理其引发的影响。示例涉及遮挡、阴影、光照变化、反射和物理形变,每例都将有物体的输入画面与移除后的对应干净背景并列展示。

VOR数据集中的成对帧说明,物体移除不仅要处理可见主体,还要处理其引发的影响。示例涉及遮挡、阴影、光照变化、反射和物理形变,每例都将有物体的输入画面与移除后的对应干净背景并列展示。更多示例见本文末尾嵌入的YouTube视频。

作者定义了五类需要处理的代表性干扰:遮挡,包括不同形式的玻璃和烟雾遮挡;阴影;光照(例如待移除物体产生或改变了光线的传播路径);反射;以及形变(例如人坐在垫子上留下的凹痕,移除人物后不应继续存在)。

VOR数据集构建流程结合了Blender生成的合成场景和实拍素材。合成数据使用筛选后的3D环境、物体和相机轨迹;实拍视频覆盖多种场景,并加入Ken Burns运动。随后通过SAM2分割和人工修正,生成相互对齐的前景、背景和对应掩码视频三元组。

VOR数据集构建流程结合了Blender生成的合成场景和实拍素材。合成数据使用筛选后的3D环境、物体和相机轨迹;实拍视频覆盖多种场景,并加入Ken Burns运动。随后通过SAM2分割和人工修正,生成相互对齐的前景、背景和对应掩码视频三元组。

对于原创实拍数据,研究人员用固定相机拍摄同一场景中有、无物体的画面,覆盖不同环境、时段和天气条件。

对于合成数据,他们从多个视角渲染,并建立含有多个物体的情境,刻意加入现实拍摄中可能出现的复杂、高难度相机运动。研究人员认为,这比其他方面相似的Remove Objects with Side Effects in Videos(ROSE)数据集的制作方法更复杂,也更费功夫。

为增加运动多样性,研究将Ken Burns效果应用于实拍配对素材,按照14条预设规则添加可控的平移、缩放和轻微手持运动。每对素材采样五种运动模式,并保证裁剪区域位于原始画面内。

研究还将合成物体与多种相机设置组合,扩大规模和多样性。掩码的生成过程包括在关键帧上人工指定点提示,用Segment Anything 2(SAM2)将分割传播到其他帧,清理并修正结果,然后将经过验证的前景、背景和掩码三元组用于训练。

最终数据集包含145小时实拍与合成视频,共60,000对,覆盖443个场景中的366个物体类别。

EffectErase网络通过变分自编码器(VAE†)接收素材,由Wan2.1处理潜空间中的去噪。在这一基础上,EffectErase加入三个组成部分:移除—插入联合学习,在相同区域上共同训练两项任务;任务感知区域引导(TARG),将物体token和任务token与交叉注意力结合,建模物体与其影响之间的时空联系,并支持任务切换;以及影响一致性损失,对齐移除、插入两项任务的影响区域:

EffectErase框架示意图。训练时,将成对视频编码至共享潜空间,与噪声融合,再由任务感知交叉注意力引导的扩散Transformer处理。影响一致性损失对齐移除和插入区域,使两项任务关注同一区域。

EffectErase框架示意图。训练时,将成对视频编码至共享潜空间,与噪声融合,再由任务感知交叉注意力引导的扩散Transformer处理。影响一致性损失对齐移除和插入区域,使两项任务关注同一区域。

移除和插入使用共享扩散主干共同训练,使模型学会关注相同的受影响区域和结构线索。

首先将含物体视频、纯背景视频和掩码编码到潜空间,再添加噪声进行扩散训练,使模型在任务专属引导下恢复干净表示。轻量适配器将含噪特征与移除或插入条件融合,使两项任务共享监督信号,同时仍可分别控制。

任务感知区域引导将语言token与通过CLIP从前景物体提取的视觉特征相结合,形成任务专属信号。通用物体token被替换为从实际图像内容导出的嵌入表示。融合表示通过交叉注意力送入主干,让模型追踪物体及其视觉影响在时空中的变化,并灵活切换移除和插入任务。

影响一致性损失要求移除与插入过程关注相同的变化区域,因为两项任务处理的是同一物体及其视觉影响。各分支的注意力图合成为软区域图,并与差异图对齐。该图由物体视频和背景视频计算而来,因此光照、阴影等细微变化也会纳入考虑。额外的损失项使插入任务能够引导移除任务,并保持两者一致。

数据与测试

研究人员将自己的方法与多种图像修补、视频修补和物体移除方法比较:OmniPaint;ObjectClear;VACE;DiffuEraser;ProPainter;ROSE;以及MiniMax-Remover。

研究使用LoRA††在VOR数据集上对Wan2.1进行微调,分辨率为832×480像素。训练时随机采样连续81帧的片段(这是WAN的实际长度上限,超过后往往会出错),共训练129,000次迭代,批大小为8,使用八块各有80GB VRAM的H100 GPU。学习率设为1×102,LoRA秩设为256。

合成数据集ROSE-Benchmark是唯一接受测试的外部数据集。另外两个是VOR-Eval,即VOR数据集中划出的测试子集;以及VOR-Wild,包含195个从互联网收集、带有运动物体的真实视频。

使用的指标包括:峰值信噪比(PSNR);结构相似性指数(SSIM);学习感知图像块相似度(LPIPS);以及弗雷谢视频距离(FVD)。研究还对由VOR-Wild生成的195个视频进行了用户评估,并计入20名志愿者的平均评分。

此外,作者设计了QScore指标,利用Qwen-VL多模态模型,依据残留伪影或尚未移除的环境影响,例如阴影和光照效果,评价物体移除后的视频质量:

ROSE和VOR基准上的定量比较。最佳结果用粗体表示,次佳结果用下划线表示。

ROSE和VOR基准上的定量比较。最佳结果用粗体表示,次佳结果用下划线表示。

作者就这些结果指出:

“[当前]图像修补方法使用2D模型逐帧处理,不建模时间关系,因此无法维持视频的时间一致性。

近期的视频修补[方法]未显式建模物体的附带影响,导致移除结果不自然。现有的视频物体移除[方法]缺少对物体与其影响之间时空相关性的建模,因此常会产生伪影,或留下已移除物体的痕迹。

“总体而言,EffectErase在所有数据集和评估指标上都达到领先水平。它在视频质量指标FVD上获得最佳分数,表明生成视频的时间流畅性和一致性更好。

“我们的方法也获得了最高的QScore和用户反馈评分,进一步说明其能够生成视觉上令人信服的移除结果。”

定性评估方面,论文给出了静态结果,直接展示于下方;动态结果则可在项目网站和配套的YouTube演示视频中查看:

VOR-Eval上的定性比较,涵盖遮挡、阴影、光照、反射和形变。修补方法难以移除掩码外的影响,而移除模型往往留下可见伪影。EffectErase能更干净地移除目标物体及其影响。更高分辨率请参阅原论文,视频示例请查看项目网站。

VOR-Eval上的定性比较,涵盖遮挡、阴影、光照、反射和形变。修补方法难以移除掩码外的影响,而移除模型往往留下可见伪影。EffectErase能更干净地移除目标物体及其影响。更高分辨率请参阅原论文,视频示例请查看项目网站。

我们也建议读者查看项目网站上多样化的相关示例,下方提供了一个预览;官方YouTube视频则嵌入在本文末尾:

点击播放。EffectErase项目网站上的一个对比示例。更高分辨率(需留意前述注意事项)和更多示例请查看该网站。

作者评论道:

“视频修补[方法]常在掩码区域产生伪影,无法彻底清除被移除物体所造成的附带影响。以往的物体移除方法,如[ROSE]和[MinMax-Remover],在移除目标物体方面表现不错,但仍难处理这些影响,尤其是遮挡、阴影、光照、反射和形变场景。

“相比之下,EffectErase能有效移除目标物体及其相关影响,得到干净、连贯、高质量的结果。”

最后,研究人员指出,无需额外训练,也可以将该方法用于插入而非移除任务:

视频物体插入结果。EffectErase在插入物体时保留背景内容,并在各帧之间一致地生成物体引发的阴影、反射等影响。

视频物体插入结果。EffectErase在插入物体时保留背景内容,并在各帧之间一致地生成物体引发的阴影、反射等影响。

插入任务的视频结果可通过指定起始时间的YouTube视频查看相关示例。同一视频也嵌入在文末,但未指定起始时间。

结论

纵览文献中的类似项目,很多研究者仍希望通用VFX模型最终能将此类功能整合进一个面向多种效果的通用“工具箱”模型,而不只针对这一特定任务。

不过,考虑到博而不精的问题,可以合理推测,EffectErase这样的专用系统仍会领先于更通用的方法。但需要说明的是,差距最终可能缩小到不足以抵偿训练独立模型所需的额外投入。

 

*随着人们越来越关注素材来源和知识产权问题,理应希望所有这类来源都被注明。不过,如果这项新研究的公开材料列出了3D模型的来源,我未能找到相应引文。

†所提供的参考文献似乎是2013年的一篇通用说明性文本,并未具体说明所使用的VAE。

†† 这是论文中的表述,语义不够清楚,因为微调和LoRA是不同的过程,所需条件也有很大差别。

首次发表于2026年3月21日,星期六

机器学习撰稿人,专注于人类图像合成的领域专家。曾任 Metaphysic.ai 的研究内容负责人,直至其并入 DNEG 的 Brahma.ai。
网站: martinanderson.ai
联系:martin@martinanderson.ai