Anderson 视角

没有舌头！AI研究人员解决面部动画中缺失的解剖结构问题

发布于 2026年11月11日

作者

Martin Anderson

Samples from the paper 'TongueReenact: Geometry-Anchored Tongue Synthesis for Face Reenactment

2026年遗珠：每年到了这个时候，随着11月和12月的最后几场会议接踵而至，研究领域的产出质量和数量也会随之起伏。为了熬过这些零星的研究淡季，我们来看看2026年一些颇有意思、几乎入选却因其他作品在竞争更激烈的投稿期脱颖而出而落选的论文。

直到最近，无论业余还是专业的深度伪造从业者，都有比重建的人类形象有没有舌头更值得操心的问题。毕竟，舌头是面部特征中最难捉摸的一个——在“咕哝不清的人”脸上根本看不到，在大多数正常情境下也只是偶尔露面。

因此，当你确实需要舌头时，至少在AI重建领域，它却并不存在。如今，业余人士利用扩散模型进行的重建已逼真得令人惊叹，而我们对AI生成的人类形象也愈发挑剔，或许是时候解决这个问题了。

棘手的舌头问题

7月，澳大利亚与中国的一项学术合作提出了一套流程，旨在解决AI工作流中缺少舌头模拟的问题。这套拟议框架名为TongueReenact，几乎动用了深度伪造工具箱中的所有方法来应对这一难题，包括高斯泼溅、参数化人体、神经辐射场（NeRF）以及基于扩散模型的视频生成（抱歉，生成对抗网络，这次没轮到你们）。

上方是驱动视频中的真实人物影像，其特征被迁移到了下方的 TongueReenact 渲染结果中。 来源

尽管论文发表后，项目承诺公开的代码似乎一直未能交付，补充视频也尚未发布，但这项研究仍具有里程碑意义：它首次在医学领域之外探讨了AI重建中的舌头问题，也着手解决了标注数据严重不足这一关键难题，而标注数据对任何拟议的解决方案都至关重要。

研究人员创新性地利用多种现有框架和数据，构建了一个基于SegmentAnything的舌头分割框架，并为新分割出的数据生成了伪标签。

论文指出：

“[We]我们提出了首个用于面部重演的跨身份舌头动态迁移框架。给定一帧源图像和一段驱动视频，我们的方法会将面部动作和舌头动作一并迁移到源身份上。”

“我们工作的核心见解是，舌头合成不能被视为一般的图像修补问题。舌头必须与源人脸的几何结构在空间上对齐，而该几何结构会随着每一帧驱动画面而变化。”

系统首先利用3D高斯泼溅和FLAME人脸模型，将驱动人物的面部动作迁移到源人脸上。这样生成的人脸动画具有正确的姿势和表情，但仍然没有舌头。

TongueReenact工作流程。上：识别舌头图像并进行分割，再由人工修正，以训练检测模型。下：先将驱动视频中的面部动作迁移到源人脸上，再由扩散模型在恰当位置生成缺失的舌头。

随后，研究人员使用Stable Diffusion模型生成缺失的舌头，并以驱动视频中的舌头外观和重建人脸的几何结构作为引导。

谈到为何需要弥补面部重建中的这一不足，作者指出*：

“在大笑、厌恶或惊讶等富有表现力的动作中，[the tongue]可能会完全占据可见的口腔区域。然而，几乎所有现有的面部重演和虚拟形象系统，要么把口腔内部建模成没有纹理的空洞，要么对它完全不加约束。

“这种忽视并非偶然。舌头是一种极易变化的结构：静止时完全隐藏，说话时偶尔露出，而在极端表情下又会突然占据视觉焦点。因此，舌头从根本上难以采用用于面部其他部分的静态参数化建模方法。

“解决这一长期被忽视的难题，正是我们开展这项工作的核心动机。”

测试中，这种新方法的表现大幅优于五种竞争性面部动画系统；在舌头位置和大小等关键指标上，其准确度比最接近的竞争方法高出 100% 以上。不过也必须承认，在开辟全新研究方向、而既有框架对这一新挑战涉及甚少甚至完全未予处理的情况下，这类测试很难设计。

下面我们来仔细看看这种新方法。

方法

为了开发一种能够在普通面部影像中识别舌头的系统，研究采用了包含人头多视角录制影像的 NERSemble 数据集，并结合了从 VFHQ 数据集中合成生成的帧；该数据集包含超过 16,000 段高画质面部视频：

按下播放这是 Nersemble 项目网站上一个颇有意思的“舌头”示例，展示了辐射场重建。不过，这里的舌头被视为普通几何体，没有独立的领域表示。来源

研究使用 MaskGAN 面部解析模型定位每张图像中的嘴部，随后利用 TongueSAM 医学检测器识别可能的舌头区域，再将其输入 SegmentAnything，以生成可见舌头的初始轮廓（即伪标签）。

TongueSAM 数据集中的样本，旨在用于医学分析，而非面部表情评估。 来源

研究根据舌头的可见程度，将生成的掩码分为三组。研究人员剔除了不正确的样本，并手动修正较有希望的掩码，以区分舌头与周围的嘴唇、牙齿及其他口腔组织。随后，他们使用这些经过完善的标注训练 BiSeNet 图像分割网络。

随后，研究人员将该模型应用于更多 NERSemble 受试者的影像和 VFHQ 合成帧，并由人工检查和修正模型的预测结果，再继续训练。这一流程不断重复，直至模型在此前未见过的受试者上的表现趋于稳定：

将现有数据解析为“舌头领域”数据的处理流程。

合成舌头时，研究人员先稍微扩大 BiSeNet 识别出的口腔区域，再将其输入扩散模型。这样，随着嘴部形状变化，生成的舌头便有空间延伸至初始分割区域之外。

生成过程在 Stable Diffusion Image Variations 的潜在空间中进行，并分别根据重建的面部几何结构和驱动帧中可见的舌头提供引导；重新生成的区域仅限于识别出的嘴部／舌头区域。

生成流程。左上象限中的 DINO V2 标注体现了 GAGAvatar 的使用（见下文）；该模型将 DINO V2 外观特征与 FLAME 结合使用。

数据与测试

BiSeNet 使用前述数据处理阶段生成的两个输出类别进行训练：背景和舌头。训练共进行了 50,000 次迭代，学习率为 10^-3；使用的图像尺寸为 512x512px，批量大小为 4，硬件则为一块配备 48GB 显存的 NVIDIA A40 GPU。训练数据由前述 NERSemble 和 VFHQ 帧组成。

在重演部分，研究采用了预训练的 GAGAvatar 高斯泼溅骨干网络。此外还使用了 Stable Diffusion Image Variations 检查点，并将 VAE 和 CLIP 编码器冻结。随后，研究人员使用 NERSemble 数据训练引导编码器和去噪 UNET，共进行 85,000 次迭代，批量大小为 8，输入尺寸为 512×512。推理时采用 20 个 DDIM 步骤（对于许多当前的扩散模型而言，这一数量被视为较高，旨在优先保留细节，但不可避免地需要作出一些权衡）。

参与测试的竞争性头像框架包括 GPAvatar、备受赞誉的 LivePortrait、X-NeMo 和 X-Portrait。研究使用 9,000 组 VFHQ 跨身份源帧／驱动帧配对，对每种框架进行了评估。

采用的指标包括学习感知图像块相似度（LPIPS）、舌头出现率（检测到舌头的帧所占比例）、舌头 IoU（生成舌头区域与驱动舌头区域的重叠程度），以及舌头面积相似度（生成舌头的大小与驱动舌头的大小有多接近）。