Unite.AI

更小的深度伪造可能是更大的威胁

如今，像ChatGPT和Google Gemini这样的对话式AI工具正被用来创建不换脸，而是以更微妙的方式重写图像内整个故事的深度伪造。通过改变手势、道具和背景，这些编辑既能欺骗AI检测器，也能欺骗人类，提高了识别网络真实内容的难度。   在当前环境下，特别是在TAKE IT DOWN法案等重要立法之后，我们许多人将深度伪造和AI驱动的身份合成与非自愿的AI色情和政治操纵联系在一起——总的来说，是对真相的严重扭曲。 这使我们习惯于期待AI操纵的图像总是涉及高风险内容，其渲染质量和上下文操纵可能成功实现可信度的颠覆，至少在短期内如此。 然而，从历史上看，更为微妙的篡改往往具有更阴险和持久的影响——例如，斯大林曾利用当时最先进的照片技巧将失宠者从照片记录中抹去，正如乔治·奥威尔小说《一九八四》中所讽刺的那样，主人公温斯顿·史密斯终日忙于重写历史，并制造、销毁和“修改”照片。 在下面的例子中，第二张照片的问题在于我们“不知道自己不知道什么”——斯大林秘密警察的前负责人尼古拉·叶若夫曾经占据的位置，现在只剩下一个安全护栏： 此类反复出现的潮流以多种方式持续存在；不仅在文化上，而且在计算机视觉本身也是如此，后者从训练数据集中统计上占主导地位的主题和模式中衍生出趋势。举个例子，智能手机降低了入门门槛，并极大地降低了摄影成本，这意味着其图像符号已不可避免地与许多抽象概念联系在一起，即使这并不合适。 如果说传统的深度伪造可以被视为一种“攻击”行为，那么视听媒体中有害且持续存在的微小改动则更类似于“煤气灯效应”。此外，这种深度伪造不易被察觉的特性，使得最先进的深度伪造检测系统（它们寻找的是明显的改动）难以识别。这种方法更像是水在持续时间内侵蚀岩石，而不是用石头砸向头部。 MultiFakeVerse 来自澳大利亚的研究人员试图解决文献中对“微妙”深度伪造缺乏关注的问题，他们策划了一个庞大的新数据集，其中包含以人物为中心的图像操纵，这些操纵改变了背景、情感和叙事，但没有改变主体的核心身份： 该数据集名为MultiFakeVerse，包含845,826张通过视觉语言模型生成的图像，可以在线访问和下载，需获得许可。 作者表示： “这种VLM驱动的方法能够实现语义化、上下文感知的修改，例如改变动作、场景和人物-物体交互，而不是现有数据集中常见的合成或低级别的身份交换以及特定区域的编辑。“我们的实验表明，当前最先进的深度伪造检测模型和人类观察者都难以检测到这些微妙但有意义的操纵。” 研究人员在他们的新数据集上测试了人类和领先的深度伪造检测系统，以观察这些微妙操纵的识别效果。人类参与者表现挣扎，仅能在大约62%的时间内正确将图像分类为真实或伪造，并且在精确定位图像中哪些部分被修改方面遇到了更大的困难。 现有的深度伪造检测器，大多在更明显的换脸或修复数据集上训练，同样表现不佳，常常无法识别出任何操纵的发生。即使在MultiFakeVerse上进行微调后，检测率仍然很低，暴露了当前系统在处理这些微妙的、叙事驱动的编辑方面有多么不足。 这篇新论文题为Multiverse Through Deepfakes: The MultiFakeVerse Dataset of Person-Centric...