AI 基础
合成媒体: 类型、应用、风险与来源
将 Unite.AI 添加到您在 Google 上的首选来源
合成媒体是通过自动化系统生成或实质性修改的数字内容。它包括文本、图像、音频、视频、化身以及多模态组合。有些内容是完全生成的；其他媒体则对真实的录音、面孔、声音、物体或背景进行更改。
合成并不等同于欺骗。相同的技术可用于电影制作、可及性、本地化、教育和设计，同时也可能被用于冒充、未经同意的影像、欺诈和虚假信息。意图、同意、情境和披露决定了大部分风险。
关键要点
- 合成媒体涵盖文本、图像、音频、视频和交互式化身的生成与编辑。
- 检测是概率性的，且在压缩、编辑或模型更改后可能下降。
- 水印、标签和来源信息是互补的信号；没有任何一种能证明主张的真实性。
- 同意、身份、分发情境和快速响应应纳入生产工作流。
合成媒体的创建方式
自回归模型生成令牌序列；扩散模型对图像、音频或视频进行去噪；GAN学习对抗生成器；语音系统将文本合成为语音或将一种声音转换为另一种声音。
条件可以包括提示、参考图像、动作、说话者样本或结构化控制。编辑工具可能对区域进行修补、改变时序或同步唇形。因此，捕获媒体与生成媒体之间的界限是连续的。
合法应用
创作者使用合成元素进行分镜、视觉特效和快速原型制作。可及性应用包括语音生成、字幕以及个性化通信辅助。经许可，本地化可以翻译并重新配音教育或娱乐内容。
训练仿真可以生成罕见情景，且保护隐私的合成数据集可能降低对真实记录的暴露。这些用途仍需进行质量测试，因为合成数据可能复制偏见或遗漏重要的边缘案例。
危害与威胁模型
风险包括冒充诈骗、伪造证据、未经同意的亲密影像、骚扰、被操纵的政治内容、版权争议以及对真实媒体信任的侵蚀。文本和语音的影响可能与视觉上震撼的深度伪造同样严重。
威胁建模关注所代表的身份是谁、谁给予了同意、内容将如何分发、它似乎支持何种主张以及危害传播的速度。防护措施应匹配相应情境，而非使用单一通用过滤器。
检测、水印与来源
检测器评估内容是否符合训练期间出现的特征；新模型、编辑和压缩可能降低准确性。水印嵌入或关联信号，但可能被移除或缺失。标签仅在保持附着且可理解时才有帮助。
C2PA 内容凭证通过加密方式将关于创作和编辑的来源声明绑定到资产上。它们可以在信任模型下让篡改显而易见，但并不判断所描绘的事件或书面声明是否真实。
分层发布工作流
在生成前获取同意并记录来源权利。应用模型和提示控制，审查涉及身份的输出，附加持久的来源信息，披露实质性修改，并保留投诉或冒充的上报渠道。
平台和出版方应将来源、检测、账户信号、事实核查和情境证据相结合。将这些控制与网络安全和生成式 AI事件处理流程关联，因为没有单一技术信号可以决定一切。
合成媒体方法与证据
合成媒体包括生成或修改的图像、音频、视频、文本、化身以及虚拟环境。方法涵盖 GAN、扩散、自回归模型、神经渲染、面部重演、语音克隆、语音合成、合成以及传统编辑。合成与编辑之间的界限是连续的。逼真的伪迹并不证明事件的发生，检测到的伪迹也不等同于恶意意图的证据。评估时应保留原始文件、元数据、来源以及保全链。
创作可支持电影、可及性、本地化、教育、保护隐私的化身、仿真以及创意原型制作。它也可能被用于冒充、欺诈、骚扰、未经同意的亲密影像、宣传以及伪造证据。风险取决于身份、同意、受众、披露、情境、分发以及后果。语音或肖像授权应明确允许的用途和期限。无论是公众人物还是普通人，都保有重要的权利和安全利益，即使法律有所差异。
来源、水印与检测
内容来源可通过加密签署捕获和编辑事件，并通过 C2PA 等标准附加声明。当工具和平台保留凭证时，它有助于验证链路，但缺乏来源并不证明内容为假，且元数据可能被剥除。水印可以是可见或隐藏的，可指示来源，但压缩、裁剪、再生成以及对抗性移除会削弱其稳健性。应将来源、披露、账户历史、来源佐证和取证分析结合使用。
检测器学习特征或统计模式，但在面对新生成器、后处理、语言以及分布转移时会退化。误报可能伤害个人和真实新闻。应报告校准后的不确定性和验证条件；绝不可仅凭一次检测分数作出重要指控。人工分析员应对比独立证据并记录工具及版本。平台需要快速报告、保全、申诉以及对基于身份的滥用和选举或紧急事件操纵的响应机制。
负责任的生产与验证
创作者应获取同意、保护参考数据、标记可能误导的材料，并保留生成记录。组织应培训员工通过独立渠道验证紧急语音或视频请求，尤其是涉及付款或凭证时。确保模型和媒体管道安全，对冒充功能进行速率限制，防止未经授权的自定义语音或面孔。合成媒体正逐渐成为普通的生产工具；可信的使用依赖于来源和情境，而有韧性的受众和机构必须验证主张，而不是仅凭视觉逼真度。
案例示例: 验证紧急合成语音信息
一名财务员工收到一段语音信息，貌似是 CEO 要求紧急转账。公司政策禁止仅凭语音批准。该员工通过已知的独立渠道联系高管，核实支付系统中的交易，并报告该信息。安全团队保留原始文件、报头、账户历史和时间戳，而不是仅依赖深度伪造检测器。
调查结合来源元数据、带有不确定性说明的声学分析、身份泄露检查以及活动情报。检测结果在未得到佐证前绝不向员工或执法机构呈现为结论性。组织封锁来源，警告受影响团队，重置相关凭证，并审查公开语音样本和供应商流程。培训强调流程：紧迫性和逼真度不能取代双重批准。合成媒体的韧性既来源于已验证的渠道和权限边界，也来源于取证模型。
实施证据与运营准备
生产决策需要的不仅是成功的演示。需明确预期用户、运行环境、输入、输出、依赖、负责人以及每项关键故障的后果。调优前建立可复现的基线和版本化的评估集。测试常规案例、边界条件、格式错误或缺失的输入、分布转移、依赖中断、误用以及最可能被忽视的群体或环境。将任务质量与校准或不确定性、延迟、吞吐量、资源成本、可及性、隐私和安全一起衡量。记录每一次转换和阈值，以便独立审查员能够复现结果并将证据与诱人的原型区分开来。
上线前，指定发布、例外、变更、回滚和退役的授权。采用分阶段发布，保留安全回退，并通过有意注入的故障验证监控。运营遥测应展示输入质量、输出行为、模型或规则版本、依赖健康状况、人工干预以及已确认的结果，同时避免收集不必要的敏感数据。设定警报阈值和响应负责人，然后在部署后审查真实世界的证据，而不是假设离线性能会持续。每当数据源、用户、模型、供应商、政策、硬件或目标变化时都需重新评估。维护中的系统还需有文档化的恢复、事件学习、删除与保留流程，以及明确的停用或替换时点。
常见问题
每张编辑过的照片都是合成媒体吗？
定义各有不同。轻微的常规编辑可能不被称为合成，而生成的或在语义上有意义的自动化修改通常被视为合成。披露应侧重于影响解读的更改。
内容凭证能证明媒体真实吗？
不能。它们只能提供防篡改的来源声明。即使记录有效，也可能伴随误导性情境或错误主张。
主要参考文献
