Anderson 视角

还原相机在AI修改前捕捉的图像

发布于 2026年4月24日

更新于 2026年10月27日

作者

Martin Anderson

将 Unite.AI 添加到您在 Google 上的首选来源

AI-generated image (GPT-2). A photographer examines an open DSLR as a stream of colorful fantasy creatures and glowing imagery bursts out, while he reacts with focused, subdued surprise in a studio setting.

当一张原始照片已在相机内部自动经过AI处理时，还能如何保护它不受AI干预？新研究试图恢复“真实”的传感器数据——同样借助AI！

过去一年中，AI图像变得越来越逼真，导致许多团体和个人反对摄影信任随之受到的侵蚀。

在同一时期，内容来源和真实性联盟（C2PA）试图推广一种半加密标准，从图像被支持该标准的相机或设备捕捉的那一刻起，将基于元数据的来源信息附加到图像上，希望揭露图像在捕捉后是否使用了生成式AI。

C2PA系统的来源记录示意图：拍摄时写入的元数据可以像日记一样继续添加，允许亮度和对比度等常规调整，同时记录重大修改，使被AI大幅修改的图像在支持该系统的媒体中被识别为经过此类修改。来源

然而，这个标准的采用并没有像联盟预期的那样广泛，目前只有 14 台相机支持在相机内部嵌入真实性信息。

有趣的是，C2PA的想法是在图像产生时就给它一个“护照”，但到那时可能已经太晚了——因为相机制造商现在已普遍将AI处理嵌入图像生成过程。

2024年论文《倡导相机拍摄图像的像素级认证》中的示意图，展示现代相机处理流程如何在拍摄时引入幻觉内容，以及像素级认证元数据如何揭示这些内容。（A）智能手机传感器图像经过ISP处理，其AI模块可能在数字变焦或曝光校正时编造细节，生成看似真实却含有车牌数字误读等错误的图像。（B）认证掩码嵌入为元数据，之后叠加到图像上，揭示不真实的区域，让用户区分原始数据与AI修改的像素。来源

事实上，这种对相机传感器原始数据采集的AI“干预”，最终甚至可能成为主导过程。

这种后处理与当前在相机内修改照片的趋势不同；后者是由手机或相机应用让用户在照片从设备下载之前随意修改。

相反，处理发生在相机图像信号处理器（ISP）的“黑盒”流程中，通常运行于不展示也不提供原始传感器数据的专有运行环境。还要注意，所谓“纯粹”的相机RAW格式也并没有那么“原始”。

因此，当你看到照片时，它可能已经经过了AI辅助的增强，例如低光照增强、放大、月亮替换等。

在许多情况下，这可能导致不准确的重构，例如文本的重构，这可能会使图像无法用于证据，因为原始的“原始”图像将不可用。

新论文中，RAW传感器图像经支持GenAI的ISP处理，生成看似更清晰却可能包含幻觉细节的最终sRGB输出。车牌示例显示，数字变焦时字符被错误推断。实际无法直接获取的真实场景，既不同于AI增强输出，也不同于出现幻觉前的中间真实图像。所提方法可恢复这一幻觉前图像，还原相机光学系统最初捕捉、尚未被AI增强改变的内容。来源

上述例子来自一篇新论文，提出了一种方法来恢复“真实”的图像，使用替代的AI过程从处理后的图像中重构估计的原始和未经篡改的图像。

作者表示：

‘当使用生成或感知损失训练的AI模型被用于ISP时，它们容易产生幻觉内容，可能改变图像的含义。其含义是，直接从相机输出的图像可能包含“虚假”的内容，特别是在智能手机相机中，AI-ISP模块正在被越来越多地采用。’

‘在相机中使用GenAI标志着我们对相机图像的看法发生了范式转变，并挑战了传统取证观念中相机拍摄图像天然可信的看法。’

新工作使用了一个非常轻量的编码器和 MLP 解码器，可以在图像中嵌入，仅增加180kb的文件大小。目标是开发能够在实时中提取原始图像的编码系统。

新论文中，GenAI基于的超分辨率在相机ISP中可以微妙地改变面部特征，改变外观或感知到的身份，通过改变凝视和嘴形。低光照增强可以类似地修改图像内容，影响解释，尽管提高了视觉质量。在QR码示例中，增强使图像更具吸引力，但使其无法扫描。该方法可以恢复这些幻觉产生前的真实图像，还原原本的面部细节和可扫描的QR码。

或者，相机制造商可以让用户访问真正未经处理的传感器数据；然而，这似乎只会限制在高端设备上。在移动和消费者领域，访问非处理图像可能被认为是一种“小众”或边缘追求。

虽然消费者相机一直应用某种程度的后处理，但在边缘AI出现之前，使用的算法是最小的“解释性”的，不太可能以与当前AI方法相同的方式改变照片的内容。

值得注意的是，考虑到三星的“月亮替换”政策在几年前受到的广泛公众批评，三星多伦多AI中心竟是这项新研究的参与方之一。论文题为《当相机使用生成式AI时，如何应对图像真实性问题》，主要贡献者是多伦多大学的五位研究人员。

方法

作者借鉴了迄今似乎唯一直接讨论由设计导致的图像改变问题的另一项工作：2024年的论文 倡导相机捕捉图像的像素级认证，该论文提出了一个“二进制认证掩码”，用于分隔摄像头AI处理改变的区域：

最右侧，2024年论文的“真实性掩码”显示相机中AI“平滑”过程影响的天空区域。

然而，该系统没有提供一种方法来恢复“真实”的图像，而新工作解决了这个问题，同时承认了对早期工作的债务。

新工作的目标是使用户能够恢复一个尽可能接近相机传感器在处理之前捕捉的原始图像。

所提出方法的概述。在（A）中，在捕获时，ISP输出图像包含虚构内容，通过一个参数被冻结的预训练编码器，并将其潜在特征与空间坐标结合，输入一个逐像素运行的MLP，预测不含幻觉的图像，训练由真实图像的损失引导。然后将编码器和MLP的权重保存为图像的元数据。在（B）中，在推理时，从元数据中检索这些权重，并使用编码器和MLP来重构非虚构图像。

在捕获时，新方法将处理后的图像通过一个冻结编码器，转换为紧凑的潜在表示。然后，将相关的空间坐标与这些特征结合，输入一个轻量的MLP，按像素操作，预测原始图像内容，有效地学习通过重构损失对抗虚构元素，针对真实目标。

编码器和解码器是在成对的真实和虚构图像上预训练的，然后快速微调每个捕获的图像，其权重作为元数据保存在图像本身中，仅增加了一个小的大小开销。

在查看时，存储的权重被提取和重用，运行相同的编码器和MLP，允许恢复一个尽可能接近相机传感器最初捕捉的图像，而不引入新的合成内容。

数据和测试

作者使用了两个最常见的ISP后处理任务进行测试：超分辨率（SR，包括变焦区域）和低光照摄影。

对于自然图像SR测试，包含许多文本的例子被纳入数据，因为ISP SR例程已知会改变文本（例如车牌号码，但请参见文章前面的示例）。由于文本失真是一个独立的问题，因此它被视为SR测试的一个子集，并具有专用数据。

提到的编码器针对每个测试的两个模式进行了训练，并根据在捕获时可能参与的AI ISP模块选择（例如，在黑暗条件下，一个“低光照”模块）。

作者使用了 DIV2K 数据集进行超分辨率训练，使用了流行的 RealESRGAN 网络。与前述2024年关于ISP干预的工作一致，本研究人员生成了成对的数据，包含未受影响和虚构的内容。

对于文本SR部分，作者使用了2023年的 MARCONet 文本SR模型：

2023年MARCONet论文中的低分辨率和等效的上采样文本示例。 来源

为了创建成对的数据，研究人员将非虚构的图像运行通过MARCONet。从项目的原始代码中生成了2000张图像，其中200张留作验证，另外200张用于测试。

对于低光照测试，采用了LOw-Light（LOL）数据集，该数据集出自一篇2018年中国论文：

2018年LOL数据集中的同一张图片在不同曝光度和亮度下。 来源

对手框架

为了评估该方法，作者将其与三个特定的基线进行了比较，这些基线是在匹配的条件下训练的。首先，SIREN 和 NeRF 在成对的真实和虚构图像上预训练，然后在捕获时与所提出方法相同的时间内进行了微调，提供了与NeRF的直接比较。

第二，使用 hashgrid 方法在 Instant-NGP 中的实现，学习了一个编码，并将哈希表条目和MLP 联合优化。

嵌入的大小和网络容量与目标编码器和MLP相匹配。实验既包括逐图像从头优化，也包括预训练后再微调。

第三，实现了一个使用 NAFNet 的64MB模型的盲图像到图像翻译基线，作为一个像素到像素的回归系统，训练时没有使用元数据。

在训练中，使用了 Adam 优化器，基于 PyTorch，用于预训练和微调。编码器和MLP在50,000个 epoch 中训练，批量大小为32，针对每个任务（例如SR、文本SR、低光照）训练了特定模式的编码器。

微调发生在大约三秒内，在具有32GB VRAM的NVIDIA V100 GPU上。作者注意到，虽然在设备上优化是目标环境和场景，但对于所有框架来说，这并不是现实的，因此所有测试都在桌面环境中进行。

与使用元数据的MLP基线（包括SIREN、NeRF和哈希网格方法）以及使用NAFNet的盲恢复的性能比较。结果以分贝为单位的PSNR报告，跨三个任务：DIV2K上的自然图像超分辨率；MARCONet上的文本超分辨率；以及LOL上的低光照增强，所提出方法在每种情况下都获得了最高分数。

对于MLP方法，性能严重依赖于输入表示，其中仅使用空间坐标的模型在预训练期间挣扎，并且在有限的微调阶段无法改善。添加颜色信息会带来更好的结果。

使用NAFNet的盲恢复在DIV2K上表现良好，在那里从降级图像到清晰图像的映射相对稳定，但在MARCONet和LOL上失败了，在那里存在多个合理的重构，并且模型缺乏解决这种歧义所需的信息。

这种效果在低光照增强中最为明显，因为原始场景的亮度无法从处理后的图像中可靠地推断出来。

作者表示：

‘在合成MARCONet数据中，具有不同模糊强度的图像映射到相同的虚构图像。可以从结果中看出，我们提出的方法在所有数据集上都优于竞争对手。’

在上面的比较中，我们可以看到不同方法的表现如何随拍摄时可用处理时间而变化。针对每张图像从头训练一个模型可以产生强大的结果，如SIREN、NeRF和哈希网格所示，但这需要太长时间，无法在相机内部实现。

相反，作者的方法预先完成大部分工作，仅在拍摄时进行快速调整，使其能够在紧密的时间限制内（3、5或10秒）提供更好的结果。

与使用元数据的MLP基线（包括SIREN、NeRF和哈希网格方法）以及使用NAFNet的盲恢复的性能比较。结果以分贝为单位的PSNR报告，跨三个任务：DIV2K上的自然图像超分辨率；MARCONet上的文本超分辨率；以及LOL上的低光照增强，所提出方法在每种情况下都获得了最高分数。请参阅源论文以获取稍好的分辨率。

上面显示了DIV2K上的定性结果，其中增强方法引入了可见的虚构内容。一个基于GAN的超分辨率模型改变了眼睛的颜色，而盲恢复难以重构原始图像。NeRF和哈希网格在结构化区域（如窗户和文本）中产生了伪影，而所提出方法更接近真实图像。