使用随机噪声而不是真实图像训练计算机视觉模型

麻省理工学院计算机科学与人工智能实验室（CSAIL）的研究人员尝试使用计算机视觉数据集中的随机噪声图像来训练计算机视觉模型，结果发现该方法不但不会产生垃圾，而且出奇地有效：

来自实验的生成模型，按性能排序。 资料来源：https://openreview.net/pdf?id=RQUl8gZnN7O

将明显的“视觉垃圾”输入流行的计算机视觉架构中不应导致这种性能。 在上图的最右侧，黑色柱代表准确度分数（在 Imagenet-100）对于四个“真实”数据集。 虽然它之前的“随机噪声”数据集（以各种颜色显示，请参见左上角的索引）无法匹配，但为了准确性，它们几乎都在可观的上限和下限（红色虚线）内。

从这个意义上说，“准确性”并不意味着结果一定看起来像 面部，以 教会，以 比萨，或您可能有兴趣为其创建一个的任何其他特定域 图像合成 系统，例如生成对抗网络或编码器/解码器框架。

相反，这意味着 CSAIL 模型从图像数据中得出了广泛适用的中心“事实”，这些数据显然是非结构化的，因此它不应该能够提供这些数据。

多样性与多样性自然主义

这些结果也不能归因于 过度拟合: 活泼的 讨论 Open Review 的作者和审稿人之间的研究表明，将来自视觉上不同的数据集的不同内容（例如“死叶”、“分形”和“程序噪声”——见下图）混合到训练数据集中 通 提高 在这些实验中。

这表明（这是一个革命性的概念）一种新型的“欠拟合”，其中“多样性”胜过“自然主义”。

这个 项目页 该计划允许您以交互方式查看实验中使用的不同类型的随机图像数据集。 来源：https://mbaradad.github.io/learning_with_noise/

研究人员获得的结果对基于图像的神经网络和以惊人的速度向他们抛出的“现实世界”图像之间的基本关系提出了质疑。 更大的体积 每年，并暗示需要获取、策划或以其他方式争论 超大规模图像数据集 最终可能会变得多余。 作者指出：

“当前的视觉系统是在巨大的数据集上进行训练的，而这些数据集是有成本的：管理成本高昂，它们继承了人类的偏见，并且存在对隐私和使用权的担忧。 为了应对这些成本，人们对从更便宜的数据源（例如未标记的图像）进行学习的兴趣激增。

“在本文中，我们更进一步询问我们是否可以通过从程序噪声过程中学习来完全消除真实图像数据集。”

研究人员认为，当前的机器学习架构可能会从图像中推断出比以前想象的更基本（或者至少是意想不到的）的东西，并且“无意义”图像可能会更多地传授大量此类知识。成本低廉，即使可能使用临时合成数据，通过在训练时生成随机图像的数据集生成架构：

“我们确定了为训练视觉系统提供良好的合成数据的两个关键属性：1）自然主义，2）多样性。 有趣的是，最自然的数据并不总是最好的，因为自然主义可能以牺牲多样性为代价。

“自然数据的帮助这一事实可能并不令人惊讶，它表明大规模的真实数据确实具有价值。 然而我们发现，重要的不是数据 真实 但它是 自然主义的，即它必须捕获真实数据的某些结构属性。

“许多这些特性都可以用简单的噪声模型来捕获。”

作者使用的一些各种“随机图像”数据集上的 AlexNet 派生编码器产生的特征可视化，涵盖第三和第五（最后）卷积层。 这里使用的方法遵循中规定的方法 2017 年 Google 人工智能研究.

这个 纸，在悉尼举行的第 35 届神经信息处理系统会议 (NeurIPS 2021) 上提出，标题为 通过观察噪音学会观察，来自 CSAIL 的 XNUMX 名研究人员，贡献相等。

这项工作是 建议 一致同意在 NeurIPS 2021 上进行重点选择，同行评论者将这篇论文描述为“一项科学突破”，开辟了一个“伟大的研究领域”，尽管它提出的问题与它回答的问题一样多。

在论文中，作者得出结论：

“我们已经证明，当使用过去的自然图像统计研究结果进行设计时，这些数据集可以成功地训练视觉表示。 我们希望本文能够激发对新生成模型的研究，该模型能够产生结构化噪声，在用于各种视觉任务时实现更高的性能。

“是否有可能与 ImageNet 预训练获得的性能相匹配？ 也许在缺乏特定于特定任务的大型训练集的情况下，最好的预训练可能不是使用标准的真实数据集，例如 ImageNet。