在计算机视觉模型中使用随机噪声代替真实图像进行训练

来自麻省理工学院计算机科学与人工智能实验室（CSAIL）的研究人员进行了使用随机噪声图像在计算机视觉数据集中训练计算机视觉模型的实验，并发现这种方法出乎意料地有效：

实验中生成的模型，按性能排序。 来源：https://openreview.net/pdf?id=RQUl8gZnN7O

将明显的“视觉垃圾”输入流行的计算机视觉架构中不应该产生这样的性能。在上面的图像的最右边，黑色柱代表了四个“真实”数据集的准确性得分（在Imagenet-100上）。虽然“随机噪声”数据集（以各种颜色显示，见左上角索引）不能匹配该准确性，但它们几乎都在合理的上下界限（红色虚线）内。

在这种意义上，“准确性”并不意味着结果一定看起来像脸、教堂、披萨或其他任何特定领域的图像合成系统，例如生成对抗网络或编码器/解码器框架。

相反，它意味着CSAIL模型从图像数据中推导出了一些广泛适用的基本“真理”，这些数据看起来如此无结构，以至于不应该能够提供这些真理。

多样性与自然主义

这些结果也不能归因于过拟合：在Open Review上，作者和审稿人之间的讨论表明，将不同内容从视觉多样化的数据集中混合到训练数据集中（例如“枯叶”、“分形”和“程序噪声”——见下图）实际上可以提高这些实验中的准确性：

这表明（这是一个有点革命性的概念）一种新的“欠拟合”现象，即“多样性”优于“自然主义”。

该项目的网页允许您交互式地查看实验中使用的不同类型的随机图像数据集。 来源：https://mbaradad.github.io/learning_with_noise/

研究人员的结果引发了人们对图像神经网络与它们所处理的“真实世界”图像之间的基本关系的质疑，并意味着获取、整理和处理超大规模图像数据集的需要可能最终变得不必要。作者指出：

‘当前的视觉系统是在大型数据集上训练的，这些数据集的成本很高：数据集的整理很昂贵，它们继承了人类的偏见，并且存在隐私和使用权的问题。为了应对这些成本，人们对从更便宜的数据源（如未标记的图像）学习的兴趣大大增加。 ‘

‘在本文中，我们更进一步，询问是否可以完全放弃使用真实图像数据集，而是通过学习程序噪声过程来进行学习。’

研究人员建议，当前的机器学习架构可能从图像中推导出比以前认为的更为基本（或至少是意外）的东西，并且“无意义”的图像可能会以更低的成本传递很多这种知识，即使使用临时的合成数据，通过在训练时生成随机图像的数据集生成架构：

‘我们确定了两个使得合成数据适合训练视觉系统的关键属性：1）自然主义，2）多样性。有趣的是，最自然的数据不总是最好的，因为自然主义可能以牺牲多样性为代价。 ‘

‘事实上，自然的数据有帮助并不令人惊讶，这表明确实，大规模的真实数据是有价值的。然而，我们发现，关键的不是数据是“真实的”，而是自然的，即它必须捕获真实数据的某些结构属性。 ‘

‘这些属性中的很多可以在简单的噪声模型中捕获。 ‘

作者使用的各种“随机图像”数据集的特征可视化，涵盖第三和第五（最终）卷积层。这里使用的方法遵循2017年谷歌AI研究的方法。

该论文在悉尼举行的第35届神经信息处理系统会议（NeurIPS 2021）上发表，题为通过查看噪声来学习视觉，由CSAIL的六位研究人员共同完成。

这项工作被一致推荐为NeurIPS 2021的焦点选择，同行评议者将该论文描述为“科学突破”，开辟了“伟大的研究领域”，尽管它提出了更多的问题而不是答案。

在论文中，作者得出结论：

‘我们已经证明，当使用过去关于自然图像统计的研究结果设计时，这些数据集可以成功地训练视觉表示。我们希望这篇论文能够激发研究新的生成模型的兴趣，这些模型能够产生结构化噪声，并在各种视觉任务中实现更高的性能。 ‘

‘是否有可能匹配使用ImageNet预训练获得的性能？也许在没有特定任务的大型训练集的情况下，最佳预训练可能不是使用标准的真实数据集，如ImageNet。 ‘