研究人员使用 AI 探究反射图像与原图像的差异

康奈尔大学的研究人员最近利用机器学习系统来探究图像的反射与原图像的差异。据 ScienceDaily 报道，研究团队创建的算法发现，图像被翻转或反射后会有明显的差异，这些差异可以表明图像是否被翻转或反射过。

康奈尔科技学院的计算机科学副教授诺亚·斯纳维利（Noah Snavely）是该研究的首席作者。根据斯纳维利的说法，该研究项目始于研究人员对图像反射的差异感到好奇，即使是对称的图像，也可以通过研究发现反射的迹象。斯纳维利解释说，即使看起来非常对称的东西，也可以通过研究发现反射的迹象。斯纳维利说：“我对新方法可以发现的东西感到好奇”，据 ScienceDaily 报道。

研究人员重点研究了人脸图像，并使用这些图像来训练他们的算法。这是因为人脸看起来不明显地不对称。当训练数据可以区分翻转图像和原图像时，AI 的准确率在不同类型的图像中达到 60% 至 90% 之间。

AI 学习到的反射图像的视觉特征大多是很微妙的，人类很难通过观察反射图像来发现这些特征。为了更好地解释 AI 使用的特征，研究人员创建了一个热力图。热力图显示了 AI 关注的图像区域。根据研究人员的说法，AI 使用的最常见的线索是文本。这并不令人惊讶，研究人员从训练数据中删除了包含文本的图像，以便更好地了解翻转和原图像之间的更微妙的差异。

在删除了包含文本的图像后，研究人员发现 AI 分类器关注图像的特征，如衬衫扣子、手机、手表和面部。其中一些特征具有明显的可靠模式，AI 可以专注于这些模式，例如人们经常用右手拿手机，衬衫扣子的按钮通常在左边。然而，面部特征通常是高度对称的，差异很小，人类观察者很难发现。

研究人员创建了另一个热力图，突出了 AI 关注的面部区域。AI 经常使用人们的眼睛、头发和胡须来检测反射图像。人们在拍照时经常稍微偏向左边的原因尚不清楚。至于为什么头发和胡须是反射图像的指标，研究人员不确定，但他们推测，一个人的手势可能通过他们的剃须或梳头方式揭示出来。虽然这些指标可能不可靠，但通过组合多个指标，研究人员可以获得更大的信心和准确率。

需要进行更多的研究，但是如果发现是可靠和一致的，那么它可以帮助研究人员找到更有效的方法来训练机器学习算法。计算机视觉 AI 通常使用反射图像来训练，因为这是增加可用训练数据的有效和快速方法。分析反射图像的差异可能可以帮助机器学习研究人员更好地理解机器学习模型中的偏差，这可能会导致图像被错误分类。

斯纳维利被 ScienceDaily 引用说：

“这引发了计算机视觉社区的一个开放性问题，即什么时候可以使用翻转来增强数据集，什么时候不可以？我希望这能让人们更多地思考这些问题，并开始开发工具来了解它如何偏向算法。”