研究人员使用 AI 研究反射图像与原图像的差异

康奈尔大学的研究人员最近利用机器学习系统研究了图像的反射与原图像的差异。 据 ScienceDaily 报道，研究人员团队创建的算法发现，图像被翻转或反射后会有明显的差异。 康奈尔科技学院的计算机科学副教授诺亚·斯纳维利（Noah Snavely）是该研究的首席作者。根据斯纳维利的说法，该研究项目始于研究人员对图像在反射时的差异感到好奇。斯纳维利解释说，即使看起来非常对称的东西，一般也可以通过研究来区分。 “我对通过新的方式获取信息的发现感到着迷”，斯纳维利根据 ScienceDaily 说。 研究人员专注于人脸图像，并使用这些图像来训练他们的算法。这是因为人脸看起来并不明显地不对称。当算法在区分翻转图像和原图像的数据上进行训练时，人工智能在各种类型的图像上 reportedly 达到了 60% 至 90% 的准确率。 人工智能学习到的反射图像的许多视觉特征都是非常微妙的，人类难以从翻转的图像中辨别出来。为了更好地解释人工智能用于区分翻转和原图像的特征，研究人员创建了一个热力图。热力图显示了人工智能倾向于关注图像的区域。根据研究人员的说法，人工智能用来区分翻转图像的最常见线索之一是文本。这并不令人惊讶，研究人员从训练数据中删除了包含文本的图像，以便更好地了解翻转和原图像之间更微妙的差异。 在从训练集中删除了包含文本的图像后，研究人员发现人工智能分类器关注图像的特征，如衬衫领子、手机、手表和面部。其中一些特征具有明显的、可靠的模式，人工智能可以专注于这些模式，例如人们经常用右手拿手机，衬衫领子的按钮通常在左边。然而，面部特征通常具有很高的对称性，差异很小，人类观察者很难检测到。 研究人员创建了另一个热力图，突出了人工智能倾向于关注面部的区域。人工智能经常使用人们的眼睛、头发和胡须来检测翻转图像。出于尚不清楚的原因，人们在拍照时经常稍微向左看。至于为什么头发和胡须是翻转图像的指标，研究人员不确定，但他们推测，一个人的手的偏向可能通过他们的刮胡子或梳头方式揭示出来。虽然这些指标可能不可靠，但通过组合多个指标，研究人员可以实现更大的信心和准确性。 需要进行更多的研究，但如果发现是连贯的和可靠的，那么它可以帮助研究人员找到更有效的方法来训练机器学习算法。计算机视觉人工智能通常使用图像的反射来训练，因为这是增加可用训练数据的有效和快速方法。分析反射图像的差异可能有助于机器学习研究人员更好地理解机器学习模型中的偏差，这可能会导致人工智能不准确地分类图像。 正如斯纳维利被 ScienceDaily 引用： “这导致计算机视觉社区的一个开放问题，即何时可以通过翻转来增强数据集，何时不可以？我希望这会让人们更多地思考这些问题，并开始开发工具来了解它如何偏向算法。”