人工智能揭开了空白墙壁所揭示的秘密活动

来自 NVIDIA 和麻省理工学院的贡献者参与的一项研究合作开发了一种机器学习方法，只需观察附近墙壁上的间接照明即可识别隐藏的人，即使人们远离照明光源也是如此。该方法在尝试识别隐藏人员的数量时，准确率接近 94%，并且还可以通过大量放大人眼不可见的光反射和标准图像放大方法来识别隐藏人员的特定活动。

新方法放大了难以察觉的光扰动，该方法使用卷积神经网络来识别变化区域。 来源：https://www.youtube.com/watch?v=K4PapXyX-bI

新的 纸 标题为 盯着空白墙可以学到什么，由 NVIDIA 和 MIT 以及以色列理工学院贡献。

先前的“看到墙壁周围”的方法依赖于可控光源或已知遮挡源的先验知识，而新技术可以推广到任何新房间，无需重新校准。 两个对隐藏人物进行个体化的卷积神经网络仅使用了从 20 个场景中获得的数据。

该项目针对高风险、安全关键的情况，用于搜救行动、一般执法监视任务、应急响应场景、老年人跌倒检测以及自动驾驶车辆检测隐藏行人的手段。

被动评价

与计算机视觉项目的常见情况一样，中心任务是识别、分类和操作图像流中感知的状态变化。连接这些变化会产生签名模式，该模式可用于识别多个个体或检测一个或多个个体的活动。

这项工作开启了完全被动场景评估的可能性，无需利用反射表面， Wi-Fi信号, 雷达, 声音 或近年来其他研究工作中所需的任何其他“特殊情况”，这些研究工作试图在危险或危急环境中确定隐藏的人类存在。

用于新研究的数据收集场景示例。 拍摄对象的位置要小心，不要投射阴影或直接遮挡任何光线，并且不允许有反光表面或其他“作弊”矢量。 资料来源：https://arxiv.org/pdf/2108.13027.pdf

实际上，应用程序设想的典型场景的环境光将压倒隐藏在场景其他地方的人的反射光引起的任何微小扰动。 研究人员计算出，个体的光干扰贡献通常小于可见光总量的 1%。

移除静态照明

为了从明显静态的墙壁图像中提取运动，有必要计算视频的时间平均值并将其从每一帧中删除。 由此产生的运动模式通常低于即使是高质量视频设备的噪声阈值，并且实际上大部分运动发生在负像素空间内。

为了解决这个问题，研究人员将视频采样降低了 16 倍，并将生成的素材放大了 50 倍，同时添加了中灰色基准级别来辨别负像素的存在（基线视频无法解释这一点）传感器噪声）。

人类感知的墙壁与隐藏个体的提取扰动之间的差异。 由于图像质量是本研究的核心问题，请参阅文末官方视频以获得更高质量的图像。

感知运动的机会之窗非常脆弱，甚至可能受到 60 Hz 交流频率的灯光闪烁的影响。 因此，在出现人为运动之前，还必须评估这种自然扰动并将其从镜头中删除。

最后，系统生成时空图，表示特定数量的隐藏房间居民 - 离散视觉签名：

代表房间中隐藏的不同数量的人的签名时空图。

不同的人类活动也会导致特征扰动，这些扰动可以被​​分类并随后被识别：

不活动、行走、蹲伏、挥手和跳跃的时空情节特征。

为了生成基于机器学习的自动化工作流程来识别隐藏人物，我们使用了 20 个适当场景的不同镜头来训练两个在大致相似的配置上运行的神经网络 - 一个用于计算场景中的人数，另一个用于计算场景中的人数。识别发生的任何运动。

测试

研究人员在十个看不见的现实环境中测试了经过训练的系统，这些环境旨在重现最终部署预期的限制。 该系统在对隐藏人员数量进行分类时能够达到高达 94.4% 的准确率（超过 256 帧，通常只是超过 8 秒的视频），对活动进行分类时准确率高达 93.7%（在相同条件下）。 尽管源帧越少，准确率就会下降，但这并不是线性下降，即使是 64 帧，“人数”评估的准确率也将达到 79.4%（而四倍帧数的准确率接近 95%）。

尽管该方法对于基于天气的照明变化很稳健，但在电视照明的场景中，或者在人们穿着与反射墙颜色相同的单调衣服的情况下，它会遇到困难。

有关研究的更多详细信息，包括更高质量的提取片段，请参见下面的官方视频。