研究人员开发新技术以提高降质图像的质量

耶鲁-南洋学院的一组研究人员开发了新的计算机视觉和深度学习方法，以从低级视觉中提取更准确的数据，低级视觉是由环境因素如雨和夜间条件引起的。他们还提高了视频中3D人体姿势估计的准确性。

计算机视觉技术通常用于自动监控系统、自动驾驶汽车、医疗保健和社交距离工具等应用，但常常受到环境因素的影响，导致提取的数据出现问题。

该研究成果在2021年计算机视觉和模式识别会议（CVPR）上发表。

图像的环境影响

夜间图像受到低光照和人为光效如眩光、发光和泛光的影响。雨图像也受到雨迹或雨积累的影响。

耶鲁-南洋学院科学副教授Robby Tan领导了该研究团队。

“许多计算机视觉系统，如自动监控和自动驾驶汽车，依赖于输入视频的清晰度才能正常工作。例如，自动驾驶汽车在大雨中无法正常工作，自动监控系统在夜间，尤其是在场景黑暗或有明显的眩光或泛光时，往往会失效，”Tan副教授说。

该团队依赖于两项独立的研究，引入了深度学习算法来提高夜间视频和雨视频的质量。

第一项研究重点是提高亮度，同时抑制噪声和光效，如眩光、发光和泛光，以创建清晰的夜间图像。这种新技术旨在提高夜间图像和视频的清晰度，尤其是在无法避免的眩光条件下，而现有的方法尚未做到这一点。

在经常下大雨的国家，雨积累会对视频的可见性产生负面影响。第二项研究致力于解决这个问题，引入了一种使用帧对齐的方法，可以在不受雨迹影响的情况下提供更好的视觉信息。该团队使用移动相机来估计深度，这有助于去除雨幕效应。虽然现有的方法围绕着去除雨迹，但新开发的方法可以同时去除雨迹和雨幕效应。

图片：耶鲁-南洋学院

3D人体姿势估计

除了新技术外，该团队还提出了其关于3D人体姿势估计的研究成果，该技术可用于视频监控、视频游戏和体育广播。

从单个摄像头的视频（单眼视频）中估计3D多人姿势已经在过去的几年中被广泛研究。与多个摄像头的视频相比，单眼视频更灵活，可以使用单个摄像头（如手机）拍摄。

然而，高活动度，如同一场景中的多个个体，会影响人体检测的准确性，特别是在个体相互交互或在单眼视频中重叠时。

该团队的第三项研究通过结合两种现有的方法（自上而下和自下而上方法）来估计视频中的3D人体姿势。这种新方法在多人场景中比其他两种方法产生更可靠的姿势估计，并且更适合处理个体之间的距离。

“作为我们3D人体姿势估计研究的下一步，我们将研究如何保护视频的隐私信息。对于可见性增强方法，我们旨在为计算机视觉领域做出贡献，因为这些领域对于许多可能影响我们日常生活的应用程序至关重要，例如使自动驾驶汽车在恶劣天气条件下工作得更好，”Tan副教授说。