研究人员开发出改善退化图像的新技术

耶鲁-新加坡国立大学学院的一组研究人员开发了新的计算机视觉和深度学习方法，可以从由雨和夜间条件等环境因素引起的视频中的低水平视觉中提取更准确的数据。他们还提高了视频中 3D 人体姿势估计的准确性。 

计算机视觉技术用于自动监控系统、自动驾驶汽车以及医疗保健和社交距离工具等应用，通常会受到环境因素的影响，这可能会导致提取的数据出现问题。

这项新研究发表在 2021计算机视觉和模式识别（CVPR）会议. 

环境对图像的影响

弱光和人造光效果（如眩光、辉光和泛光灯）等条件会影响夜间图像。 雨图像也会受到雨条纹或雨积累的影响。 

耶鲁-新加坡国立大学学院科学副教授 Robby Tan 领导了该研究团队。 

“许多计算机视觉系统（例如自动监控和自动驾驶汽车）都依赖于输入视频的清晰可见性才能正常工作。 例如，自动驾驶汽车无法在大雨中正常工作，闭路电视自动监控系统经常在夜间出现故障，特别是在场景黑暗或有明显眩光或泛光灯的情况下，”Assoc 说。 谭教授。

该团队依靠两项独立的研究，引入深度学习算法来提高夜间视频和雨天视频的质量。 

第一项研究的重点是提高亮度，同时抑制噪音和光效应，例如眩光、辉光和泛光灯，以创建清晰的夜间图像。 这项新技术旨在提高夜间图像和视频在眩光不可避免的情况下的清晰度，而现有方法尚未做到这一点。 

在经常下大雨的国家，雨水积累会对视频的可见度产生负面影响。 第二项研究旨在通过引入一种采用帧对齐的方法来解决该问题，该方法可以提供更好的视觉信息，而不受雨条纹的影响，雨条纹通常随机出现在不同的帧中。 该团队使用移动摄像机来进行深度估计，这有助于消除雨水遮蔽效应。 虽然现有的方法主要围绕消除雨纹，但新开发的方法可以同时消除雨纹和雨纹效果。 

图片：耶鲁-新加坡国立大学学院

3D 人体姿势估计

除了新技术之外，该团队还展示了其在 3D 人体姿势估计方面的研究，该技术可用于视频监控、视频游戏和体育转播。 

在过去的几年里，基于单目视频或单个摄像机拍摄的视频进行 3D 多人姿势估计的研究越来越多。 与多摄像头视频不同，单目视频更加灵活，可以用单个摄像头（例如手机）拍摄。 

话虽如此，同一场景中多个人的高活动会影响人体检测的准确性。 当个体在单眼视频中密切互动或相互重叠时尤其如此。 

该团队的第三项研究通过结合两种现有方法（自上而下和自下而上的方法）来估计视频中的 3D 人体姿势。 与其他两种方法相比，新方法在多人环境中产生更可靠的姿势估计，并且能够更好地处理个体之间的距离。 

“作为由国家研究基金会支持的 3D 人体姿势估计研究的下一步，我们将研究如何保护视频的隐私信息。 对于可见度增强方法，我们努力为计算机视觉领域的进步做出贡献，因为它们对于影响我们日常生活的许多应用至关重要，例如使自动驾驶汽车能够在恶劣的天气条件下更好地工作。”副教授。 谭教授。