연구진, 저화질 이미지 개선 위한 새로운 기술 개발

예일-나스 대학(Yale-NUS College)의 연구진은 비디오에서 저화질 이미지를 개선하기 위한 새로운 컴퓨터 비전과 딥 러닝 접근 방식을 개발했습니다. 또한 비디오에서 3D 인간 姿勢 추정의 정확도를 높였습니다.

컴퓨터 비전 기술은 자동 감시 시스템, 자율 주행 자동차, 의료 및 사회적 거리 두기 도구 등 다양한 응용 분야에서 사용됩니다. 그러나 환경 요인으로 인해 데이터의 정확도가 저하될 수 있습니다.

새로운 연구는 2021 컴퓨터 비전 및 패턴 인식 회의(CVPR)에서 발표되었습니다.

이미지에 대한 환경 영향

저조도와 인공 광원으로 인한 글레어, 글로우, 플러드라이트 등이 밤 시간의 이미지를 영향을 받습니다. 또한 비의 경우 비 줄기 또는 비 축적이 이미지를 영향을 받습니다.

예일-나스 대학의 로비 탄(Robby Tan) 부교수가 연구를 이끌었습니다.

“자동 감시 시스템이나 자율 주행 자동차와 같은 많은 컴퓨터 비전 시스템은 입력 비디오의 명확한 가시성을 필요로 합니다. 예를 들어, 자율 주행 자동차는 강한 비에서 안정적으로 작동할 수 없습니다. 또한 CCTV 자동 감시 시스템은 밤에 특히 어둡거나 글레어 또는 플러드라이트가 있는 경우에 실패합니다.”라고 탄 부교수는 말했습니다.

연구진은 두 개의 별도 연구를 통해 밤 시간 비디오와 비 비디오의 품질을 향상시키는 딥 러닝 알고리즘을 도입했습니다.

첫 번째 연구는 밤 시간 이미지의 명도 향상과 동시에 노이즈 및 광 효과를 억제하여 명확한 밤 시간 이미지를 생성하는 데 중점을 두었습니다. 새로운 기술은 기존 방법이 아직 수행하지 못한 글레어가 있는 밤 시간 이미지와 비디오의 명도 향상을 목표로 합니다.

비가 많이 내리는 국가에서 비 축적은 비디오의 가시성을 나쁘게 영향을 받습니다. 두 번째 연구는 프레임 정렬을 사용하여 비 줄기를 무시하고 더 나은 시각 정보를 제공하는 방법을 제시했습니다. 연구진은 이동 카메라를 사용하여 깊이 추정을 수행하여 비 베일 효과를 제거했습니다. 기존 방법은 비 줄기를 제거하는 데 중점을 두고 있지만, 새로 개발된 방법은 비 줄기와 비 베일 효과를 모두 동시에 제거할 수 있습니다.

이미지: 예일-나스 대학

3D 인간 姿勢 추정

새로운 기술과 함께, 연구진은 비디오에서 3D 인간 姿勢 추정에 대한 연구를 발표했습니다. 이는 비디오 감시, 비디오 게임, 스포츠 중계 등에 사용될 수 있습니다.

단일 카메라에서 촬영한 비디오에서 3D 다중 인간 姿勢 추정은 최근 몇 년 동안 점점 더 연구되고 있습니다. 다중 카메라와는 달리, 단일 카메라 비디오는 더 유연하고 단일 카메라, 즉 스마트폰으로 촬영할 수 있습니다.

그러나 높은 활동성, 즉 동일한 장면에 여러 사람이 있는 경우, 인간 감지의 정확도가 영향을 받습니다. 특히 개인이 밀접하게 상호 작용하거나 단일 카메라 비디오에서 서로 겹치면 더욱 그렇습니다.

연구진의 세 번째 연구는 기존의 두 가지 방법, 즉 상향식 접근과 하향식 접근을 결합하여 비디오에서 3D 인간 姿勢를 추정했습니다. 새로운 방법은 다중 인간 설정에서 다른 두 가지 방법보다 더 신뢰할 수 있는 姿勢 추정을 제공하며, 개인 간의 거리를 더 잘 처리할 수 있습니다.

“우리의 3D 인간 姿勢 추정 연구의 다음 단계에서는 비디오의 개인 정보 보호를 어떻게 할지 살펴볼 것입니다. 가시성 향상 방법에 대해서는 컴퓨터 비전 분야의 발전에 기여하려고 합니다. 이는 자율 주행 자동차가 악천후에서 더 잘 작동하도록 하는 등 우리의 일상 생활에 영향을 미치는 많은 응용 분야에 중요합니다.”라고 탄 부교수는 말했습니다.