Исследователи разработали новые методы для улучшения качества ухудшенных изображений

Команда исследователей в колледже Йель-НУС разработала новые подходы к компьютерному зрению и глубокому обучению для извлечения более точных данных из низкокачественных видео, вызванных факторами окружающей среды, такими как дождь и ночные условия. Они также улучшили точность оценки 3D-позы человека в видео.

Технология компьютерного зрения, используемая в приложениях, таких как автоматические системы наблюдения, автономные транспортные средства и инструменты здравоохранения и социального дистанцирования, часто страдает от факторов окружающей среды, которые могут вызвать проблемы с извлеченными данными.

Новое исследование было представлено на конференции 2021 года по компьютерному зрению и распознаванию образов (CVPR).

Воздействие окружающей среды на изображения

Условия, такие как низкий свет и искусственные световые эффекты, такие как блики, свечение и прожекторы, влияют на ночные изображения. Изображения в дождь также затронуты дождевыми полосами или накоплением дождя.

Команду исследователей возглавлял профессор Робби Тан из колледжа Йель-НУС.

“Многие системы компьютерного зрения, такие как автоматические системы наблюдения и автономные транспортные средства, полагаются на четкую видимость входных видео, чтобы работать хорошо. Например, автономные транспортные средства не могут работать надежно в сильном дожде, а системы автоматического наблюдения часто терпят неудачу ночью, особенно если сцены темные или есть значительные блики или прожекторы”, – сказал профессор Тан.

Команда опиралась на два отдельных исследования, которые ввели алгоритмы глубокого обучения для улучшения качества ночных видео и видео в дождь.

Первое исследование было сосредоточено на повышении яркости при одновременном подавлении шума и световых эффектов, таких как блики, свечение и прожекторы, для создания четких ночных изображений. Новая техника направлена на улучшение четкости ночных изображений и видео, когда есть неизбежные блики, что существующие методы еще не сделали.

В странах, где часты сильные дожди, накопление дождя отрицательно влияет на видимость в видео. Второе исследование было направлено на решение этой проблемы путем введения метода, который использует выравнивание кадров, что позволяет получить лучшую визуальную информацию без влияния дождевых полос, которые часто появляются случайно в разных кадрах. Команда использовала движущуюся камеру для оценки глубины, что помогло удалить эффект дождевой завесы. В то время как существующие методы основаны на удалении дождевых полос, новые разработанные методы могут удалить как дождевые полосы, так и эффект дождевой завесы одновременно.

Изображение: колледж Йель-НУС

Оценка 3D-позы человека

Вместе с новыми методами команда также представила свое исследование по оценке 3D-позы человека, которое можно использовать в видеонаблюдении, видеоиграх и спортивных трансляциях.

Оценка 3D-позы человека из моноокулярного видео, или видео, снятого с помощью одной камеры, все чаще исследуется в последние годы. В отличие от видео с нескольких камер, моноокулярные видео более гибкие и могут быть сняты с помощью одной камеры, такой как мобильный телефон.

Однако высокая активность, такая как несколько людей в одной сцене, влияет на точность обнаружения человека. Это особенно верно, когда люди взаимодействуют близко или перекрываются друг с другом в моноокулярном видео.

Третье исследование команды оценило 3D-позу человека из видео, объединив два существующих метода, которые были верхними и нижними подходами. Новый метод дает более надежную оценку позы в многопользовательских условиях по сравнению с двумя другими и лучше справляется с расстоянием между людьми.

“Как следующий шаг в нашем исследовании по оценке 3D-позы человека, которое поддерживается Национальным исследовательским фондом, мы будем изучать, как защитить информацию о конфиденциальности видео. Для методов улучшения видимости мы стремимся внести вклад в развитие области компьютерного зрения, которая имеет решающее значение для многих приложений, которые могут повлиять на нашу повседневную жизнь, таких как обеспечение работы автономных транспортных средств в неблагоприятных погодных условиях”, – сказал профессор Тан.