Дослідники розробили нові методи для покращення пошкоджених зображень

Команда дослідників у Yale-NUS College розробила нові підходи до комп’ютерного бачення та глибокого навчання для отримання більш точних даних з низькорівневого бачення у відео, викликаних факторами довкілля, такими як дощ і нічні умови. Вони також покращили точність оцінки 3D-пози людини у відео.

Технологія комп’ютерного бачення, яка використовується в застосуваннях, таких як автоматичні системи спостереження, автономні транспортні засоби та інструменти охорони здоров’я та соціального дистанціювання, часто постраждає від факторів довкілля, які можуть викликати проблеми з витягнутими даними.

Нові дослідження були представлені на Конференції з комп’ютерного бачення та розпізнавання образів 2021 року (CVPR).

Вплив довкілля на зображення

Умови, такі як низький рівень освітлення та штучні світлові ефекти, такі як блиск, сяйво та прожектори, впливають на нічні зображення. Зображення дощу також постраждають від дощових смуг або накопичення дощу.

Команду дослідників очолював асоційований професор Роббі Тан з Yale-NUS College.

“Багато систем комп’ютерного бачення, таких як автоматичні системи спостереження та автономні транспортні засоби, залежать від чіткої видимості вхідних відео, щоб працювати добре. Наприклад, автономні транспортні засоби не можуть працювати надійно у сильному дощі, а автоматичні системи спостереження часто виходять з ладу вночі, особливо якщо сцена темна або є значний блиск чи прожектори”, – сказав асоційований професор Тан.

Команда спиралася на два окремі дослідження, які ввели алгоритми глибокого навчання для покращення якості нічних відео та відео дощу.

Перше дослідження було зосереджено на підвищенні яскравості та одночасному приглушенні шуму та світлових ефектів, таких як блиск, сяйво та прожектори, для створення чітких нічних зображень. Нова техніка спрямована на покращення ясності нічних зображень та відео, коли є незаперечний блиск, чого не змогли зробити існуючі методи.

У країнах, де сильний дощ є звичайним явищем, накопичення дощу негативно впливає на видимість у відео. Друге дослідження було спрямовано на вирішення цієї проблеми шляхом введення методу, який використовує вирівнювання кадрів, що дозволяє отримувати краще візуальну інформацію без впливу дощових смуг, які часто з’являються випадково в різних кадрах. Команда використала рухому камеру для застосування оцінки глибини, що допомогло видалити ефект дощового покриву. Хоча існуючі методи обертаються навколо видалення дощових смуг, нові розроблені методи можуть видалити як дощові смуги, так і ефект дощового покриву одночасно.

Зображення: Yale-NUS College

Оцінка 3D-пози людини

Разом з новими методами команда також представила своє дослідження щодо оцінки 3D-пози людини, яке можна використовувати у відеоспостереженні, відеоіграх та спортивному мовленні.

Оцінка 3D-пози декількох осіб з монокулярного відео, або відео, знятого однією камерою, все частіше досліджується за останні кілька років. На відміну від відео з кількох камер, монокулярне відео більш гнучке і може бути зняте однією камерою, chẳng hạn як мобільним телефоном.

З іншого боку, висока активність, така як присутність декількох осіб у одній сцені, впливає на точність виявлення людини. Це особливо вірно, коли особи взаємодіють тісно або перекриваються одна з одною у монокулярному відео.

Третє дослідження команди оцінило 3D-позу людини з відео шляхом поєднання двох існуючих методів, які були зверху вниз та знизу вгору підходами. Новий метод дає більш надійну оцінку пози у багатолюдних умовах порівняно з двома іншими методами та краще підходить для обробки відстані між особами.

“Як наступний крок у наших дослідженнях щодо оцінки 3D-пози людини, які підтримуються Національним науково-дослідним фондом, ми будемо займатися питаннями захисту інформації про приватність відео. Для методів покращення видимості ми прагнемо внести свій внесок у розвиток галузі комп’ютерного бачення, оскільки вони критично важливі для багатьох застосунків, які можуть вплинути на нашу повсякденну життя, таких як забезпечення роботи автономних транспортних засобів у несприятливих погодних умовах”, – сказав асоційований професор Тан.