Naukowcy opracowują nowe techniki poprawy jakości zdegradowanych obrazów

Zespół naukowców z Yale-NUS College opracował nowe podejścia z wykorzystaniem techniki komputerowego widzenia i głębokiego uczenia, aby wydobyć bardziej dokładne dane z niskopoziomowych wizji w filmach spowodowanych czynnikami środowiskowymi, takimi jak deszcz i warunki nocne. Poprawili również dokładność estymacji 3D pozycji ludzkiej w filmach.

Technologia komputerowego widzenia, która jest wykorzystywana w aplikacjach takich jak automatyczne systemy nadzoru, autonomiczne pojazdy i narzędzia do zdrowia i dystansu społecznego, jest często wpływana przez czynniki środowiskowe, które mogą powodować problemy z wydobywanymi danymi.

Nowe badania zostały przedstawione na 2021 Conference on Computer Vision and Pattern Recognition (CVPR).

Wpływ środowiska na obrazy

Warunki takie jak niska jasność i sztuczne efekty świetlne, takie jak olśnienie, świecenie i reflektory, wpływają na obrazy nocne. Obrazy deszczu są również wpływane przez smugi deszczu lub gromadzenie się deszczu.

Kierownikiem zespołu badawczego był Associate Professor of Science Robby Tan z Yale-NUS College.

“Wiele systemów komputerowego widzenia, takich jak automatyczne systemy nadzoru i autonomiczne pojazdy, opiera się na klarownej widoczności wejściowych filmów, aby działać dobrze. Na przykład, autonomiczne pojazdy nie mogą działać solidnie w ciężkim deszczu, a systemy automatycznego nadzoru często zawodzą w nocy, szczególnie jeśli scena jest ciemna lub występuje znaczne olśnienie lub reflektory”, powiedział Assoc. Prof Tan.

Zespół opierał się na dwóch odrębnych badaniach, które wprowadziły algorytmy głębokiego uczenia, aby poprawić jakość filmów nocnych i deszczowych.

Pierwsze badanie skupiło się na zwiększeniu jasności, jednocześnie tłumiąc szum i efekty świetlne, takie jak olśnienie, świecenie i reflektory, aby stworzyć klarowne obrazy nocne. Nowa technika ma na celu poprawienie klarowności w obrazach i filmach nocnych, gdy występuje nieuniknione olśnienie, co dotychczasowe metody nie były w stanie zrobić.

W krajach, gdzie często występuje ciężki deszcz, gromadzenie się deszczu negatywnie wpływa na widoczność w filmach. Drugie badanie miało na celu rozwiązanie tego problemu, wprowadzając metodę, która wykorzystuje wyrównanie klatek, co umożliwia lepszą informację wizualną bez wpływu smug deszczu, które często pojawiają się losowo w różnych klatkach. Zespół wykorzystał ruchome kamery, aby zastosować estymację głębi, co pomogło usunąć efekt zasłony deszczu. Podczas gdy istniejące metody kręcą się wokół usuwania smug deszczu, nowo opracowane metody mogą usunąć zarówno smugi deszczu, jak i efekt zasłony deszczu jednocześnie.

Obraz: Yale-NUS College

Estymacja 3D pozycji ludzkiej

Wraz z nowymi technikami, zespół przedstawił również swoje badania nad estymacją 3D pozycji ludzkiej, które mogą być wykorzystane w nadzorze wideo, grach wideo i transmisjach sportowych.

Estymacja 3D pozycji ludzkiej z filmu monokularnego, czyli z jednej kamery, była coraz bardziej badana w ciągu ostatnich kilku lat. W przeciwieństwie do filmów z wielu kamer, filmy monokularne są bardziej elastyczne i mogą być nagrywane za pomocą jednej kamery, takiej jak telefon komórkowy.

Jednakże, wysoka aktywność, taka jak wiele osób w tej samej scenie, wpływa na dokładność wykrywania ludzi. Jest to szczególnie prawdziwe, gdy osoby są w bliskim kontakcie lub nachodzą na siebie w filmie monokularnym.

Trzecie badanie zespołu oszacowało 3D pozycję ludzką z filmu, łącząc dwie istniejące metody, które były podejściami top-down i bottom-up. Nowa metoda daje bardziej niezawodną estymację pozycji w ustawieniach wielu osób w porównaniu z dwiema poprzednimi, i jest lepiej przystosowana do radzenia sobie z odległością między osobami.

“Jako następny krok w naszych badaniach nad estymacją 3D pozycji ludzkiej, które są wspierane przez National Research (NRC ) Foundation, będziemy się zajmować tym, jak chronić informacje o prywatności w filmach. Dla metod poprawy widoczności, staramy się przyczynić do postępów w dziedzinie komputerowego widzenia, które są kluczowe dla wielu aplikacji, które mogą wpływać na nasze codzienne życie, takich jak umożliwienie autonomicznym pojazdom lepszego działania w niekorzystnych warunkach pogodowych”, powiedział Assoc. Prof Tan.