Pesquisadores Desenvolvem Novas Técnicas para Melhorar Imagens Deterioradas

Uma equipe de pesquisadores da Yale-NUS College desenvolveu novas abordagens de visão computacional e aprendizado profundo para extrair dados mais precisos de visão de baixo nível em vídeos causados por fatores ambientais, como chuva e condições noturnas. Eles também melhoraram a precisão da estimativa de pose humana 3D em vídeos.

A tecnologia de visão computacional, utilizada em aplicações como sistemas de vigilância automática, veículos autônomos e ferramentas de distanciamento social e saúde, é frequentemente afetada por fatores ambientais, que podem causar problemas com os dados extraídos.

A nova pesquisa foi apresentada na Conferência de 2021 sobre Visão Computacional e Reconhecimento de Padrões (CVPR).

Impacto Ambiental em Imagens

Condições como baixa luz e efeitos de luz artificiais, como clarão, brilho e luzes de inundação, afetam as imagens noturnas. As imagens de chuva também são afetadas por listras de chuva ou acúmulo de chuva.

O professor associado de Ciência da Yale-NUS College, Robby Tan, liderou a equipe de pesquisa.

“Muitos sistemas de visão computacional, como vigilância automática e carros autônomos, dependem da visibilidade clara dos vídeos de entrada para funcionar bem. Por exemplo, carros autônomos não podem funcionar de forma robusta em chuva forte e sistemas de vigilância automática de CCTV frequentemente falham à noite, especialmente se as cenas forem escuras ou houver clarão ou luzes de inundação significativos”, disse o Prof. Tan.

A equipe se baseou em dois estudos separados que introduziram algoritmos de aprendizado profundo para melhorar a qualidade de vídeos noturnos e de chuva.

O primeiro estudo se concentrou em aumentar o brilho, ao mesmo tempo em que suprimia o ruído e os efeitos de luz, como clarão, brilho e luzes de inundação, para criar imagens noturnas claras. A nova técnica visa melhorar a clareza em imagens e vídeos noturnos quando há clarão inevitável, o que os métodos existentes ainda não conseguem fazer.

Em países onde a chuva forte é comum, o acúmulo de chuva afeta negativamente a visibilidade em vídeos. O segundo estudo buscou resolver o problema, introduzindo um método que emprega um alinhamento de quadros, que permite melhor informação visual sem ser afetado por listras de chuva, que frequentemente aparecem aleatoriamente em diferentes quadros. A equipe usou uma câmera móvel para empregar estimação de profundidade, o que ajudou a remover o efeito de véu de chuva. Enquanto os métodos existentes giram em torno da remoção de listras de chuva, os novos métodos desenvolvidos podem remover tanto as listras de chuva quanto o efeito de véu de chuva simultaneamente.

Imagem: Yale-NUS College

Estimativa de Pose Humana 3D

Além das novas técnicas, a equipe também apresentou sua pesquisa sobre estimativa de pose humana 3D, que pode ser usada em vigilância de vídeo, jogos de vídeo e transmissão esportiva.

A estimativa de pose humana 3D de múltiplas pessoas a partir de um vídeo monocular, ou vídeo tirado com uma câmera única, tem sido cada vez mais pesquisada nos últimos anos. Ao contrário de vídeos de múltiplas câmeras, vídeos monoculares são mais flexíveis e podem ser tirados com uma câmera única, como um telefone celular.

No entanto, atividades de alta intensidade, como várias pessoas na mesma cena, afetam a precisão na detecção humana. Isso é especialmente verdadeiro quando as pessoas estão interagindo estreitamente ou se sobrepondo umas às outras no vídeo monocular.

O terceiro estudo da equipe estimou a pose humana 3D a partir de um vídeo, combinando dois métodos existentes, que eram as abordagens de cima para baixo e de baixo para cima. O novo método produz uma estimativa de pose mais confiável em configurações de múltiplas pessoas em comparação com os outros dois, e está melhor equipado para lidar com a distância entre as pessoas.

“Como um próximo passo em nossa pesquisa de estimativa de pose humana 3D, que é apoiada pela National Research Foundation, estaremos olhando para como proteger as informações de privacidade dos vídeos. Para os métodos de melhoria de visibilidade, nos esforçamos para contribuir para os avanços no campo da visão computacional, pois são críticos para muitas aplicações que podem afetar nossa vida diária, como permitir que carros autônomos funcionem melhor em condições climáticas adversas”, disse o Prof. Tan.