Pesquisadores Desenvolvem Novas Técnicas para Melhorar Imagens Deterioradas

Uma equipe de pesquisadores da Yale-NUS College desenvolveu novas abordagens de visão computacional e aprendizado profundo para extrair dados mais precisos de visão de baixo nível em vídeos causados por fatores ambientais como chuva e condições noturnas. Eles também melhoraram a precisão da estimativa de pose humana 3D em vídeos.

A tecnologia de visão computacional, que é usada em aplicações como sistemas de vigilância automática, veículos autônomos e ferramentas de saúde e distanciamento social, é frequentemente afetada por fatores ambientais, que podem causar problemas com os dados extraídos.

A nova pesquisa foi apresentada na Conferência de 2021 sobre Visão Computacional e Reconhecimento de Padrões (CVPR).

Impacto Ambiental nas Imagens

Condições como baixa luz e efeitos de luz artificiais, como clarão, brilho e holofotes, afetam as imagens noturnas. As imagens de chuva também são afetadas por faixas de chuva ou acúmulo de chuva.

O professor associado de Ciência da Yale-NUS College, Robby Tan, liderou a equipe de pesquisa.

“Muitos sistemas de visão computacional, como vigilância automática e carros autônomos, dependem de uma visibilidade clara dos vídeos de entrada para funcionar bem. Por exemplo, carros autônomos não podem funcionar de forma robusta em chuva forte e sistemas de vigilância automática de CCTV frequentemente falham à noite, especialmente se as cenas são escuras ou há clarão ou holofotes significativos”, disse o Prof. Tan.

A equipe se baseou em dois estudos separados que introduziram algoritmos de aprendizado profundo para melhorar a qualidade de vídeos noturnos e de chuva.

O primeiro estudo se concentrou em aumentar o brilho enquanto suprimia simultaneamente o ruído e os efeitos de luz, como clarão, brilho e holofotes, para criar imagens noturnas claras. A nova técnica visa melhorar a clareza em imagens e vídeos noturnos quando há clarão inevitável, o que os métodos existentes ainda não conseguem fazer.

Em países onde a chuva forte é comum, o acúmulo de chuva afeta negativamente a visibilidade nos vídeos. O segundo estudo buscou resolver o problema introduzindo um método que emprega um alinhamento de quadros, o que permite uma melhor informação visual sem ser afetado por faixas de chuva, que frequentemente aparecem aleatoriamente em diferentes quadros. A equipe usou uma câmera móvel para empregar a estimativa de profundidade, o que ajudou a remover o efeito de véu de chuva. Enquanto os métodos existentes giram em torno da remoção de faixas de chuva, os novos métodos desenvolvidos podem remover tanto as faixas de chuva quanto o efeito de véu de chuva simultaneamente.

Imagem: Yale-NUS College

Estimativa de Pose Humana 3D

Além das novas técnicas, a equipe também apresentou sua pesquisa sobre a estimativa de pose humana 3D, que pode ser usada em vigilância de vídeo, jogos de vídeo e transmissão esportiva.

A estimativa de pose humana 3D a partir de um vídeo monocular, ou vídeo tirado com uma única câmera, tem sido cada vez mais pesquisada nos últimos anos. Ao contrário dos vídeos de múltiplas câmeras, os vídeos monoculares são mais flexíveis e podem ser tirados com uma única câmera, como um telefone celular.

No entanto, atividades de alta intensidade, como várias pessoas na mesma cena, afetam a precisão na detecção humana. Isso é especialmente verdadeiro quando as pessoas estão interagindo estreitamente ou se sobrepondo umas às outras no vídeo monocular.

O terceiro estudo da equipe estimou a pose humana 3D a partir de um vídeo combinando dois métodos existentes, que eram as abordagens de cima para baixo e de baixo para cima. O novo método produz uma estimativa de pose mais confiável em configurações de múltiplas pessoas em comparação com os outros dois, e é melhor equipado para lidar com a distância entre as pessoas.

“Como um próximo passo em nossa pesquisa de estimativa de pose humana 3D, que é apoiada pela National Research (NRC ) Foundation, estaremos olhando para como proteger as informações de privacidade dos vídeos. Para os métodos de melhoria de visibilidade, nos esforçamos para contribuir para os avanços no campo da visão computacional, pois são críticos para muitas aplicações que podem afetar nossas vidas diárias, como permitir que carros autônomos funcionem melhor em condições climáticas adversas”, disse o Prof. Tan.