Restaurando Vídeos de Mídia Social Sobre-Comprimidos com Aprendizado de Máquina

Pesquisas recentes da China oferecem um método eficaz e inovador para restaurar detalhes e resolução de vídeos carregados por usuários que são comprimidos automaticamente em plataformas como WeChat e YouTube para economizar largura de banda e espaço de armazenamento.

Comparação do novo método com abordagens anteriores, em termos de sua capacidade de re-resolver detalhes descartados durante a otimização automática da plataforma de mídia social. Fonte: https://arxiv.org/pdf/2208.08597.pdf

Ao contrário dos métodos anteriores que podem aumentar e amostrar vídeos com base em dados de treinamento genéricos, a nova abordagem deriva um mapa de recursos de degradação (DFM) para cada quadro do vídeo comprimido – efetivamente uma visão geral das regiões mais danificadas ou deterioradas no quadro que resultaram da compressão.

Dos estudos de ablação do novo artigo: segunda da direita, a verdade do ‘puro’ mapa de recursos de degradação (DFM); terceira da direita, uma estimativa do dano sem usar DFM. Esquerda, um mapa de dano muito mais preciso com DFM.

O processo de restauração, que aproveita redes neurais convolucionais (CNNs), entre outras tecnologias, é guiado e focado pelas informações no DFM, permitindo que o novo método supere o desempenho e a precisão das abordagens anteriores.

A verdade para o processo foi obtida pelos pesquisadores carregando vídeos de alta qualidade para quatro plataformas de compartilhamento populares, baixando os resultados comprimidos e desenvolvendo um pipeline de visão computacional capaz de aprender artefatos de compressão e perda de detalhes de forma abstrata, para que possa ser aplicado em várias plataformas para restaurar os vídeos a uma qualidade quase original, com base em dados completamente opostos.

Exemplos do novo conjunto de dados UVSSM dos pesquisadores.

O material utilizado na pesquisa foi compilado em um conjunto de dados HQ/LQ intitulado Vídeos de Usuários Compartilhados em Mídia Social (UVSSM) e foi disponibilizado para download (senha: rsqw) no Baidu, para o benefício de projetos de pesquisa subsequentes que buscam desenvolver novos métodos para restaurar vídeos comprimidos por plataformas.

Uma comparação entre dois exemplos equivalentes de HQ/LQ do conjunto de dados UVSSM disponível para download (veja os links acima para URLs de fonte). Como mesmo este exemplo pode estar sujeito a múltiplas rodadas de compressão (aplicativo de imagem, CMS, CDN, etc.), consulte os dados de fonte originais para uma comparação mais precisa.

O código do sistema, conhecido como Restauração de Vídeo por meio de Detecção Adaptativa de Degradação (VOTES), também foi lançado no GitHub, embora sua implementação envolva várias dependências baseadas em pull.

O artigo é intitulado Restauração de Vídeos de Usuários Compartilhados em Mídia Social e vem de três pesquisadores da Universidade de Shenzhen e um do Departamento de Engenharia Eletrônica e de Informação da Universidade Politécnica de Hong Kong.

De Artefatos para Fatos

A capacidade de restaurar a qualidade de vídeos raspados da web sem a “alucinação” genérica, às vezes excessiva de detalhes fornecida por programas como Gigapixel (e a maioria dos pacotes de código aberto de escopo semelhante) pode ter implicações para o setor de pesquisa de visão computacional.

Pesquisas sobre tecnologias de visão computacional baseadas em vídeo frequentemente dependem de imagens obtidas de plataformas como YouTube e Twitter, onde os métodos de compressão e codecs usados são guardados a sete chaves, não podem ser facilmente discernidos com base em padrões de artefatos ou outros indicadores visuais e podem mudar periodicamente.

A maioria dos projetos que utilizam vídeo encontrado na web não está pesquisando compressão e precisa fazer concessões para a qualidade disponível do vídeo comprimido que as plataformas oferecem, pois não têm acesso às versões de alta qualidade originais que os usuários carregaram.

Portanto, a capacidade de restaurar fielmente maior qualidade e resolução a tais vídeos, sem introduzir influência downstream de conjuntos de dados de visão computacional não relacionados, pode ajudar a evitar os frequentes contornos e acomodações que os projetos de visão computacional devem atualmente fazer para as fontes de vídeo degradadas.

Embora plataformas como o YouTube ocasionalmente anunciem mudanças significativas na forma como comprimem os vídeos dos usuários (como VP9), nenhuma delas revela explicitamente o processo completo ou os codecs e configurações exatos usados para reduzir os arquivos de alta qualidade que os usuários carregam.

Obter qualidade de saída melhorada a partir de uploads de usuários se tornou algo de uma arte druídica em os últimos dez anos, com várias (em sua maioria não confirmadas) ‘soluções alternativas’ entrando e saindo de moda.

Método

As abordagens anteriores para restauração de vídeo baseada em aprendizado profundo envolveram extração de recursos genéricos, seja como uma abordagem para restauração de quadro único ou em uma arquitetura multi-quadro que aproveita fluxo óptico (ou seja, que leva em conta quadros adjacentes e posteriores ao restaurar um quadro atual).

Todas essas abordagens tiveram que lidar com o efeito ‘caixa preta’ – o fato de que não podem examinar efeitos de compressão nas tecnologias centrais, porque não é certo nem quais são as tecnologias centrais, nem como elas foram configuradas para qualquer vídeo carregado por usuário.

VOTES, em vez disso, busca extrair recursos salientes diretamente do vídeo original e comprimido e determinar padrões de transformação que se generalizarão para os padrões de várias plataformas.

Arquitetura conceitual simplificada para VOTES.

VOTES usa um módulo de detecção de degradação especialmente desenvolvido (DSM, veja imagem acima) para extrair recursos em blocos convolucionais. Vários quadros são então passados para um módulo de extração e alinhamento de recursos (FEAM), com esses sendo encaminhados para um módulo de modulação de degradação (DMM). Finalmente, o módulo de reconstrução produz o vídeo restaurado.

Dados e Experimentos

No novo trabalho, os pesquisadores concentraram seus esforços em restaurar vídeos carregados e rebaixados na plataforma WeChat, mas se preocuparam em garantir que o algoritmo resultante pudesse ser adaptado para outras plataformas.

Verificou-se que, uma vez que obtiveram um modelo de restauração eficaz para vídeos do WeChat, adaptá-lo para Bilibili, Twitter e YouTube levou apenas 90 segundos para uma única época para cada modelo personalizado para cada plataforma (em uma máquina executando 4 NVIDIA Tesla P40 GPUs com um total de 96GB de VRAM).

Adaptação do modelo de restauração bem-sucedido para outras plataformas de compartilhamento de vídeo provou ser bastante trivial. Aqui vemos VOTES alcançando quase instantaneamente a paridade de desempenho em várias plataformas, usando o conjunto de dados UVSSM dos autores e o conjunto de dados REDS (veja abaixo).

Para popular o conjunto de dados UVSSM, os pesquisadores reuniram 264 vídeos com duração entre 5-30 segundos, cada um com uma taxa de quadros de 30fps, provenientes de câmeras de telefone celular ou da internet. Os vídeos tinham resoluções de 1920 x 1080 ou 1280 x 270.

O conteúdo (veja imagem anterior) incluiu vistas de cidades, paisagens, pessoas e animais, entre vários outros assuntos, e são utilizáveis no conjunto de dados público por meio de licença Creative Commons Attribution, permitindo reutilização.

Os autores carregaram 214 vídeos no WeChat usando cinco marcas diferentes de telefones celulares, obtendo a resolução de vídeo padrão do WeChat de 960×540 (a menos que o vídeo de origem já seja menor do que essas dimensões), entre as conversões mais “punitivas” em plataformas populares.

Topo-esquerda, o quadro HQ original com três seções ampliadas; topo-direita, o mesmo quadro de uma versão comprimida da plataforma do mesmo vídeo; parte inferior-esquerda, a degradação calculada do quadro comprimido; e parte inferior-direita, a área de ‘trabalho’ consequente para VOTES se concentrar. Obviamente, o tamanho da imagem de baixa qualidade é metade do tamanho da imagem HQ, mas foi redimensionada aqui para clareza de comparação.

Para as comparações posteriores contra as rotinas de conversão de outras plataformas, os pesquisadores carregaram 50 vídeos não incluídos no conjunto original de 214 para Bilibili, YouTube e Twitter. A resolução original dos vídeos era 1280×270, com as versões baixadas em 640×360.

Isso traz o conjunto de dados UVSSM para um total de 364 pares de vídeos originais (HQ) e compartilhados (LQ), com 214 no WeChat e 50 em cada um dos Bilibili, YouTube e Twitter.

Para os experimentos, 10 vídeos aleatórios foram selecionados como o conjunto de teste, quatro como o conjunto de validação e os 200 restantes como o conjunto de treinamento principal. Os experimentos foram realizados cinco vezes com validação cruzada K-fold, com os resultados médios em todas as instâncias.

Nos testes de restauração de vídeo, VOTES foi comparado a Fusão Deformável Espaço-Temporal (STDF). Para melhoria de resolução, foi testado contra Convoluções Deformáveis Aprimoradas (EDVR), RSDN, Super-resolução de Vídeo com Atenção de Grupo Temporal (VSR_TGA), e BasicVSR. O método de estágio único do Google COMISR também foi incluído, embora não se encaixe no tipo de arquitetura das outras obras anteriores.

Os métodos foram testados contra os conjuntos de dados UVSS e REDS, com VOTES alcançando as pontuações mais altas:

Os autores defendem que os resultados qualitativos também indicam a superioridade de VOTES em relação aos sistemas anteriores:

Quadros de vídeo do REDS restaurados por abordagens concorrentes. Resolução indicativa apenas – consulte o artigo para resolução definitiva.

Publicado pela primeira vez em 19 de agosto de 2022.