Pesquisa de Inteligência Artificial Vislumbra Controles de Volume Separados para Diálogo, Música e Efeitos Sonoros

Uma nova colaboração de pesquisa liderada pela Mitsubishi investiga a possibilidade de extrair três trilhas sonoras separadas de uma fonte de áudio original, dividindo a trilha de áudio em fala, música e efeitos sonoros (ou seja, ruído ambiente).

Como este é um quadro de processamento pós-fato, ele oferece potencial para gerações futuras de plataformas de visualização de multimídia, incluindo equipamentos de consumo, para oferecer controles de volume de três pontos, permitindo que o usuário aumente o volume do diálogo ou diminua o volume de uma trilha sonora.

No clipe curto abaixo do vídeo que acompanha a pesquisa (veja o final do artigo para o vídeo completo), vemos diferentes facetas da trilha sonora sendo enfatizadas à medida que o usuário arrasta um controle sobre um triângulo com cada um dos três componentes de áudio em uma das extremidades:

Um clipe curto do vídeo que acompanha o artigo (veja o embed no final do artigo). À medida que o usuário arrasta o cursor em direção a uma das três facetas extraídas no triângulo da interface (à direita), a áudio enfatiza essa parte da trilha sonora tripartida. Embora o vídeo mais longo cite vários exemplos adicionais no YouTube, esses parecem estar atualmente indisponíveis. Fonte: https://vimeo.com/634073402

O artigo é intitulado O Problema do Garfo de Coquetel: Separação de Áudio Tríplice para Trilhas Sonoras do Mundo Real, e vem de pesquisadores dos Laboratórios de Pesquisa da Mitsubishi Electric (MERL) em Cambridge, MA, e do Departamento de Engenharia de Sistemas Inteligentes da Universidade de Indiana em Illinois.

Separando Facetas de uma Trilha Sonora

Os pesquisadores deram o nome de “Problema do Cocktail Party” ao desafio, pois envolve isolar elementos severamente entrelaçados de uma trilha sonora, o que cria um mapa que se assemelha a um garfo (veja a imagem abaixo). Na prática, trilhas sonoras multicanal (ou seja, estéreo e mais) podem ter quantidades diferentes de tipos de conteúdo, como diálogo, música e ambiente, particularmente desde que o diálogo tende a dominar o canal central em mixes Dolby 5.1. Atualmente, no entanto, o campo de pesquisa de separação de áudio ativo está se concentrando em capturar essas linhas de uma trilha sonora única e “assada”, como faz a pesquisa atual.

O Garfo de Coquetel – derivando três trilhas sonoras distintas de uma trilha sonora mesclada e única. Fonte: https://arxiv.org/pdf/2110.09958.pdf

Pesquisas recentes se concentraram em extrair fala em vários ambientes, muitas vezes para fins de desruído de áudio de fala para engajamento subsequente com sistemas de Processamento de Linguagem Natural (NLP), mas também na isolamento de vozes cantadas de arquivo, seja para criar versões sintéticas de cantores reais (mesmo mortos), ou para facilitar isolamento de música no estilo Karaoke.

Um Conjunto de Dados para Cada Faceta

Até o momento, pouca consideração foi dada ao uso dessa tecnologia de IA para dar aos usuários mais controle sobre a mistura de uma trilha sonora. Portanto, os pesquisadores formalizaram o problema e geraram um novo conjunto de dados como auxílio à pesquisa contínua sobre separação de trilhas sonoras multitype, bem como testá-lo em vários quadros de separação de áudio existentes.

O novo conjunto de dados que os autores desenvolveram é chamado de Divide and Remaster (DnR), e é derivado de conjuntos de dados anteriores LibriSpeech, Free Music Archive e o Freesound Dataset 50k (FSD50K). Para aqueles que desejam trabalhar com DnR do zero, o conjunto de dados deve ser reconstruído a partir das três fontes; caso contrário, ele será disponibilizado em breve no Zenodo, segundo os autores. No entanto, no momento da escrita, o link do GitHub para utilitários de extração de fonte não está ativo, então os interessados podem precisar esperar um pouco.

Os pesquisadores descobriram que a arquitetura CrossNet un-mix (XUMX) proposta pela Sony em maio funciona particularmente bem com DnR.

Arquitetura de áudio CrossNet da Sony.

Os autores afirmam que seus modelos de extração de aprendizado de máquina funcionam bem em trilhas sonoras do YouTube, embora as avaliações apresentadas no artigo sejam baseadas em dados sintéticos, e o vídeo principal fornecido (incrustado abaixo) é atualmente o único que parece estar disponível.

Os três conjuntos de dados usados cada um compreendem uma coleção do tipo de saída que precisa ser separada de uma trilha sonora: FSD50K é ocupado com efeitos sonoros e apresenta 50.000 clipes de áudio mono de 44,1 kHz com 200 rótulos de classe da ontologia AudioSet do Google; o Free Music Archive apresenta 100.000 canções estéreo que cobrem 161 gêneros musicais, embora os autores tenham usado um subconjunto contendo 25.000 canções, para paridade com FSD50K; e LibriSpeech fornece a DnR com 100 horas de amostras de áudio de livros como arquivos de áudio mp3 de 44,1 kHz.

Trabalho Futuro

Os autores antecipam mais trabalho no conjunto de dados e uma combinação dos modelos separados desenvolvidos para pesquisa adicional em quadros de reconhecimento de fala e classificação de som, com geração automática de legendas para fala e sons não falados. Eles também pretendem avaliar possibilidades para abordagens de remixagem que possam reduzir artefatos perceptuais, que permanece o problema central ao dividir uma trilha sonora de áudio mesclada em seus componentes constituintes.

Esse tipo de separação pode estar disponível no futuro como uma commodity de consumo em TVs inteligentes que incorporem redes de inferência altamente otimizados, embora pareça provável que as implementações iniciais precisem de algum nível de tempo de pré-processamento e espaço de armazenamento. A Samsung já usa redes neurais locais para escalonamento, enquanto o Processador Cognitivo XR da Sony, usado na linha Bravia da empresa, analisa e reinterpreta trilhas sonoras em tempo real por meio de IA leve integrada.

Chamados para um controle maior sobre a mistura de uma trilha sonora recorrem periodicamente, e a maioria das soluções oferecidas precisam lidar com o fato de que a trilha sonora já foi reduzida de acordo com os padrões atuais (e suposições sobre o que os espectadores desejam) nas indústrias de cinema e TV.

Um espectador, irritado com a disparidade chocante de níveis de volume entre vários elementos de trilhas sonoras de filmes, se tornou desesperado o suficiente para desenvolver um ajustador de volume automático baseado em hardware capaz de equalizar o volume para filmes e TV.

Embora as TVs inteligentes ofereçam uma variedade de métodos para tentar aumentar o volume do diálogo contra níveis de volume grandiosos para a música, elas estão todas lutando contra as decisões tomadas no momento da mistura, e, argumentativamente, as visões dos produtores de conteúdo que desejam que a audiência experiencie suas trilhas sonoras exatamente como elas foram configuradas.

Os produtores de conteúdo parecem prováveis de se irritar com essa possível adição à “cultura de remixagem”, já que vários luminares da indústria já expressaram descontentamento contra algoritmos de pós-processamento de TV baseados em padrão, como o suavização de movimento.

https://vimeo.com/634073402