Pesquisadores de IA Criam Programa para Gerar Efeitos Sonoros para Filmes e Outros Meios de Comunicação

Pesquisadores da Universidade do Texas em San Antonio criaram um aplicativo baseado em IA capaz de observar as ações que ocorrem em um vídeo e criar efeitos sonoros artificiais para acompanhá-las. Os efeitos sonoros gerados pelo programa são tão realistas que, quando observadores humanos foram consultados, eles geralmente pensaram que os efeitos sonoros eram legítimos.

O programa responsável por gerar os efeitos sonoros, AudioFoley, foi detalhado em um estudo recentemente publicado na IEEE Transactions on Multimedia. De acordo com a IEEE Spectrum, o programa de IA foi desenvolvido por Jeff Provost, professor da UT San Antonio, e a estudante de doutorado Sanchita Ghose. Os pesquisadores criaram o programa utilizando vários modelos de aprendizado de máquina juntos.

A primeira tarefa para gerar efeitos sonoros apropriados às ações na tela foi reconhecer essas ações e mapeá-las para efeitos sonoros. Para isso, os pesquisadores projetaram dois diferentes modelos de aprendizado de máquina e testaram suas abordagens diferentes. O primeiro modelo opera extrair quadros dos vídeos que recebe e analisá-los para recursos relevantes, como movimentos e cores. Em seguida, um segundo modelo foi empregado para analisar como a posição de um objeto muda ao longo dos quadros, para extrair informações temporais. Essas informações temporais são usadas para antecipar as próximas ações prováveis no vídeo. Os dois modelos têm métodos diferentes de analisar as ações no clipe, mas ambos usam as informações contidas no clipe para adivinhar qual som melhor acompanharia.

A próxima tarefa é sintetizar o som, e isso é feito combinando atividades/movimentos previstos com possíveis amostras de som. De acordo com Ghose e Prevost, o AutoFoley foi usado para gerar som para 1000 clipes curtos, apresentando ações e itens como fogo, um cavalo correndo, relógios tiquetaqueando e chuva caindo sobre plantas. Embora o AutoFoley tenha sido mais bem-sucedido em criar som para clipes onde não precisava haver uma correspondência perfeita entre as ações e os sons, e teve dificuldade em combinar clipes onde as ações ocorriam com mais variação, o programa ainda conseguiu enganar muitos observadores humanos para escolher os sons gerados sobre o som que originalmente acompanhava o clipe.

Prevost e Ghose recrutaram 57 estudantes universitários e os fizeram assistir a diferentes clipes. Alguns clipes continham o áudio original, alguns continham áudio gerado pelo AutoFoley. Quando o primeiro modelo foi testado, aproximadamente 73% dos estudantes selecionaram o áudio sintetizado como o áudio original, negligenciando o som real que acompanhava o clipe. O outro modelo apresentou um desempenho ligeiramente pior, com apenas 66% dos participantes selecionando o áudio gerado sobre o áudio original.

Prevost explicou que o AutoFoley pode ser usado para acelerar o processo de produção de filmes, televisão e outros meios de comunicação. Prevost observa que uma trilha de som realista é importante para tornar os meios de comunicação envolventes e convincentes, mas que o processo de Foley frequentemente leva muito tempo para ser concluído. Ter um sistema automatizado que possa lidar com a criação de elementos básicos de Foley pode tornar a produção de meios de comunicação mais barata e rápida.

Atualmente, o AutoFoley tem algumas limitações notáveis. Por um lado, enquanto o modelo parece funcionar bem ao observar eventos que têm movimentos estáveis e previsíveis, ele sofre quando tenta gerar áudio para eventos com variação no tempo (como tempestades). Além disso, também exige que o assunto de classificação esteja presente em todo o clipe e não saia do quadro. A equipe de pesquisa está trabalhando para resolver esses problemas com versões futuras do aplicativo.