Nova Ferramenta de Inteligência Artificial Permite Edição de Vídeo a Partir de Documentos de Texto Temáticos

Uma equipe de pesquisadores de ciência da computação da Universidade de Tsinghua e da Universidade Beihand, na China, do IDC Herzilya, em Israel, e da Universidade de Harvard criou recentemente uma ferramenta que gera vídeos editados com base em uma descrição de texto e um repositório de clipes de vídeo.

Grandes quantidades de imagens de vídeo são gravadas todos os dias por profissionais, hobbyistas e pessoas comuns. No entanto, editar esses vídeos para criar uma apresentação que faça sentido ainda é um investimento de tempo caro, muitas vezes exigindo o uso de ferramentas de edição complexas que podem manipular imagens brutas. A equipe internacional de pesquisadores desenvolveu recentemente uma ferramenta que pega descrições de texto temáticas e gera vídeos com base nelas. A ferramenta é capaz de examinar clipes de vídeo em um repositório e selecionar os clipes que correspondem ao texto de entrada que descreve a história. O objetivo é que a ferramenta seja amigável e poderosa o suficiente para produzir vídeos de qualidade sem a necessidade de habilidades extensas de edição de vídeo ou software de edição de vídeo caro.

Enquanto as plataformas de edição de vídeo atuais exigem conhecimento de técnicas de edição de vídeo, a ferramenta criada pelos pesquisadores permite que criadores de vídeo iniciantes criem composições que contam histórias de forma mais natural e intuitiva. “Write-A-Video”, como é chamada pelos criadores, permite que os usuários editem vídeos apenas editando o texto que acompanha o vídeo. Se um usuário exclui texto, adiciona texto ou move frases ao redor, essas alterações serão refletidas no vídeo. Os clipes correspondentes serão cortados ou adicionados à medida que o usuário manipula o texto e o vídeo resultante final será personalizado de acordo com a descrição do usuário.

Ariel Shamir, o decano da Escola de Ciência da Computação Efi Arazi do IDC Herzliya, explicou que a ferramenta Write-A-Video permite que o usuário interaja com o vídeo principalmente por meio do texto, usando técnicas de processamento de linguagem natural para combinar clipes de vídeo com base no significado semântico fornecido. Um algoritmo de otimização é então usado para montar o vídeo, cortando e trocando clipes. A ferramenta também permite que os usuários experimentem diferentes estilos visuais, ajustando como as cenas são apresentadas usando idiomas de filme específicos que aceleram ou desaceleram a ação, ou fazem mais ou menos cortes.

O programa seleciona clipes possíveis com base em seu apelo estético. O programa considera como os clipes são enquadrados, focados e iluminados para determinar o apelo estético. A ferramenta selecionará clipes que estejam melhor focados, em vez de borrados ou instáveis, e também priorizará clipes que estejam bem iluminados. De acordo com os criadores da Write-A-Video, o usuário pode renderizar o vídeo gerado a qualquer momento e visualizá-lo com uma narração de voz que descreve o texto usado para selecionar os clipes.

De acordo com a equipe de pesquisa, seu experimento demonstrou que técnicas digitais que combinam aspectos de visão computacional e processamento de linguagem natural podem ajudar os usuários em processos criativos, como a edição de vídeos.

“Nosso trabalho demonstra o potencial do ajuste visual-semântico automático na edição computacional baseada em idiomas, oferecendo uma maneira inteligente de tornar a criação de vídeo mais acessível a não profissionais”, explicou Shamir ao TechXplore.

Os pesquisadores testaram sua ferramenta em diferentes repositórios de vídeo combinados com documentos de texto temáticos. Estudos de usuário e avaliação quantitativa foram realizados para interpretar os resultados do experimento. Os resultados dos estudos de usuário encontraram que não profissionais às vezes podiam produzir vídeos editados de alta qualidade usando a ferramenta mais rápido do que profissionais usando software de edição de vídeo baseado em quadros podiam. Como relatado pelo TechXplore, a equipe apresentará seu trabalho em alguns dias na conferência SIGGRAPH Asia da ACM, realizada na Austrália. Outras entidades também estão usando inteligência artificial para aumentar a edição de vídeo. A Adobe (ADBE ) também está trabalhando em suas próprias extensões de inteligência artificial para o Premiere Pro, sua plataforma de edição. A ferramenta ajuda as pessoas a garantir que as alterações na razão de aspecto não cortem peças importantes do vídeo.