Geração de Vídeo de IA Melhor a Partir de Duas Imagens

A interpolação de quadros de vídeo (VFI) é um problema aberto na pesquisa de vídeo gerativo. O desafio é gerar quadros intermediários entre dois quadros existentes em uma sequência de vídeo.

Clique para reproduzir. O framework FILM, uma colaboração entre a Google e a Universidade de Washington, propôs um método eficaz de interpolação de quadros que permanece popular nos ambientes de hobby e profissional. À esquerda, podemos ver os dois quadros separados e distintos superpostos; no meio, o ‘quadro final’; e à direita, a síntese final entre os quadros. Fontes: https://film-net.github.io/ e https://arxiv.org/pdf/2202.04901

Em termos gerais, essa técnica remonta a mais de um século e tem sido usada na animação tradicional desde então. Nesse contexto, os quadros-chave mestres seriam gerados por um artista de animação principal, enquanto o trabalho de ‘tweening’ de quadros intermediários seria realizado por outros funcionários, como uma tarefa mais rotineira.

Antes do surgimento da IA gerativa, a interpolação de quadros foi usada em projetos como Estimativa de Fluxo Intermediário em Tempo Real (RIFE), Interpolação de Quadros de Vídeo Consciente de Profundidade (DAIN) e o Frame Interpolation for Large Motion (FILM – veja acima) para aumentar a taxa de quadros de um vídeo existente ou habilitar efeitos de movimento lento artificialmente gerados. Isso é realizado dividindo os quadros existentes de um clipe e gerando quadros intermediários estimados.

A VFI também é usada no desenvolvimento de codecs de vídeo melhores e, de forma mais geral, em sistemas baseados em fluxo óptico (incluindo sistemas gerativos), que utilizam conhecimento avançado de quadros-chave futuros para otimizar e dar forma ao conteúdo intersticial que os precede.

Quadros Finais em Sistemas de Vídeo Gerativos

Sistemas gerativos modernos, como Luma e Kling, permitem que os usuários especifiquem um quadro inicial e um quadro final e podem realizar essa tarefa analisando pontos-chave nas duas imagens e estimando uma trajetória entre as duas imagens.

Como podemos ver nos exemplos abaixo, fornecer um ‘quadro de fechamento’ permite que o sistema de vídeo gerativo (neste caso, Kling) mantenha aspectos como identidade, mesmo que os resultados não sejam perfeitos (particularmente com movimentos grandes).

Clique para reproduzir. Kling é um dos muitos geradores de vídeo que permitem que o usuário especifique um quadro final. Na maioria dos casos, um movimento mínimo levará aos resultados mais realistas e menos defeituosos. Fonte: https://www.youtube.com/watch?v=8oylqODAaH8

No exemplo acima, a identidade da pessoa é consistente entre os dois quadros-chave fornecidos pelo usuário, levando a uma geração de vídeo relativamente consistente.

Onde apenas o quadro inicial é fornecido, a janela de atenção do sistema gerativo não é usualmente grande o suficiente para ‘lembrar’ como a pessoa parecia no início do vídeo. Em vez disso, a identidade provavelmente mudará um pouco com cada quadro, até que toda a semelhança seja perdida. No exemplo abaixo, uma imagem inicial foi carregada e o movimento da pessoa foi guiado por um prompt de texto:

Clique para reproduzir. Com nenhum quadro final, Kling só tem um pequeno grupo de quadros imediatamente anteriores para guiar a geração dos próximos quadros. Em casos onde qualquer movimento significativo é necessário, essa atrofia de identidade se torna severa.

Podemos ver que a semelhança do ator não é resiliente às instruções, pois o sistema gerativo não sabe como ele pareceria se estivesse sorrindo, e ele não está sorrindo na imagem inicial (a única referência disponível).

A maioria dos clipes gerativos virais é cuidadosamente curada para desvalorizar essas limitações. No entanto, o progresso de sistemas de vídeo gerativos temporalmente consistentes pode depender de novos desenvolvimentos do setor de pesquisa em relação à interpolação de quadros, pois a única alternativa possível é a dependência de CGI tradicional como um vídeo ‘guia’ (e mesmo nesse caso, a consistência de textura e iluminação é atualmente difícil de alcançar).

Além disso, a natureza lentamente iterativa de derivar um novo quadro de um pequeno grupo de quadros recentes torna-se muito difícil alcançar movimentos grandes e ousados. Isso ocorre porque um objeto que se move rapidamente através de um quadro pode transitar de um lado para o outro no espaço de um único quadro, contrariamente aos movimentos mais graduais nos quais o sistema provavelmente foi treinado.

Da mesma forma, uma mudança significativa e ousada de pose pode levar não apenas a uma mudança de identidade, mas a incongruências vívidas:

Clique para reproduzir. Neste exemplo do Luma, o movimento solicitado não parece ser bem representado nos dados de treinamento.

Framer

Isso nos leva a um artigo recente e interessante da China, que afirma ter alcançado um novo estado da arte em interpolação de quadros autêntica – e que é o primeiro do seu tipo a oferecer interação do usuário baseada em arrastar.

Framer permite que o usuário direcione o movimento usando uma interface intuitiva baseada em arrastar, embora também tenha um modo ‘automático’. Fonte: https://www.youtube.com/watch?v=4MPGKgn7jRc

Aplicativos centrados em arrastar tornaram-se frequentes na literatura recentemente, à medida que o setor de pesquisa luta para fornecer instrumentalidades para sistemas gerativos que não se baseiam nos resultados fairly crus obtidos por prompts de texto.

O novo sistema, intitulado Framer, pode não apenas seguir o arrastar orientado pelo usuário, mas também tem um modo ‘piloto automático’ mais convencional. Além da interpolação de quadros convencional, o sistema é capaz de produzir simulações de time-lapse, bem como morfologia e vistas novas da imagem de entrada.

Quadros intersticiais gerados para uma simulação de time-lapse em Framer. Fonte: https://arxiv.org/pdf/2410.18978

No que diz respeito à produção de vistas novas, Framer cruza um pouco o território de Campos de Radiância Neural (NeRF) – embora exija apenas duas imagens, enquanto NeRF geralmente exige seis ou mais vistas de imagem de entrada.

Nos testes, Framer, que é baseado no modelo de vídeo gerativo de difusão latente estável da Stability.ai, foi capaz de superar abordagens rivais aproximadas, em um estudo de usuário.

Na época da escrita, o código está programado para ser lançado no GitHub. Amostras de vídeo (das quais as imagens acima são derivadas) estão disponíveis no site do projeto, e os pesquisadores também lançaram um vídeo no YouTube.

O novo artigo é intitulado Framer: Interpolação de Quadros Interativa e vem de nove pesquisadores de universidades e do grupo Alibaba.

Método

Framer usa interpolação baseada em pontos-chave em qualquer uma de suas duas modalidades, onde a imagem de entrada é avaliada para topologia básica e pontos ‘móveis’ são atribuídos conforme necessário. Em essência, esses pontos são equivalentes a marcos faciais em sistemas baseados em ID, mas se generalizam para qualquer superfície.

Os pesquisadores ajustaram a Difusão de Vídeo Estável (SVD) no conjunto de dados OpenVid-1M, adicionando uma capacidade de síntese de quadro final adicional. Isso facilita um mecanismo de controle de trajetória (topo direito na imagem de esquema abaixo) que pode avaliar um caminho em direção ao quadro final (ou de volta para ele).

Esquema para Framer.

Com relação à adição de condicionamento de quadro final, os autores afirmam:

‘Para preservar o conhecimento visual prévio do SVD pré-treinado o máximo possível, seguimos o paradigma de condicionamento do SVD e injetamos condições de quadro final no espaço latente e no espaço semântico, respectivamente.

‘Especificamente, concatenamos a característica latente codificada pelo VAE do primeiro [quadro] com a característica latente ruidosa do primeiro quadro, como feito no SVD. Além disso, concatenamos a característica latente do último quadro, zn, com a característica latente ruidosa do quadro final, considerando que as condições e as características latentes ruidosas correspondentes estão alinhadas espacialmente.

‘Além disso, extraímos a incorporação de imagem CLIP do primeiro e do último quadros separadamente e as concatenamos para injeção de recurso de atenção cruzada.’

Para a funcionalidade baseada em arrastar, o módulo de trajetória aproveita o framework CoTracker liderado pela Meta Ai, que avalia possíveis caminhos à frente. Esses são reduzidos a entre 1-10 possíveis trajetórias.

As coordenadas de ponto obtidas são então transformadas por meio de uma metodologia inspirada nos arquitetos DragNUWA e DragAnything. Isso obtém um mapa de calor gaussiano, que individua as áreas-alvo para movimento.

Em seguida, os dados são alimentados nos mecanismos de condicionamento do ControlNet, um sistema de conformidade auxiliar originalmente projetado para a Difusão Estável e desde adaptado para outras arquiteturas.

Para o modo piloto automático, a correspondência de recursos é inicialmente realizada por meio do SIFT, que interpreta uma trajetória que pode ser passada para um mecanismo de atualização automática inspirado no DragGAN e no DragDiffusion.

Esquema para estimação de trajetória de ponto em Framer.

Dados e Testes

Para o ajuste fino de Framer, os blocos de atenção espacial e os blocos residuais foram congelados, e apenas as camadas de atenção temporal e os blocos residuais foram afetados.

O modelo foi treinado por 10.000 iterações sob AdamW, com uma taxa de aprendizado de 1e-4 e um tamanho de lote de 16. O treinamento ocorreu em 16 GPUs NVIDIA A100.

Como as abordagens anteriores para o problema não oferecem edição baseada em arrastar, os pesquisadores optaram por comparar o modo piloto automático de Framer com a funcionalidade padrão de ofertas mais antigas.

Os frameworks testados para a categoria de sistemas de geração de vídeo baseados em difusão atuais foram LDMVFI; Dynamic Crafter; e SVDKFI. Para sistemas de vídeo ‘tradicionais’, os frameworks rivais foram AMT; RIFE; FLAVR; e o mencionado FILM.

Além do estudo de usuário, testes foram realizados sobre os conjuntos de dados DAVIS e UCF101.

Testes qualitativos só podem ser avaliados pelas faculdades objetivas da equipe de pesquisa e por estudos de usuário. No entanto, o artigo observa que as métricas quantitativas tradicionais são em grande parte inadequadas para a proposta em questão:

‘[Reconstrução] métricas como PSNR, SSIM e LPIPS falham em capturar a qualidade dos quadros interpolados com precisão, pois elas penalizam outros resultados de interpolação plausíveis que não estão alinhados com o pixel com o vídeo original.

‘Enquanto métricas de geração, como FID, oferecem alguma melhoria, elas ainda são insuficientes, pois não levam em conta a consistência temporal e avaliam os quadros em isolamento.’

Apesar disso, os pesquisadores realizaram testes qualitativos com várias métricas populares:

Resultados quantitativos para Framer vs. sistemas rivais.

Os autores observam que, apesar de ter as probabilidades contra, Framer ainda alcança a melhor pontuação FVD entre os métodos testados.

Abaixo estão os resultados de amostra do artigo para uma comparação qualitativa:

Comparações qualitativas contra abordagens anteriores. Por favor, consulte o artigo para uma melhor resolução, bem como resultados de vídeo em https://www.youtube.com/watch?v=4MPGKgn7jRc.

Os autores comentam:

‘[Nosso] método produz texturas significativamente mais claras e movimento natural em comparação com técnicas de interpolação existentes. Ele se sai particularmente bem em cenários com diferenças significativas entre os quadros de entrada, onde os métodos tradicionais frequentemente falham em interpolar o conteúdo com precisão.

‘Em comparação com outros métodos baseados em difusão, como LDMVFI e SVDKFI, Framer demonstra uma adaptabilidade superior a casos desafiadores e oferece um melhor controle.’

Para o estudo de usuário, os pesquisadores reuniram 20 participantes, que avaliaram 100 resultados de vídeo aleatoriamente ordenados dos vários métodos testados. Assim, 1000 avaliações foram obtidas, avaliando as ofertas mais ‘realistas’:

Resultados do estudo de usuário.

Como pode ser visto no gráfico acima, os usuários favoreceram esmagadoramente os resultados de Framer.

O vídeo no YouTube acompanhante do projeto destaca alguns dos outros usos potenciais para Framer, incluindo morfologia e interpolação de desenhos animados – onde o conceito começou.

Conclusão

É difícil enfatizar o quão importante é esse desafio atualmente para a tarefa de geração de vídeo baseada em IA. Até o momento, soluções mais antigas, como FILM e a EbSynth (não IA), têm sido usadas por comunidades amadoras e profissionais para interpolação de quadros; mas essas soluções vêm com limitações notáveis.

Devido à curadoria desonesta de vídeos de exemplo oficiais para novos quadros T2V, há uma grande concepção pública de que os sistemas de aprendizado de máquina podem inferir geometria em movimento sem recurso a mecanismos de orientação, como modelos de morfologia 3D (3DMM), ou outras abordagens auxiliares, como LoRAs.

Para ser honesto, a própria interpolação, mesmo que pudesse ser executada perfeitamente, constitui apenas um ‘truque’ ou trapaça sobre esse problema. No entanto, como é frequentemente mais fácil produzir duas imagens de quadro bem alinhadas do que efetuar orientação por meio de prompts de texto ou a faixa de alternativas atuais, é bom ver o progresso iterativo em uma versão baseada em IA desse método mais antigo.

Publicado pela primeira vez na terça-feira, 29 de outubro de 2024