Por que os Sistemas de Vídeo Gerativos não Podem Criar Filmes Completos?

A chegada e o progresso do vídeo gerativo de IA têm levado muitos observadores casuais a prever que o aprendizado de máquina será a morte da indústria cinematográfica como a conhecemos – em vez disso, criadores individuais poderão criar blockbusters de estilo de Hollywood em casa, seja em sistemas de GPU locais ou baseados em nuvem.

Isso é possível? Mesmo que seja possível, é iminente, como muitos acreditam?

Que indivíduos eventualmente possam criar filmes, na forma que os conhecemos, com personagens consistentes, continuidade narrativa e fotorealismo total, é bastante possível – e talvez até inevitável.

No entanto, existem várias razões fundamentalmente importantes por que isso não é provável que ocorra com sistemas de vídeo baseados em Modelos de Difusão Latente.

Esse último fato é importante porque, no momento, essa categoria inclui todos os sistemas de texto-para-vídeo (T2) e imagem-para-vídeo (I2V) populares disponíveis, incluindo Minimax, Kling, Sora, Imagen, Luma, Amazon Video Generator, Runway ML, Kaiber (e, até onde podemos discernir, a funcionalidade de vídeo pendente do Adobe Firefly ); entre muitos outros.

Aqui, estamos considerando a perspectiva de verdadeiras produções de auteur de longa-metragem de gen-AI, criadas por indivíduos, com personagens consistentes, cinematografia e efeitos visuais ao menos no mesmo nível do estado atual da arte em Hollywood.

Vamos dar uma olhada em alguns dos principais obstáculos práticos para os desafios envolvidos.

1: Você Não Pode Obter um Tiro de Acompanhamento Preciso

A inconsistência narrativa é o maior desses obstáculos. O fato é que nenhum sistema de geração de vídeo atualmente disponível pode fazer um tiro de acompanhamento verdadeiramente preciso*.

Isso ocorre porque o modelo de difusão de desruído no coração desses sistemas depende de ruído aleatório, e esse princípio fundamental não é propenso a reinterpretar exatamente o mesmo conteúdo duas vezes (ou seja, de diferentes ângulos, ou desenvolvendo o tiro anterior em um tiro de acompanhamento que mantém a consistência com o tiro anterior).

Quando prompts de texto são usados, sozinhos ou juntos com imagens ‘semente’ carregadas (entrada multimodal), os tokens derivados do prompt elicitarão conteúdo semanticamente apropriado do espaço latente treinado do modelo.

No entanto, ainda mais dificultado pelo fator de ‘ruído aleatório’, ele nunca fará da mesma maneira duas vezes.

Isso significa que as identidades das pessoas no vídeo tenderão a mudar, e objetos e ambientes não corresponderão ao tiro inicial.

É por isso que clipes virais que mostram visuais extraordinários e saídas de nível de Hollywood tendem a ser tiros únicos ou uma ‘montagem de demonstração’ das capacidades do sistema, onde cada tiro apresenta personagens e ambientes diferentes.

Excertos de uma montagem de IA gerativa de Marco van Hylckama Vlieg – fonte: https://www.linkedin.com/posts/marcovhv_thanks-to-generative-ai-we-are-all-filmmakers-activity-7240024800906076160-nEXZ/

A implicação nesses conjuntos de gerações de vídeo ad hoc (que podem ser desonestas no caso de sistemas comerciais) é que o sistema subjacente pode criar narrativas contíguas e consistentes.

A analogia sendo explorada aqui é um trailer de filme, que apresenta apenas um ou dois minutos de footage do filme, mas dá ao público motivo para acreditar que o filme inteiro existe.

O único sistema que atualmente oferece consistência narrativa em um modelo de difusão é aquele que produz imagens estáticas. Isso inclui o ConsiStory da NVIDIA, e projetos diversos na literatura científica, como TheaterGen, DreamStory e StoryDiffusion.

Dois exemplos de continuidade narrativa ‘estática’, de modelos recentes: Fontes: https://research.nvidia.com/labs/par/consistory/ e https://arxiv.org/pdf/2405.01434

Na teoria, você poderia usar um sistema melhor desses (nenhum dos acima é verdadeiramente consistente) para criar uma série de tiros de imagem-para-vídeo, que poderiam ser unidos em uma sequência.

No estado atual da arte, essa abordagem não produz tiros de acompanhamento plausíveis; e, de qualquer forma, já partimos do sonho auteur ao adicionar uma camada de complexidade.

Podemos, adicionalmente, usar Low Rank Adaptation (LoRA) modelos, especificamente treinados em personagens, coisas ou ambientes, para manter melhor consistência entre tiros.

No entanto, se um personagem desejar aparecer em um novo traje, um novo LoRA geralmente precisará ser treinado para incorporar o personagem vestido dessa forma (embora sub-conceitos como ‘vestido vermelho’ possam ser treinados em LoRAs individuais, juntamente com imagens apropriadas, eles não são sempre fáceis de trabalhar).

Isso adiciona considerável complexidade, mesmo a uma cena de abertura em um filme, onde uma pessoa sai da cama, veste um roupão, boceja, olha pela janela do quarto e vai ao banheiro para escovar os dentes.

Uma cena dessas, contendo cerca de 4-8 tiros, pode ser filmada em uma manhã por procedimentos de filmagem convencionais; no estado atual da arte em IA gerativa, isso potencialmente representa semanas de trabalho, múltiplos LoRAs treinados (ou outros sistemas auxiliares) e uma quantidade considerável de pós-processamento

Alternativamente, vídeo-para-vídeo pode ser usado, onde footages mundanos ou CGI são transformados por meio de prompts de texto em interpretações alternativas. O Runway oferece tal sistema, por exemplo.

CGI (esquerda) do Blender, interpretado em um experimento de vídeo-para-vídeo auxiliado por texto do Mathieu Visnjevec – Fonte: https://www.linkedin.com/feed/update/urn:li:activity:7240525965309726721/

Há dois problemas aqui: você já está criando o footage básico, então você já está fazendo o filme duas vezes, mesmo que você esteja usando um sistema sintético como o MetaHuman da UnReal.

Se você criar modelos CGI (como no clipe acima) e os usar em uma transformação de vídeo-para-imagem, a consistência deles entre tiros não pode ser confiável.

Isso ocorre porque os modelos de difusão de vídeo não veem o ‘quadro geral’ – em vez disso, criam um novo quadro com base no quadro anterior, e, em alguns casos, consideram um quadro futuro próximo; mas, para comparar o processo a um jogo de xadrez, eles não podem ‘pensar dez movimentos à frente’ e não podem lembrar dez movimentos atrás.

Em segundo lugar, um modelo de difusão ainda lutará para manter uma aparência consistente entre os tiros, mesmo que você inclua múltiplos LoRAs para personagem, ambiente e estilo de iluminação, por razões mencionadas no início desta seção.

2: Você Não Pode Editar um Tiro Facilmente

Se você retrata um personagem caminhando por uma rua usando métodos de CGI antigos, e você decide que deseja alterar algum aspecto do tiro, você pode ajustar o modelo e renderizá-lo novamente.

Se for uma filmagem real, você simplesmente redefine e filma novamente, com as alterações apropriadas.

No entanto, se você produzir um tiro de vídeo de IA gen que você ama, mas deseja alterar um aspecto dele, você só pode fazer isso por meio de métodos de pós-produção laboriosos desenvolvidos nos últimos 30-40 anos: CGI, rotoscopia, modelagem e matte – todos procedimentos intensivos em mão de obra e caros, demorados.

A forma como os modelos de difusão funcionam é que, simplesmente alterando um aspecto de um prompt de texto (mesmo em um prompt multimodal, onde você fornece uma imagem ‘semente’ completa), você mudará múltiplos aspectos da saída gerada, levando a um jogo de ‘tiro ao alvo’ de prompts.

3: Você Não Pode Confiar nas Leis da Física

Métodos de CGI tradicionais oferecem uma variedade de modelos de física baseados em algoritmos que podem simular coisas como dinâmica de fluidos, movimento gasoso, cinemática inversa (modelagem precisa de movimento humano), dinâmica de tecidos, explosões e diversos outros fenômenos do mundo real.

No entanto, métodos baseados em difusão, como vimos, têm memória curta e também um alcance limitado de priores de movimento (exemplos de tais ações, incluídos no conjunto de treinamento) para se basear.

Em uma versão anterior da página de aterrissagem da OpenAI para o sistema gerativo Sora, a empresa admitiu que o Sora tem limitações nesse sentido (embora esse texto tenha sido removido desde então):

‘[Sora] pode ter dificuldade em simular a física de uma cena complexa e pode não compreender instâncias específicas de causa e efeito (por exemplo: um biscoito pode não mostrar uma marca após um personagem mordê-lo).

‘O modelo também pode confundir detalhes espaciais incluídos em um prompt, como discernir esquerda de direita, ou lutar com descrições precisas de eventos que se desenrolam ao longo do tempo, como trajetórias de câmera específicas.’

A utilização prática de vários sistemas de vídeo gerativos baseados em API revela limitações semelhantes na representação de física precisa. No entanto, certos fenômenos físicos comuns, como explosões, parecem ser melhor representados em seus conjuntos de treinamento.

Alguns embeddings de priores de movimento, seja treinados no modelo gerativo ou alimentados a partir de um vídeo de origem, levam algum tempo para serem concluídos (como uma pessoa realizando uma sequência de dança complexa e não repetitiva em um traje elaborado) e, mais uma vez, a janela de atenção míope do modelo de difusão provavelmente transformará o conteúdo (ID facial, detalhes de traje, etc.) ao longo do tempo. No entanto, os LoRAs podem mitigar isso, até certo ponto.

Consertando em Pós-Produção

Há outras limitações para a geração de vídeo de IA ‘puro’ de um único usuário, como a dificuldade que eles têm em representar movimentos rápidos e o problema geral e muito mais premente de obter consistência temporal na saída de vídeo.

Além disso, criar performances faciais específicas é quase uma questão de sorte em vídeo gerativo, assim como a sincronização labial para diálogos.

Nesses casos, o uso de sistemas auxiliares, como LivePortrait e AnimateDiff, está se tornando muito popular na comunidade de efeitos visuais, pois isso permite a transposição de, pelo menos, expressões faciais amplas e sincronização labial para saídas geradas existentes.

Um exemplo de transferência de expressão (vídeo de condução no canto inferior esquerdo) sendo imposta em um vídeo de destino com LivePortrait. O vídeo é do Generative Z TunisiaGenerative. Veja a versão completa em melhor qualidade em https://www.linkedin.com/posts/genz-tunisia_digitalcreation-liveportrait-aianimation-activity-7240776811737972736-uxiB/?

Além disso, uma miríade de soluções complexas, incorporando ferramentas como a interface gráfica de usuário de difusão estável ComfyUI e o aplicativo profissional de composição e manipulação Nuke, bem como a manipulação do espaço latente, permitem que os praticantes de efeitos visuais de IA obtenham um controle maior sobre a expressão facial e a disposição.

Embora ele descreva o processo de animação facial em ComfyUI como ‘tortura’, o profissional de efeitos visuais Francisco Contreras desenvolveu um procedimento que permite a imposição de fonemas labiais e outros aspectos da representação da cabeça e do rosto.

A difusão estável, ajudada por um fluxo de trabalho de ComfyUI com Nuke, permitiu que o profissional de efeitos visuais Francisco Contreras obtivesse um controle incomum sobre aspectos faciais. Para o vídeo completo, em melhor resolução, vá para https://www.linkedin.com/feed/update/urn:li:activity:7243056650012495872/

Conclusão

Nada disso é promissor para a perspectiva de um usuário único gerar filmes coherentes e fotorealistas de estilo de blockbuster de longa-metragem, com diálogos realistas, sincronização labial, performances, ambientes e continuidade.

Além disso, os obstáculos descritos aqui, pelo menos em relação a modelos de vídeo gerativos baseados em difusão, não são necessariamente solucionáveis ‘a qualquer momento’, apesar de comentários em fóruns e atenção da mídia que fazem esse caso. As limitações descritas parecem ser intrínsecas à arquitetura.

Na pesquisa de síntese de IA, como em toda pesquisa científica, ideias brilhantes periodicamente nos deslumbram com seu potencial, apenas para que pesquisas adicionais descubram suas limitações fundamentais.

No espaço de geração/síntese, isso já aconteceu com Redes Adversárias Gerativas (GANs) e Campos de Radiação Neural (NeRF), que acabaram se provando muito difíceis de instrumentalizar em sistemas comerciais performáticos, apesar de anos de pesquisa acadêmica nesse sentido. Essas tecnologias agora aparecem com mais frequência como componentes auxiliares em arquiteturas alternativas.

Muito como os estúdios de cinema podem esperar que o treinamento em catálogos de filmes licenciados legitimamente possa eliminar artistas de efeitos visuais, a IA está adicionando papéis à força de trabalho no momento.

Se os sistemas de vídeo baseados em difusão realmente podem ser transformados em geradores de filmes narrativamente consistentes e fotorealistas, ou se todo o negócio é apenas outra perseguição alquímica, deve ficar claro nos próximos 12 meses.

Pode ser que precisemos de uma abordagem completamente nova; ou pode ser que o Gaussian Splatting (GSplat), que foi desenvolvido no início dos anos 90 e recentemente ganhou popularidade no espaço de síntese de imagens, represente uma alternativa potencial à geração de vídeo baseada em difusão.

Desde que o GSplat levou 34 anos para se destacar, é possível que concorrentes mais antigos, como NeRF e GANs – e até mesmo modelos de difusão latente – ainda não tenham tido seu dia.

* Embora a funcionalidade de Storyboard de IA do Kaiber ofereça essa funcionalidade, os resultados que eu vi não são de qualidade de produção.

Martin Anderson é o ex-chefe de conteúdo de pesquisa científica da metaphysic.ai. Publicado pela primeira vez na segunda-feira, 23 de setembro de 2024.