Dando à IA de vídeo alguma lembrança das coisas passadas

Em março, analisamos a dificuldade que o vídeo generativo de IA tem para se lembrar das coisas e dos lugares que viu, reproduzi-los uma segunda vez e oferecer consistência visual.

O resultado é que você pode atravessar uma porta em um modelo de mundo de IA, virar-se dez segundos depois e descobrir que a porta pela qual passou já não está lá.

Não é uma falha trivial de corrigir: como os vídeos de IA generativa estão constantemente inventando “a próxima coisa” com que precisam lidar, eles não conseguem realmente se lembrar de algo que tenha acontecido há muito tempo, nem de algo que tenha saído de sua estreita janela de contexto.

Isso significa que explorar um modelo de mundo de IA treinado não é como explorar um ambiente de CGI modelado, no qual as texturas e a geometria são fixas e armazenadas como dados vetoriais e mapas de bits. Em vez disso, é como caminhar por um sonho de probabilidades aproximadas: você pode encontrar exatamente a mesma coisa duas vezes, mas isso só acontece porque ela foi evocada uma segunda vez a partir do espaço latente pelo contexto, e não porque o modelo realmente se lembre de tê-la criado ou visto.

Assim, o modelo médio de mundo de vídeo de IA generativa se assemelha a alguém com amnésia anterógrada, que tem recordação total de tudo o que ocorreu antes de um evento cerebral — como um derrame ou uma lesão —, mas não consegue formar novas memórias desde o incidente (uma condição que ganhou notoriedade com a personagem de Guy Pearce que sofre dela em Memento [2000], retratada na imagem principal do artigo).

Assim, os modelos de vídeo mantêm uma compreensão profunda e profundamente enraizada de muitos domínios, mas não têm a capacidade de se lembrar de nada novo.

Trilha de migalhas

A solução HyDRA que analisamos em março se baseava no uso de um “banco de memória” de tokens visuais compactados, que permitiriam que personagens gerados por IA saíssem de cena e retornassem com a mesma aparência que tinham quando foram vistos pela primeira vez.

Há vários outros métodos que usam essa abordagem de “migalhas”; no entanto, gerar e deixar para trás uma geometria 3D complexa resolve o problema à custa do tamanho dos arquivos, além da capacidade de resposta, da latência e de outros possíveis gargalos.

Esses “modelos de mundo com base 3D” incluem o Gen3C, liderado pela NVIDIA, cuja abordagem HyDRA usa o método mais comum para resolver esse problema específico: transformar o que “vê” em nuvens de pontos, que são, essencialmente, uma geometria 3D simplificada:

Clique para reproduzir. A abordagem HyDRA usa um cache persistente de nuvens de pontos 3D para orientar a geração de vídeo, preservando a consistência da cena à medida que a câmera se move e áreas já vistas reaparecem. Fonte

Há outras abordagens semelhantes, como o VMEM de 2025 da Universidade de Oxford e a colaboração SPMem, liderada por Stanford, do mesmo período:

Clique para reproduzir. Da colaboração SPMem, liderada por Stanford, que combina um mapa 3D persistente do cenário estático com quadros de vídeo recentes para representar o movimento e quadros antigos selecionados para obter detalhes visuais, ajudando o modelo a se lembrar dos lugares quando volta a visitá-los. Fonte 

Mas toda geometria 3D dá muito trabalho e impõe grandes exigências à inferência. Não é fácil percorrer um ambiente e ficar constantemente “construindo-o”, como faria um artista de computação gráfica. Além disso, outros clipes, pontos de vista ou tomadas terão de poder fazer referência posteriormente à geometria criada, o que é um desafio considerável.

Anotações mais leves

A mais recente iniciativa a abordar a “memória de vídeo de IA” é uma nova colaboração liderada pela Tsinghua University, intitulada Memória planar persistente para modelos de mundo de vídeo:

Clique para reproduzir. No site do projeto da iniciativa PPMem, liderada pela Tsinghua, um exemplo do sistema em funcionamento. O PPMem substitui a memória 3D volumétrica usada pelo projeto anterior SPMem por um conjunto mais compacto de superfícies planas, atualizando-as e reutilizando-as conforme a câmera se move para manter consistentes os ambientes vistos anteriormente. Fonte 

Como mostra o trecho de vídeo acima*, o PPMem aprimora as abordagens anteriores ao usar uma representação mais compacta do ambiente 3D. Em vez de armazenar milhões de pontos individuais para reconstruir ambientes vistos anteriormente, o sistema identifica superfícies planas, como paredes, pisos e móveis, e as armazena como planos geométricos reutilizáveis, chamados primitivas planas; essas primitivas são continuamente adicionadas a uma memória local persistente à medida que novas partes do ambiente são geradas:

Dois exemplos de geração de vídeo pelo PPMem enquanto constrói uma memória 3D persistente. Cada exemplo começa com uma imagem de entrada à esquerda, com o percurso planejado da câmera indicado abaixo. A leitura dos quadros numerados da esquerda para a direita na primeira fileira e, em seguida, na segunda mostra a câmera explorando uma loja ou um jardim. Os pequenos recortes coloridos revelam como as superfícies 3D armazenadas se acumulam à medida que o percurso avança, preservando o cenário explorado anteriormente. Fonte

Quando a câmera retorna a um local visitado anteriormente, os planos armazenados são projetados de volta em seu campo de visão, orientando a geração de novos quadros e reduzindo a quantidade de informações espaciais que precisam ser mantidas e processadas. Isso também ajuda a impedir que objetos e ambientes conhecidos mudem ou desapareçam entre uma visita e outra.

O uso de primitivas planas — objetos paramétricos definidos por vetores matemáticos — oferece uma solução mais ágil e eficaz para a “abordagem de migalhas de pão”, afirmam os autores:

“Um modelo que gera mundos inteiros, e não apenas clipes curtos, precisa de uma memória compacta e estruturada análoga ao que produziu. As primitivas planas são uma escolha natural para esse papel.”

“Cada primitiva é parametrizada por apenas 7 números (uma profundidade central, duas dimensões retangulares e um quatérnio de rotação), que representam explicitamente a estrutura geométrica 3D e são ordens de grandeza mais compactos do que as representações por pixel.”

Clique para reproduzir, se necessário. As composições leves de primitivas planas geradas pelo PPMem podem capturar e preservar tanto detalhes quanto a geometria geral, à medida que a câmera percorre o modelo do mundo. As seções verdes visualizadas acima são mantidas na memória à medida que são mapeadas de escuro>verde.

A capacidade desses planos de representar um mundo explorado é naturalmente limitada pela memória e por outros gargalos previsíveis. Isso significa que não seria possível percorrer o mundo por horas e voltar para encontrá-lo exatamente como foi deixado; no entanto, esse tipo de restrição “por níveis” será familiar aos entusiastas de videogames, cujos recursos locais, poderosos, mas finitos, tendem a oferecer os melhores resultados nas condições mais restritas:

Clique para reproduzir. No PPMem, enquanto a câmera percorre um ambiente, ela deixa “planos” leves (representados pelas áreas verdes) que mostram o que viu e continuam lá caso a câmera volte a percorrer o local.

Assim, acima, podemos ver um nível sendo “mapeado”, cômodo por cômodo, até que todo o andar fique verde e possa ser explorado livremente, com menos necessidade — embora não nula — de gerar mais planos.

Método

O PPMem foi desenvolvido a partir do Wan2.2-TI2V-5B (em vez do Wan2.1-T2V-1.3B usado pelo HyDRA), um modelo de difusão de vídeo com cinco bilhões de parâmetros, ao qual foi acrescentado um sistema de previsão geométrica adaptado do Plana3R. A arquitetura de vídeo existente foi mantida, enquanto uma via de processamento separada foi introduzida para extrair informações geométricas de suas representações internas:

Esquema do sistema de geração de vídeo e memória 3D do PPMem. O fluxo superior gera o vídeo, enquanto o inferior registra as formas e posições das superfícies visíveis. Elas são adicionadas à memória armazenada à direita, que depois é usada para orientar o próximo trecho do vídeo. As setas na parte inferior mostram como essas informações são realimentadas no sistema.

Na primeira de duas etapas de treinamento, o Wan 2.2 foi ajustado para gerar vídeos com controle da câmera, usando projeções da imagem de origem e de quadros anteriores para estabelecer o movimento pretendido da câmera. Em seguida, a arquitetura de vídeo foi congelada, e os novos componentes geométricos foram treinados de forma independente.

No treinamento, foram usados mais de 80.000 clipes de DL3DV e RealEstate10K, com resolução de 576×1024. As informações de profundidade de referência foram obtidas do MoGe-2, e as distâncias estimadas foram alinhadas às reconstruções 3D produzidas pelo VGGT.

Assim, o sistema de previsão de planos do PPMem foi treinado para estimar a profundidade e a orientação das superfícies, com os resultados comparados à geometria de referência. Também foi aplicado treinamento adicional às superfícies renderizadas para melhorar sua correspondência com as cenas reconstruídas.

A técnica adaptação de baixa ordem (LoRA) foi usada para introduzir processamento específico para geometria sem modificar o modelo de vídeo subjacente.

Durante a inferência, o processo normal de geração de vídeo é concluído com essas adaptações desativadas; em seguida, uma passagem de processamento separada extrai a geometria, permitindo que as duas operações permaneçam essencialmente independentes.

O vídeo é então gerado em segmentos de aproximadamente 25 quadros, usando os movimentos de câmera planejados para preparar as informações visuais e espaciais necessárias para cada nova sequência. Isso inclui projeções de cenários gerados anteriormente, máscaras que indicam quais áreas estão visíveis e informações de profundidade derivadas da geometria acumulada.

Para melhorar a previsão de novas superfícies, as informações de profundidade armazenadas são então combinadas com o conhecimento prévio do modelo sobre a cena, por meio de um transformer visual baseado no DINOv2-Base.

Durante o treinamento, partes dos mapas de profundidade foram ocultadas por meio de mascaramento seletivo, exigindo que o modelo previsse a geometria das superfícies a partir de dados espaciais incompletos e melhorando sua capacidade de generalização.

Com a geração de novas geometrias, o conjunto de planos é refinado por meio de verificações de superfícies sobrepostas ou encobertas, removendo-se estimativas menos confiáveis quando surgem observações melhores. Isso permite que a representação armazenada seja corrigida progressivamente à medida que a câmera se move, em vez de simplesmente acumular indefinidamente todas as previsões de superfícies.

Resultados

Nos testes, o método foi avaliado em comparação com Gen3C, Voyager, VMEM e SPMem, todos usando o código e os parâmetros padrão de seus respectivos repositórios.

As métricas utilizadas foram a relação sinal-ruído de pico (PSNR), as métricas de similaridade perceptual aprendida (LPIPS), a similaridade CLIP e a similaridade DINOv2 (consulte o artigo para ver as exceções detalhadas).

No primeiro teste, o PPMem foi comparado com os concorrentes nos conjuntos de dados DL3DV e RealEstate10K, com a qualidade do vídeo avaliada em sequências de 49 e 121 quadros:

Comparação da qualidade de vídeo de PPMem, Gen3C, Voyager, VMem e SPMem nos conjuntos de dados DL3DV e RealEstate10K, em sequências de 49 e 121 quadros. O PPMem obteve as melhores pontuações, ou ficou empatado em primeiro lugar, nas quatro métricas, e sua vantagem geralmente aumentou nas sequências mais longas.

Sobre esses resultados, os autores afirmam:

‘O PPMem obtém os melhores resultados em todas as métricas, nos dois conjuntos de dados e com ambos os limites de quadros, apesar de usar um modelo-base menor (Wan 2.2 5B) do que o Gen3C (Cosmos 7B) e o Voyager (HunyuanVideo ∼13B). T’

O PPMem também foi testado quanto à sua capacidade de estimar as distâncias entre objetos e superfícies e a câmera. Em 121 quadros do DL3DV, observam os autores, foram obtidas estimativas de profundidade mais precisas do que com o Voyager, o único modelo concorrente capaz de gerar vídeo e informações de profundidade ao mesmo tempo.

No segundo teste, de caráter qualitativo, comparou-se a capacidade dos concorrentes de manter a consistência do cenário enquanto a câmera se movia pelas cenas do DL3DV ao longo de 300–400 quadros. O PPMem preservou a aparência e a estrutura dos ambientes vistos anteriormente com mais eficácia do que os modelos concorrentes, e sua vantagem aumentou à medida que as sequências prosseguiram:

Clique para reproduzir. Embora só possamos reproduzir os resultados em resolução inferior à do original, consideramos que o vídeo os ilustra melhor do que os resultados estáticos apresentados no artigo e recomendamos ao leitor a versão com melhor qualidade no site do projeto PPMem.

Os autores afirmam:

‘O PPMem mantém a maior fidelidade perceptual ao longo de toda a sequência, e a diferença aumenta com o tempo — de forma mais expressiva no DINOv2, em que o PPMem supera o segundo melhor método em ∼0,27 no quadro 300.’

Comparação de quadros de vídeo gerados por Gen3C, VMem, SPMem, Voyager e PPMem em seis momentos de uma sequência de 288 quadros, acompanhados das imagens originais (Ground Truth). O PPMem preserva com mais consistência a aparência do canteiro de flores e do cenário ao redor à medida que a câmera se move, enquanto os métodos concorrentes distorcem cada vez mais as imagens ou perdem detalhes.

O artigo observa que, após cerca de 400 quadros de vídeo, uma cena inteira explorada pode ser representada no PPMem por aproximadamente 100.000 primitivas de plano, ocupando apenas 5 MB de memória.

Como essa representação é cerca de mil vezes mais compacta do que armazenar o mesmo cenário como pontos individuais em uma nuvem de pontos 3D densa, o artigo, que poderia ser considerado um avanço incremental em uma linha de pesquisa já estabelecida na literatura, aparentemente oferece uma melhoria substancial na eficiência operacional dessa arquitetura.

Conclusão

Embora o novo artigo represente um avanço empolgante dentro dos limites e parâmetros do problema em questão, ainda trabalhamos em um paradigma no qual a exploração aleatória do espaço latente de um modelo de mundo espalha geometria por toda parte como espuma persistente — geometria que talvez precise ser recuperada em cenas posteriores ou para contextos futuros.

Essa operação de recuperação é muito mais complicada do que importar malhas de CGI tradicional e texturas envolventes. É possível argumentar que toda essa abordagem é «um tanto ao contrário»: idealmente, os modelos de IA deveriam conseguir recuperar e referenciar recursos fixos por meio de alguma forma de RAG ou de um sistema de consulta, sem perder a flexibilidade e a liberdade criativa de percorrer o espaço latente.

É pedir muito, mas, para mim, o método das «migalhas de pão» parece mesmo equivalente às soluções bizarras que precederam os irmãos Wright.

* Consulte o site do projeto para assistir ao vídeo completo.

Publicado originalmente na terça-feira, 20 de outubro de 2026