Um codec de vídeo para filmagens geradas por IA

À medida que a era da IA com consumo ilimitado chega ao fim, uma nova abordagem econômica para gerar vídeos com IA promete economias significativas de tokens e tempo.

O custo real da inferência de IA traz uma nova dose de realismo (referência relacionada) ao ritmo acelerado da atual revolução da IA, enquanto cresce o interesse em racionalizar o custo do aprendizado de máquina. Além da possibilidade de trazer a IA para o ambiente interno da organização e da expansão geral da IA privada, também será claramente necessário otimizar os processos de aprendizado de máquina que consomem grandes quantidades de VRAM e outros recursos.

A geração de vídeo é talvez a maior consumidora de recursos nesse aspecto. Se você já recomprimiu um filme ou o exportou de um programa de edição de vídeo, conhece a carga que essa tarefa, sem relação com IA, impõe ao hardware: ela consome RAM e ciclos de CPU e muitas vezes impede o uso do computador para outras finalidades, a menos que o impacto do algoritmo de compressão sobre a máquina seja limitado.

Basta imaginar, portanto, em que escala o avanço dos vídeos com IA repete esse processo voraz por poder computacional nos centros de dados do mundo inteiro. Nessa escala, até os menores ganhos se tornam imediatamente relevantes quando somados.

O quadro em foco

Com isso em mente, um novo trabalho de pesquisa de Xangai, em colaboração com a JD.com (JD ), propõe um codec de vídeo voltado não à renderização de saída, isto é, à compressão de enormes quadros brutos em um arquivo de vídeo menor, mas ao próprio processo de geração de vídeo com IA.

Um codec de vídeo convencional não armazena todos os quadros como imagens completas. Em vez disso, cria um número menor de imagens completas, chamadas quadros I, e depois armazena as mudanças entre os quadros.

Por exemplo, quando uma pessoa se move um pouco em um vídeo, o codec registra apenas as partes do quadro em que ocorre a mudança, em vez de reescrever toda a cena. São os quadros P, derivados de quadros anteriores, e os quadros B, que também podem aproveitar informações de quadros posteriores:

Anatomia de um codec de vídeo: a linha superior mostra quadros em sequência identificados como I, P e B. Os quadros I são armazenados integralmente e exibidos em cores; os P e B aparecem esmaecidos para indicar sua reconstrução. As setas mostram se eles usam quadros anteriores, posteriores ou ambos. Os painéis inferiores apresentam um quadro totalmente armazenado (I, à esquerda), um quadro construído a partir de outro anterior (P, segundo da esquerda) e um quadro construído a partir de quadros anteriores e posteriores (B, à direita).

Reutilizar informações próximas mantém pequenos os arquivos de vídeo. A maioria dos quadros não funciona como uma imagem nova, mas como instruções que descrevem as mudanças em relação ao quadro anterior. Os quadros I são, portanto, imagens completas que ocupam muito espaço, sem compressão ou com compressão mínima. Os intermediários contêm apenas as diferenças em relação aos quadros I e entre si.

Quando cada quadro individual é uma imagem completa não comprimida, o filme praticamente não tem compressão. Salvo dessa forma, um filme de duas horas exigiria quase um terabyte de espaço em disco, ou mais. Ainda assim, é assim que a IA cria filmes^†: ela dedica os mesmos recursos e tokens a cada quadro ao calcular como compor o vídeo.

Economias de escala

O novo trabalho, intitulado AdaCodec: A Predictive Visual Code for Video MLLMs, dedica os tokens visuais completos exclusivamente aos quadros de referência (quadros I), enquanto representa todos os intermediários como «tokens P compactos». É um princípio claramente inspirado na compressão tradicional dos codecs de vídeo do mundo real.

Depois dessa compressão interna, o vídeo produzido pela IA generativa pode ser comprimido normalmente. Em teoria, todas as economias ocorrem do lado do servidor:

Visão geral do AdaCodec. À esquerda, os vídeos são divididos em grupos adaptativos de imagens: quadros I completos ficam reservados para momentos difíceis de prever, enquanto os P intermediários são representados por informações compactas de movimento e resíduo. À direita, o sistema iguala ou supera o Qwen3-VL-8B em onze benchmarks, mantém maior precisão em vídeos longos com diferentes orçamentos de tokens e reduz a latência de resposta enquanto processa muito menos tokens de vídeo. Fonte

Os resultados divulgados dos testes do AdaCodec indicam que vale a pena buscar essas economias. Segundo o artigo, o sistema superou o modelo Qwen3-VL-8B não modificado em todos os principais benchmarks com a mesma quantidade de processamento. Mesmo depois de reduzir os tokens de vídeo em aproximadamente 86%, continuou igualando ou superando o desempenho desse modelo.

Os autores afirmam*:

“Inspiramo-nos na codificação preditiva, em que um sistema transmite os erros de uma previsão em vez do sinal bruto. Esse princípio tem fundamento biológico: acredita-se que o sistema visual codifique os erros de previsão, isto é, a diferença entre a entrada esperada e a observada, em vez da própria entrada.”

“Os codecs de vídeo modernos usam na engenharia a mesma ideia de codificação residual: os quadros de referência contêm todo o conteúdo, enquanto os preditivos contêm sinais de movimento e resíduo relativos a um quadro de referência.”

“Esses sistemas têm objetivos diferentes, mas compartilham a mesma estrutura condicional: quando as amostras próximas são redundantes, o canal deve transportar aquilo que a previsão não consegue explicar.”

“Os codecs convencionais, porém, otimizam fluxos de bits e a reconstrução destinada à visão humana, não os tokens visuais consumidos por um LLM. Por isso, redesenhamos esse mecanismo como uma interface MLLM para a compreensão de vídeo.”

O novo trabalho, assinado por 11 pesquisadores da Universidade Jiao Tong de Xangai, do Shanghai Innovation Institute e da JD.com, conta com uma página do projeto e a promessa de publicar o código-fonte.

Método

Como explicado, o sistema não trata cada quadro como uma imagem totalmente nova, mas procura as mudanças entre um quadro e o seguinte. À esquerda da imagem abaixo, uma pequena região do quadro atual é comparada à região mais semelhante de um quadro anterior:

Esquema geral do AdaCodec.

A distância entre as duas posições se torna um vetor de movimento, enquanto as diferenças visuais restantes constituem um resíduo. Essas descrições compactas substituem a necessidade de armazenar uma imagem completa.

À direita, as informações obtidas são fornecidas ao modelo de IA. Os quadros de referência importantes continuam sendo processados como imagens completas, mas os intermediários são representados por tokens de movimento e resíduo muito menores. Isso parece permitir que o modelo retenha informações suficientes para interpretar o vídeo enquanto processa muito menos dados visuais.

Um desafio interessante é decidir quais quadros merecem ser armazenados por inteiro. Os codecs tradicionais costumam inserir quadros de referência em intervalos regulares, sejam necessários ou não. O AdaCodec procura identificar os momentos mais importantes.

Imagine uma cena em que duas pessoas conversam quase sem se mover em um apartamento. De repente, uma equipe SWAT entra pela janela. As perspectivas de câmera e o número de cortes de edição aumentam imediatamente, exigindo muito mais dados do que um intervalo regular entre quadros de referência pode fornecer:

Essa é a lógica dos métodos de compressão variável, como a taxa de bits variável. Eles analisam o vídeo original em busca desses trechos mais movimentados e atribuem mais dados onde são necessários, a um custo nada pequeno de tempo e recursos.

No AdaCodec, quando um quadro pode ser previsto com precisão a partir de quadros próximos, o sistema continua usando tokens compactos de movimento e resíduo. Se a cena muda substancialmente, como no exemplo da equipe SWAT ou de forma menos dramática, insere-se um quadro de referência completo. Assim, uma parcela maior do orçamento de processamento disponível pode ser dedicada às informações visuais importantes, em vez de distribuída igualmente por todo o vídeo.

Dados e Testes

Nos testes, os pesquisadores usaram o mencionado Qwen3-VL-8B como modelo de base e avaliaram o AdaCodec em onze benchmarks que cobrem três áreas da compreensão de vídeo: o desempenho em vídeos longos foi avaliado com MLVU, LongVideoBench e LVBench; a compreensão temporal com TempCompass, MotionBench e TOMATO; e a compreensão geral de vídeo com Video-MME, MVBench, NExT-QA, PerceptionTest e EgoSchema.

Os modelos de código aberto testados foram InternVL3.5-8B; Keye-VL-1.5-8B; GLM-4.1V-9B; MiniCPM-V-4.5-8B; Eagle2.5-8B; PLM-8B; LLaVA-Video-7B; VideoChat-Flash-7B; Molmo2-8B; e Molmo2-O-7B.

As variantes de GPT-5, Gemini e Claude aparecem na tabela abaixo apenas como referências de comparação. CoPE-VideoLM-7B e ReMoRa-7B são modelos anteriores de linguagem de vídeo que reduzem o uso de tokens visuais por meio de compressão inspirada nos codecs. Por isso, são os concorrentes diretos mais próximos do AdaCodec:

Principais resultados em onze benchmarks que cobrem a compreensão de vídeos longos, o raciocínio temporal e a compreensão geral de vídeo. Pontuações mais altas indicam melhor desempenho. LVB = LongVideoBench; V-MME = Video-MME. Os valores em negrito e sublinhados indicam as melhores e as segundas melhores pontuações entre os modelos de código aberto. As pontuações dos modelos fechados foram obtidas de relatórios oficiais, quando disponíveis; os resultados ausentes vieram do Molmo2 ou foram avaliados pelos autores.

Para garantir uma comparação justa, o AdaCodec e o sistema Qwen3-VL-8B padrão receberam o mesmo número de tokens visuais. Assim, os resultados refletem a eficácia do método de compressão, não diferenças de recursos computacionais.

Na configuração de compressão mais intensa, o AdaCodec reduziu o uso de tokens visuais em aproximadamente 86%, igualando ou superando ligeiramente o sistema de base em tarefas de compreensão de vídeos longos, compreensão temporal e compreensão geral de vídeo.

Quando os tokens economizados foram reinvestidos no processamento de mais quadros, o desempenho melhorou em todos os benchmarks de vídeos longos e em todos os temporais. Os ganhos chegaram a +5,4 pontos no LongVideoBench e +4,3 pontos no TOMATO, com alguns dos resultados de código aberto mais fortes do estudo.

Conclusão

Embora esses projetos geralmente se destinem a provedores de hiperescala, esse tipo de trabalho também interessará aos entusiastas e às pequenas e médias empresas. Poderia fazer parte de uma nova forma de sobriedade pública em torno da implantação local e racionalizada da IA.

Em comunidades como r/stablediffusion, isso é uma prática antiga: todo grande lançamento de um modelo de código aberto é regularmente levado a uma versão extremamente otimizada (GGUF, pesos quantizados, etc.), capaz de funcionar em placas de vídeo de entrada, com alguma paciência.

Se a fase voltada ao espetáculo dessa terceira onda de IA realmente acabou e se partirmos do pressuposto de que as empresas serão desencorajadas pelos custos reais da inferência, iniciativas como o AdaCodec poderiam integrar uma futura «grande otimização».

^† Isso não equivale a exportar o vídeo em um formato e tamanho de arquivo adequados ao usuário. Trata-se da geração e da composição internas dos quadros que acontecem no modelo de IA durante a inferência.

* Converti, dentro do razoável, as referências dos autores no corpo do texto em hiperlinks.

Publicado pela primeira vez na quinta-feira, 4 de junho de 2026