O Desafio de Legendagem de Vídeo a Mais de 1fps

A capacidade dos sistemas de aprendizado de máquina de reconhecer os eventos que ocorrem dentro de um vídeo é crucial para o futuro da geração de vídeo baseada em IA – não menos porque os conjuntos de dados de vídeo exigem legendas precisas para produzir modelos que atendam a uma solicitação do usuário e não exagerem alucinações.

Um exemplo de esquema de legendagem do projeto VidReCap da Google. Fonte: https://sites.google.com/view/vidrecap

Legendagem manual de vídeos em escala necessária para conjuntos de dados de treinamento eficazes é uma perspectiva inconcebível. Embora seja possível treinar sistemas de IA para legendar vídeos automaticamente, ainda são necessários muitos exemplos gerados por humanos como verdade de fato, para variedade e cobertura.

Mais importante, quase todos os atuais modelos de legendagem de vídeo baseados em IA operam a 1fps, o que não é uma taxa de captura densa o suficiente para discernir variações em muitos cenários: mudanças de micro-expressões súbitas para sistemas de reconhecimento de emoções; eventos rápidos em esportes de alta velocidade, como basquete; movimentos violentos; cortes rápidos em filmes dramáticos, onde sistemas como PySceneDetect podem falhar em identificá-los (ou não estão sendo usados); e muitos outros cenários onde a janela de atenção claramente precisa ser mais intensa.

Clique para reproduzir. Ação rápida, mas mudança de vida, em um dos esportes mais lentos do mundo, enquanto Alex Higgins conquista o campeonato mundial contra Ray Reardon em 1982. Fonte: https://www.youtube.com/watch?v=_1PuqKno_Ok

Mover-se Rápido e Quebrar a Lógica

Essa baixa taxa é o padrão por várias razões logísticas. Por um lado, a legendagem de vídeo é uma atividade intensiva em recursos, seja o sistema estudando um quadro sequencial de cada vez, ou usando vários métodos para coherir semanticamente uma sequência de quadros em uma sequência de legendas interpretável. Em qualquer caso, a janela de contexto é inevitavelmente limitada por restrições de hardware.

Outra razão pela qual 1fps é o padrão atual é que os vídeos não estão geralmente cheios de eventos rápidos; portanto, é redundante dar 300 quadros de uma mesa de sinuca estática a mesma atenção que o momento de um segundo em que uma bola preta é encaçapada e ganha o campeonato (veja o exemplo acima).

É possível usar pistas secundárias mais amplas para identificar momentos cruciais em um vídeo esportivo, como a reação sustentada da multidão a um enterrada rápido em um jogo de basquete. No entanto, essas dicas podem ocorrer por outras razões (como lesões de jogadores inesperadas) e não podem ser confiáveis. Isso é um exemplo de como um conjunto de dados de vídeo mal rotulado pode levar a um modelo de vídeo gerativo que alucina ou interpreta mal as instruções, ou seja, porque o modelo pode mostrar uma lesão de jogador quando foi solicitado para gerar um enterrada (porque a ‘pista secundária’ de agitação da multidão não era exclusiva de um tipo específico de evento).

Isso é, em muitos aspectos, um problema “orçamentário” e, em outros aspectos, um problema procedural. As estruturas até o momento operam no princípio de que quadros-chave esparsos podem capturar efetivamente informações essenciais, mas isso é mais eficaz no estabelecimento de gênero e outros aspectos do assunto do vídeo, desde que a evidência, nesse caso, persista por vários quadros.

F-16

Um novo artigo da China está oferecendo uma solução, na forma do primeiro modelo de linguagem multimodal grande (MLLM, ou simplesmente LLM) que pode analisar vídeo a 16fps em vez do padrão de 1fps, evitando as principais armadilhas de aumentar a taxa de análise.

Nos testes, os autores afirmam que o novo sistema, intitulado F-16, supera os modelos proprietários de última geração, como GPT-4o e Google’s Gemini-1.5 pro. Embora outros modelos atuais tenham conseguido igualar ou superar os resultados do F-16 nos testes, os modelos concorrentes eram muito maiores e mais difíceis de lidar.

Embora o F-16 tenha sido treinado em alguns hardwares sérios (como examinaremos em breve), a inferência é geralmente muito menos exigente do que o treinamento. Portanto, podemos esperar que o código (prometido para uma liberação futura) seja capaz de executar em GPUs domésticas de nível médio ou alto.

O que é necessário para a vitalidade da cena de hobby (e isso inclui a cena profissional de efeitos visuais, a maior parte do tempo) é um modelo de legendagem de vídeo desse tipo que possa operar, talvez quantizado, em sistemas de consumo, para que toda a cena de vídeo gerativo não migre para sistemas comerciais baseados em API ou force os consumidores a conectar frameworks locais a serviços de GPU online comerciais.

Além do Aumento de Escala

Os autores observam que essa abordagem é uma alternativa prática ao aumento dos conjuntos de dados. Também se pode inferir que, mesmo que se jogasse mais dados no problema, essa é a abordagem que poderia ser preferível, porque o novo sistema distingue eventos de forma mais granular.

Eles afirmam:

‘A amostragem de baixa taxa de quadros pode resultar em perda de informações visuais críticas, particularmente em vídeos com cenas que mudam rapidamente, detalhes intricados ou movimento rápido. Além disso, se os quadros-chave forem perdidos, mas o modelo for treinado em rótulos que dependem de informações de quadros-chave, ele pode ter dificuldade em alinhar suas previsões com o conteúdo esperado, potencialmente levando a alucinações e desempenho degradado…

‘… F-16 alcança o desempenho SOTA em compreensão de vídeo geral entre modelos de tamanho semelhante e demonstra uma clara vantagem na compreensão de vídeo de alta taxa de quadros, superando modelos comerciais como GPT-4o. Este trabalho abre novas direções para avançar na compreensão de vídeo de alta taxa de quadros em pesquisas de LLM multimodal.’

O novo artigo é intitulado Melhorando a Compreensão de Vídeo LLM com 16 Quadros Por Segundo, e vem de oito autores da Universidade Tsinghua e ByteDance.

Método

Como os quadros consecutivos frequentemente contêm informações redundantes, o F-16 aplica um alinhador de alta taxa de quadros para comprimir e codificar detalhes de movimento-chave, retenção de semântica visual. Cada quadro é processado primeiro por um codificador de imagem pré-treinado, extrair representações de recursos antes de ser passado para um alinhador baseado em Unidades Lineares de Erro Gaussiano (GELUs).

A arquitetura do F-16 processa vídeo a 16 FPS, capturando mais quadros do que os modelos de baixa taxa de quadros tradicionais, e seu alinhador de alta taxa de quadros preserva a semântica visual enquanto codifica dinamicamente o movimento de forma eficiente sem adicionar tokens visuais extras. Fonte: https://arxiv.org/pdf/2503.13956

Para lidar com o aumento da contagem de quadros de forma eficiente, o F-16 agrupa os quadros em pequenas janelas de processamento, mesclando recursos visuais usando uma MLP de três camadas, ajudando a reter apenas os detalhes de movimento mais relevantes e reduzir a duplicação desnecessária, enquanto preserva o fluxo temporal das ações. Uma camada de max-pooling espacial adiciona a compressão da contagem de tokens, mantendo os custos computacionais dentro dos limites.

Os tokens de vídeo processados são então alimentados no Qwen2-7B LLM, que gera respostas textuais com base nos recursos visuais extraídos e um prompt de usuário dado.

Ao estruturar a entrada de vídeo dessa forma, o F-16 possibilita, segundo os autores, um reconhecimento de eventos mais preciso em cenas dinâmicas, enquanto ainda mantém a eficiência.

A Versão Curta

O F-16 estende um LLM de imagem pré-treinado, LLaVA-OneVision, para processar vídeo, transformando seu pipeline de entrada visual. Enquanto os LLMs de imagem padrão lidam com quadros isolados, o alinhador de alta taxa de quadros do F-16 reformata múltiplos quadros em uma forma que o modelo pode processar de forma mais eficiente; isso evita sobrecarregar o sistema com informações redundantes, enquanto preserva as dicas de movimento-chave necessárias para uma compreensão de vídeo precisa.

Para garantir a compatibilidade com sua base de imagem, o F-16 reutiliza parâmetros pré-treinados, reestruturando seu alinhador em sub-matrices. Essa abordagem permite que ele integre conhecimento de modelos de quadro único, enquanto se adapta à entrada de vídeo sequencial.

O alinhador primeiro comprime as sequências de quadros em um formato otimizado para o LLM, preservando os recursos mais informativos, enquanto descarta detalhes desnecessários. A arquitetura do design permite que o sistema processe vídeo de alta taxa de quadros, mantendo os custos computacionais sob controle, o que os autores consideram como evidência de que o aumento de escala não é a única (ou a melhor) maneira de avançar na legendagem de vídeo.

Variando o Ritmo

Como o processamento de vídeo a 16 FPS melhora a compreensão do movimento, mas aumenta o custo computacional, especialmente durante a inferência, o F-16 introduz um método de decodificação de taxa de quadros variável, permitindo que ele ajuste a taxa de quadros dinamicamente sem re-treinamento.

Os alinhadores de quadro único e de alta taxa de quadros disponíveis para o F-16.

Essa flexibilidade permite que o modelo opere de forma eficiente em taxas de quadros mais baixas quando a precisão alta não é necessária e reduz a sobrecarga computacional.

Em tempo de teste, quando uma taxa de quadros mais baixa é selecionada, o F-16 reutiliza parâmetros de alinhador pré-treinados, repetindo os quadros de entrada para corresponder às dimensões esperadas. Isso garante que o modelo ainda possa processar vídeo de forma eficaz sem modificar sua arquitetura.

Ao contrário da amostragem ingênua (ou seja, simplesmente removendo quadros), que arrisca perder detalhes de movimento críticos, esse método preserva as representações de movimento aprendidas pelo alinhador, mantendo a precisão, mesmo em taxas de quadros reduzidas. Para a compreensão geral de vídeo, uma configuração de taxa de quadros mais baixa pode acelerar a inferência sem perda de desempenho significativa, enquanto a análise de movimento de alta velocidade ainda pode aproveitar a capacidade total de 16 FPS.

Dados e Testes

Construído sobre o Qwen2-7B, o FP-16 estende o LLaVA-OneVision usando SigLIP como codificador de imagem. Com os quadros de vídeo amostrados a 16 FPS, até 1.760 quadros podem ser obtidos de cada vídeo. Para vídeos mais longos, os quadros foram amostrados uniformemente (ou seja, mais esparsamente).

Para o treinamento, o F-16 usou os mesmos conjuntos de dados de vídeo gerais que o LLaVA-Video, incluindo LLaVA-Video-178K, NExT-QA, ActivityNet-QA e PerceptionTest.

O F-16 também foi ajustado finamente nos conjuntos de dados esportivos de alta velocidade FineGym, Diving48 e SoccerNet. Os autores também curaram uma coleção de 276 jogos da NBA jogados entre 13 e 25 de novembro de 2024, focando em se o modelo poderia determinar corretamente se um arremesso foi bem-sucedido, usando o conjunto de teste NSVA avaliado com a pontuação F1.

O modelo foi avaliado usando o conjunto de teste NSVA, com o desempenho medido pela pontuação F1.

Os modelos de ginástica e natação foram avaliados com base na precisão do reconhecimento de eventos, enquanto os modelos de futebol e basquete rastrearam passes e resultados de arremessos.

O modelo foi treinado por 1 época usando 128 NVIDIA H100 GPUs (e com 80GB de VRAM por GPU, isso envolveu o uso de 10,24 terabytes de memória de GPU; mesmo pelos padrões atuais, isso é o cluster de GPU mais potente com que eu pessoalmente me deparei ao acompanhar a literatura de pesquisa em visão computacional). Uma taxa de aprendizado de 2×10⁻⁵ foi usada durante o treinamento.

Além disso, um LoRA foi ajustado finamente nos dados esportivos usando adaptadores LoRA com 64 GPUs por 5 épocas. Aqui, apenas o LLM foi treinado, deixando o codificador de imagem congelado.

As estruturas opostas testadas na primeira rodada para ‘compreensão de vídeo geral’ foram GPT-4o; Gemini-1.5-Pro; Qwen2-VL-7B; VideoLLaMA2-7B; VideoChat2-HD-7B; LLaVA-OV-7B; MiniCPM-V2.6-8B; LLaVA-Video-7B; e NVILA-7B;

Os modelos foram avaliados em Video-MME; VideoVista; TemporalBench; MotionBench; Next-QA; MLVU; e LongVideoBench.

Comparação dos resultados de QA de vídeo entre os modelos, mostrando limites de FPS e desempenho em vários benchmarks. O F-16 alcança o SOTA entre os modelos de 7B no Video-MME, NQA, TPB e MB, rivalizando com modelos proprietários como GPT-4o e Gemini-1.5-Pro.

Desses resultados, os autores afirmam:

‘No Video-MME Short, Medium e NeXT-QA datasets—cada um projetado para compreensão de vídeo curto—nosso modelo supera o modelo SOTA anterior de 7B por 3,2%, 1,0% e 0,9% em precisão, destacando seu forte desempenho em vídeos curtos.

‘Para benchmarks que avaliam a compreensão de vídeo longo, como Video-MME Long, LongVideoBench e MLVU, o desafio é maior devido à amostragem de frames mais esparsa, causando frames dentro da janela de processamento a exibir variações mais significativas.

‘Isso aumenta a dificuldade para o alinhador de modalidade codificar efetivamente as mudanças temporais dentro da representação de token limitada. Como resultado, o F-16 experimenta uma ligeira queda de desempenho em comparação com [LLaVA-Video-7B], que é treinado no mesmo conjunto de dados de vídeo.’

O processamento de alta taxa de quadros do F-16, continuam os autores, também resultou em uma melhoria de 13,5% no TemporalBench e um ganho de 2,5% no MotionBench, em comparação com os modelos de 7B existentes, e atingiu um nível semelhante ao de modelos comerciais como GPT-4o e Gemini-1.5-Pro.

Compreensão de Vídeo Esportivo de Alta Velocidade

O F-16 foi testado nos conjuntos de dados FineGym, Diving48, SoccerNet e NBA para avaliar sua capacidade de entender ações esportivas de alta velocidade.

Usando os 10.000 cliques da NBA anotados manualmente, o treinamento se concentrou no movimento da bola e ações dos jogadores, e se os modelos poderiam determinar corretamente se um arremesso foi bem-sucedido, usando o conjunto de teste NSVA avaliado com a pontuação F1.

Resultados da análise de vídeo esportivo de alta velocidade. O F-16 com o alinhador de alta taxa de quadros performou melhor do que seu homólogo de baixa taxa de quadros em todas as tarefas esportivas. O GPT-4o e o Gemini-1.5-Pro também foram avaliados no NBA e SoccerNet QA, onde o conhecimento de treinamento em domínio não era necessário.

No FineGym, que mede o reconhecimento de ações de ginástica, o F-16 performou 13,8% melhor do que o modelo SOTA anterior de 7B, demonstrando uma compreensão de movimento mais refinada.

O Diving48 exigia a identificação de sequências de movimento complexas, como fases de decolagem, salto, torção e voo, e o F-16 mostrou maior precisão ao reconhecer essas transições.

Para o SoccerNet, o modelo analisou cliques de 10 segundos, identificando passes de bola, e os resultados mostraram uma melhoria em relação aos modelos de 7B existentes, indicando que taxas de quadros mais altas contribuem para o rastreamento de movimentos rápidos e pequenos.

No conjunto de dados da NBA, a capacidade do F-16 de determinar os resultados dos arremessos se aproximou da precisão de modelos proprietários maiores, como GPT-4o e Gemini-1.5-Pro, sugerindo ainda mais que taxas de quadros mais altas melhoram sua capacidade de processar movimento dinâmico.

Taxas de Quadros Variáveis

O F-16 foi testado em diferentes taxas de quadros para medir sua adaptabilidade. Em vez de re-treinar, ele lidou com taxas de quadros mais baixas repetindo os quadros para corresponder à estrutura de entrada do alinhador. Essa abordagem reteve mais desempenho do que a simples remoção de quadros (que tende a causar perda de precisão).

Os resultados indicam que, embora a redução da taxa de quadros tivesse algum impacto na reconhecimento de movimento, o F-16 ainda superou os modelos de baixa taxa de quadros e manteve resultados fortes, mesmo abaixo de 16 FPS.

À esquerda, o tempo de consumo dos diferentes módulos do F-16 durante a inferência, medido em 300 vídeos do conjunto Video-MME Long em diferentes taxas de quadros de teste e comprimentos de sequência. À direita, uma comparação entre o desempenho do Video-MME para modelos treinados e testados em diferentes taxas de quadros. A linha sólida representa modelos treinados e testados na mesma taxa de quadros, enquanto a linha pontilhada mostra o desempenho quando um modelo treinado a 16 FPS é testado em uma taxa de quadros mais baixa.

O processamento de alta taxa de quadros do F-16 aumentou as necessidades computacionais, embora seu alinhador tenha ajudado a gerenciar esses custos, comprimindo tokens visuais redundantes.

O modelo exigiu mais FLOPs por vídeo do que os modelos de baixa taxa de quadros, mas também alcançou uma precisão melhor por token, sugerindo que suas estratégias de seleção e compressão de quadros ajudaram a compensar o aumento de computação.

Conclusão

É difícil superestimar a importância ou os desafios dessa particular linha de pesquisa – especialmente este ano, que promete ser o ano de avanço para a geração de vídeo, lançando os pontos fracos da curadoria de conjuntos de dados de vídeo e da qualidade da legendagem em destaque.

Deve-se enfatizar que os desafios envolvidos em obter descrições precisas de detalhes internos de vídeo não podem ser resolvidos exclusivamente jogando VRAM, tempo ou espaço em disco no problema. O método pelo qual os eventos são isolados/extraídos de tratos de vídeo longos e tediosos (como cliques de golfe ou sinuca, por exemplo) se beneficiará de uma reavaliação das abordagens semânticas e mecanismos atuais que dominam as soluções SOTA – porque algumas dessas limitações foram estabelecidas em tempos mais pobres em recursos.

(incidentalmente, mesmo se 16fps pareça uma taxa de quadros muito baixa para 2025, é interessante notar que essa é também a velocidade de treinamento nativa dos cliques de vídeo usados no popular modelo de vídeo gerativo Wan 2.1, e a velocidade com que ele, portanto, opera com menos problemas. Esperemos que a cena de pesquisa mantenha um olho nos possíveis ‘entropias de padrão’ aqui; às vezes, restrições obsoletas podem perpetuar futuros padrões)

Publicado pela primeira vez na quarta-feira, 19 de março de 2025