Repensando o Treinamento de IA de Vídeo com Dados Focados no Usuário

O tipo de conteúdo que os usuários podem querer criar usando um modelo gerativo, como o Flux ou o Hunyuan Video, pode não estar sempre disponível, mesmo que o pedido de conteúdo seja fairly genérico, e alguém pode achar que o gerador poderia lidar com isso.

Um exemplo, ilustrado em um novo artigo que vamos examinar neste artigo, nota que o modelo OpenAI Sora, cada vez mais eclipsado, tem alguma dificuldade em renderizar um besouro luminoso anatomicamente correto, usando o prompt ‘Um besouro luminoso está brilhando em uma folha de grama em uma noite de verão serena’:

O OpenAI Sora tem uma compreensão um pouco estranha da anatomia do besouro luminoso. Fonte: https://arxiv.org/pdf/2503.01739

Desde que eu raramente aceito afirmações de pesquisa em valor nominal, eu testei o mesmo prompt no Sora hoje e obtive um resultado ligeiramente melhor. No entanto, o Sora ainda falhou em renderizar a luminescência corretamente – em vez de iluminar a ponta da cauda do besouro luminoso, onde a bioluminescência ocorre, ele colocou a luminescência perto dos pés do inseto:

Meu próprio teste do prompt dos pesquisadores no Sora produz um resultado que mostra que o Sora não entende de onde vem a luz do besouro luminoso.

Ironicamente, o Adobe Firefly gerador de difusão, treinado em fotos e vídeos protegidos por direitos autorais da empresa, conseguiu apenas uma taxa de sucesso de 1 em 3 nesse aspecto, quando eu tentei o mesmo prompt no recurso de IA gerativa do Photoshop:

Apenas a última das três gerações propostas do prompt dos pesquisadores produz uma luminescência no Adobe Firefly (março de 2025), embora a luminescência esteja situada na parte correta da anatomia do inseto.

Esse exemplo foi destacado pelos pesquisadores do novo artigo para ilustrar que a distribuição, ênfase e cobertura nos conjuntos de treinamento usados para informar os modelos de fundação populares podem não estar alinhados com as necessidades do usuário, mesmo que o usuário não esteja pedindo algo particularmente desafiador – um tópico que levanta os desafios envolvidos em adaptar conjuntos de treinamento de hiperscale para seus resultados mais eficientes e performáticos como modelos gerativos.

Os autores afirmam:

‘[Sora] falha em capturar o conceito de um besouro luminoso enquanto gera grama e uma noite de verão com sucesso. Do ponto de vista dos dados, inferimos que isso ocorre principalmente porque [Sora] não foi treinado em tópicos relacionados a besouros luminosos, enquanto foi treinado em grama e noite. Além disso, se [Sora] tivesse visto o vídeo mostrado acima, ele entenderia como um besouro luminoso deve parecer.’

Eles introduzem um novo conjunto de dados curado e sugerem que sua metodologia poderia ser refinada em trabalhos futuros para criar coleções de dados que se alinhem melhor com as expectativas do usuário do que muitos modelos existentes.

Dados para as Pessoas

Em essência, sua proposta apresenta uma abordagem de curação de dados que cai entre os dados personalizados para um modelo como o LoRA (e essa abordagem é muito específica para uso geral); e as coleções de grande volume e relativamente indiscriminadas (como o conjunto de dados LAION que alimenta a difusão estável) que não estão especificamente alinhadas com nenhum cenário de uso final.

O novo conjunto de dados, tanto como metodologia quanto como conjunto de dados novo, é (de forma um pouco tortuosa) nomeado Users’ FOcus in text-to-video, ou VideoUFO. O conjunto de dados VideoUFO compreende 1,9 milhão de clipes de vídeo que abrangem 1.291 tópicos focados no usuário. Os tópicos em si foram desenvolvidos a partir de um conjunto de dados de vídeo existente e analisados por meio de modelos de linguagem e técnicas de processamento de linguagem natural (NLP) diversificados:

Amostras dos tópicos destilados apresentados no novo artigo.

O conjunto de dados VideoUFO apresenta um grande volume de vídeos novos coletados do YouTube – ‘novos’ no sentido de que os vídeos em questão não estão presentes em conjuntos de dados de vídeo que são atualmente populares na literatura, e portanto em muitos dos subconjuntos que foram curados a partir deles (e muitos dos vídeos foram de fato carregados posteriormente à criação dos conjuntos de dados mais antigos mencionados no artigo).

De fato, os autores afirmam que há apenas 0,29% de sobreposição com conjuntos de dados de vídeo existentes – uma demonstração impressionante de novidade.

Uma razão para isso pode ser que os autores aceitariam apenas vídeos do YouTube com uma licença Creative Commons que seriam menos propensos a criar problemas para os usuários mais adiante: é possível que essa categoria de vídeos tenha sido menos priorizada em varreduras anteriores do YouTube e de outras plataformas de grande volume.

Em segundo lugar, os vídeos foram solicitados com base em uma necessidade do usuário previamente estimada (veja a imagem acima), e não coletados indiscriminadamente. Esses dois fatores em combinação poderiam levar a uma coleção tão nova. Além disso, os pesquisadores verificaram os IDs do YouTube dos vídeos baixados contra os IDs apresentados em conjuntos de dados existentes, o que dá credibilidade à afirmação.

Embora nem tudo no novo artigo seja tão convincente, é uma leitura interessante que enfatiza a extensão com que ainda estamos à mercê de distribuições desiguais em conjuntos de dados, em termos dos obstáculos com que a cena de pesquisa é frequentemente confrontada na curação de conjuntos de dados.

O novo trabalho é intitulado VideoUFO: Um Conjunto de Dados de Escala de Milhão para Geração de Vídeo de Texto, e vem de dois pesquisadores, respectivamente da Universidade de Tecnologia de Sydney, na Austrália, e da Universidade de Zhejiang, na China.

Exemplos selecionados do conjunto de dados final obtido.

Um ‘Comprador Pessoal’ para Dados de IA

O assunto e os conceitos apresentados na soma total de imagens e vídeos da internet não refletem necessariamente o que o usuário médio pode acabar pedindo a um sistema gerativo; mesmo onde o conteúdo e a demanda coincidem (como no caso da pornografia, que é amplamente disponível na internet e de grande interesse para muitos usuários de IA), isso pode não estar alinhado com a intenção e os padrões dos desenvolvedores para um novo sistema gerativo.

Além do grande volume de material NSFW carregado diariamente, uma quantidade desproporcional de material disponível na internet é provavelmente de anunciantes e aqueles que tentam manipular o SEO. O interesse comercial desse tipo torna a distribuição de assuntos longe de imparcial; pior, é difícil desenvolver sistemas de filtragem baseados em IA que possam lidar com o problema, pois algoritmos e modelos desenvolvidos a partir de dados significativos em hiperscale podem refletir as tendências e prioridades dos dados de origem.

Portanto, os autores do novo trabalho abordaram o problema revertendo a proposição, determinando o que os usuários provavelmente querem e obtendo vídeos que se alinhem com essas necessidades.

À primeira vista, essa abordagem parece tão propensa a desencadear uma corrida semântica para o fundo quanto a alcançar uma neutralidade equilibrada, como a da Wikipédia. Calibrar a curação de dados em torno da demanda do usuário arrisca amplificar as preferências do denominador comum, marginalizando usuários de nicho, pois os interesses da maioria inevitavelmente terão mais peso.

No entanto, vamos examinar como o artigo lida com o desafio.

Destilando Conceitos com Discrição

Os pesquisadores usaram o conjunto de dados VidProM de 2024 como fonte para a análise de tópicos que mais tarde informariam a web scraping do projeto.

Esse conjunto de dados foi escolhido, segundo os autores, porque é o único conjunto de dados de 1 milhão+ disponível publicamente ‘escrito por usuários reais’ – e deve ser dito que esse conjunto de dados foi curado pelos dois autores do novo artigo.

O artigo explica*:

‘Primeiro, incorporamos todos os 1,67 milhão de prompts do VidProM em vetores de 384 dimensões usando SentenceTransformers Em seguida, agrupamos esses vetores com K-means. Observe que aqui definimos o número de clusters para um valor relativamente grande, ou seja, 2.000, e mesclamos clusters semelhantes na próxima etapa.

‘Finalmente, para cada cluster, pedimos ao GPT-4o que conclua um tópico [uma ou duas palavras].’

Os autores observam que certos conceitos são distintos, mas notavelmente adjacentes, como igreja e catedral. Um critério muito granular para casos desse tipo levaria a incorporações de conceitos (por exemplo) para cada raça de cão, em vez do termo cão; enquanto um critério muito amplo poderia reunir um número excessivo de subconceitos em um único conceito superlotado; portanto, o artigo observa a necessidade de um ato de equilíbrio para avaliar esses casos.

Formas singulares e plurais foram mescladas, e verbos restaurados às suas formas base (infinitivas). Termos excessivamente amplos – como animação, cena, filme</i} e movimento – foram removidos.

Assim, 1.291 tópicos foram obtidos (com a lista completa disponível na seção suplementar do artigo de origem).

Seleção de Web Scraping

Em seguida, os pesquisadores usaram a API oficial do YouTube para buscar vídeos com base nos critérios destilados do conjunto de dados de 2024, buscando obter 500 vídeos para cada tópico. Além da licença Creative Commons necessária, cada vídeo precisava ter uma resolução de 720p ou superior e ser menor que quatro minutos.

Desse modo, 586.490 vídeos foram coletados do YouTube.

Os autores compararam o ID do YouTube dos vídeos baixados com vários conjuntos de dados populares: OpenVid-1M; HD-VILA-100M; Intern-Vid; Koala-36M; LVD-2M; MiraData; Panda-70M; VidGen-1M; e WebVid-10M.

Eles descobriram que apenas 1.675 IDs (a sobreposição de 0,29% mencionada anteriormente) dos clipes VideoUFO estavam presentes nesses conjuntos de dados mais antigos, e deve ser concedido que, embora a lista de comparação de conjuntos de dados não seja exaustiva, ela inclui todos os principais e mais influentes jogadores na cena de vídeo gerativo.

Divisões e Avaliação

Os vídeos obtidos foram posteriormente segmentados em vários clipes, de acordo com a metodologia descrita no artigo Panda-70M citado acima. As fronteiras de disparo foram estimadas, as montagens costuradas e os vídeos concatenados divididos em clipes individuais, com legendas breves e detalhadas fornecidas.

Cada entrada de dados no conjunto de dados VideoUFO apresenta um clipe, um ID, horários de início e fim e uma legenda breve e detalhada.

As legendas breves foram tratadas pelo método Panda-70M, e as legendas de vídeo detalhadas pelo Qwen2-VL-7B, de acordo com as diretrizes estabelecidas pelo Open-Sora-Plan. Em casos em que os clipes não incorporavam com sucesso o conceito de destino pretendido, as legendas detalhadas para cada clipe foram alimentadas no GPT-4o mini, a fim de determinar se era realmente um ajuste para o tópico. Embora os autores tivessem preferido a avaliação via GPT-4o, isso teria sido muito caro para milhões de clipes de vídeo.

A avaliação da qualidade do vídeo foi tratada com seis métodos do projeto VBench.

Comparações

Os autores repetiram o processo de extração de tópicos nos conjuntos de dados anteriores. Para isso, foi necessário fazer uma correspondência semântica entre as categorias derivadas do VideoUFO e as categorias inevitavelmente diferentes nos outros conjuntos de dados; deve ser concedido que esses processos fornecem apenas categorias equivalentes aproximadas, e portanto isso pode ser um processo muito subjetivo para garantir comparações empíricas.

No entanto, na imagem abaixo, vemos os resultados que os pesquisadores obtiveram por esse método:

Comparações dos atributos fundamentais derivados em todo o VideoUFO e os conjuntos de dados anteriores.

Os pesquisadores reconhecem que sua análise dependeu das legendas e descrições existentes fornecidas em cada conjunto de dados. Eles admitem que relegendar conjuntos de dados mais antigos usando o mesmo método que o VideoUFO poderia ter oferecido uma comparação mais direta. No entanto, dado o volume de pontos de dados, sua conclusão de que essa abordagem seria proibitivamente cara parece justificada.

Geração

Os autores desenvolveram um benchmark para avaliar o desempenho de modelos de texto-para-vídeo em conceitos focados no usuário, intitulado BenchUFO. Isso envolveu a seleção de 791 substantivos dos 1.291 tópicos destilados no VideoUFO. Para cada tópico selecionado, dez prompts de texto do VidProM foram escolhidos aleatoriamente.

Cada prompt foi passado por um modelo de texto-para-vídeo, com o Qwen2-VL-7B usado para avaliar os resultados gerados. Com todos os vídeos gerados assim legendados, o SentenceTransformers foi usado para calcular a similaridade coseno para a prompt de entrada e a descrição de saída (inferida) em cada caso.

Esquema para o processo BenchUFO.

Os modelos gerativos avaliados foram: Mira; Show-1; LTX-Video; Open-Sora-Plan; Open Sora; TF-T2V; Mochi-1; HiGen; Pika; RepVideo; T2V-Zero; CogVideoX; Latte-1; Hunyuan Video; LaVie; e Pyramidal.

Além do VideoUFO, MVDiT-VidGen e MVDit-OpenVid foram os conjuntos de dados de treinamento alternativos.

Os resultados consideram os 10 piores e os 10 melhores tópicos em termos de desempenho em todas as arquiteturas e conjuntos de dados.

Resultados do desempenho dos modelos T2V públicos versus os modelos treinados pelos autores no BenchUFO.

Aqui os autores comentam:

‘Os modelos de texto-para-vídeo atuais não desempenham consistentemente bem em todos os tópicos focados no usuário. Especificamente, há uma diferença de pontuação que varia de 0,233 a 0,314 entre os 10 melhores e os 10 piores tópicos. Esses modelos podem não entender efetivamente tópicos como “lula gigante”, “célula animal”, “Van Gogh” e “egípcio antigo” devido à falta de treinamento em vídeos desses tópicos.’

‘Os modelos de texto-para-vídeo atuais mostram um certo grau de consistência em seus tópicos de melhor desempenho. Descobrimos que a maioria dos modelos de texto-para-vídeo se sai bem na geração de vídeos sobre tópicos relacionados a animais, como “gaivota”, “panda”, “golfinho”, “camelo” e “coruja”. Inferimos que isso ocorre em parte devido a um viés em direção a animais nos conjuntos de dados de vídeo atuais.’

Conclusão

O VideoUFO é uma oferta notável, se apenas do ponto de vista de dados frescos. Se não houver erro na avaliação e eliminação dos IDs do YouTube, e se o conjunto de dados contém tanto material novo para a cena de pesquisa, é uma proposta rara e potencialmente valiosa.

A desvantagem é que é necessário dar crédito à metodologia central; se você não acredita que a demanda do usuário deve informar as fórmulas de web scraping, você estaria comprando um conjunto de dados que vem com seus próprios conjuntos de vieses problemáticos.

Além disso, a utilidade dos tópicos destilados depende tanto da confiabilidade do método de destilação usado (que é geralmente hampered by budget constraints), quanto dos métodos de formulação para o conjunto de dados de 2024 que fornece o material de origem.

No entanto, o VideoUFO certamente merece uma investigação mais aprofundada – e está disponível no Hugging Face.

* Minha substituição das citações dos autores por links.

Publicado pela primeira vez na quarta-feira, 5 de março de 2025.