La Sfida della Didascalia dei Video a Più di 1fps

La capacità dei sistemi di apprendimento automatico di riconoscere gli eventi che si verificano all’interno di un video è fondamentale per il futuro della generazione di video basata sull’intelligenza artificiale – non ultimo perché i set di dati video richiedono didascalie accurate per produrre modelli che aderiscano alle richieste dell’utente e non esagerino con le “allucinazioni”.

Un esempio di schema di didascalia del progetto VidReCap di Google. Fonte: https://sites.google.com/view/vidrecap

La didascalia manuale della scala di video necessaria per set di dati di addestramento efficaci è una prospettiva inaccettabile. Sebbene sia possibile addestrare sistemi di intelligenza artificiale a didascaliare automaticamente i video, sono ancora necessari molti esempi generati dall’uomo come verità di riferimento, per varietà e copertura.

Ma quasi tutti i modelli di didascalia video basati sull’intelligenza artificiale attuali operano a 1fps, che non è una velocità di cattura densa enough per discernere variazioni in molti scenari: cambiamenti di micro-espressioni improvvisi per sistemi di riconoscimento delle emozioni; eventi rapidi in sport ad alta velocità come il basket; movimenti violenti; tagli rapidi in film drammatici, dove sistemi come PySceneDetect potrebbero non riuscire a identificarli (o non sono utilizzati); e molti altri scenari in cui la finestra di attenzione deve essere chiaramente più intensa.

Clicca per riprodurre. Azione rapida ma che cambia la vita in quello che altrimenti può essere uno degli sport più lenti del mondo, mentre Alex Higgins vince il campionato del mondo contro Ray Reardon nel 1982. Fonte: https://www.youtube.com/watch?v=_1PuqKno_Ok

Move Fast and Break Logic

Questa bassa velocità è lo standard per vari motivi logistici. In primo luogo, la didascalia video è un’attività intensiva in termini di risorse, sia che il sistema stia studiando un frame sequenziale alla volta, sia che utilizzi vari metodi per coerenza semantica di una stringa di frame in una sequenza di didascalie interpretabile. In entrambi i casi, la finestra di contesto è inevitabilmente limitata dalle limitazioni hardware.

Un altro motivo per cui 1fps è lo standard attuale è che i video non sono generalmente pieni di eventi rapidi; è quindi ridondante dare 300 frame di una tavola da biliardo statica la stessa attenzione del secondo in cui una palla nera vincente vince il campionato (vedi esempio sopra).

È possibile utilizzare indizi secondari più ampi per identificare momenti cruciali in un video sportivo, come la reazione sostenuta del pubblico a un alley-oop rapido in una partita di basket. Tuttavia, tali indizi possono verificarsi per altri motivi (come infortuni ai giocatori) e non possono essere affidabili. Questo è un esempio di come un set di dati video mal etichettato possa portare a un modello di video generativo che “allucina” o interpreta male le istruzioni, ad esempio perché il modello potrebbe mostrare un infortunio a un giocatore quando è stato richiesto di generare un alley-oop (perché l'”indizio secondario” dell’agitazione del pubblico non era esclusivo di un tipo specifico di evento).

Questo è in molti modi un problema “di budget” e in altri modi un problema procedurale. I framework fino ad oggi hanno operato sul principio che i keyframe sparsi possono catturare efficacemente le informazioni essenziali, ma ciò è più efficace nell’istituire il genere e altri aspetti della materia del video, poiché le prove, in quel caso, persistono su più frame.

F-16

Un nuovo articolo della Cina offre una soluzione, sotto forma del primo modello di linguaggio multimodale (MLLM, o semplicemente LLM) che può analizzare video a 16fps invece del standard 1fps, evitando allo stesso tempo le principali insidie dell’aumento della velocità di analisi.

Nelle prove, gli autori affermano che il nuovo sistema, intitolato F-16, supera i modelli proprietari attuali come GPT-4o e Google’s Gemini-1.5 pro. Sebbene altri modelli attuali siano stati in grado di eguagliare o superare i risultati di F-16 nelle prove, i modelli concorrenti erano molto più grandi e ingombranti.

Sebbene F-16 sia stato addestrato su alcuni hardware seri (come esamineremo tra breve), l’inferenza è generalmente molto meno impegnativa dell’addestramento. Pertanto possiamo sperare che il codice (promesso per una release nel prossimo futuro) sarà in grado di funzionare su GPU domestiche di medio o alto livello.

Ciò che è necessario per la vitalità della scena dei hobbyisti (e che include la scena professionale VFX, la maggior parte delle volte) è un modello di didascalia video di questo tipo che possa funzionare, forse quantizzato, su sistemi consumer, in modo che l’intera scena del video generativo non migri verso sistemi commerciali basati su API, o non costringa i consumatori a collegare framework locali a servizi GPU online commerciali.

Beyond Scaling Up

Gli autori osservano che questo tipo di approccio è un’alternativa pratica all’aumento dei set di dati. Si può anche inferire che se si dovesse aggiungere più dati al problema, questo è comunque l’approccio che potrebbe essere preferibile, perché il nuovo sistema distingue gli eventi in modo più granulare.

Affermano:

‘La campionatura a bassa frequenza dei frame può comportare una perdita di informazioni visive critiche, in particolare nei video con scene che cambiano rapidamente, dettagli intricati o movimenti veloci. Inoltre, se i keyframe vengono persi, ma il modello è addestrato su etichette che si basano sulle informazioni dei keyframe, potrebbe avere difficoltà ad allineare le sue previsioni con il contenuto atteso, potenzialmente portando a “allucinazioni” e a prestazioni degradate…

‘… F-16 raggiunge prestazioni SOTA nella comprensione generale del video tra modelli di dimensioni simili e dimostra un chiaro vantaggio nella comprensione del video ad alta frequenza dei frame, superando modelli commerciali come GPT-4o. Questo lavoro apre nuove direzioni per avanzare la comprensione del video ad alta frequenza dei frame nella ricerca su MLLM.’

Il nuovo articolo è intitolato Miglioramento della comprensione del video LLM con 16 frame al secondo, e proviene da otto autori di Tsinghua University e ByteDance.

Method

Poiché i frame consecutivi spesso contengono informazioni ridondanti, F-16 applica un allineatore ad alta frequenza dei frame per comprimere e codificare i dettagli del movimento chiave mentre mantiene la semantica visiva. Ogni frame viene prima elaborato da un encoder di immagini pre-addestrato, che estrae le rappresentazioni delle caratteristiche prima di essere passato a un allineatore basato su Gaussian Error Linear Units (GELUs).

L’architettura di F-16 elabora video a 16 FPS, catturando più frame dei modelli a bassa frequenza dei frame tradizionali, e il suo allineatore ad alta frequenza dei frame mantiene la semantica visiva mentre codifica efficientemente la dinamica del movimento senza aggiungere token visivi extra. Fonte: https://arxiv.org/pdf/2503.13956

Per gestire efficientemente il numero aumentato di frame, F-16 raggruppa i frame in piccole finestre di elaborazione, fondendo le caratteristiche visive utilizzando un MLP a tre strati, aiutando a mantenere solo i dettagli del movimento più rilevanti e riducendo la duplicazione non necessaria, mentre mantiene il flusso temporale delle azioni. Un livello di max-pooling spaziale comprime ulteriormente il numero di token, mantenendo i costi computazionali entro limiti ragionevoli.

I token video elaborati vengono quindi inseriti nel modello di linguaggio LLM Qwen2-7B, che genera risposte testuali in base alle caratteristiche visive estratte e a un prompt dell’utente.

Strutturando l’input video in questo modo, F-16 consente, affermano gli autori, un riconoscimento di eventi più preciso in scene dinamiche, mantenendo allo stesso tempo l’efficienza.

The Short Version

F-16 estende un modello di linguaggio LLM pre-addestrato, LLaVA-OneVision, per elaborare video trasformando la sua pipeline di input visiva. Mentre i modelli di linguaggio standard gestiscono frame isolati, l’allineatore ad alta frequenza dei frame di F-16 riformatta più frame in una forma che il modello può elaborare più efficientemente; ciò evita di sovraccaricare il sistema con informazioni ridondanti mentre mantiene le informazioni chiave del movimento necessarie per una comprensione del video accurata.

Per garantire la compatibilità con la sua base di immagini, F-16 riutilizza i parametri pre-addestrati ristrutturando il suo allineatore in sottomatrici. Questo approccio consente di integrare la conoscenza da modelli a singolo frame mentre si adatta all’input video sequenziale.

L’allineatore comprime prima le sequenze di frame in un formato ottimizzato per il modello di linguaggio, mantenendo le caratteristiche più informative mentre scarta i dettagli non necessari. La progettazione dell’architettura consente al sistema di elaborare video ad alta frequenza dei frame mentre mantiene i costi computazionali sotto controllo, che gli autori ritengono come prova che la scalabilità non è l’unico (o il migliore) modo in avanti per la didascalia video.

Varying the Pace

Poiché l’elaborazione di video a 16 FPS migliora la comprensione del movimento ma aumenta i costi computazionali, in particolare durante l’inferenza, F-16 introduce un metodo di decodifica a frequenza dei frame variabile, che consente di regolare la frequenza dei frame in modo dinamico senza dover riaddestrare.

Gli allineatori a singolo frame e ad alta frequenza dei frame disponibili per F-16.

Questa flessibilità consente al modello di funzionare efficientemente a frequenze dei frame più basse quando non è richiesta una precisione elevata e riduce il sovraccarico computazionale.

Al momento del test, quando si seleziona una frequenza dei frame più bassa, F-16 riutilizza i parametri dell’allineatore precedentemente addestrati ripetendo i frame di input per corrispondere alle dimensioni attese. Ciò garantisce che il modello possa ancora elaborare video in modo efficace senza modificare la sua architettura.

A differenza del campionamento naive (ad esempio, semplicemente rimuovendo i frame), che rischia di perdere dettagli del movimento critici, questo metodo mantiene le rappresentazioni del movimento apprese dall’allineatore, mantenendo l’accuratezza anche a frequenze dei frame ridotte. Per la comprensione generale del video, un’impostazione di frequenza dei frame più bassa può accelerare l’inferenza senza una perdita di prestazioni significativa, mentre l’analisi del movimento ad alta velocità può ancora sfruttare la piena capacità di 16 FPS.

Data and Tests

Costruito su Qwen2-7B, FP-16 estende LLaVA-OneVision utilizzando SigLIP come encoder di immagini. Con i frame video campionati a 16 FPS, fino a 1.760 frame possono essere ottenuti da ogni video. Per clip video più lunghe, i frame sono stati campionati in modo uniforme (cioè più raramente).

Per l’addestramento, F-16 ha utilizzato gli stessi set di dati video generali di LLaVA-Video, tra cui LLaVA-Video-178K, NExT-QA, ActivityNet-QA e PerceptionTest.

F-16 è stato inoltre addestrato sui set di dati sportivi ad alta velocità FineGym, Diving48 e SoccerNet. Gli autori hanno anche curato una raccolta di 276 partite di basket NBA giocate tra il 13 e il 25 novembre 2024, concentrandosi sul fatto che un tiro fosse stato segnato con successo (un compito che richiede l’elaborazione ad alta frequenza dei frame), utilizzando il set di test NSVA valutato con il punteggio F1.

Il modello è stato valutato utilizzando il set di test NSVA, con le prestazioni misurate dal punteggio F1.

I modelli di ginnastica e tuffi sono stati valutati in base all’accuratezza del riconoscimento degli eventi, mentre i modelli di calcio e basket hanno tracciato i passaggi e gli esiti dei tiri.

Il modello è stato addestrato per 1 epoch utilizzando 128 NVIDIA H100 GPUs (e con 80GB di VRAM per GPU, ciò ha comportato l’uso di 10,24 terabyte di memoria GPU; anche secondo gli standard recenti, questo è il cluster GPU più potente che ho personalmente incontrato nel tenere traccia della letteratura di ricerca sulla visione computerizzata). Una velocità di apprendimento di 2×10⁻⁵ è stata utilizzata durante l’addestramento.

Inoltre, un LoRA è stato addestrato sui dati sportivi utilizzando adattatori LoRA con 64 GPU per 5 epoche. Qui, solo il modello di linguaggio è stato addestrato, lasciando l’encoder di immagini congelato.

I framework opposti testati nel primo round per la “comprensione generale del video” sono stati GPT-4o; Gemini-1.5-Pro; Qwen2-VL-7B; VideoLLaMA2-7B; VideoChat2-HD-7B; LLaVA-OV-7B; MiniCPM-V2.6-8B; LLaVA-Video-7B; e NVILA-7B;

I modelli sono stati valutati su Video-MME; VideoVista; TemporalBench; MotionBench; Next-QA; MLVU; e LongVideoBench.

Confronto dei risultati della domanda di video tra modelli, mostrando i limiti di FPS e le prestazioni su più benchmark. F-16 raggiunge SOTA tra i modelli da 7B su Video-MME, NQA, TPB e MB, rivaleggiando con modelli proprietari come GPT-4o e Gemini-1.5-Pro.

Di questi risultati, gli autori affermano:

‘Sui set di dati Video-MME Short, Medium e NeXT-QA – ciascuno progettato per la comprensione di video brevi – il nostro modello supera il modello SOTA precedente da 7B del 3,2%, 1,0% e 0,9% in accuratezza, evidenziando le sue forti prestazioni su video brevi.

‘Per i benchmark che valutano la comprensione di video lunghi, come Video-MME Long, LongVideoBench e MLVU, la sfida è maggiore a causa del campionamento dei frame più raro, che causa variazioni più significative all’interno della finestra di elaborazione.

‘Ciò aumenta la difficoltà per l’allineatore modale di codificare efficacemente i cambiamenti temporali all’interno della rappresentazione dei token limitata. Di conseguenza, F-16 subisce un leggero calo delle prestazioni rispetto a [LLaVA-Video-7B], che è stato addestrato sullo stesso set di dati video.’

L’elaborazione ad alta frequenza dei frame di F-16, continuano gli autori, ha anche comportato un miglioramento del 13,5% su TemporalBench e un guadagno del 2,5% su MotionBench, rispetto ai modelli esistenti da 7B, e ha eseguito allo stesso livello dei modelli commerciali come GPT-4o e Gemini-1.5-Pro.

High Speed Sports Video Understanding

F-16 è stato testato sui set di dati FineGym, Diving48, SoccerNet e NBA per valutare la sua capacità di comprendere azioni sportive ad alta velocità.

Utilizzando i 10.000 clip NBA annotati manualmente, l’addestramento si è concentrato sul movimento della palla e sulle azioni dei giocatori, e se i modelli potevano determinare correttamente se un tiro fosse stato segnato con successo, utilizzando il set di test NSVA valutato con il punteggio F1.

Risultati dell’analisi del video sportivo ad alta velocità. F-16 con l’allineatore ad alta frequenza dei frame ha eseguito meglio del suo omologo a bassa frequenza dei frame in tutti i compiti sportivi. GPT-4o e Gemini-1.5-Pro sono stati valutati anche su NBA e SoccerNet QA, dove non era richiesta la conoscenza dell’addestramento nel dominio.

Su FineGym, che misura il riconoscimento dell’azione di ginnastica, F-16 ha eseguito il 13,8% meglio del modello SOTA precedente da 7B, dimostrando una comprensione del movimento più fine.

Diving48 ha richiesto l’identificazione di sequenze di movimento complesse come fase di partenza, somersault, twist e flight, e F-16 ha mostrato una maggiore accuratezza nel riconoscimento di queste transizioni.

Per SoccerNet, il modello ha analizzato clip di 10 secondi, identificando passaggi di palla, e i risultati hanno mostrato un miglioramento rispetto ai modelli esistenti da 7B, indicando che una frequenza dei frame più alta contribuisce al tracciamento di movimenti piccoli e rapidi.

Nel set di dati NBA, la capacità di F-16 di determinare gli esiti dei tiri si è avvicinata all’accuratezza dei modelli più grandi e proprietari come GPT-4o e Gemini-1.5-Pro, suggerendo ulteriormente che una frequenza dei frame più alta migliora la sua capacità di elaborare il movimento dinamico.

Variable Frame-Rates

F-16 è stato testato a diverse frequenze dei frame per misurare la sua adattabilità. Invece di riaddestrare, ha gestito frequenze dei frame più basse ripetendo i frame per corrispondere alla struttura di input dell’allineatore. Questo approccio ha mantenuto più prestazioni rispetto alla semplice rimozione dei frame (che rischia di causare una perdita di accuratezza).

I risultati indicano che, sebbene la riduzione della frequenza dei frame abbia avuto alcuni effetti sul riconoscimento del movimento, F-16 ha comunque superato i modelli a bassa frequenza dei frame e ha mantenuto risultati solidi anche al di sotto dei 16 FPS.

A sinistra, il consumo di tempo dei diversi moduli di F-16 durante l’inferenza, misurato su 300 video dal set Video-MME Long con lunghezze di sequenza e FPS di test variabili. A destra, un confronto tra le prestazioni di Video-MME per modelli addestrati e testati a diversi FPS. La linea solida rappresenta i modelli addestrati e testati allo stesso FPS, mentre la linea tratteggiata mostra le prestazioni quando un modello addestrato a 16 FPS viene testato a una frequenza dei frame più bassa.

L’elaborazione ad alta frequenza dei frame di F-16 ha aumentato i requisiti computazionali, sebbene il suo allineatore abbia aiutato a gestire questi costi comprimendo i token visivi ridondanti.

Il modello ha richiesto più FLOPs per video rispetto ai modelli a bassa frequenza dei frame, ma ha anche raggiunto una maggiore accuratezza per token, suggerendo che le sue strategie di selezione dei frame e di compressione dei token hanno aiutato a compensare il calcolo aggiuntivo.

Conclusion

È difficile esagerare sia l’importanza che le sfide di questo particolare filone di ricerca – soprattutto quest’anno, che è destinato a essere l’anno di breakthrough per il video generativo, mettendo in luce le carenze della cura dei set di dati video e della qualità della didascalia in modo netto.

È anche importante sottolineare che le sfide coinvolte nell’ottenere descrizioni accurate dei dettagli interni del video non possono essere risolte esclusivamente gettando VRAM, tempo o spazio su disco al problema. Il metodo con cui gli eventi vengono isolati/estratti da tratti di video altrimenti lunghi e noiosi (come ad esempio clip di golf o biliardo) trarrà beneficio da un ripensamento degli approcci semantici e dei meccanismi attualmente dominanti le soluzioni SOTA – perché alcune di queste limitazioni sono state stabilite in tempi più poveri di risorse.

(Incidentalmente, anche se 16fps sembra una frequenza dei frame molto bassa per il 2025, è interessante notare che questa è anche la velocità di addestramento nativa dei clip video utilizzati nel popolare modello di video generativo Wan 2.1, e la velocità a cui quindi opera con meno problemi. Speriamo che la scena della ricerca tenga d’occhio la possibile “entropia degli standard” qui; a volte le limitazioni obsolete possono perpetuare standard futuri)

Pubblicato per la prima volta mercoledì 19 marzo 2025