L’IA Preferisce Leggere il Libro Piuttosto Che Guardare il Film

È sorprendentemente difficile far sì che i modelli di intelligenza artificiale guardino e commentino il contenuto video effettivo, anche se sono stati progettati per questo compito. Sono più interessati alla parola scritta.

Se hai mai provato a caricare un breve clip video su ChatGPT o su un modello di visione/linguaggio simile, potresti essere stato sorpreso nel renderti conto che non possono effettivamente analizzare il video. Mentre modelli come ChatGPT-4o+ sono in grado di analizzare singoli frame – sotto forma di immagini, come JPEG e PNG – preferiscono che l’utente estragga i propri frame e li carichi come immagini (che sono preparati a commentare).

Nel caso della serie GPT di OpenAI, è possibile, seppur con una certa fatica, estrarre una serie completa di frame da un clip video e fornirli a ChatGPT, ad esempio per generare una traccia narrativa creata dall’IA per il video:

Immagini e codice da un tutorial di OpenAI su come analizzare più frame estratti per sviluppare un commento generato dall’IA per un clip video. Fonte

Ma spetta all’utente effettuare la conversione da video a frame, sia chiamando funzioni in una routine più ampia, come nell’esempio sopra, sia estraendo i frame con FFMPEG o varie soluzioni di editing video gratuite o a pagamento.

Fino a un certo punto, forse addirittura in larga misura, le limitazioni dell’analisi video in prodotti di larga scala come ChatGPT dipendono dall’utilizzo delle risorse: dotare un solo istanza di IA con una selezione dei codec video più popolari e impegnare risorse di calcolo nel processo dispendioso e che richiede molta CPU dell’estrazione non è una considerazione di poco conto, se centinaia di milioni di utenti decidessero di iniziare a utilizzare queste funzionalità ogni giorno.

Inoltre, l’analisi temporale può dipingere un quadro molto diverso di un singolo frame (immagina qualcuno che entra in una casa in un umore felice e poi scopre un cadavere); pertanto, considerare l’intero “checksum” temporale di un breve clip video è un compito impegnativo e dispendioso in termini di risorse, nonché un’area di ricerca specializzata, ad esempio con lo sviluppo in corso di framework come Optical Flow – che sostanzialmente “sviluppa” un segmento di video in modo che possa essere considerato e trattato come se fosse un documento statico:

Diagrammi di flusso ottico mostrano come il movimento viene tracciato tra i frame in una sequenza video, con vettori verdi che mostrano la direzione e l’intensità del movimento. Queste mappe forniscono la continuità temporale necessaria per i VLM e possono anche servire come guide strutturali nei flussi di lavoro VFX. Fonte

Accontentarsi delle Note a Margine

Nonostante ciò, poiché modelli come Notebook LM di Google e le più recenti entrate di ChatGPT siano in grado di leggere i metadati associati (ad esempio, contenuto testuale incorporato che contestualizza in qualche modo il video), non vietano il caricamento di file video; e a volte, cercheranno addirittura di interpretare un video che non dispone di tali dati.

Nel caso seguente, ho caricato un clip casuale di 6 secondi dal film italiano La Mano di Dio (2021) su NotebookLM, assicurandomi che il clip non contenesse testo utile, né nei metadati né nel nome del file.

NotebookLM ha poi proceduto a elaborare materiali totalmente non correlati al video*, completi di un podcast nonsensato e non correlato di cinque minuti:

Un momento quotidiano in un clip di sei secondi da un film italiano è ampiamente frainteso da NotebookLM. Fonte: Google NotebookLM

Sebbene Notebook, come ChatGPT, accetti un video di YouTube come input, lo farà solo se il video presenta un’annotazione testuale interpretabile e/o sottotitoli (non sottotitoli rasterizzati bruciati nel video).

In questo modo, il lavoro impegnativo di effettivamente guardare e ascoltare il contenuto del video e svolgere un’interpretazione semantica (una necessità legale per YouTube, a causa delle sue misure di protezione del copyright, e del suo imminente sistema di rilevamento delle somiglianze), è stato svolto a posteriori, dopo il caricamento dell’utente, e quando il clip poteva essere allocato le risorse di elaborazione necessarie.

L’interpretazione reale del video è costosa e impegnativa, e, come risulta, anche i modelli che sono stati addestrati specificamente per svolgere questo compito preferiscono leggere il testo piuttosto che guardare effettivamente il video.

TL;DW

Ciò, secondo un nuovo studio dell’Università di Bristol, nel Regno Unito, intitolato Un video non vale mille parole, in cui i due autori concludono che i modelli di linguaggio visivo attuali (VLM) – modelli progettati per analizzare il video in modo più impegnativo e partecipare alla risposta alle domande sui video (VQA) – ricorrono anche alla informazione testuale ogni volta che possono.

Quando forniti di immagini in movimento e domande scritte con risposte a scelta multipla, gli autori del documento hanno scoperto che i modelli si basavano generalmente sui modelli del testo, piuttosto che su ciò che accadeva sullo schermo – in molti casi, eseguendo altrettanto bene anche quando la domanda veniva rimossa del tutto.

In quello che sembra essere una forma abituale di scorciatoia o truffa, ciò che contava di più per la maggior parte dei modelli era riuscire a rilevare modelli nelle possibili risposte; solo quando il compito veniva reso più difficile, aggiungendo più opzioni di risposta, gli AI iniziavano a prestare maggiore attenzione al video.

Gli autori hanno sottoposto i test VQA in una serie di condizioni a sei modelli VLM di diverse lunghezze di contesto, su quattro set di dati adatti; e hanno scoperto che i risultati indicavano la dipendenza dei modelli dal testo rispetto al contenuto video.

Esempio dallo studio che mostra come un modello di analisi video pesa ciò che vede rispetto a ciò che legge. Il clip mostra una persona che intreccia il bamboo, ma il modello assegna molta più importanza al testo della domanda e della risposta che ai frame del video. I punti evidenziati in blu segnalano elementi che supportano la risposta scelta, mentre i punti in rosso quelli che la allontanano, illustrando come il ragionamento del modello si concentri sul testo e non sulle immagini in movimento. Fonte

Metodo

Per capire quanto ogni input contribuisca alla decisione di un modello, il nuovo lavoro utilizza un metodo della teoria dei giochi chiamato Shapley Values. Originariamente progettato per dividere equamente un pagamento tra i giocatori in una coalizione, i valori di Shapley assegnano credito a ogni “giocatore” in base al loro impatto individuale.

Di fatto, quindi, i “giocatori” in questo scenario sono i frame del video o i componenti testuali (annotazioni, sottotitoli, didascalie, ecc.) di un compito VQA; e il “pagamento” è la risposta finale del modello. Testando sistematicamente cosa accade quando ogni parte viene aggiunta o rimossa, la tecnica rivela quanto ogni elemento sia stato importante per arrivare alla risposta scelta.

Nel caso del nuovo progetto, per estendere il metodo a più tipi di dati, i valori di Shapley sono stati adattati per gestire modalità miste, trattando i componenti video e testuali in modo separato e misurando la loro influenza variabile sugli output del modello, rivelando se il contenuto video veniva effettivamente interpretato o se venivano utilizzati indizi testuali come scorciatoie.

Metriche

Sono state definite due metriche semplici per confrontare quanto ogni modalità (ad esempio video, domanda o risposta) contribuisca alla decisione del modello: Contributo della modalità misura quanto del totale spiegazione provenga da ogni tipo di input; qui, tutti i valori di Shapley disponibili vengono sommati e la quota appartenente a ogni modalità viene calcolata come percentuale del totale.

In secondo luogo, Contributo per funzionalità corregge il fatto che alcune modalità, come il video, contengano molte più funzionalità di altre. Invece, il valore di Shapley medio viene calcolato per ogni funzionalità e questi valori medi vengono confrontati per determinare quale modalità abbia un’influenza dominante.

Dati e Test

Gli autori hanno testato l’approccio su sei VLM con caratteristiche diverse, progettate per garantire che i principi dei test fossero ampiamente applicabili e generalizzabili. Pertanto, i modelli sono stati scelti per diverse lunghezze di contesto, diverse età (ad esempio, quanto tempo fa è stato rilasciato il framework) e diverse configurazioni dell’architettura.

I contendenti erano FrozenBiLM; InternVideo; VideoLLaMA2; VideoLLaMA3; LLaVa-Video (che sfrutta Qwen2); e LongVA (che utilizza anche Qwen2).

Con lo stesso obiettivo di varietà diversificata, i quattro set di dati di destinazione scelti erano EgoSchema, un set di dati VQA progettato per essere impossibile da completare senza la visione completa dei video associati; HD-EPIC, un set di dati incentrato sulla cucina con video insolitamente lunghi; MVBench, una raccolta curata di contributi da altri set di dati; e LVBench, che pone domande VQA per video molto lunghi.

Da questi, gli autori hanno ideato 60 domande – dieci per ogni tipo di domanda.

Le metriche di contributo hanno reso chiaro che la maggior parte dei modelli si basava meno sul video che sul testo, soprattutto quando giudicati frame per frame. Anche quando il video faceva una buona figura nel contributo complessivo, la sua influenza per funzionalità era spesso minima, suggerendo che mentre il modello potrebbe utilizzare il video in aggregato, stava prestando poca attenzione ai singoli frame. VideoLLaMA3 è stato il principale outlier qui, con una maggiore dipendenza visiva, soprattutto sulle sequenze più lunghe in LVBench:

Punteggi di Contributo della modalità (MC) e Contributo per funzionalità (PFC) tra modelli e set di dati, mostrando il peso relativo degli input video (V), domanda (Q) e risposta (A). I colori più freddi indicano contributi più forti; i colori più caldi indicano un’influenza più debole o trascurabile. In quasi tutte le impostazioni, il linguaggio è chiaramente dominante, con il video spesso messo da parte – soprattutto nell’influenza per frame.

Per quanto riguarda il testo, la domanda tendeva a contare più della risposta, soprattutto nei modelli più forti. Ciò era particolarmente evidente in set di dati come EgoSchema, dove le domande erano più lunghe e naturalistiche, mentre le risposte erano brevi e a volte schematiche. MVBench ha invertito leggermente questo, poiché la sua struttura di risposta binaria gonfia l’importanza apparente dei token di risposta.

Across tutti i modelli e i set di dati, tuttavia, la visione è stata costantemente messa da parte, con il linguaggio che svolge la maggior parte del lavoro pesante.

Il documento afferma:

‘[Per] modelli a contesto lungo, il video mostra contributi notevolmente ridotti, il che significa che i valori di Shapley per frame sono molto più piccoli dei loro omologhi testuali.

‘Il video come modalità nel suo complesso è chiaramente ancora molto rilevante, ma ciò è la prova che i valori di Shapley dei suoi singoli frame sono più centrati intorno a zero, e che l’attenzione del modello verso di essi è molto meno guidata rispetto al testo.’

Per testare come ogni parte dell’input (video, testo, ecc.) contribuisca all’accuratezza del modello, i ricercatori hanno condotto test aggiuntivi utilizzando mascheramento – nascondendo intenzionalmente una o più parti dell’input e osservando quanto cambia l’accuratezza del modello di conseguenza.

Se le prestazioni calano notevolmente quando un particolare input viene rimosso, quell’input è probabilmente importante; se il modello si esegue più o meno allo stesso modo, suggerisce che il pezzo mancante non era molto utilizzato. In questo senso, i test di mascheramento sono una sorta di studio di ablazione iterativo.

Impatto delle prestazioni del mascheramento video, domanda o risposta su quattro benchmark VQA. I punteggi mostrano il cambiamento rispetto alla baseline senza mascheramento. Il rosso significa minore accuratezza, il verde maggiore accuratezza. I modelli spesso mantengono punteggi alti senza video, ma perdono di più quando la risposta (testo) viene rimossa. La domanda può generalmente essere mascherata con un effetto minimo.

I risultati (visualizzati sopra) indicano che le risposte (risposte testuali nei dati a scelta multipla) hanno il peso maggiore in generale. Il mascheramento della risposta causa generalmente la più grande caduta di accuratezza, riducendo spesso i modelli a prestazioni quasi casuali.

Tuttavia, il mascheramento della domanda ha generalmente un effetto molto minore, il che supporta la scoperta precedente che i modelli spesso sottovalutano la domanda.

In alcuni casi, l’accuratezza è addirittura migliorata quando la domanda è stata rimossa, il che implica che i modelli stavano talvolta semplicemente abbinando risposte a indizi visivi o testuali piuttosto che valutare correttamente la domanda.

I modelli variavano anche nella loro dipendenza dal video: alcuni mantenevano una ragionevole accuratezza senza di esso, confermando ulteriormente la limitata contribuzione delle funzionalità video nella maggior parte delle impostazioni attuali.

Gli autori hanno successivamente testato se i modelli potessero essere costretti a fare affidamento sul video aggiungendo risposte errate aggiuntive alle opzioni di scelta multipla.

Quando i distrattori erano facili e riciclati da altre domande, le prestazioni miglioravano, poiché i modelli abbinavano modelli di testo senza molto ragionamento. Ma con dieci o più risposte non correlate, iniziavano a fare affidamento di più sul video e sulla domanda:

Contributo per funzionalità e accuratezza per input video, domanda e risposta, man mano che vengono aggiunte risposte errate aggiuntive a ogni test VQA, mostrando che l’aumento del numero di distrattori riduce la dominanza del testo e aumenta l’influenza relativa delle funzionalità visive e di domanda.

Per VideoLLaMA3, il mascheramento del video ha ridotto l’accuratezza del 40% su EgoSchema e del 15% su LVBench, indicando che un semplice aumento del numero di risposte può spostare i modelli dalle scorciatoie testuali verso un ragionamento multimodale genuino.

Gli autori hanno anche esplorato come l’attribuzione sia distribuita tra gli input, e qui sotto vediamo mappe di calore dei valori di Shapley per ogni input del modello:

Mappe di calore dei valori di Shapley per quattro set di dati, dove ogni riga mostra una tupla VQA, e ogni colonna una singola funzionalità. Le funzionalità video appaiono a sinistra, seguite dal testo. I valori molto più forti nelle regioni del testo (rosse) confermano che i modelli si basano molto di più sul linguaggio che sul video.

Commentando i risultati sopra, gli autori affermano:

‘La grandezza dei valori di Shapley è molto più grande verso il lato destro di ogni mappa di calore, che rappresenta le attribuzioni della domanda e della risposta. Questo confine netto è dove finiscono i frame del video e iniziano le funzionalità del testo, dimostrando che il contributo della modalità video è molto inferiore a quello della domanda/risposta. ‘

In sintesi, in tutti i set di dati, i valori sono molto più forti verso l’estremità del testo dello spettro, indicando fortemente che i modelli si basano molto di più sul linguaggio che sui segnali visivi. Anche quando il video viene utilizzato, il contributo è distribuito sottilmente su molti frame, spesso senza un modello coerente.

Qui sotto vediamo un esempio annotato da EgoSchema. I 16 frame più “importanti” sono stati selezionati utilizzando i valori di Shapley e colorati in base alla loro influenza, con il blu che indica un contributo positivo e il rosso un contributo negativo:

Attribuzioni di Shapley per un esempio di EgoSchema, mostrando i 16 frame più influenti e tutti gli input testuali. I contributi del video sono minimi rispetto al testo, che domina il ragionamento del modello. Il blu e il rosso indicano influenza positiva e negativa sulla risposta selezionata.

Il risultato è che quasi ogni frame ha solo un’influenza debole rispetto alle parole nella domanda e nelle risposte. Gli indizi visivi sono sparsi e incoerenti, mentre i nomi come “sedia” e “steccato” guidano il modello verso la scelta corretta – o lontano da essa, a seconda del contesto.

Conclusione

Chiunque abbia mai provato a fare editing video o analisi video sa già quanto questi processi siano dispendiosi in termini di risorse, e capisce perché le aziende che analizzano milioni di richieste di IA al giorno non possono permettersi di eseguire processi di editing e interpretazione video ad hoc e basati sull’utente.

Una cosa da ricordare a questo proposito è che quasi ogni interfaccia API di IA che proverai (con la possibile eccezione di una nuova demo a supporto di una nuova ricerca scientifica) sta cercando di soddisfare i desideri degli utenti al livello minimo di spesa di risorse.

Ciò significa fare affidamento sui metadati esistenti dai dati forniti dall’utente o dalle ricerche RAG, se possibile; e estrarre (se assolutamente necessario) metadati per formati più analizzabili come PDF, documenti e singole immagini.

Ciò che non è in discussione è eseguire il video caricato attraverso CLIP o l’ultimo rilascio di YOLO, o attraverso qualsiasi VLM dispendioso in termini di risorse e tempo che possa effettivamente identificare cosa c’è nei frame e capire cosa sta succedendo nel video fornito, tenendo conto della temporalità.

Tuttavia, ciò non significa che i fenomeni documentati nel documento attuale derivino necessariamente da approcci architettonici parsimoniosi. Gli autori osservano che il testo domina i paradigmi di formazione multimodale attuali in ogni caso, indicando che il “linguaggio visivo” è meno sviluppato, meno importante o informativo all’interno di un contesto multimodale, o (almeno per il momento) meno compreso,

* Interessantemente, il materiale che NotebookLM ha prodotto sembra essere interamente originale o completamente non indicizzato da Google, poiché non sono in grado di trovare risultati Web che potrebbero essere stati introdotti nei dati di formazione e aver provocato questa risposta.

Pubblicato per la prima volta venerdì 31 ottobre 2025; modificato alle 14:20 per la formattazione