Angolo di Anderson

Un codec video per filmati generati dall’IA

Martin Anderson
Aggiungi Unite.AI alle tue fonti preferite su Google
AI-generated image (GPT-2 + Photoshop): an industrial humanoid robot, heavily blurred, holds a vertical strip of 70mm film close to the camera, with the film frames in sharp focus showing a man and a woman standing and conversing. Every third frame is tinted green and the others appear monochrome.
Punti chiaveAdaCodec spende token visivi completi solo sui fotogrammi di riferimento e comprime i…
Vedi di più
  • AdaCodec spende token visivi completi solo sui fotogrammi di riferimento e comprime i fotogrammi tra di essi.
  • Il sistema ha ridotto i token video di circa l'86%, eguagliando o superando il baseline Qwen3-VL-8B non modificato.
  • AdaCodec inserisce fotogrammi di riferimento solo quando le scene cambiano in modo sostanziale, anziché a intervalli fissi.

Mentre si avvia alla fine l’era dell’IA a consumo illimitato, un nuovo approccio economico alla generazione di video con l’IA promette risparmi significativi di token e tempo.

 

Il costo reale dell’inferenza dell’IA introduce una nuova dose di realismo (riferimento correlato) nel ritmo frenetico dell’attuale rivoluzione dell’IA, mentre cresce l’interesse per la razionalizzazione dei costi dell’apprendimento automatico. Oltre alla possibilità di portare l’IA all’interno dell’organizzazione e alla diffusione generale dell’IA privata, sarà chiaramente necessario ottimizzare anche i processi di apprendimento automatico che consumano grandi quantità di VRAM e altre risorse.

La generazione video è forse la principale consumatrice di risorse in questo ambito. Chi ha ricompresso un film o lo ha esportato da un programma di montaggio conosce già il carico che questa attività, estranea all’IA, impone all’hardware: consuma RAM e cicli della CPU e spesso impedisce di usare il computer per altro, se non si limita l’impatto dell’algoritmo di compressione sul sistema.

Basta quindi immaginare in quale misura l’ascesa dei video con IA ripeta questo processo affamato di potenza di calcolo nei data center di tutto il mondo. Su una scala simile, anche i miglioramenti più piccoli diventano subito significativi quando vengono sommati.

Il fotogramma al centro

In quest’ottica, una nuova ricerca condotta a Shanghai in collaborazione con JD.com (JD ) propone un codec video che non riguarda il rendering finale, ossia la compressione di enormi fotogrammi grezzi in un file video più piccolo, bensì il processo stesso di generazione video con IA.

Un normale codec video non memorizza ogni fotogramma come immagine completa. Crea invece un numero ridotto di immagini complete, chiamate fotogrammi I, e poi memorizza le variazioni tra i fotogrammi.

Per esempio, se una persona si muove leggermente in un video, il codec registra solo le parti del fotogramma interessate dal cambiamento, invece di riscrivere l’intera scena. Si tratta dei fotogrammi P, derivati da fotogrammi precedenti, e dei fotogrammi B, che possono utilizzare anche informazioni dei fotogrammi successivi:

Anatomia di un codec video: la fila superiore mostra fotogrammi in successione etichettati I, P e B. I fotogrammi I sono memorizzati integralmente e visualizzati a colori, mentre i P e i B sono attenuati per indicarne la ricostruzione. Le frecce mostrano se vengono utilizzati fotogrammi precedenti, successivi o entrambi. I pannelli inferiori mostrano un fotogramma memorizzato per intero (I, a sinistra), uno costruito da un fotogramma precedente (P, secondo da sinistra) e uno costruito da fotogrammi precedenti e successivi (B, a destra).

Anatomia di un codec video: la fila superiore mostra fotogrammi in successione etichettati I, P e B. I fotogrammi I sono memorizzati integralmente e visualizzati a colori, mentre i P e i B sono attenuati per indicarne la ricostruzione. Le frecce mostrano se vengono utilizzati fotogrammi precedenti, successivi o entrambi. I pannelli inferiori mostrano un fotogramma memorizzato per intero (I, a sinistra), uno costruito da un fotogramma precedente (P, secondo da sinistra) e uno costruito da fotogrammi precedenti e successivi (B, a destra).

Questo riutilizzo di informazioni vicine mantiene contenute le dimensioni dei file video. La maggior parte dei fotogrammi non è costituita da nuove immagini, ma da istruzioni che descrivono come è cambiato il fotogramma precedente. I fotogrammi I sono quindi immagini complete, non compresse o compresse solo in minima parte, che occupano molto spazio. Quelli intermedi contengono soltanto le differenze rispetto ai fotogrammi I e tra loro.

Quando ogni singolo fotogramma è un’immagine completa non compressa, il film sostanzialmente non ha alcuna compressione. Salvato come video non compresso, un film di due ore richiederebbe quasi un terabyte di spazio su disco, o più. Eppure è così che l’IA crea i film†: assegna risorse e token in egual misura a ogni fotogramma mentre calcola come comporre il video.

Risparmi su larga scala

Il nuovo lavoro, intitolato AdaCodec: A Predictive Visual Code for Video MLLMs, impiega invece i token visivi completi esclusivamente per i fotogrammi di riferimento (fotogrammi I), rappresentando tutti quelli intermedi con «token P compatti». Il principio è chiaramente ripreso dalla compressione tradizionale dei codec video del mondo reale.

Dopo questa compressione interna, il video prodotto dall’IA generativa può essere compresso normalmente. In teoria, tutti i risparmi si realizzano sul lato server:

Panoramica di AdaCodec. A sinistra, i video sono suddivisi in gruppi adattivi di immagini: i fotogrammi I completi sono riservati ai momenti difficili da prevedere, mentre i P intermedi sono rappresentati mediante informazioni compatte di movimento e residuo. A destra, il sistema eguaglia o supera Qwen3-VL-8B in undici benchmark, mantiene una maggiore accuratezza sui video lunghi con diversi budget di token e riduce la latenza di risposta elaborando molti meno token video. Fonte: https://arxiv.org/pdf/2606.02569

Panoramica di AdaCodec. A sinistra, i video sono suddivisi in gruppi adattivi di immagini: i fotogrammi I completi sono riservati ai momenti difficili da prevedere, mentre i P intermedi sono rappresentati mediante informazioni compatte di movimento e residuo. A destra, il sistema eguaglia o supera Qwen3-VL-8B in undici benchmark, mantiene una maggiore accuratezza sui video lunghi con diversi budget di token e riduce la latenza di risposta elaborando molti meno token video. Fonte

I risultati pubblicati dei test di AdaCodec indicano che vale la pena perseguire questi risparmi. Secondo il lavoro, il sistema ha superato il modello Qwen3-VL-8B non modificato in tutti i principali benchmark, a parità di elaborazione. Ha continuato a eguagliarne o superarne le prestazioni anche dopo aver ridotto i token video di circa l’86%.

Gli autori affermano*:

«Ci ispiriamo alla codifica predittiva, in cui un sistema trasmette gli errori di una previsione invece del segnale grezzo. Questo principio ha un fondamento biologico: si ritiene che il sistema visivo codifichi gli errori di previsione, cioè la differenza tra l’input atteso e quello osservato, anziché l’input stesso.»

«I codec video moderni utilizzano in ingegneria la stessa idea di codifica residuale: i fotogrammi di riferimento contengono l’intero contenuto, mentre quelli predittivi contengono segnali di movimento e residuo relativi a un fotogramma di riferimento.»

«Questi sistemi hanno obiettivi diversi, ma condividono la stessa struttura condizionale: quando i campioni vicini sono ridondanti, il canale dovrebbe trasportare ciò che la previsione non riesce a spiegare.»

«I codec standard, tuttavia, ottimizzano i flussi di bit e la ricostruzione destinata alla visione umana, non i token visivi consumati da un LLM. Riprogettiamo quindi questo meccanismo come interfaccia MLLM per la comprensione dei video.»

Il nuovo lavoro, firmato da 11 ricercatori della Shanghai Jiao Tong University, dello Shanghai Innovation Institute e di JD.com, è accompagnato da una pagina del progetto e dalla promessa di pubblicare il codice sorgente.

Metodo

Come spiegato, il sistema non tratta ogni fotogramma come un’immagine completamente nuova, ma cerca le variazioni tra un fotogramma e il successivo. A sinistra nell’immagine seguente, una piccola regione del fotogramma attuale viene confrontata con la regione più simile di uno precedente:

Schema generale di AdaCodec.

Schema generale di AdaCodec.

La distanza tra le due posizioni diventa un vettore di movimento, mentre le differenze visive rimanenti costituiscono un residuo. Queste descrizioni compatte eliminano la necessità di memorizzare un’immagine completa.

A destra, le informazioni ottenute vengono fornite al modello di IA. I fotogrammi di riferimento importanti sono ancora elaborati come immagini complete, ma quelli intermedi sono rappresentati da token di movimento e residuo molto più piccoli. Ciò sembra consentire al modello di conservare informazioni sufficienti per interpretare il video, elaborando molti meno dati visivi.

Una sfida interessante è decidere quali fotogrammi meritino di essere memorizzati per intero. I codec tradizionali inseriscono solitamente fotogrammi di riferimento a intervalli regolari, che siano necessari o meno. AdaCodec cerca invece di individuare i momenti più importanti.

Immaginiamo una scena in cui due persone conversano quasi immobili in un appartamento. All’improvviso, una squadra SWAT irrompe dalla finestra. I punti di vista della telecamera e il numero di tagli di montaggio aumentano immediatamente, richiedendo molti più dati di quanti possa fornirne un intervallo regolare tra i fotogrammi di riferimento:

Sequenza di fotogrammi che mostra una stanza vuota, due persone che conversano, un gruppo che entra dalla finestra, le due persone scortate fuori e la stanza nuovamente vuota. La striscia inferiore di fotogrammi intermedi mostra gli stessi eventi su una linea temporale più lunga, con fotogrammi selezionati evidenziati in blu. Una scala orizzontale reca la dicitura «Scene Intensity» (intensità della scena). Nella fila inferiore di blocchi colorati, due blocchi verdi sono separati da blocchi grigi sotto la dicitura «Inadequate Reference Frames» (fotogrammi di riferimento insufficienti).

È questa la logica dei metodi di compressione variabile, come il bitrate variabile: analizzano il video sorgente per individuare questi passaggi ricchi di azione e assegnano più dati dove servono, con un costo tutt’altro che trascurabile in termini di tempo e risorse.

In AdaCodec, se un fotogramma può essere previsto con precisione da quelli vicini, il sistema continua a usare token compatti di movimento e residuo. Se la scena cambia in modo sostanziale, come nell’esempio della squadra SWAT o in modo meno spettacolare, viene inserito un fotogramma di riferimento completo. Una quota maggiore del budget di elaborazione può così essere destinata alle informazioni visive importanti, anziché essere distribuita uniformemente su tutto il video.

Dati e test

Nei test, i ricercatori hanno usato il citato Qwen3-VL-8B come modello di base e valutato AdaCodec in undici benchmark che coprono tre aree della comprensione video: le prestazioni sui video lunghi sono state valutate con MLVU, LongVideoBench e LVBench; la comprensione temporale con TempCompass, MotionBench e TOMATO; e la comprensione generale dei video con Video-MME, MVBench, NExT-QA, PerceptionTest e EgoSchema.

I modelli open source testati sono stati InternVL3.5-8B; Keye-VL-1.5-8B; GLM-4.1V-9B; MiniCPM-V-4.5-8B; Eagle2.5-8B; PLM-8B; LLaVA-Video-7B; VideoChat-Flash-7B; Molmo2-8B; e Molmo2-O-7B.

Le varianti di GPT-5, Gemini e Claude compaiono nella tabella seguente solo come riferimenti di confronto. CoPE-VideoLM-7B e ReMoRa-7B sono precedenti modelli di linguaggio video che riducono l’uso di token visivi mediante una compressione ispirata ai codec. Sono quindi i concorrenti diretti più vicini ad AdaCodec:

Risultati principali in undici benchmark che coprono la comprensione dei video lunghi, il ragionamento temporale e la comprensione generale dei video. Punteggi più alti indicano prestazioni migliori. LVB = LongVideoBench; V-MME = Video-MME. I valori in grassetto e sottolineati indicano i punteggi migliori e i secondi migliori tra i modelli open source. I punteggi dei modelli chiusi provengono dai rapporti ufficiali, quando disponibili; i risultati mancanti sono stati ricavati da Molmo2 o valutati dagli autori.

Risultati principali in undici benchmark che coprono la comprensione dei video lunghi, il ragionamento temporale e la comprensione generale dei video. Punteggi più alti indicano prestazioni migliori. LVB = LongVideoBench; V-MME = Video-MME. I valori in grassetto e sottolineati indicano i punteggi migliori e i secondi migliori tra i modelli open source. I punteggi dei modelli chiusi provengono dai rapporti ufficiali, quando disponibili; i risultati mancanti sono stati ricavati da Molmo2 o valutati dagli autori.

Per garantire un confronto equo, ad AdaCodec e al sistema Qwen3-VL-8B standard è stato assegnato lo stesso numero di token visivi. I risultati riflettono così l’efficacia del metodo di compressione e non differenze nelle risorse di calcolo.

Con l’impostazione di compressione più spinta, AdaCodec ha ridotto l’uso di token visivi di circa l’86%, eguagliando o superando leggermente il sistema di base nei compiti di comprensione dei video lunghi, comprensione temporale e comprensione generale dei video.

Reinvestendo i token risparmiati nell’elaborazione di un maggior numero di fotogrammi, le prestazioni sono migliorate in tutti i benchmark sui video lunghi e in tutti quelli temporali. I guadagni hanno raggiunto +5,4 punti su LongVideoBench e +4,3 punti su TOMATO, producendo alcuni dei migliori risultati open source dello studio.

Conclusione

Sebbene questi progetti si rivolgano di norma ai fornitori hyperscale, questo tipo di lavoro interesserà anche gli appassionati e le PMI. Potrebbe rientrare in una nuova forma di sobrietà pubblica attorno all’impiego locale e razionalizzato dell’IA.

Nelle comunità come r/stablediffusion è una pratica ben nota: ogni importante rilascio di un modello open source viene regolarmente spinto verso una versione estremamente ottimizzata (GGUF, pesi quantizzati, ecc.), capace di funzionare su schede grafiche di fascia bassa, con un po’ di pazienza.

Se la fase orientata allo spettacolo di questa terza ondata dell’IA è davvero finita e si suppone che le aziende saranno scoraggiate dai costi reali dell’inferenza, iniziative come AdaCodec potrebbero far parte di una prossima «grande ottimizzazione».

 

† Non si tratta dell’esportazione del video in un formato e in una dimensione del file adatti all’utente, ma della generazione e dell’assemblaggio interni dei fotogrammi che avvengono nel modello di IA durante l’inferenza.

* Ho trasformato, entro limiti ragionevoli, i riferimenti bibliografici degli autori nel testo in collegamenti ipertestuali.

Prima pubblicazione: giovedì 4 giugno 2026

Scrittore di apprendimento automatico, specialista di dominio nella sintesi di immagini umane. Ex responsabile dei contenuti di ricerca presso Metaphysic.ai, fino alla sua fusione nella Brahma.ai di DNEG.
Sito web: martinanderson.ai
Contatto: martin@martinanderson.ai