Un Codec Video per Footage Generato da Intelligenza Artificiale

Man mano che l’era dell’intelligenza artificiale “tutto ciò che puoi mangiare” giunge al termine, un nuovo approccio economico alla generazione di video di intelligenza artificiale promette notevoli risparmi in token e tempo.

Il vero costo dell’inferenza di intelligenza artificiale sta portando una nuova nota di sobrietà al ritmo frenetico della rivoluzione dell’intelligenza artificiale attuale, con un aumento dell’interesse per la razionalizzazione dei costi dell’apprendimento automatico. Oltre al potenziale di portare l’intelligenza artificiale in casa, e la generale ascesa di intelligenza artificiale privata, le routine di apprendimento automatico affamato di VRAM e risorse dovranno essere ottimizzate.

La generazione di video è forse il più grande colpevole, a questo riguardo. Se hai mai ricompresso un film o esportato uno da una suite di editing video, già sai l’impatto che questo particolare compito (non di intelligenza artificiale) ha sul tuo hardware – mangiando RAM e cicli di CPU, e spesso bloccando la macchina per qualsiasi altro uso, a meno che non vengano prese misure per limitare l’impatto dell’algoritmo di compressione sul computer host.

Quindi si può solo immaginare l’entità in cui la crescita del video di intelligenza artificiale sta ripetendo questa procedura “assetata di potenza” in centri di dati in tutto il mondo. A quella scala di operazione, i più piccoli guadagni diventano immediatamente significativi nel calcolo complessivo.

Nel Quadro

Con questo in mente, una nuova offerta di ricerca da Shanghai, in collaborazione con JD.com, propone un codec video non destinato al processo di rendering (il processo di compressione di grandi frame grezzi in un file video di dimensioni più piccole), ma al processo di generazione di video di intelligenza artificiale stesso.

Un codec video normale funziona non memorizzando ogni frame come un’immagine completa, ma creando un numero più piccolo di immagini complete, chiamate frame I, e poi memorizzando le modifiche tra i frame.

Ad esempio, se una persona si muove leggermente in un video, il codec registra solo le parti del frame che registrano quel cambiamento, piuttosto che riscrivere l’intera scena. Questi sono frame P, che sono derivati da frame precedenti, e frame B, che possono anche anticipare informazioni in frame futuri:

Anatomia di un codec video: la riga superiore mostra i frame nel tempo etichettati con I, P e B, con i frame I memorizzati integralmente in pieno colore e i frame P e B mostrati sfumati per indicare la ricostruzione; le frecce indicano se i frame utilizzano frame precedenti, frame successivi o entrambi; i pannelli inferiori rappresentano un frame memorizzato integralmente (frame I, a sinistra), un frame costruito da un frame precedente (frame P, secondo da sinistra) e un frame costruito da frame precedenti e successivi (frame B, a destra).

Questo riutilizzo di informazioni vicine è il motivo per cui i file video rimangono piccoli, con la maggior parte dei frame che funzionano non come nuove immagini, ma come istruzioni che descrivono come il frame precedente è cambiato. Quindi i frame I costituiscono immagini “a pieno titolo”, ingordi di spazio, non compressi (o minimamente compressi), con i frame tra di loro costituenti solo la differenza tra i frame I (e tra di loro).

Quando ogni singolo frame è un’immagine non compressa, il film essenzialmente non ha nessuna compressione. Salvare un film in questo modo, come video non compresso, richiederebbe quasi (o più di) un terabyte di spazio su disco. Eppure questo è come l’intelligenza artificiale crea film^† – dedicando risorse e token uguali a ogni frame, quando calcola come formulare il video.

Economia di Scala

Il nuovo lavoro, intitolato AdaCodec: un Codice Visivo Predittivo per Video MLLM, spende invece token visivi completi esclusivamente su frame di riferimento (frame I), con tutti i frame intermedi resi come “token P compatti” – un paradigma chiaramente preso dalla compressione tradizionale impiegata dai codec video del “mondo reale”.

Dopo che questa compressione interna ha avuto luogo, il video di intelligenza artificiale può quindi essere compresso normalmente, e, in teoria, tutti i risparmi sono sul lato server:

Panoramica di AdaCodec. A sinistra, i video sono divisi in gruppi di immagini adattivi, con frame I completi riservati per momenti difficili da prevedere e frame P intermedi rappresentati utilizzando informazioni di moto e residuo compatte. A destra, il sistema risultante corrisponde o supera Qwen3-VL-8B in undici benchmark, mantiene una maggiore accuratezza dei video lunghi in tutti i budget di token e riduce la latenza di risposta mentre elabora sostanzialmente meno token video. Fonte

I risparmi, secondo i risultati riportati dai test per AdaCodec, sono degni di essere perseguiti; il documento afferma che il sistema ha superato il modello Qwen3-VL-8B non modificato in tutti i principali benchmark, utilizzando la stessa quantità di elaborazione; e ha ancora corrisposto o superato le prestazioni di quel modello dopo aver tagliato i token video di circa l’86%.

Gli autori affermano*:

‘Traggiamo ispirazione dalla codifica predittiva, dove un sistema trasmette errori da una previsione piuttosto che il segnale grezzo. Questo principio ha un fondamento biologico: il sistema visivo è pensato per codificare errori di previsione, la discrepanza tra input atteso e osservato, piuttosto che l’input stesso.

‘I codec video moderni utilizzano la stessa idea di codifica residuale nell’ingegneria: i frame di riferimento contengono il contenuto completo, mentre i frame predittivi contengono segnali di moto e residuo relativi ad un riferimento.

‘Questi sistemi hanno obiettivi diversi, ma condividono la stessa struttura condizionale: quando i campioni vicini sono ridondanti, il canale dovrebbe trasportare ciò che la previsione non riesce a spiegare.

‘I codec standard, tuttavia, sono ottimizzati per bitstream e ricostruzione visibile per l’uomo, non per token visivi consumati da un LLM. Quindi ridisegniamo questo meccanismo come un’interfaccia MLLM per la comprensione del video.’

Il nuovo lavoro, scritto da 11 ricercatori dell’Università Jiao Tong di Shanghai, dell’Istituto di Innovazione di Shanghai e di JD.com, arriva con una pagina del progetto associata, con la promessa di rilascio del codice sorgente.

Metodo

Come discusso, invece di trattare ogni frame come un’immagine completamente nuova, il sistema cerca cosa è cambiato tra un frame e il successivo. A sinistra, nell’immagine seguente, vediamo una piccola regione del frame attuale che è abbinata alla regione più simile in un frame precedente:

Panoramica dello schema per AdaCodec.

La distanza tra le due posizioni diventa un vettore di moto, mentre le eventuali differenze visive residue diventano un residuo, con queste descrizioni compatte che sostituiscono la necessità di memorizzare un’immagine completa.

A destra, vediamo le informazioni risultanti alimentate nel modello di intelligenza artificiale: i frame di riferimento importanti sono ancora elaborati come immagini complete, ma i frame intermedi sono rappresentati da token di moto e residuo molto più piccoli – apparentemente permettendo al modello di conservare abbastanza informazioni per analizzare il video, mentre elabora notevolmente meno dati visivi.

Una sfida interessante è decidere quali frame meritano di essere memorizzati integralmente: i codec video tradizionali di solito posizionano i frame di riferimento ad intervalli regolari, indipendentemente dal fatto che siano necessari o no. AdaCodec, invece, tenta di identificare i momenti che contano di più.

Ad esempio, considera una scena che rappresenta principalmente una conversazione statica tra due persone in un appartamento – e improvvisamente una squadra SWAT irrompe nella finestra. Immediatamente le viste della telecamera e il numero di tagli di montaggio aumenteranno e richiederanno molto più dati di quanto un intervallo di frame di riferimento regolarizzato possa fornire:

Questo è il logico dietro i metodi di compressione a bitrate variabile (bitrate variabile), che analizzano il video sorgente per periodi “affollati” e assegnano più dati dove sono necessari – al costo non trascurabile di tempo e risorse.

In AdaCodec, se un frame può essere previsto con precisione da frame vicini, il sistema continua utilizzando token di moto e residuo compatti; se la scena cambia sostanzialmente (ad esempio, l’esempio di SWAT sopra, o qualcosa di meno drammatico), un frame di riferimento completo viene inserito. Ciò consente di spendere più del budget di elaborazione disponibile per informazioni visive importanti invece di distribuirlo uniformemente su tutto il video.

Dati e Test

Nei test, i ricercatori hanno utilizzato il sopracitato Qwen3-VL-8B come modello di base e hanno valutato AdaCodec su undici benchmark che coprono tre aree di comprensione del video: prestazioni dei video lunghi sono state valutate con MLVU, LongVideoBench e LVBench; comprensione temporale con TempCompass, MotionBench e TOMATO; e comprensione video generale con Video-MME, MVBench, NExT-QA, PerceptionTest e EgoSchema.

I modelli open source testati sono stati InternVL3.5-8B; Keye-VL-1.5-8B; GLM-4.1V-9B; MiniCPM-V-4.5-8B; Eagle2.5-8B; PLM-8B; LLaVA-Video-7B; VideoChat-Flash-7B; Molmo2-8B; e Molmo2-O-7B.

Le varianti GPT-5, Gemini e Claude appaiono nella tabella seguente solo come baseline di confronto. CoPE-VideoLM-7B e ReMoRa-7B sono modelli di linguaggio video precedenti che riducono l’utilizzo di token visivi attraverso la compressione ispirata ai codec, rendendoli i concorrenti diretti più vicini ad AdaCodec:

Risultati principali su undici benchmark che coprono la comprensione dei video lunghi, la ragionamento temporale e la comprensione video generale. I punteggi più alti indicano prestazioni migliori. LVB = LongVideoBench; V-MME = Video-MME. I valori in grassetto e sottolineato indicano i punteggi più alti e secondi più alti tra i modelli open source. I punteggi per i modelli closed-source sono stati presi dai rapporti ufficiali quando disponibili, con risultati mancanti presi da Molmo2 o valutati dagli autori.

Per garantire un confronto equo, è stato allocato lo stesso numero di token visivi ad AdaCodec e al sistema Qwen3-VL-8B standard, permettendo ai risultati di riflettere l’efficacia dell’approccio di compressione, piuttosto che eventuali differenze nelle risorse di calcolo.

Al livello di impostazione più aggressivo, AdaCodec ha ridotto l’utilizzo di token visivi di circa l’86% mentre corrispondeva o superava leggermente il sistema di base su compiti di video lunghi, temporali e di comprensione video generale.

Quando i token salvati sono stati reinvestiti nell’elaborazione di più frame video, le prestazioni sono migliorate in tutti i benchmark di video lunghi e in tutti i benchmark temporali, con guadagni che raggiungono +5,4 punti su LongVideoBench e +4,3 punti su TOMATO, mentre produce alcuni dei risultati open source più forti nello studio.

Conclusione

Sebbene progetti di questo tipo siano solitamente destinati a provider hyperscale, questo è il tipo di sforzo che sarà di interesse per gli appassionati e le PMI, come parte di una potenziale nuova “ascesi pubblica” intorno alla distribuzione locale e razionalizzata dell’intelligenza artificiale.

In comunità come r/stablediffusion, questo è vecchia notizia, poiché ogni importante rilascio open source che arriva lì è regolarmente tormentato in una versione iper-ottimizzata (GGUF, pesi quantizzati, ecc.) in grado di funzionare, con un po’ di pazienza, su schede grafiche di fascia inferiore.

Se la “fase performatica” di questo terzo aumento dell’intelligenza artificiale è davvero finita, e supponendo che le aziende saranno respinte dai veri costi dell’inferenza, allora iniziative come AdaCodec potrebbero costituire parte di una “grande ottimizzazione” in arrivo.

^† Questo non è lo stesso che eseguire il rendering del video in un formato/file dimensione utente-friendly; piuttosto, si occupa della generazione e della raccolta interna di frame che si verificano all’interno del modello di intelligenza artificiale al momento dell’inferenza.

* La mia conversione, entro ragionevoli limiti, delle citazioni in linea degli autori in collegamenti ipertestuali.

Pubblicato per la prima volta giovedì, 4 giugno 2026