Un codec pentru material video generat de IA

Pe măsură ce epoca utilizării fără limite a IA se apropie de sfârșit, o nouă abordare economică a generării video cu IA promite economii semnificative de tokeni și timp.

Costul real al inferenței IA aduce o nouă doză de realism (referință conexă) în ritmul amețitor al actualei revoluții a IA. În același timp, crește interesul pentru raționalizarea costului învățării automate. Pe lângă posibilitatea de a muta IA în infrastructura proprie a organizației și extinderea generală a IA private, trebuie în mod evident optimizate și procesele de învățare automată care consumă cantități mari de VRAM și alte resurse.

Generarea video este probabil cel mai mare consumator de resurse în această privință. Dacă ați recomprimat vreodată un film sau l-ați exportat dintr-un program de editare video, cunoașteți deja solicitarea pe care această sarcină fără IA o impune echipamentului: consumă RAM și cicluri CPU și adesea împiedică folosirea calculatorului în alte scopuri, dacă nu se limitează impactul algoritmului de compresie asupra sistemului gazdă.

Este suficient, așadar, să ne imaginăm la ce scară reproduce ascensiunea video-ului cu IA acest proces avid de putere de calcul în centrele de date din întreaga lume. La o asemenea scară, chiar și cele mai mici câștiguri devin imediat semnificative atunci când sunt însumate.

Cadrul în prim-plan

În acest context, un nou studiu din Shanghai, realizat în colaborare cu JD.com (JD ), propune un codec video care nu vizează randarea finală, adică comprimarea unor cadre brute uriașe într-un fișier video mai mic, ci însuși procesul de generare video cu IA.

Un codec video obișnuit nu stochează fiecare cadru ca imagine completă. În schimb, creează un număr mai mic de imagini complete, numite cadre I, apoi stochează modificările dintre cadre.

De exemplu, dacă o persoană se mișcă puțin într-un video, codecul înregistrează doar părțile cadrului în care apare modificarea, în loc să rescrie întreaga scenă. Acestea sunt cadrele P, derivate din cadre anterioare, și cadrele B, care pot utiliza și informații din cadre ulterioare:

Anatomia unui codec video: rândul superior prezintă cadre succesive etichetate I, P și B. Cadrele I sunt stocate integral și afișate în culori, iar cadrele P și B sunt estompate pentru a indica reconstrucția. Săgețile arată dacă se folosesc cadre anterioare, ulterioare sau ambele. Panourile inferioare prezintă un cadru stocat integral (I, stânga), unul construit dintr-un cadru anterior (P, al doilea din stânga) și unul construit din cadre anterioare și ulterioare (B, dreapta).

Reutilizarea informațiilor apropiate menține dimensiunea redusă a fișierelor video. Majoritatea cadrelor nu funcționează ca imagini noi, ci ca instrucțiuni care descriu schimbările față de cadrul precedent. Cadrele I sunt, așadar, imagini complete, voluminoase, necomprimate sau comprimate foarte puțin. Cadrele intermediare conțin numai diferențele față de cadrele I și dintre ele.

Când fiecare cadru în parte este o imagine completă necomprimată, filmul practic nu are compresie. Stocat astfel, un film de două ore ar necesita aproape un terabyte de spațiu pe disc sau mai mult. Totuși, așa creează IA filme^†: alocă aceleași resurse și același număr de tokeni fiecărui cadru atunci când calculează cum să compună video-ul.

Economii la scară mare

Noua lucrare, intitulată AdaCodec: A Predictive Visual Code for Video MLLMs, folosește tokenii vizuali compleți exclusiv pentru cadrele de referință (cadre I), în timp ce toate cadrele intermediare sunt reprezentate prin „tokeni P compacți”. Principiul este evident preluat din compresia tradițională a codecurilor video din lumea reală.

După această compresie internă, video-ul produs de IA generativă poate fi comprimat în mod obișnuit. În teorie, toate economiile se realizează pe server:

Prezentare generală a AdaCodec. În stânga, videourile sunt împărțite în grupuri adaptive de imagini. Cadrele I complete sunt rezervate momentelor greu de prezis, iar cadrele P intermediare sunt reprezentate prin informații compacte despre mișcare și reziduu. În dreapta, sistemul egalează sau depășește Qwen3-VL-8B în unsprezece teste de referință, menține o precizie mai mare pentru videourile lungi la diferite bugete de tokeni și reduce latența răspunsului, procesând considerabil mai puțini tokeni video. Sursă

Rezultatele raportate ale testelor AdaCodec arată că aceste economii merită urmărite. Potrivit lucrării, sistemul a depășit modelul nemodificat Qwen3-VL-8B în toate testele de referință importante, cu același volum de procesare. A continuat să egaleze sau să depășească performanța modelului chiar și după reducerea tokenilor video cu aproximativ 86%.

Autorii afirmă*:

„Ne inspirăm din codarea predictivă, în care un sistem transmite erorile unei predicții în locul semnalului brut. Principiul are o bază biologică: se consideră că sistemul vizual codifică erori de predicție, adică diferența dintre intrarea așteptată și cea observată, în locul intrării în sine.”

„Codecurile video moderne folosesc în inginerie aceeași idee de codare reziduală: cadrele de referință conțin întregul conținut, iar cadrele predictive conțin semnale de mișcare și reziduu raportate la un cadru de referință.”

„Aceste sisteme au obiective diferite, dar aceeași structură condițională: când eșantioanele apropiate conțin informație redundantă, canalul ar trebui să transporte ceea ce predicția nu reușește să explice.”

„Totuși, codecurile standard optimizează fluxurile de biți și reconstrucția destinată vizionării umane, nu tokenii vizuali consumați de un LLM. De aceea reproiectăm mecanismul ca interfață MLLM pentru înțelegerea video.”

Noua lucrare este semnată de 11 cercetători de la Universitatea Jiao Tong din Shanghai, Shanghai Innovation Institute și JD.com. Există o pagină a proiectului, iar publicarea codului sursă este promisă.

Metodă

După cum am explicat, sistemul nu tratează fiecare cadru ca pe o imagine complet nouă, ci caută modificările de la un cadru la următorul. În stânga imaginii de mai jos, o mică regiune din cadrul actual este comparată cu regiunea cea mai asemănătoare dintr-un cadru anterior:

Schema generală a AdaCodec.

Distanța dintre cele două poziții devine un vector de mișcare, iar diferențele vizuale rămase formează un reziduu. Aceste descrieri compacte înlocuiesc necesitatea de a stoca o imagine completă.

În dreapta, informațiile obținute sunt introduse în modelul IA. Cadrele de referință importante sunt în continuare procesate ca imagini complete, dar cele intermediare sunt reprezentate prin tokeni de mișcare și reziduu mult mai mici. Aparent, acest lucru permite modelului să păstreze suficiente informații pentru a interpreta video-ul, procesând în același timp considerabil mai puține date vizuale.

O provocare interesantă este alegerea cadrelor care merită stocate integral. Codecurile tradiționale introduc de obicei cadre de referință la intervale regulate, indiferent dacă sunt necesare. AdaCodec încearcă să identifice momentele cele mai importante.

Imaginați-vă o scenă în care două persoane discută aproape nemișcate într-un apartament. Brusc, o echipă SWAT pătrunde pe fereastră. Numărul unghiurilor camerei și al tăieturilor de montaj crește imediat, necesitând mult mai multe date decât poate oferi un interval regulat între cadrele de referință:

Acesta este principiul metodelor de compresie variabilă, precum rata de biți variabilă. Ele analizează video-ul sursă pentru a identifica aceste secvențe agitate și alocă mai multe date acolo unde sunt necesare, cu un cost deloc neglijabil de timp și resurse.

Dacă AdaCodec poate prezice cu precizie un cadru din cadre apropiate, sistemul continuă să folosească tokeni compacți de mișcare și reziduu. Dacă scena se schimbă substanțial, ca în exemplul SWAT sau într-un mod mai puțin spectaculos, se inserează un cadru de referință complet. O parte mai mare a bugetului de procesare disponibil poate fi astfel dedicată informațiilor vizuale importante, în loc să fie distribuită uniform pe întregul video.

Date și teste

Cercetătorii au folosit modelul Qwen3-VL-8B menționat anterior ca bază și au evaluat AdaCodec în unsprezece teste de referință care acoperă trei domenii de înțelegere video: performanța pentru videouri lungi a fost evaluată cu MLVU, LongVideoBench și LVBench; înțelegerea temporală cu TempCompass, MotionBench și TOMATO; și înțelegerea generală a video-ului cu Video-MME, MVBench, NExT-QA, PerceptionTest și EgoSchema.

Modelele cu sursă deschisă testate au fost InternVL3.5-8B; Keye-VL-1.5-8B; GLM-4.1V-9B; MiniCPM-V-4.5-8B; Eagle2.5-8B; PLM-8B; LLaVA-Video-7B; VideoChat-Flash-7B; Molmo2-8B și Molmo2-O-7B.

Variantele GPT-5, Gemini și Claude apar în tabelul de mai jos numai ca repere de comparație. CoPE-VideoLM-7B și ReMoRa-7B sunt modele anterioare de limbaj video care reduc utilizarea tokenilor vizuali prin compresie inspirată de codecuri. Sunt astfel cei mai apropiați concurenți direcți ai AdaCodec:

Rezultatele principale în unsprezece teste de referință pentru înțelegerea videourilor lungi, raționament temporal și înțelegere video generală. Scoruri mai mari înseamnă performanțe mai bune. LVB = LongVideoBench; V-MME = Video-MME. Valorile aldine și subliniate indică scorurile cele mai mari și pe cele de pe locul al doilea între modelele cu sursă deschisă. Scorurile modelelor închise provin din rapoarte oficiale, când acestea sunt disponibile. Rezultatele lipsă au fost preluate din Molmo2 sau evaluate de autori.

Pentru o comparație echitabilă, AdaCodec și sistemul standard Qwen3-VL-8B au primit același număr de tokeni vizuali. Rezultatele reflectă astfel eficacitatea metodei de compresie, nu diferențe de resurse de calcul.

La setarea de compresie cea mai puternică, AdaCodec a redus utilizarea tokenilor vizuali cu aproximativ 86%, egalând sau depășind ușor sistemul de bază la sarcini de înțelegere a videourilor lungi, înțelegere temporală și înțelegere video generală.

Când tokenii economisiți au fost folosiți pentru procesarea mai multor cadre, performanța s-a îmbunătățit în toate testele pentru videouri lungi și în toate testele temporale. Câștigurile au ajuns la +5,4 puncte în LongVideoBench și +4,3 puncte în TOMATO, cu unele dintre cele mai bune rezultate cu sursă deschisă din studiu.

Concluzie

Deși asemenea proiecte se adresează de obicei furnizorilor la scară foarte mare, acest tip de efort va interesa și pasionații și IMM-urile. Ar putea face parte dintr-o nouă formă de cumpătare publică în jurul implementării locale și raționalizate a IA.

În comunități precum r/stablediffusion, aceasta este o practică veche: fiecare lansare majoră a unui model cu sursă deschisă este împinsă în mod regulat spre o versiune extrem de optimizată (GGUF, ponderi cuantizate etc.) care poate rula pe plăci grafice mai modeste, cu puțină răbdare.

Dacă etapa axată pe spectacol a acestui al treilea val al IA s-a încheiat într-adevăr și presupunem că firmele vor fi descurajate de costurile reale ale inferenței, inițiative precum AdaCodec ar putea face parte dintr-o viitoare „mare optimizare”.

^† Nu este vorba despre exportarea video-ului într-un format și la o dimensiune de fișier potrivite utilizatorului, ci despre generarea și asamblarea internă a cadrelor în modelul IA în timpul inferenței.

* Am transformat, în limite rezonabile, referințele autorilor din text în hyperlinkuri.

Publicat prima dată joi, 4 iunie 2026