En video codec for AI-generert footage

Da den all-you-can-eat-æraen for AI nærmer seg slutten, lover en økonomisk ny tilnærming til AI-video-generering betydelige besparelser i tokens og tid.

Den virkelige kostnaden av AI-inferens bringer en ny note av beskjedenhetsgrad til den raske utviklingen av den nåværende AI-revolusjonen, med økt interesse for å rasjonalisere kostnaden av maskinlæring. Foruten potensialet for å bringe AI hjemme, og den generelle økningen av privat AI, vil VRAM-hungry og ressurs-gobbling maskinlærings-rutiner også trenge å optimaliseres.

Video-generering er kanskje den største forbryteren i denne sammenhengen. Hvis du noensinne har gjort om en film eller eksportert en ut fra en video-redigerings-suite, vet du allerede belastningen som denne spesifikke (ikke-AI) oppgaven påfører maskinvaren din – spiser RAM og CPU-sykluser, og blokkerer ofte maskinen for annen bruk, med mindre det tas tiltak for å begrense kompresjonsalgoritmens påvirkning på vertsmaskinen.

Derfor trenger man bare å forestille seg omfanget av hvordan den økende bruken av AI-video gjentar denne ‘kraft-til-hungrende’ prosessen i datasentre over hele verden. På denne skalaen blir de minste gevinstene umiddelbart betydelige i den samlede regnskapsføringen.

I rammen

Med dette i mente, er en ny forskningsrapport fra Shanghai, i samarbeid med JD.com (JD ), foreslått en video codec som ikke er rettet mot utrenderings-prosessen (prosessen med å komprimere store, rå rammer til en mindre video-fil-størrelse), men mot den faktiske AI-video-genererings-prosessen selv.

En vanlig video codec fungerer ved å ikke lagre hver enkelt rame som et fullstendig bilde, men ved å lage et mindre antall fullstendige bilder, kalt I-rammer, og deretter lagre endringer mellom rammer.

For eksempel, hvis en person beveger seg litt i en video, registrerer codecen bare de delene av ramen som registrerer denne endringen, i stedet for å skrive om hele scenen. Disse er P-rammer, som er avledet fra tidligere rammer, og B-rammer, som også kan forutse informasjon i fremtidige rammer:

Anatomi av en video codec: øverste rad viser rammer over tid merket I, P og B, med I-rammer fullstendig lagret i full farge og P- og B-rammer vist bleket for å indikere rekonstruksjon; piler indikerer om rammer bruker tidligere rammer, fremtidige rammer eller begge; nedre paneler viser et fullstendig lagret bilde (I-rame, venstre), et bilde bygget fra en tidligere rame (P-rame, andre-venstre), og et bilde bygget fra både tidligere og fremtidige rammer (B-rame, høyre).

Dette gjenbruket av nærliggende informasjon er grunnen til at video-filer forblir små, med de fleste rammer som opererer ikke som nye bilder, men som instruksjoner som beskriver hvordan den foregående ramen har endret seg. Derfor utgjør I-rammer ‘full-fet’, plass-krævende ukomprimerte (eller minimalt komprimerte) bilder, med rammene mellom dem som utgjør bare forskjellen mellom I-rammer (og mellom seg selv).

Når hver enkelt rame er et fullstendig ukomprimert bilde, har filmen i praksis ingen kompresjon. Å lagre en film på denne måten, som ukomprimert video, ville føre til at en 2-timers film ville trenge nær (eller mer enn) en terabyte diskplass. Men dette er hvordan AI lager filmer^† – ved å dedikere like ressurser og tokens til hver enkelt rame, når det beregner hvordan det skal formulere videoen.

Økonomi av skala

Den nye arbeidet, tittelen AdaCodec: En prediktiv visuell kode for video MLLMs, bruker i stedet fullstendige visuelle tokens eksclusivt på referanserammer (I-rammer), med alle interstitielle rammer rendret som ‘kompakte P-tokens’ – et paradigme som tydelig er tatt fra den tradisjonelle kompresjonen som brukes av historiske ‘virkelige verden’ video codecs.

Etter at denne interne kompresjonen har funnet sted, kan genAI-videoen deretter komprimeres normalt, og i teorien er alle besparelsene server-side:

Oversikt over AdaCodec. Venstre, videoer er delt inn i adaptive grupper av bilder, med fullstendige I-rammer reservert for øyeblikk som er vanskelige å forutsi og intermediate P-rammer representert ved hjelp av kompakt bevegelses- og restinformasjon. Høyre, det resulterende systemet matcher eller overgår Qwen3-VL-8B over elleve benchmarks, opprettholder høyere langvideo-nøyaktighet over token-budsjett, og reduserer svar-forsinkelse samtidig som det prosesserer betydelig færre video-tokens. Kilde

Besparelsene, ifølge rapporterte resultater fra tester for AdaCodec, er verdt å forfølge; artikkelen sier at systemet overgikk den umodifiserte Qwen3-VL-8B-modellen over hver større benchmark, mens det brukte samme mengde prosessering; og matchet eller overgikk denne modellens ytelse etter å ha kutta video-tokens med en imponerende omtrentlig 86%.

Forfatterne sier*:

‘Vi trekker inspirasjon fra prediktiv koding, hvor et system overfører feil fra en prediksjon i stedet for den rå signalet. Dette prinsippet har biologisk grunn: det visuelle systemet antas å kode prediksjonsfeil, mismatchet mellom forventet og observert innputt, i stedet for innputtet selv.

‘Moderne video codecs bruker samme residual-koding-idé i ingeniørvitenskap: referanserammer bærer full innhold, mens prediktive rammer bærer bevegelses- og restsignaler relativt til en referanse.

‘Disse systemene har forskjellige mål, men de deler samme betinget struktur: når nærliggende prøver er redundante, skal kanalen bære hva prediksjonen ikke klarer å forklare.

‘Standard codecs, imidlertid, optimaliserer for bitstrømmer og menneske-leselige rekonstruksjoner, ikke for visuelle tokens som forbrukes av en LLM. Vi redesigner derfor denne mekanismen som en MLLM-grensesnitt for video-forståelse.’

Det nye arbeidet, skrevet av 11 forskere fra Shanghai Jiao Tong University, Shanghai Innovation Institute og JD.com, kommer med en tilhørende prosjekt-side, med utgivelse av kildekode lovet.

Metode

Som diskutert, behandler systemet ikke hver enkelt rame som et fullstendig nytt bilde, men søker etter hva som har endret seg mellom en rame og den neste. På venstre side, i bildet under, ser vi en liten region av den nåværende ramen som er matchet mot den mest like regionen i en tidligere rame:

Schema-overblikk for AdaCodec.

Avgjørelsen mellom de to plasseringene blir en bevegelses-vektor, mens eventuelle gjenværende visuelle forskjeller blir en rest, med disse kompakte beskrivelser som erstatter behovet for å lagre et fullstendig bilde.

På høyre side ser vi den resulterende informasjonen som mates inn i AI-modellen: viktige referanserammer er fremdeles prosessert som fullstendige bilder, men de interstitielle rammene er representert ved mye mindre bevegelses- og rest-tokens – som åpenbart tillater modellen å beholde nok informasjon til å tolke videoen, mens det prosesserer betydelig mindre visuell data.

En interessant utfordring er å bestemme hvilke rammer som fortjener å lagres fullstendig: tradisjonelle video codecs plasserer vanligvis referanserammer på regulære intervaller, uavhengig av om de er nødvendige eller ikke. AdaCodec prøver i stedet å identifisere de øyeblikkene som betyr mest.

For eksempel, betrakt en scene som hovedsakelig avbilder en statisk samtale mellom to personer i en leilighet – og plutselig kommer en SWAT-gruppe inn gjennom vinduet. Øyeblikkelig vil kamera- og redigering-klipp øke og kreve mye mer data enn en regularisert referanse-rame-intervall vil gi:

Dette er logikken bak variabel kompresjon (variabel bitrate)-kompresjonsmetoder, som analyserer kildevideo for slike ‘busy’-perioder og tilordner større data der det er nødvendig – uten å påføre noen større kostnader i tid og ressurser.

I AdaCodec, hvis en rame kan predikeres nøyaktig fra nærliggende rammer, fortsetter systemet å bruke kompakte bevegelses- og rest-tokens; hvis scenen endrer seg betydelig (for eksempel SWAT-eksempelet ovenfor, eller noe mindre dramatisk), settes en fullstendig referanse-rame inn. Dette tillater mer av den tilgjengelige prosesserings-budsjettet å brukes på viktige visuelle informasjon i stedet for å fordeles jevnt over hele videoen.

Data og tester

I testing, brukte forskerne den ovennevnte Qwen3-VL-8B som basis-modellen og evaluerte AdaCodec over elleve benchmarks som dekket tre områder av video-forståelse: langvideo-ytelse ble vurdert med MLVU, LongVideoBench og LVBench; temporal forståelse med TempCompass, MotionBench og TOMATO; og generell video-forståelse med Video-MME, MVBench, NExT-QA, PerceptionTest og EgoSchema.

Åpne kilde-modeller som ble testet var InternVL3.5-8B; Keye-VL-1.5-8B; GLM-4.1V-9B; MiniCPM-V-4.5-8B; Eagle2.5-8B; PLM-8B; LLaVA-Video-7B; VideoChat-Flash-7B; Molmo2-8B; og Molmo2-O-7B.

GPT-5, Gemini og Claude-variasjoner vises i tabellen under bare som sammenlignings-baselinjer. CoPE-VideoLM-7B og ReMoRa-7B er tidligere video-språk-modeller som reduserer visuell-token-bruk gjennom codec-inspirert kompresjon, og er derfor de nærmeste direkte konkurrentene til AdaCodec:

Hovedresultater over elleve benchmarks som dekker langvideo-forståelse, temporal forståelse og generell video-forståelse. Høyere poeng indikerer bedre ytelse. LVB = LongVideoBench; V-MME = Video-MME. Fet og understreket verdier indikerer de høyeste og nest høyeste poengene blant åpne kilde-modeller. Poeng for lukkede modeller ble tatt fra offisielle rapporter hvor det var mulig, med manglende resultater hentet fra Molmo2 eller evaluert av forfatterne.

For å sikre en rettferdig sammenligning, ble samme antall visuelle tokens tildelt både AdaCodec og den standard Qwen3-VL-8B-systemet, og resultatene reflekterer effektiviteten av kompresjons-tilnærmingen, i stedet for noen forskjeller i komputasjonsressurser.

Ved den mest aggressive innstillingen, reduserte AdaCodec visuell-token-bruk med omtrent 86% mens det fortsatt matchet eller overgikk baseline-systemet på langvideo-, temporal- og generell video-forståelse-oppgaver.

Når de sparede tokenene ble reinvestert i å prosessere flere video-rammer, forbedret ytelsen over hver enkelt langvideo-benchmark og hver enkelt temporal-benchmark, med gevinst opp til +5,4 poeng på LongVideoBench og +4,3 poeng på TOMATO, samtidig som det produserte noen av de sterkeste åpne kilde-resultatene i studien.

Konklusjon

Til tross for at prosjekter av denne typen vanligvis er rettet mot hyperskala-leverandører, er dette den type innsats som vil være av interesse for både hobbyister og små og mellomstore bedrifter, som en del av en potensiell ny ‘offentlig askese’ rundt lokal, rasjonalisert AI-utvikling.

I samfunn som r/stablediffusion, er dette meget gamle nyheter, ettersom hver større åpen kilde-utgivelse som ankommer der, regelmessig blir tormented inn i en hyper-optimert (GGUF, kvantifiserte vekter, osv.) versjon som kan kjøres, med litt tålmodighet, på lavere-ende grafikkort.

Hvis den ‘performative fasen’ av denne tredje AI-oppsving er virkelig over, og under antagelse av at bedrifter vil bli avskrekket av de sanntre kostnadene av inferens, så kan initiativer som AdaCodec utgjøre en del av en kommende ‘stor optimisering’.

^† Dette er ikke det samme som å rendre ut videoen til en brukervennlig format/fil-størrelse; snarere handler det om den interne genereringen og samlingen av rammer som skjer inne i AI-modellen på inferenstid.

* Min konvertering, innenfor rimelige grenser, av forfatternes inline-citater til hyperlenker.

Først publisert torsdag, 4. juni 2026