En videokodek for AI-generert videomateriale

Når tiden med ubegrenset AI-forbruk nærmer seg slutten, lover en ny, økonomisk tilnærming til AI-generering av video betydelige besparelser i tokener og tid.

De reelle kostnadene ved AI-inferens tilfører en ny dose realisme til den nåværende AI-revolusjonens høye tempo. Samtidig øker interessen for å rasjonalisere kostnadene ved maskinlæring. I tillegg til muligheten for å flytte AI inn i egen organisasjon og den generelle fremveksten av privat AI må også maskinlæringsprosessene som bruker store mengder VRAM og andre ressurser, tydeligvis optimaliseres.

Videogenerering er kanskje den største ressursforbrukeren i denne sammenhengen. Har du noen gang komprimert en film på nytt eller eksportert den fra et videoredigeringsprogram, kjenner du belastningen denne oppgaven uten AI påfører maskinvaren. Den bruker RAM og CPU-sykluser og hindrer ofte all annen bruk av datamaskinen, med mindre komprimeringsalgoritmens påvirkning på vertsmaskinen begrenses.

Man kan derfor forestille seg i hvilket omfang fremveksten av AI-video gjentar denne prosessen med sitt store behov for regnekraft i datasentre verden over. I en slik skala blir selv de minste forbedringene umiddelbart betydelige når de summeres.

Bildet i fokus

Med dette som utgangspunkt foreslår ny forskning fra Shanghai, i samarbeid med JD.com (JD ), en videokodek som ikke er rettet mot den avsluttende rendringen, altså komprimering av enorme råbilder til en mindre videofil, men mot selve prosessen for AI-generering av video.

En vanlig videokodek lagrer ikke hvert bilde som et fullstendig bilde. Den oppretter i stedet et mindre antall komplette bilder, kalt I-bilder, og lagrer deretter endringene mellom bildene.

Hvis en person for eksempel beveger seg litt i en video, registrerer kodeken bare de delene av bildet der endringen skjer, i stedet for å skrive hele scenen på nytt. Dette er P-bilder, som utledes fra tidligere bilder, og B-bilder, som også kan bruke informasjon fra senere bilder:

En videokodeks oppbygning: Øverste rad viser bilder i tidsrekkefølge merket I, P og B. I-bilder lagres fullstendig og vises i farger, mens P- og B-bilder er nedtonet for å vise at de rekonstrueres. Pilene angir om tidligere bilder, senere bilder eller begge deler brukes. Nederst vises et fullstendig lagret bilde (I, til venstre), et bilde bygd fra et tidligere bilde (P, nummer to fra venstre) og et bilde bygd fra både tidligere og senere bilder (B, til høyre).

Gjenbruk av nærliggende informasjon holder videofilene små. De fleste bildene er ikke nye bilder, men instruksjoner som beskriver hvordan det foregående bildet har endret seg. I-bilder er derfor komplette, plasskrevende bilder som er ukomprimerte eller bare minimalt komprimerte. Bildene imellom inneholder bare forskjellene i forhold til I-bildene og seg imellom.

Når hvert enkelt bilde er et fullstendig, ukomprimert bilde, har filmen i praksis ingen komprimering. Lagret som ukomprimert video ville en film på to timer kreve nesten en terabyte diskplass eller mer. Likevel er det slik AI lager filmer^†: Modellen tildeler hvert bilde like mye ressurser og like mange tokener når den beregner hvordan videoen skal settes sammen.

Besparelser i stor skala

Det nye arbeidet med tittelen AdaCodec: A Predictive Visual Code for Video MLLMs bruker i stedet fullstendige visuelle tokener utelukkende til referansebilder (I-bilder), mens alle mellomliggende bilder representeres som kompakte P-tokener. Prinsippet er tydelig hentet fra den tradisjonelle komprimeringen i videokodeker fra den virkelige verden.

Etter denne interne komprimeringen kan den generative AI-videoen komprimeres som vanlig. I teorien oppstår alle besparelsene på serversiden:

Oversikt over AdaCodec. Til venstre deles videoer inn i adaptive bildegrupper. Fullstendige I-bilder forbeholdes øyeblikk som er vanskelige å forutsi, mens mellomliggende P-bilder representeres med kompakt informasjon om bevegelse og residualer. Til høyre matcher eller overgår systemet Qwen3-VL-8B i elleve referansetester, opprettholder høyere nøyaktighet for lange videoer ved ulike tokenbudsjetter og reduserer svartiden samtidig som det behandler betydelig færre videotokener. Kilde

De rapporterte testresultatene for AdaCodec viser at besparelsene er verdt å forfølge. Ifølge artikkelen overgikk systemet den uendrede Qwen3-VL-8B-modellen i alle viktige referansetester med samme mengde beregning. Selv etter å ha redusert videotokenene med omtrent 86 prosent matchet eller overgikk det modellens ytelse.

Forfatterne sier*:

«Vi henter inspirasjon fra prediktiv koding, der et system overfører feilene i en prediksjon i stedet for råsignalet. Prinsippet har et biologisk grunnlag: Synssystemet antas å kode prediksjonsfeil, altså forskjellen mellom forventet og observert inndata, i stedet for selve inndataene.»

«Moderne videokodeker bruker samme prinsipp om residualkoding innen teknikken: Referansebilder inneholder hele innholdet, mens prediktive bilder inneholder bevegelses- og residualsignaler i forhold til et referansebilde.»

«Systemene har forskjellige mål, men deler den samme betingede strukturen: Når nærliggende prøver inneholder redundant informasjon, bør kanalen overføre det prediksjonen ikke forklarer.»

«Standardkodeker optimaliserer imidlertid for bitstrømmer og rekonstruksjon som mennesker kan se, ikke for de visuelle tokenene en LLM bruker. Derfor omformer vi denne mekanismen til et MLLM-grensesnitt for videoforståelse.»

Det nye arbeidet er skrevet av 11 forskere fra Shanghai Jiao Tong University, Shanghai Innovation Institute og JD.com. Det finnes en tilhørende prosjektside, og publisering av kildekoden er lovet.

Metode

Som beskrevet behandler systemet ikke hvert bilde som helt nytt, men ser etter endringene fra ett bilde til det neste. Til venstre i illustrasjonen nedenfor sammenlignes et lite område i det aktuelle bildet med det mest lignende området i et tidligere bilde:

Skjematisk oversikt over AdaCodec.

Avstanden mellom de to posisjonene blir en bevegelsesvektor, mens de gjenværende visuelle forskjellene utgjør en residual. Disse kompakte beskrivelsene erstatter behovet for å lagre et fullstendig bilde.

Til høyre mates den resulterende informasjonen inn i AI-modellen. Viktige referansebilder behandles fortsatt som komplette bilder, mens de mellomliggende bildene representeres av mye mindre bevegelses- og residualtokener. Dette ser ut til å la modellen beholde nok informasjon til å tolke videoen samtidig som den behandler betydelig færre visuelle data.

En interessant utfordring er å avgjøre hvilke bilder som skal lagres fullstendig. Tradisjonelle videokodeker setter vanligvis inn referansebilder med jevne mellomrom, uansett om de trengs. AdaCodec prøver i stedet å identifisere de viktigste øyeblikkene.

Se for deg en scene der to personer snakker nesten uten å bevege seg i en leilighet. Plutselig stormer en SWAT-gruppe inn gjennom vinduet. Antall kameravinkler og klipp øker umiddelbart og krever mye mer data enn et fast intervall mellom referansebilder kan gi:

Dette er prinsippet bak metoder med variabel komprimering, som variabel bitrate. De analyserer kildevideoen etter slike hendelsesrike perioder og tildeler mer data der det trengs. Dette krever betydelig tid og ressurser.

Kan AdaCodec forutsi et bilde nøyaktig ut fra nærliggende bilder, fortsetter systemet med kompakte bevegelses- og residualtokener. Endrer scenen seg vesentlig, som i SWAT-eksemplet eller på en mindre dramatisk måte, settes et fullstendig referansebilde inn. Dermed kan mer av det tilgjengelige beregningsbudsjettet brukes på viktig visuell informasjon i stedet for å fordeles jevnt over hele videoen.

Data og tester

Forskerne brukte den tidligere nevnte Qwen3-VL-8B som basismodell og evaluerte AdaCodec i elleve referansetester innen tre områder av videoforståelse: ytelse på lange videoer ble vurdert med MLVU, LongVideoBench og LVBench; tidsmessig forståelse med TempCompass, MotionBench og TOMATO; og generell videoforståelse med Video-MME, MVBench, NExT-QA, PerceptionTest og EgoSchema.

Modellene med åpen kildekode som ble testet, var InternVL3.5-8B; Keye-VL-1.5-8B; GLM-4.1V-9B; MiniCPM-V-4.5-8B; Eagle2.5-8B; PLM-8B; LLaVA-Video-7B; VideoChat-Flash-7B; Molmo2-8B; og Molmo2-O-7B.

Varianter av GPT-5, Gemini og Claude vises i tabellen nedenfor bare som sammenligningsgrunnlag. CoPE-VideoLM-7B og ReMoRa-7B er tidligere videospråkmodeller som reduserer bruken av visuelle tokener gjennom komprimering inspirert av kodeker. De er dermed AdaCodecs nærmeste direkte konkurrenter:

Hovedresultater i elleve referansetester for forståelse av lange videoer, tidsmessig resonnering og generell videoforståelse. Høyere poeng betyr bedre ytelse. LVB = LongVideoBench; V-MME = Video-MME. Verdier i fet skrift og med understreking viser de høyeste og nest høyeste poengene blant modeller med åpen kildekode. Poeng for lukkede modeller er hentet fra offisielle rapporter der slike finnes; manglende resultater er hentet fra Molmo2 eller evaluert av forfatterne.

For å sikre en rettferdig sammenligning fikk AdaCodec og standardsystemet Qwen3-VL-8B samme antall visuelle tokener. Resultatene gjenspeiler dermed komprimeringsmetodens effektivitet, ikke forskjeller i beregningsressurser.

Ved den kraftigste komprimeringen reduserte AdaCodec bruken av visuelle tokener med omtrent 86 prosent og matchet eller overgikk basissystemet noe i oppgaver for lange videoer, tidsmessig forståelse og generell videoforståelse.

Da de sparte tokenene ble brukt til å behandle flere videobilder, forbedret ytelsen seg i samtlige referansetester for lange videoer og samtlige tidsmessige tester. Gevinstene nådde +5,4 poeng i LongVideoBench og +4,3 poeng i TOMATO, med noen av studiens sterkeste resultater for åpen kildekode.

Konklusjon

Selv om slike prosjekter vanligvis retter seg mot hyperskala-leverandører, vil denne typen arbeid også interessere hobbybrukere og små og mellomstore bedrifter. Det kan inngå i en ny, offentlig synlig nøysomhet rundt lokal og mer rasjonell bruk av AI.

I fellesskap som r/stablediffusion er dette gammelt nytt: Hver større lansering av en modell med åpen kildekode presses regelmessig til en ekstremt optimalisert versjon (GGUF, kvantiserte vekter og så videre) som med litt tålmodighet kan kjøre på enklere grafikkort.

Hvis den oppvisningspregede fasen av denne tredje AI-bølgen virkelig er over og man antar at bedriftene vil bli avskrekket av de reelle inferenskostnadene, kan initiativer som AdaCodec inngå i en kommende «stor optimalisering».

^† Dette er ikke det samme som å eksportere videoen til et brukervennlig format og en passende filstørrelse. Det handler om den interne genereringen og sammenstillingen av bilder i AI-modellen under inferens.

* Jeg har innenfor rimelige grenser gjort forfatternes litteraturhenvisninger i løpende tekst om til hyperlenker.

Først publisert torsdag 4. juni 2026