En videocodec til AI-genereret videomateriale

Mens æraen med ubegrænset AI-forbrug nærmer sig sin afslutning, lover en ny, økonomisk tilgang til AI-generering af video betydelige besparelser i tokens og tid.

De reelle omkostninger ved AI-inferens bringer en ny dosis realisme ind i den nuværende AI-revolutions hæsblæsende tempo. Samtidig vokser interessen for at rationalisere omkostningerne ved maskinlæring. Ud over muligheden for at flytte AI ind i organisationen og den generelle udbredelse af privat AI skal også de maskinlæringsprocesser, der bruger store mængder VRAM og andre ressourcer, tydeligvis optimeres.

Videogenerering er måske den største ressourceforbruger på dette område. Har du nogensinde genkomprimeret en film eller eksporteret den fra et videoredigeringsprogram, kender du den belastning, som denne opgave uden AI påfører hardwaren. Den bruger RAM og CPU-cyklusser og forhindrer ofte anden brug af computeren, medmindre kompressionsalgoritmens påvirkning af værtscomputeren begrænses.

Man kan derfor forestille sig, i hvilket omfang AI-videoens fremmarch gentager denne proces med sit store behov for regnekraft i datacentre over hele verden. På den skala bliver selv de mindste gevinster straks betydelige, når de lægges sammen.

Billedet i fokus

Med dette udgangspunkt foreslår en ny forskningsindsats fra Shanghai i samarbejde med JD.com (JD ) en videocodec, der ikke retter sig mod den afsluttende rendering, altså komprimering af enorme rå billeder til en mindre videofil, men mod selve processen med at generere AI-video.

En almindelig videocodec gemmer ikke hvert enkelt billede som et fuldt billede. Den opretter i stedet et mindre antal komplette billeder, kaldet I-frames, og gemmer derefter ændringerne mellem billederne.

Hvis en person eksempelvis bevæger sig lidt i en video, registrerer codecen kun de dele af billedet, hvor ændringen sker, i stedet for at skrive hele scenen igen. Det er P-frames, som udledes af tidligere billeder, og B-frames, som også kan udnytte oplysninger fra senere billeder:

En videocodecs opbygning: Øverste række viser billeder i tidsrækkefølge mærket I, P og B. I-frames gemmes fuldt ud og vises i fulde farver; P- og B-frames vises nedtonet for at illustrere rekonstruktionen. Pilene viser, om tidligere billeder, senere billeder eller begge dele bruges. Nederst ses et fuldt gemt billede (I-frame, til venstre), et billede opbygget fra et tidligere billede (P-frame, nummer to fra venstre) og et billede opbygget fra både tidligere og senere billeder (B-frame, til højre).

Genbrug af nærliggende information holder videofiler små. De fleste billeder fungerer ikke som nye billeder, men som instruktioner, der beskriver ændringerne i forhold til det foregående billede. I-frames er derfor komplette, pladskrævende billeder uden kompression eller med minimal kompression. Billederne imellem indeholder kun forskellene i forhold til I-frames og indbyrdes.

Når hvert enkelt billede er et komplet, ukomprimeret billede, har filmen i praksis ingen kompression. Gemt som ukomprimeret video ville en film på to timer kræve næsten en terabyte diskplads eller mere. Alligevel er det sådan, AI skaber film^†: Modellen tildeler hvert billede lige mange ressourcer og tokens, når den beregner, hvordan videoen skal sammensættes.

Besparelser i stor skala

Det nye arbejde med titlen AdaCodec: A Predictive Visual Code for Video MLLMs bruger i stedet fulde visuelle tokens udelukkende til referencebilleder (I-frames), mens alle mellemliggende billeder repræsenteres som kompakte P-tokens. Princippet er tydeligt hentet fra den traditionelle kompression i videocodecs fra den virkelige verden.

Efter denne interne kompression kan den generative AI-video komprimeres som normalt. I teorien opnås alle besparelser på serversiden:

Oversigt over AdaCodec. Til venstre opdeles videoer i adaptive billedgrupper. Fulde I-frames reserveres til øjeblikke, der er svære at forudsige, mens mellemliggende P-frames repræsenteres med kompakte oplysninger om bevægelse og residualer. Til højre matcher eller overgår systemet Qwen3-VL-8B i elleve benchmarks, fastholder større nøjagtighed for lange videoer ved forskellige tokenbudgetter og reducerer svartiden, mens det behandler væsentligt færre videotokens. Kilde

De rapporterede testresultater for AdaCodec viser, at besparelserne er værd at forfølge. Ifølge artiklen overgik systemet den uændrede Qwen3-VL-8B-model i alle væsentlige benchmarks med samme mængde beregning. Det matchede eller overgik stadig modellens præstation efter at have reduceret videotokens med cirka 86%.

Forfatterne fastslår*:

»Vi henter inspiration fra prædiktiv kodning, hvor et system sender fejlene i en forudsigelse i stedet for det rå signal. Princippet har et biologisk grundlag: Det visuelle system menes at kode forudsigelsesfejl, altså forskellen mellem forventet og observeret input, i stedet for selve inputtet.«

»Moderne videocodecs bruger i teknikken samme idé om residualkodning: Referencebilleder indeholder hele indholdet, mens prædiktive billeder indeholder bevægelses- og residualsignaler i forhold til et referencebillede.«

»Systemerne har forskellige mål, men deler den samme betingede struktur: Når nærliggende prøver indeholder redundant information, skal kanalen overføre det, som forudsigelsen ikke forklarer.«

»Standardcodecs er imidlertid optimeret til bitstrømme og rekonstruktion, som mennesker kan se, ikke til de visuelle tokens, som en LLM bruger. Vi omformer derfor mekanismen til en MLLM-grænseflade for videoforståelse.«

Det nye arbejde er skrevet af 11 forskere fra Shanghai Jiao Tong University, Shanghai Innovation Institute og JD.com. Der er en tilhørende projektside, og udgivelse af kildekoden er lovet.

Metode

Som beskrevet behandler systemet ikke hvert billede som helt nyt, men leder efter ændringerne fra det ene billede til det næste. Til venstre i illustrationen nedenfor sammenholdes et lille område af det aktuelle billede med det mest lignende område i et tidligere billede:

Skematisk oversigt over AdaCodec.

Afstanden mellem de to positioner bliver til en bevægelsesvektor, mens de resterende visuelle forskelle udgør et residual. De kompakte beskrivelser erstatter behovet for at gemme et fuldt billede.

Til højre sendes de resulterende oplysninger ind i AI-modellen. Vigtige referencebilleder behandles stadig som komplette billeder, men de mellemliggende billeder repræsenteres af meget mindre bevægelses- og residualtokens. Det ser ud til at lade modellen bevare tilstrækkelig information til at fortolke videoen, mens den behandler væsentligt færre visuelle data.

En interessant udfordring er at afgøre, hvilke billeder der skal gemmes fuldt ud. Traditionelle videocodecs indsætter normalt referencebilleder med faste mellemrum, uanset om de er nødvendige. AdaCodec forsøger i stedet at identificere de vigtigste øjeblikke.

Forestil dig en scene, hvor to personer taler næsten uden at bevæge sig i en lejlighed. Pludselig bryder en SWAT-enhed ind gennem vinduet. Antallet af kameravinkler og klip stiger straks, og det kræver langt flere data, end et fast interval mellem referencebilleder kan levere:

Det er princippet bag metoder med variabel kompression, såsom variabel bitrate. De analyserer kildevideoen for sådanne begivenhedsrige passager og tildeler flere data dér, hvor de er nødvendige. Det koster dog ikke så lidt tid og ressourcer.

Kan AdaCodec forudsige et billede nøjagtigt ud fra nærliggende billeder, fortsætter systemet med kompakte bevægelses- og residualtokens. Ændres scenen væsentligt, som i SWAT-eksemplet eller på en mindre dramatisk måde, indsættes et fuldt referencebillede. Dermed kan en større del af det tilgængelige beregningsbudget bruges på vigtig visuel information i stedet for at blive fordelt jævnt over hele videoen.

Data og test

Forskerne brugte den tidligere nævnte Qwen3-VL-8B som basismodel og evaluerede AdaCodec i elleve benchmarks inden for tre områder af videoforståelse: præstation på lange videoer blev vurderet med MLVU, LongVideoBench og LVBench; tidslig forståelse med TempCompass, MotionBench og TOMATO; og generel videoforståelse med Video-MME, MVBench, NExT-QA, PerceptionTest og EgoSchema.

De testede open source-modeller var InternVL3.5-8B; Keye-VL-1.5-8B; GLM-4.1V-9B; MiniCPM-V-4.5-8B; Eagle2.5-8B; PLM-8B; LLaVA-Video-7B; VideoChat-Flash-7B; Molmo2-8B; og Molmo2-O-7B.

Varianter af GPT-5, Gemini og Claude vises i tabellen nedenfor udelukkende som sammenligningsgrundlag. CoPE-VideoLM-7B og ReMoRa-7B er tidligere videosprogmodeller, som reducerer brugen af visuelle tokens gennem kompression inspireret af codecs. De er derfor AdaCodecs nærmeste direkte konkurrenter:

Hovedresultater i elleve benchmarks for forståelse af lange videoer, tidslig ræsonnering og generel videoforståelse. Højere scorer betyder bedre præstation. LVB = LongVideoBench; V-MME = Video-MME. Værdier med fed og understregning viser de højeste og næsthøjeste scorer blandt open source-modeller. Scorer for lukkede modeller stammer fra officielle rapporter, hvor de var tilgængelige. Manglende resultater er hentet fra Molmo2 eller vurderet af forfatterne.

For at sikre en fair sammenligning fik AdaCodec og standardsystemet Qwen3-VL-8B samme antal visuelle tokens. Resultaterne afspejler dermed kompressionsmetodens effektivitet og ikke forskelle i beregningsressourcer.

Ved den kraftigste kompression reducerede AdaCodec brugen af visuelle tokens med cirka 86% og matchede eller overgik basissystemet en smule i opgaver med lange videoer, tidslig forståelse og generel videoforståelse.

Da de sparede tokens blev brugt til at behandle flere videobilleder, steg præstationen i samtlige benchmarks for lange videoer og samtlige tidslige benchmarks. Gevinsterne nåede +5,4 point i LongVideoBench og +4,3 point i TOMATO, med nogle af undersøgelsens stærkeste open source-resultater.

Konklusion

Selv om sådanne projekter normalt henvender sig til hyperscale-udbydere, vil denne type arbejde også interessere hobbybrugere og små og mellemstore virksomheder. Det kan blive en del af en ny, offentligt synlig mådeholdenhed omkring lokal og mere rationel anvendelse af AI.

I fællesskaber som r/stablediffusion er det gammelt nyt: Hver større udgivelse af en open source-model presses regelmæssigt til en ekstremt optimeret version (GGUF, kvantiserede vægte osv.), som med lidt tålmodighed kan køre på mindre kraftige grafikkort.

Hvis den opvisningsprægede fase i denne tredje AI-bølge virkelig er forbi og man antager, at virksomhederne vil blive afskrækket af de reelle inferensomkostninger, kan initiativer som AdaCodec være en del af en kommende »stor optimering«.

^† Dette er ikke det samme som at eksportere videoen til et brugervenligt format og en passende filstørrelse. Det drejer sig om den interne generering og samling af billeder i AI-modellen under inferens.

* Jeg har inden for rimelighedens grænser omdannet forfatternes litteraturhenvisninger i teksten til hyperlinks.

Først udgivet torsdag den 4. juni 2026