En videokodek för AI-genererat videomaterial

När tiden med obegränsad AI-användning närmar sig sitt slut lovar en ny, ekonomisk metod för AI-generering av video betydande besparingar i token och tid.

De verkliga kostnaderna för AI-inferens för in en ny dos realism i den nuvarande AI-revolutionens höga tempo. Samtidigt växer intresset för att rationalisera kostnaden för maskininlärning. Utöver möjligheten att flytta AI till den egna organisationen och den allmänna framväxten av privat AI behöver även de maskininlärningsprocesser som förbrukar mycket VRAM och andra resurser uppenbarligen optimeras.

Videogenerering är kanske den största resursförbrukaren i det här avseendet. Om du någon gång har komprimerat om en film eller exporterat den från ett videoredigeringsprogram känner du till belastningen som denna uppgift utan AI innebär för hårdvaran: den förbrukar RAM och CPU-cykler och hindrar ofta all annan användning av datorn, om inte komprimeringsalgoritmens påverkan på värddatorn begränsas.

Man kan därför föreställa sig i vilken omfattning AI-videons framväxt upprepar detta beräkningskrävande förfarande i datacenter världen över. I den skalan blir även de minsta förbättringarna omedelbart betydelsefulla när de räknas samman.

Bildrutan i fokus

Mot denna bakgrund föreslår en ny forskningsinsats från Shanghai, i samarbete med JD.com (JD ), en videokodek som inte riktar sig mot den slutliga renderingen, alltså att komprimera enorma råa bildrutor till en mindre videofil, utan mot själva processen för AI-generering av video.

En vanlig videokodek lagrar inte varje bildruta som en fullständig bild. I stället skapar den ett mindre antal fullständiga bilder, så kallade I-bildrutor, och lagrar sedan förändringarna mellan bildrutorna.

Om en person exempelvis rör sig lite i en video registrerar kodeken bara de delar av bildrutan där förändringen sker, i stället för att skriva om hela scenen. Det är P-bildrutor, som härleds från tidigare bildrutor, och B-bildrutor, som även kan använda information från senare bildrutor:

En videokodeks uppbyggnad: den översta raden visar bildrutor i tidsordning märkta I, P och B. I-bildrutorna lagras fullständigt och visas i färg, medan P- och B-bildrutorna är nedtonade för att visa att de rekonstrueras. Pilarna anger om tidigare bildrutor, senare bildrutor eller båda används. Nederst visas en fullständigt lagrad bildruta (I, till vänster), en bildruta uppbyggd från en tidigare bildruta (P, den andra från vänster) och en bildruta uppbyggd från både tidigare och senare bildrutor (B, till höger).

Återanvändningen av närliggande information håller videofilerna små. De flesta bildrutor är inte nya bilder utan instruktioner som beskriver hur föregående bildruta har förändrats. I-bildrutor är alltså fullständiga, utrymmeskrävande bilder som är okomprimerade eller bara minimalt komprimerade. De mellanliggande bildrutorna innehåller endast skillnaderna i förhållande till I-bildrutorna och sinsemellan.

När varje enskild bildruta är en fullständig, okomprimerad bild har filmen i praktiken ingen komprimering. En två timmar lång film skulle som okomprimerad video kräva nästan en terabyte diskutrymme eller mer. Ändå är det så AI skapar film^†: modellen tilldelar varje bildruta lika mycket resurser och lika många token när den beräknar hur videon ska byggas upp.

Besparingar i stor skala

Det nya arbetet med titeln AdaCodec: A Predictive Visual Code for Video MLLMs använder i stället fullständiga visuella token uteslutande för referensbildrutor (I-bildrutor), medan samtliga mellanliggande bildrutor representeras som kompakta P-token. Principen är tydligt hämtad från den traditionella komprimeringen i videokodekar från den verkliga världen.

Efter denna interna komprimering kan den generativa AI-videon komprimeras som vanligt. I teorin uppstår alla besparingar på serversidan:

Översikt av AdaCodec. Till vänster delas videor in i adaptiva bildgrupper. Fullständiga I-bildrutor reserveras för ögonblick som är svåra att förutsäga, medan mellanliggande P-bildrutor representeras med kompakt information om rörelse och residualer. Till höger matchar eller överträffar systemet Qwen3-VL-8B i elva prestandatester, behåller högre noggrannhet för långa videor med olika tokenbudgetar och minskar svarsfördröjningen samtidigt som det behandlar betydligt färre videotoken. Källa

De rapporterade testresultaten för AdaCodec visar att besparingarna är värda att eftersträva. Enligt artikeln överträffade systemet den oförändrade Qwen3-VL-8B-modellen i alla viktiga prestandatester med samma mängd beräkningar. Även efter en minskning av antalet videotoken med cirka 86 procent matchade eller överträffade det modellens prestanda.

Författarna skriver*:

”Vi inspireras av prediktiv kodning, där ett system överför felen i en förutsägelse i stället för råsignalen. Principen har en biologisk grund: synsystemet antas koda förutsägelsefel, alltså skillnaden mellan förväntad och observerad indata, i stället för själva indatan.”

”Moderna videokodekar använder samma princip för residualkodning inom tekniken: referensbildrutor innehåller hela innehållet, medan prediktiva bildrutor innehåller rörelse- och residualsignaler i förhållande till en referensbildruta.”

”Systemen har olika mål men delar samma villkorliga struktur: när närliggande sampel innehåller redundant information bör kanalen överföra det som förutsägelsen inte förklarar.”

”Standardkodekar optimerar dock för bitströmmar och rekonstruktion som människor kan se, inte för de visuella token som en LLM använder. Därför omformar vi mekanismen till ett MLLM-gränssnitt för videoförståelse.”

Det nya arbetet har skrivits av 11 forskare från Shanghai Jiao Tong University, Shanghai Innovation Institute och JD.com. Det finns en tillhörande projektsida, och publicering av källkoden har utlovats.

Metod

Som beskrivits behandlar systemet inte varje bildruta som en helt ny bild, utan letar efter förändringarna från en bildruta till nästa. Till vänster i bilden nedan jämförs ett litet område i den aktuella bildrutan med det mest liknande området i en tidigare bildruta:

Schematisk översikt av AdaCodec.

Avståndet mellan de två positionerna blir en rörelsevektor, medan återstående visuella skillnader bildar en residual. Dessa kompakta beskrivningar ersätter behovet av att lagra en fullständig bild.

Till höger matas informationen in i AI-modellen. Viktiga referensbildrutor bearbetas fortfarande som fullständiga bilder, men de mellanliggande bildrutorna representeras av mycket mindre rörelse- och residualtoken. Detta verkar låta modellen behålla tillräcklig information för att tolka videon, samtidigt som den behandlar betydligt mindre visuella data.

En intressant utmaning är att avgöra vilka bildrutor som bör lagras fullständigt. Traditionella videokodekar placerar vanligtvis referensbildrutor med jämna mellanrum, oavsett om de behövs. AdaCodec försöker i stället identifiera de viktigaste ögonblicken.

Föreställ dig en scen där två personer samtalar nästan utan att röra sig i en lägenhet. Plötsligt stormar en SWAT-styrka in genom fönstret. Antalet kameravinklar och klipp ökar omedelbart och kräver mycket mer data än ett fast intervall mellan referensbildrutor kan ge:

Det är principen bakom metoder med variabel komprimering, till exempel variabel bithastighet. De analyserar källvideon efter sådana händelserika avsnitt och tilldelar mer data där det behövs, till en betydande kostnad i tid och resurser.

Om AdaCodec kan förutsäga en bildruta korrekt utifrån närliggande bildrutor fortsätter systemet att använda kompakta rörelse- och residualtoken. Förändras scenen väsentligt, som i SWAT-exemplet eller på ett mindre dramatiskt sätt, infogas en fullständig referensbildruta. En större del av den tillgängliga beräkningsbudgeten kan därmed användas till viktig visuell information i stället för att fördelas jämnt över hela videon.

Data och tester

Forskarna använde den tidigare nämnda Qwen3-VL-8B som basmodell och utvärderade AdaCodec i elva prestandatester inom tre områden av videoförståelse: prestanda för långa videor bedömdes med MLVU, LongVideoBench och LVBench; tidsmässig förståelse med TempCompass, MotionBench och TOMATO; och allmän videoförståelse med Video-MME, MVBench, NExT-QA, PerceptionTest och EgoSchema.

De testade modellerna med öppen källkod var InternVL3.5-8B; Keye-VL-1.5-8B; GLM-4.1V-9B; MiniCPM-V-4.5-8B; Eagle2.5-8B; PLM-8B; LLaVA-Video-7B; VideoChat-Flash-7B; Molmo2-8B; och Molmo2-O-7B.

Varianterna av GPT-5, Gemini och Claude visas i tabellen nedan enbart som jämförelsebaslinjer. CoPE-VideoLM-7B och ReMoRa-7B är tidigare videospråkmodeller som minskar användningen av visuella token med komprimering inspirerad av kodekar. Därmed är de AdaCodecs närmaste direkta konkurrenter:

Huvudresultat i elva prestandatester för förståelse av långa videor, tidsmässigt resonemang och allmän videoförståelse. Högre poäng betyder bättre prestanda. LVB = LongVideoBench; V-MME = Video-MME. Fetstil och understrykning markerar de högsta och näst högsta poängen bland modeller med öppen källkod. Poängen för slutna modeller kommer från officiella rapporter när sådana finns; saknade resultat har hämtats från Molmo2 eller utvärderats av författarna.

För att säkerställa en rättvis jämförelse fick AdaCodec och standardsystemet Qwen3-VL-8B samma antal visuella token. Resultaten avspeglar därmed komprimeringsmetodens effektivitet, inte skillnader i beräkningsresurser.

Vid den kraftigaste komprimeringen minskade AdaCodec användningen av visuella token med cirka 86 procent och matchade eller överträffade baslinjesystemet något i uppgifter för långa videor, tidsmässig förståelse och allmän videoförståelse.

När sparade token användes till att bearbeta fler bildrutor förbättrades prestandan i samtliga tester för långa videor och samtliga tidsmässiga tester. Förbättringarna nådde +5,4 poäng i LongVideoBench och +4,3 poäng i TOMATO, med några av studiens starkaste resultat för öppen källkod.

Slutsats

Även om sådana projekt vanligtvis riktar sig till hyperskaleleverantörer kommer den här sortens arbete också att intressera hobbyanvändare och små och medelstora företag. Det kan vara del av en ny, offentligt synlig återhållsamhet kring lokal och mer rationell användning av AI.

I gemenskaper som r/stablediffusion är detta gammalt nytt: varje större lansering av en modell med öppen källkod pressas regelbundet till en extremt optimerad version (GGUF, kvantiserade vikter med mera) som med lite tålamod kan köras på enklare grafikkort.

Om den uppvisningsinriktade fasen av denna tredje AI-våg verkligen är över och man antar att företagen kommer att avskräckas av de verkliga inferenskostnaderna, kan initiativ som AdaCodec ingå i en kommande ”stor optimering”.

^† Det är inte samma sak som att exportera videon till ett användarvänligt format och en lämplig filstorlek. Det handlar om den interna generering och sammanställning av bildrutor som sker i AI-modellen under inferensen.

* Jag har inom rimliga gränser omvandlat författarnas litteraturhänvisningar i löptexten till hyperlänkar.

Först publicerad torsdagen den 4 juni 2026