En video codec för AI-genererad film

När den all-you-can-eat-eran för AI närmar sig sitt slut, lovar en ekonomiskt ny approach till AI-video generation betydande besparingar i tokens och tid.

Den verkliga kostnaden för AI-inferens för med sig en ny ton av nykterhet till den snabba takten i den nuvarande AI-revolutionen, med ökat intresse för att rationalisera kostnaden för maskinlärning. Utöver potentialen för att bringa AI hem, och den allmänna uppgången av privat AI, kommer VRAM-hungriga och resurskrävande maskinlärningsrutiner också att behöva optimeras.

Video generation är kanske den största syndaren i detta avseende. Om du någonsin har komprimerat en film eller exporterat en från en video-redigerings svit, vet du redan påfrestningen som denna specifika (icke-AI) uppgift tar på din hårdvara – äter RAM och CPU-cyklar, och blockerar ofta maskinen för all annan användning, såvida inte åtgärder vidtas för att begränsa komprimeringsalgoritmens påverkan på värddatorn.

Därför behöver man bara föreställa sig den omfattning i vilken uppgången av AI-video upprepar denna “kraftgalna” procedur i datacenter runt om i världen. På den här skalan av drift, blir de minsta vinsterna omedelbart betydande i den samlade beräkningen.

I ramen

Med detta i åtanke, föreslår en ny forskningsinsats från Shanghai, i samarbete med JD.com, en video codec som syftar till att inte återge processen (processen att komprimera stora, råa ramar till en mindre video filstorlek), utan till den faktiska AI-video generationsprocessen i sig.

En vanlig video codec fungerar genom att inte lagra varje ram som en fullständig bild, utan genom att skapa ett mindre antal kompletta bilder, kallade I-ramar, och sedan lagra ändringar mellan ramarna.

Till exempel, om en person rör sig något i en video, registrerar codec endast de delar av ramen som visar den här ändringen, snarare än att skriva om hela scenen. Dessa är P-ramar, som härrör från tidigare ramar, och B-ramar, som också kan förutse information i framtida ramar:

Anatomi av en video codec: översta raden visar ramar över tid med etiketter I, P och B, med I-ramar fullständigt lagrade i full färg och P- och B-ramar visas bleka för att indikera rekonstruktion; pilarna indikerar om ramar använder tidigare ramar, senare ramar eller båda; nedre paneler visar en fullständigt lagrad ram (I-ram, vänster), en ram byggd från en tidigare ram (P-ram, andra från vänster) och en ram byggd från både tidigare och senare ramar (B-ram, höger).

Denna återanvändning av närliggande information är varför video filer förblir små, med de flesta ramar som fungerar inte som nya bilder, utan som instruktioner som beskriver hur den tidigare ramen har ändrats. Därför utgör I-ramar “fullfet”, utrymmeskrävande oformaterad (eller minimalt komprimerad) bilder, med ramarna däremellan utgörande endast skillnaden mellan I-ramar (och mellan sig själva).

När varje enskild ram är en fullständigt oformaterad bild, har filmen i princip ingen komprimering. Att spara en film på detta sätt, som oformaterad video, skulle resultera i att en 2-timmars film behöver nästan (eller mer än) en terabyte diskutrymme. Men detta är hur AI skapar filmer^† – genom att dedikera lika resurser och tokens till varje enskild ram, när det beräknar hur man ska formulera videon.

Ekonomi i skala

Det nya arbetet, med titeln AdaCodec: En prediktiv visuell kod för video MLLM, expenderar fulla visuella tokens exklusivt på referensramar (I-ramar), med alla interstitiella ramar återgivna som “kompakta P-token” – ett paradigm tydligt taget från den traditionella komprimeringen som används av historiska “verkliga världens” video codecs.

Efter att denna interna komprimering har skett, kan genAI-videon sedan komprimeras normalt, och i teorin är alla besparingar server-sidans:

Översikt av AdaCodec. Vänster, videor delas in i adaptiva grupper av bilder, med fulla I-ramar reserverade för ögonblick som är svåra att förutsäga och mellanliggande P-ramar representerade med kompakta rörelse- och restinformation. Höger, det resulterande systemet matchar eller överträffar Qwen3-VL-8B över elva benchmark, upprätthåller högre långvideo-precision över token-budgetar och minskar svarsfördröjning medan det bearbetar avsevärt färre video-token. Källa

Besparingarna, enligt rapporterade resultat från tester för AdaCodec, är värda att sträva efter; artikeln hävdar att systemet överträffade den omodifierade Qwen3-VL-8B-modellen över alla stora benchmark, medan det använde samma mängd bearbetning; och matchade eller överträffade den modellens prestanda efter att ha skurit video-token med en imponerande ungefärlig 86%.

Författarna hävdar*:

‘Vi drar inspiration från prediktiv kodning, där ett system överför fel från en förutsägelse snarare än den råa signalen. Denna princip har biologisk grund: det visuella systemet anses koda förutsägelsefel, missmatchningen mellan förväntad och observerad inmatning, så snarare än inmatningen själv.

‘Modern video codecs använder samma rest-kodningsidé i ingenjörskonst: referensramar bär fullt innehåll, medan prediktiva ramar bär rörelse- och restsignaler i förhållande till en referens.

‘Dessa system har olika mål, men de delar samma villkorliga struktur: när närliggande prover är redundanta, bör kanalen bära vad förutsägelsen inte lyckas förklara.

‘Standard codecs, emellertid, optimerar för bitströmmar och mänskligt synlig rekonstruktion, inte för visuella token som konsumeras av en LLM. Vi omkonstruerar därför denna mekanism som ett MLLM-gränssnitt för video förståelse.’

Det nya arbetet, skrivet av 11 forskare från Shanghai Jiao Tong University, Shanghai Innovation Institute och JD.com, kommer med en associerad projektsida, med utgivning av källkod lovat.

Metod

Som diskuterat, istället för att behandla varje ram som en helt ny bild, letar systemet efter vad som har ändrats mellan en ram och den nästa. Till vänster, i bilden nedan, ser vi en liten region av den aktuella ramen som matchas mot den mest liknande regionen i en tidigare ram:

Schemaöversikt för AdaCodec.

Avståndet mellan de två platserna blir en rörelsevektor, medan eventuella kvarvarande visuella skillnader blir en rest, med dessa kompakta beskrivningar som ersätter behovet av att lagra en fullständig bild.

Till höger ser vi den resulterande informationen som matas in i AI-modellen: viktiga referensramar bearbetas fortfarande som fullständiga bilder, men de ingripande ramarna representeras av mycket mindre rörelse- och rest-token – tydligen tillåter modellen att behålla tillräckligt med information för att tolka videon, medan den bearbetar betydligt mindre visuell data.

En intressant utmaning är att bestämma vilka ramar som förtjänar att lagras fullständigt: traditionella video codecs placerar vanligtvis referensramar vid regelbundna intervall, oavsett om de behövs eller inte. AdaCodec försöker istället identifiera de ögonblick som är viktigast.

Till exempel, överväg en scen som mestadels visar en statisk konversation mellan två personer i en lägenhet – och plötsligt stormar en SWAT-styrka in genom fönstret. Omedelbart kommer kameravyn och antalet redigeringsskärningar att öka och kräva mycket mer data än vad ett regulariserat referensramintervall kommer att ge:

Detta är logiken bakom variabel komprimering (variabel bitrate) komprimeringsmetoder, som analyserar källvideo för sådana “upptagna” perioder och tilldelar större data där det behövs – till ingen liten kostnad av tid och resurser.

I AdaCodec, om en ram kan förutsägas exakt från närliggande ramar, fortsätter systemet att använda kompakta rörelse- och rest-token; om scenen ändras avsevärt (t.ex. SWAT-exemplet ovan, eller något mindre dramatiskt), infogas en fullständig referensram. Detta tillåter mer av den tillgängliga bearbetningsbudgeten att spenderas på viktig visuell information istället för att fördelas jämnt över hela videon.

Data och tester

I testning, använde forskarna den ovannämnda Qwen3-VL-8B som basmodell och utvärderade AdaCodec över elva benchmark som omfattar tre områden av video förståelse: långvideo prestanda bedömdes med MLVU, LongVideoBench och LVBench; temporalt förstående med TempCompass, MotionBench och TOMATO; och allmän video förståelse med Video-MME, MVBench, NExT-QA, PerceptionTest och EgoSchema.

Öppen källkodsmodeller som testades var InternVL3.5-8B; Keye-VL-1.5-8B; GLM-4.1V-9B; MiniCPM-V-4.5-8B; Eagle2.5-8B; PLM-8B; LLaVA-Video-7B; VideoChat-Flash-7B; Molmo2-8B; och Molmo2-O-7B.

GPT-5, Gemini och Claude varianter visas i tabellen nedan endast som jämförelse baseline. CoPE-VideoLM-7B och ReMoRa-7B är tidigare video-språkmodeller som minskar visuell-token-användning genom codec-inspirerad komprimering, vilket gör dem till de närmaste direkta konkurrenterna till AdaCodec:

Huvudsakliga resultat över elva benchmark som täcker långvideo förståelse, temporalt förstående och allmän video förståelse. Högre poäng indikerar bättre prestanda. LVB = LongVideoBench; V-MME = Video-MME. Fet och understruken värden indikerar den högsta och näst högsta poängen bland öppen källkodsmodeller. Poäng för slutna källkodsmodeller togs från officiella rapporter där tillgängligt, med saknade resultat källade från Molmo2 eller utvärderade av författarna.

För att säkerställa en rättvis jämförelse, tilldelades samma antal visuella token både AdaCodec och den standard Qwen3-VL-8B-systemet, vilket tillåter resultaten att reflektera effektiviteten i komprimeringsmetoden, snarare än några skillnader i beräkningsresurser.

Vid den mest aggressiva inställningen minskade AdaCodec visuell-token-användning med cirka 86% medan den fortfarande matchade eller något överträffade baseline-systemet på långvideo-, temporalt- och allmän video förståelse-uppgifter.

När de sparade token återinvesteras i att bearbeta fler video-ramar, förbättrades prestandan över alla långvideo-benchmark och alla temporala benchmark, med vinster som nådde +5,4 poäng på LongVideoBench och +4,3 poäng på TOMATO, samtidigt som det producerade några av de starkaste öppen källkodsresultaten i studien.

Slutsats

Även om projekt av den här typen vanligtvis riktar sig till hyperskale-leverantörer, är detta den typen av ansträngning som kommer att vara av intresse för hobbyister och SME:er, som en del av en potentiell ny “offentlig askes” kring lokal, rationaliserad AI-distribution.

I samhällen som r/stablediffusion, är detta mycket gammal nyhet, eftersom varje större öppen källkodsrelease som anländer där regelbundet “plågas” till en hyperoptimerad (GGUF, kvantiserade vikter, etc.) version som kan köras, med viss tålamod, på lägre slutna grafikkort.

Om den “performative” etappen av denna tredje AI-uppsving verkligen är över, och under antagandet att företag kommer att avskräckas av den verkliga kostnaden för inferens, då kan initiativ som AdaCodec utgöra en del av en kommande “stor optimering”.

^† Detta är inte detsamma som att återge videon till en användarvänlig format/filstorlek; snarare handlar det om den interna genereringen och sammanställningen av ramar som sker inuti AI-modellen vid inferenstid.

* Min omvandling, inom rimliga gränser, av författarnas inline-citationer till hyperlänkar.

Publicerad torsdag, 4 juni 2026