Een videocodec voor AI-gegenereerde beelden

Terwijl de all-you-can-eat-periode van AI ten einde loopt, belooft een nieuwe, economische benadering van AI-videogeneratie aanzienlijke besparingen in tokens en tijd.

De werkelijke kosten van AI-inferentie brengen een nieuwe noot van soberheid naar de razendsnelle ontwikkeling van de huidige AI-revolutie, met een toegenomen interesse in het rationaliseren van de kosten van machine learning. Naast het potentieel van AI naar huis halen, en de algemene toename van private AI, zullen VRAM-hongerige en resource-vretende machine learning-routines duidelijk geoptimaliseerd moeten worden.

Video-generatie is misschien de grootste boosdoener in dit opzicht. Als je ooit een film hebt gecomprimeerd of geëxporteerd uit een videobewerkingsprogramma, weet je al de tol die deze specifieke (niet-AI) taak eist van je hardware – het verbruikt RAM en CPU-cycli, en blokkeert vaak de machine voor elk ander gebruik, tenzij maatregelen worden genomen om de impact van het compressie-algoritme op de host-computer te beperken.

Daarom hoeft men zich alleen maar voor te stellen in welke mate de opkomst van AI-video deze ‘energieverslindende’ procedure herhaalt in datacenters over de hele wereld. Op die schaal van operatie worden de kleinste winsten onmiddellijk significant in de totale berekening.

In het kader

Met dit in gedachten, is een nieuw onderzoeksvoorstel uit Shanghai, in samenwerking met JD.com, een videocodec aan het voorstellen die niet gericht is op het renderen van het proces (het proces van het comprimeren van grote, onbewerkte frames naar een kleinere videobestandsgrootte), maar op het eigen AI-videogeneratieproces.

Een normale videocodec werkt door niet elke frame op te slaan als een volledig beeld, maar door een kleiner aantal complete plaatjes te creëren, genaamd I-frames, en vervolgens de veranderingen tussen frames op te slaan.

Als voorbeeld, als iemand in een video een beetje beweegt, registreert de codec alleen de delen van het frame die deze verandering aangeven, in plaats van het hele tafereel opnieuw te schrijven. Dit zijn P-frames, die afgeleid zijn van eerdere frames, en B-frames, die ook informatie in toekomstige frames kunnen anticiperen:

Anatomie van een videocodec: bovenste rij toont frames in de loop van de tijd met labels I, P en B, met I-frames volledig opgeslagen in volle kleur en P- en B-frames weergegeven in een vervaagde tint om reconstructie aan te geven; pijlen geven aan of frames eerder frames, latere frames of beide gebruiken; onderste panelen tonen een volledig opgeslagen frame (I-frame, links), een frame opgebouwd uit een eerder frame (P-frame, tweede van links) en een frame opgebouwd uit zowel eerdere als latere frames (B-frame, rechts).

Dit hergebruik van nabije informatie is de reden waarom videobestanden klein blijven, met de meeste frames die opereren als instructies die aangeven hoe het vorige frame is veranderd. Daarom vormen I-frames ‘volle’, ruimteverslindende ongecomprimeerde (of minimaal gecomprimeerde) beelden, met de frames ertussenin die alleen de verschillen tussen I-frames (en tussen zichzelf) vormen.

Wanneer elk enkel frame een volledig ongecomprimeerd beeld is, heeft de film in wezen geen compressie. Het opslaan van een film op deze manier, als ongecomprimeerde video, zou resulteren in een 2-uur durende film die bijna (of meer dan) een terabyte aan schijfruimte nodig heeft. Dit is echter hoe AI films maakt^† – door gelijke middelen en tokens toe te wijzen aan elk enkel frame, wanneer het berekent hoe het de video moet formuleren.

Schaalvoordeel

Het nieuwe werk, getiteld AdaCodec: Een predictieve visuele code voor video MLLM’s, besteedt volledige visuele tokens uitsluitend aan referentieframes (I-frames), met alle interstitiële frames weergegeven als ‘compacte P-tokens’ – een paradigma dat duidelijk is overgenomen uit de traditionele compressie die wordt gebruikt door historische ‘echte wereld’ videocodecs.

Nadat deze interne compressie heeft plaatsgevonden, kan de genAI-video vervolgens normaal worden gecomprimeerd, en, in theorie, zijn alle besparingen server-side:

Overzicht van AdaCodec. Links, worden video’s verdeeld in adaptieve groepen van beelden, met volledige I-frames gereserveerd voor momenten die moeilijk te voorspellen zijn en tussenliggende P-frames weergegeven met compacte bewegings- en restinformatie. Rechts, komt het resulterende systeem overeen met of overtreft Qwen3-VL-8B op elf benchmarks, behoudt een hogere nauwkeurigheid voor lange video’s over tokenbudgetten, en vermindert de responstijd terwijl het aanzienlijk minder videotokens verwerkt. Bron

De besparingen, volgens de gerapporteerde resultaten van tests voor AdaCodec, zijn de moeite waard om na te streven; het artikel stelt dat het systeem de ongewijzigde Qwen3-VL-8B-model overtrof op elke belangrijke benchmark, terwijl het hetzelfde aantal verwerkingen gebruikte; en kwam overeen met of overtrof dat model nog steeds na het knippen van videotokens met een indrukwekkende benadering van 86%.

De auteurs verklaren*:

‘We putten inspiratie uit predictieve codering, waar een systeem fouten van een voorspelling overdraagt in plaats van het ruwe signaal. Dit principe heeft biologische grondslagen: het visuele systeem wordt verondersteld voorspellingsfouten te coderen, de mismatch tussen verwachte en waargenomen invoer, in plaats van de invoer zelf.

‘Moderne videocodecs gebruiken hetzelfde idee van restcodering in de techniek: referentieframes dragen volledige inhoud, terwijl predictieve frames beweging en restsignalen relatief ten opzichte van een referentie.

‘Deze systemen hebben verschillende doelstellingen, maar ze delen dezelfde conditionele structuur: wanneer nabije monsters redundant zijn, zou het kanaal moeten dragen wat de voorspelling niet kan verklaren.

‘Standaardcodecs zijn echter geoptimaliseerd voor bitstreams en menselijk zichtbare reconstructie, niet voor visuele tokens die door een LLM worden verbruikt. We hebben daarom dit mechanisme herontworpen als een MLLM-interface voor video-begrip.’

Het nieuwe werk, geschreven door 11 onderzoekers van de Shanghai Jiao Tong University, Shanghai Innovation Institute en JD.com, komt met een geassocieerde projectpagina, met de belofte van de release van de broncode.

Methode

Zoals besproken, behandelt het systeem in plaats van elk frame als een compleet nieuw beeld, het systeem kijkt naar wat er tussen het ene frame en het andere is veranderd. Aan de linkerkant, in het onderstaande beeld, zien we een klein gebied van het huidige frame dat wordt gematcht met het meest gelijkaardige gebied in een eerder frame:

Schema-overzicht voor AdaCodec.

De afstand tussen de twee locaties wordt een bewegingsvector, terwijl eventuele resterende visuele verschillen een rest vormen, met deze compacte beschrijvingen die de noodzaak vervangen om een volledig beeld op te slaan.

Aan de rechterkant zien we de resulterende informatie die wordt ingevoerd in het AI-model: belangrijke referentieframes worden nog steeds verwerkt als complete beelden, maar de tussenliggende frames worden weergegeven door veel kleinere bewegings- en rest-tokens – die kennelijk toelaten dat het model voldoende informatie behoudt om de video te parseren, terwijl het aanzienlijk minder visuele gegevens verwerkt.

Een interessante uitdaging is het bepalen van welke frames volledig opgeslagen moeten worden: traditionele videocodecs plaatsen referentieframes meestal op regelmatige tussenpozen, of ze nu nodig zijn of niet. AdaCodec probeert daarentegen om de momenten te identificeren die het meest van belang zijn.

Als voorbeeld, overweeg een scène die voornamelijk een statische conversatie tussen twee mensen in een appartement toont – en plotseling stormt een SWAT-team door het raam naar binnen. Onmiddellijk zullen de camerabeelden en het aantal montageknippen toenemen en veel meer gegevens vereisen dan een gestandaardiseerd referentieframe-interval zal bieden:

Dit is de logica achter variabele compressie (variabele bitrate) compressiemethoden, die de bronvideo analyseren op dergelijke ‘drukke’ periodes en meer gegevens toewijzen waar ze nodig zijn – tegen een niet geringe kosten van tijd en middelen.

In AdaCodec, als een frame nauwkeurig kan worden voorspeld uit nabije frames, blijft het systeem compacte bewegings- en resttokens gebruiken; als de scène aanzienlijk verandert (bijv. het SWAT-teamvoorbeeld hierboven, of iets minder dramatisch), wordt een volledig referentieframe ingevoegd. Dit stelt meer van het beschikbare verwerkingsbudget in staat om te worden besteed aan belangrijke visuele informatie in plaats van gelijkmatig over de hele video te worden verdeeld.

Gegevens en tests

Tijdens de tests gebruikten de onderzoekers de eerder genoemde Qwen3-VL-8B als basismodel en evalueerden AdaCodec op elf benchmarks die drie gebieden van video-begrip bestrijken: prestaties op lange video’s werden beoordeeld met MLVU, LongVideoBench en LVBench; temporeel begrip met TempCompass, MotionBench en TOMATO; en algemeen video-begrip met Video-MME, MVBench, NExT-QA, PerceptionTest en EgoSchema.

Open source-modellen die getest werden, waren InternVL3.5-8B; Keye-VL-1.5-8B; GLM-4.1V-9B; MiniCPM-V-4.5-8B; Eagle2.5-8B; PLM-8B; LLaVA-Video-7B; VideoChat-Flash-7B; Molmo2-8B en Molmo2-O-7B.

De GPT-5, Gemini en Claude-varianten verschijnen in de onderstaande tabel alleen als vergelijkingsbaselines. CoPE-VideoLM-7B en ReMoRa-7B zijn eerdere video-taalmodellen die visueel-tokengebruik verminderen door codec-geïnspireerde compressie, waardoor ze de meest directe concurrenten van AdaCodec zijn:

Hoofdresultaten over elf benchmarks die lange video-prestaties, temporeel redeneren en algemeen video-begrip bestrijken. Hogere scores geven betere prestaties aan. LVB = LongVideoBench; V-MME = Video-MME. Vetgedrukte en onderstreepte waarden geven de hoogste en tweede hoogste scores aan onder open source-modellen. Scores voor gesloten source-modellen werden overgenomen uit officiële rapporten waar beschikbaar, met ontbrekende resultaten overgenomen uit Molmo2, of geëvalueerd door de auteurs.

Om een eerlijke vergelijking te garanderen, werd hetzelfde aantal visuele tokens toegewezen aan zowel AdaCodec als het standaard Qwen3-VL-8B-systeem, waardoor de resultaten de effectiviteit van de compressiebenadering weerspiegelen, in plaats van enige verschillen in computationele middelen.

Op de meest agressieve instelling reduceerde AdaCodec het visueel-tokengebruik met ongeveer 86% en kwam het overeen met of overtrof het basismodel op lange video-, temporele en algemene video-begriptaken.

Wanneer de bespaarde tokens werden herbelegd in het verwerken van meer videoframes, verbeterde de prestatie over alle lange video-benchmarks en alle temporele benchmarks, met winsten tot +5,4 punten op LongVideoBench en +4,3 punten op TOMATO, terwijl het ook enkele van de sterkste open source-resultaten in de studie produceerde.

Conclusie

Hoewel projecten van deze aard meestal zijn gericht op hyperschaalproviders, is dit het soort inspanning dat van belang zal zijn voor hobbyisten en MKB’s, als onderdeel van een potentiële nieuwe ‘openbare ascese’ rondom lokaal, gerationaliseerd AI-gebruik.

In gemeenschappen zoals r/stablediffusion is dit heel oude nieuws, omdat elke grote open source-release die daar aankomt, regelmatig wordt getormenteerd in een hyper-geoptimaliseerde (GGUF, gekwantiseerde gewichten, enz.) versie die kan worden uitgevoerd, met enige geduld, op lagere grafische kaarten.

Als de ‘performative fase’ van deze derde AI-opkomst inderdaad voorbij is, en onder de voorwaarde dat bedrijven zullen worden afgeschrikt door de werkelijke kosten van inferentie, dan kunnen initiatieven zoals AdaCodec deel uitmaken van een komende ‘grote optimalisatie’.

^† Dit is niet hetzelfde als het renderen van de video naar een gebruikersvriendelijk formaat/bestandsgrootte; het gaat eerder om de interne generatie en collatie van frames die plaatsvindt binnen het AI-model op het moment van inferentie.

* Mijn conversie, binnen redelijke grenzen, van de inline citaten van de auteurs naar hyperlinks.

Publicatie op donderdag 4 juni 2026