Een videocodec voor AI-gegenereerde beelden

Nu het tijdperk van onbeperkt AI-gebruik ten einde loopt, belooft een nieuwe, zuinige aanpak voor het genereren van AI-video aanzienlijke besparingen in tokens en tijd.

De werkelijke kosten van AI-inferentie zorgen voor een nieuwe dosis nuchterheid in de razendsnelle huidige AI-revolutie. Tegelijk groeit de belangstelling om de kosten van machine learning te rationaliseren. Naast de mogelijkheid om AI in eigen huis te halen en de algemene opkomst van private AI moeten duidelijk ook de machinelearningprocessen worden geoptimaliseerd die veel VRAM en andere middelen verbruiken.

Videogeneratie is in dit opzicht misschien de grootste verbruiker. Als je ooit een film opnieuw hebt gecomprimeerd of uit een videobewerkingsprogramma hebt geëxporteerd, ken je de belasting die deze taak zonder AI op je hardware legt. Ze verbruikt RAM en CPU-cycli en maakt ander gebruik van de computer vaak onmogelijk, tenzij de invloed van het compressiealgoritme op de computer wordt beperkt.

Je kunt je dus voorstellen op welke schaal de opkomst van AI-video dit rekenkrachtverslindende proces herhaalt in datacenters over de hele wereld. Op die schaal worden zelfs de kleinste verbeteringen bij elkaar opgeteld meteen betekenisvol.

Het frame centraal

Met dat in gedachten stelt nieuw onderzoek uit Shanghai, in samenwerking met JD.com (JD ), een videocodec voor die niet gericht is op het uiteindelijke renderen, oftewel het comprimeren van enorme ruwe frames tot een kleiner videobestand, maar op de AI-videogeneratie zelf.

Een gewone videocodec slaat niet elk frame als een volledig beeld op. In plaats daarvan maakt hij een kleiner aantal volledige beelden, de zogeheten I-frames, en slaat vervolgens de veranderingen tussen frames op.

Als iemand in een video bijvoorbeeld een beetje beweegt, registreert de codec alleen de delen van het frame waarin die verandering optreedt, in plaats van de hele scène opnieuw weg te schrijven. Dit zijn P-frames, afgeleid van eerdere frames, en B-frames, die ook informatie uit latere frames kunnen gebruiken:

Opbouw van een videocodec: de bovenste rij toont opeenvolgende frames met de labels I, P en B. I-frames zijn volledig opgeslagen en in kleur weergegeven; P- en B-frames zijn vervaagd om hun reconstructie aan te geven. De pijlen laten zien of eerdere frames, latere frames of beide worden gebruikt. Onderaan staan een volledig opgeslagen frame (I-frame, links), een frame opgebouwd uit een eerder frame (P-frame, tweede van links) en een frame opgebouwd uit eerdere en latere frames (B-frame, rechts).

Dit hergebruik van nabije informatie houdt videobestanden klein. De meeste frames zijn geen nieuwe beelden, maar instructies die beschrijven hoe het vorige frame is veranderd. I-frames zijn dus volledige, veel ruimte innemende beelden zonder compressie of met minimale compressie. De tussenliggende frames bevatten alleen de verschillen met I-frames en onderling.

Wanneer elk afzonderlijk frame een volledig, ongecomprimeerd beeld is, heeft de film in feite geen compressie. Een film van twee uur zou als ongecomprimeerde video bijna een terabyte schijfruimte of meer vergen. Toch maakt AI films op die manier^†: bij het berekenen van de video-opbouw wijst het model elk frame evenveel middelen en tokens toe.

Besparingen op schaal

Het nieuwe onderzoek met de titel AdaCodec: A Predictive Visual Code for Video MLLMs gebruikt daarentegen volledige visuele tokens uitsluitend voor referentieframes (I-frames). Alle tussenliggende frames worden weergegeven als compacte P-tokens. Dit principe is duidelijk ontleend aan de traditionele compressie van videocodecs uit de echte wereld.

Na deze interne compressie kan de door generatieve AI gemaakte video op de gebruikelijke manier worden gecomprimeerd. In theorie ontstaan alle besparingen aan de serverkant:

Overzicht van AdaCodec. Links worden video’s verdeeld in adaptieve beeldgroepen. Volledige I-frames zijn voorbehouden aan moeilijk te voorspellen momenten; de tussenliggende P-frames worden weergegeven met compacte bewegings- en residuinformatie. Rechts evenaart of overtreft het systeem Qwen3-VL-8B in elf benchmarks, behoudt het bij verschillende tokenbudgetten een hogere nauwkeurigheid voor lange video’s en verkort het de antwoordvertraging, terwijl het aanzienlijk minder videotokens verwerkt. Bron

De gerapporteerde testresultaten van AdaCodec laten zien dat het de moeite waard is om deze besparingen na te streven. Volgens de publicatie overtrof het systeem het ongewijzigde Qwen3-VL-8B-model in alle belangrijke benchmarks bij dezelfde hoeveelheid rekenwerk. Ook na een vermindering van de videotokens met ongeveer 86% evenaarde of overtrof het nog de prestaties van dat model.

De auteurs verklaren*:

“We laten ons inspireren door voorspellende codering, waarbij een systeem de fouten van een voorspelling verstuurt in plaats van het ruwe signaal. Dit principe heeft een biologische basis: men denkt dat het visuele systeem voorspellingsfouten codeert, het verschil tussen verwachte en waargenomen invoer, in plaats van de invoer zelf.”

“Moderne videocodecs gebruiken in de techniek hetzelfde principe van residucodering: referentieframes bevatten de volledige inhoud, terwijl voorspellende frames bewegings- en residusignalen bevatten ten opzichte van een referentieframe.”

“Deze systemen hebben verschillende doelen, maar delen dezelfde voorwaardelijke structuur: wanneer nabijgelegen samples redundante informatie bevatten, moet het kanaal overbrengen wat de voorspelling niet verklaart.”

“Standaardcodecs optimaliseren echter voor bitstreams en een voor mensen zichtbare reconstructie, niet voor visuele tokens die een LLM verwerkt. Daarom ontwerpen we dit mechanisme opnieuw als MLLM-interface voor videobegrip.”

Het nieuwe onderzoek is geschreven door 11 onderzoekers van Shanghai Jiao Tong University, Shanghai Innovation Institute en JD.com. Er is een bijbehorende projectpagina, en de publicatie van de broncode is toegezegd.

Methode

Zoals beschreven behandelt het systeem niet elk frame als een volledig nieuw beeld, maar zoekt het naar veranderingen van het ene frame naar het volgende. Links in de onderstaande afbeelding wordt een klein gebied van het huidige frame vergeleken met het meest overeenkomstige gebied in een eerder frame:

Schematisch overzicht van AdaCodec.

De afstand tussen de twee posities wordt een bewegingsvector, terwijl de resterende visuele verschillen een residu vormen. Deze compacte beschrijvingen vervangen de noodzaak om een volledig beeld op te slaan.

Rechts worden de verkregen gegevens aan het AI-model doorgegeven. Belangrijke referentieframes worden nog altijd als volledige beelden verwerkt, maar de tussenliggende frames worden weergegeven met veel kleinere bewegings- en residu-tokens. Daardoor lijkt het model genoeg informatie te behouden om de video te interpreteren, terwijl het aanzienlijk minder visuele gegevens verwerkt.

Een interessante uitdaging is bepalen welke frames volledig moeten worden opgeslagen. Traditionele videocodecs plaatsen referentieframes meestal met regelmatige tussenpozen, ongeacht of ze nodig zijn. AdaCodec probeert juist de belangrijkste momenten te herkennen.

Stel je een scène voor waarin twee mensen in een appartement praten en nauwelijks bewegen. Plotseling dringt een SWAT-team door het raam binnen. Het aantal camerastandpunten en montageknippen neemt meteen toe en vraagt veel meer gegevens dan een vast referentieframe-interval kan leveren:

Dat is de gedachte achter variabele compressiemethoden, zoals een variabele bitrate. Ze analyseren de bronvideo op zulke drukke passages en wijzen meer gegevens toe waar dat nodig is, tegen aanzienlijke kosten in tijd en middelen.

Kan AdaCodec een frame nauwkeurig voorspellen uit nabije frames, dan blijft het compacte bewegings- en residutokens gebruiken. Verandert de scène wezenlijk, zoals in het SWAT-voorbeeld of op een minder dramatische manier, dan wordt een volledig referentieframe ingevoegd. Zo kan meer van het beschikbare rekenbudget naar belangrijke visuele informatie gaan, in plaats van gelijkmatig over de hele video te worden verdeeld.

Gegevens en tests

De onderzoekers gebruikten het eerder genoemde Qwen3-VL-8B als basismodel en beoordeelden AdaCodec met elf benchmarks voor drie gebieden van videobegrip: prestaties op lange video’s werden beoordeeld met MLVU, LongVideoBench en LVBench; temporeel begrip met TempCompass, MotionBench en TOMATO; en algemeen videobegrip met Video-MME, MVBench, NExT-QA, PerceptionTest en EgoSchema.

De geteste opensourcemodellen waren InternVL3.5-8B; Keye-VL-1.5-8B; GLM-4.1V-9B; MiniCPM-V-4.5-8B; Eagle2.5-8B; PLM-8B; LLaVA-Video-7B; VideoChat-Flash-7B; Molmo2-8B en Molmo2-O-7B.

De varianten van GPT-5, Gemini en Claude staan in de onderstaande tabel uitsluitend als vergelijkingsbaselines. CoPE-VideoLM-7B en ReMoRa-7B zijn eerdere video-taalmodellen die het gebruik van visuele tokens verminderen met compressie die door codecs is geïnspireerd. Daarmee zijn het de meest directe concurrenten van AdaCodec:

Belangrijkste resultaten op elf benchmarks voor het begrijpen van lange video’s, temporeel redeneren en algemeen videobegrip. Hogere scores betekenen betere prestaties. LVB = LongVideoBench; V-MME = Video-MME. Vetgedrukte en onderstreepte waarden geven de hoogste en op een na hoogste scores onder opensourcemodellen aan. Scores van gesloten modellen zijn waar mogelijk overgenomen uit officiële rapporten. Ontbrekende resultaten zijn ontleend aan Molmo2 of door de auteurs geëvalueerd.

Voor een eerlijke vergelijking kregen AdaCodec en het standaard Qwen3-VL-8B-systeem hetzelfde aantal visuele tokens. Zo weerspiegelen de resultaten de effectiviteit van de compressieaanpak, niet verschillen in rekenmiddelen.

Bij de sterkste compressie verminderde AdaCodec het gebruik van visuele tokens met ongeveer 86%, terwijl het bij taken voor lange video’s, temporeel begrip en algemeen videobegrip het basismodel evenaarde of licht overtrof.

Toen de bespaarde tokens werden ingezet om meer videoframes te verwerken, verbeterden de prestaties op iedere benchmark voor lange video’s en iedere temporele benchmark. De winst liep op tot +5,4 punten op LongVideoBench en +4,3 punten op TOMATO, met enkele van de sterkste opensourceresultaten van het onderzoek.

Conclusie

Hoewel zulke projecten meestal op hyperscale-aanbieders zijn gericht, is dit het soort werk dat ook hobbyisten en het mkb zal interesseren. Het kan deel uitmaken van een nieuwe, publiek zichtbare soberheid rond lokale, rationeler ingerichte AI-toepassingen.

In gemeenschappen als r/stablediffusion is dit al lang bekend. Elke grote release van een opensourcemodel wordt daar regelmatig omgevormd tot een extreem geoptimaliseerde versie (GGUF, gekwantiseerde gewichten, enz.) die met wat geduld op minder krachtige grafische kaarten kan draaien.

Als de op uiterlijk vertoon gerichte fase van deze derde AI-golf inderdaad voorbij is en we aannemen dat bedrijven zich laten afschrikken door de werkelijke inferentiekosten, kunnen initiatieven zoals AdaCodec deel uitmaken van een komende “grote optimalisatie”.

^† Dit is niet hetzelfde als het exporteren van de video naar een gebruikersvriendelijk formaat en een passende bestandsgrootte. Het gaat om het intern genereren en samenvoegen van frames in het AI-model tijdens de inferentie.

* Ik heb de literatuurverwijzingen van de auteurs in de lopende tekst binnen redelijke grenzen omgezet naar hyperlinks.

Voor het eerst gepubliceerd op donderdag 4 juni 2026