Ein Video-Codec für KI-generiertes Videomaterial

Während sich die Ära der unbegrenzten KI-Nutzung dem Ende nähert, verspricht ein neuer, sparsamer Ansatz zur Erzeugung von KI-Videos erhebliche Einsparungen bei Token und Zeit.

Die tatsächlichen Kosten der KI-Inferenz bringen neue Nüchternheit in das rasante Tempo der aktuellen KI-Revolution. Zugleich wächst das Interesse daran, die Kosten des maschinellen Lernens zu senken. Neben der Möglichkeit, KI im eigenen Haus zu betreiben, und der allgemeinen Verbreitung von privater KI müssen offensichtlich auch die Verfahren optimiert werden, die viel VRAM und andere Ressourcen verschlingen.

Die Videoerzeugung ist in dieser Hinsicht vielleicht der größte Ressourcenverbraucher. Wer schon einmal einen Film neu komprimiert oder aus einem Videoschnittprogramm exportiert hat, kennt die Belastung, die diese spezielle, nicht auf KI beruhende Aufgabe für die Hardware bedeutet: Sie verbraucht RAM und CPU-Zyklen und blockiert den Rechner oft für andere Aufgaben, sofern die Auswirkungen des Komprimierungsalgorithmus auf den Rechner nicht begrenzt werden.

Man kann sich daher vorstellen, in welchem Ausmaß der Aufstieg von KI-Videos diesen leistungshungrigen Vorgang in Rechenzentren rund um den Globus wiederholt. Bei einem solchen Betriebsmaßstab werden selbst kleinste Verbesserungen in der Summe sofort bedeutsam.

Den Frame im Blick

Vor diesem Hintergrund schlägt eine neue Forschungsarbeit aus Shanghai in Zusammenarbeit mit JD.com (JD ) einen Video-Codec vor. Er richtet sich nicht auf das Herausrendern, also das Komprimieren riesiger Rohbilder zu einer kleineren Videodatei, sondern auf die eigentliche KI-Videoerzeugung.

Ein gewöhnlicher Video-Codec speichert nicht jeden Frame als vollständiges Bild. Stattdessen legt er eine kleinere Zahl vollständiger Bilder an, sogenannte I-Frames, und speichert anschließend die Änderungen zwischen Frames.

Bewegt sich beispielsweise eine Person in einem Video leicht, zeichnet der Codec nur die Bildbereiche auf, in denen sich etwas verändert, statt die gesamte Szene neu zu schreiben. Das sind P-Frames, die aus früheren Frames abgeleitet werden, sowie B-Frames, die auch Informationen aus späteren Frames berücksichtigen können:

Aufbau eines Video-Codecs: Die obere Reihe zeigt Frames im Zeitverlauf mit den Kennzeichnungen I, P und B. I-Frames sind vollständig gespeichert und in voller Farbe dargestellt; P- und B-Frames erscheinen verblasst, um ihre Rekonstruktion zu veranschaulichen. Die Pfeile zeigen, ob frühere Frames, spätere Frames oder beide verwendet werden. Unten sind ein vollständig gespeicherter Frame (I-Frame, links), ein aus einem früheren Frame aufgebauter Frame (P-Frame, zweiter von links) und ein aus früheren und späteren Frames aufgebauter Frame (B-Frame, rechts) zu sehen.

Diese Wiederverwendung benachbarter Informationen hält Videodateien klein. Die meisten Frames sind keine neuen Bilder, sondern Anweisungen, die die Veränderungen gegenüber dem vorherigen Frame beschreiben. I-Frames sind somit vollständige, platzintensive, unkomprimierte oder nur minimal komprimierte Bilder. Die Frames dazwischen enthalten lediglich die Unterschiede zu den I-Frames und untereinander.

Wenn jeder einzelne Frame ein vollständiges, unkomprimiertes Bild ist, gibt es im Film praktisch keine Komprimierung. Als unkomprimiertes Video gespeichert würde ein zweistündiger Film fast ein Terabyte Speicherplatz oder mehr benötigen. Genau so erzeugt KI jedoch Filme^†: Beim Berechnen der Videostruktur weist sie jedem einzelnen Frame gleich viele Ressourcen und Token zu.

Einsparungen im großen Maßstab

Die neue Arbeit mit dem Titel AdaCodec: A Predictive Visual Code for Video MLLMs setzt stattdessen vollständige visuelle Token ausschließlich für Referenzframes ein, also für I-Frames. Alle Zwischenframes werden als kompakte P-Token dargestellt. Das Prinzip ist klar von der traditionellen Komprimierung herkömmlicher Video-Codecs aus der realen Welt übernommen.

Nach dieser internen Komprimierung lässt sich das generativ erzeugte Video anschließend wie gewohnt komprimieren. Theoretisch entstehen alle Einsparungen auf der Serverseite:

Überblick über AdaCodec. Links werden Videos in adaptive Bildgruppen unterteilt. Vollständige I-Frames bleiben schwer vorherzusagenden Momenten vorbehalten, während dazwischenliegende P-Frames durch kompakte Bewegungs- und Residualinformationen dargestellt werden. Rechts erreicht oder übertrifft das System Qwen3-VL-8B in elf Benchmarks, hält über verschiedene Tokenbudgets hinweg eine höhere Genauigkeit bei langen Videos und verkürzt die Antwortlatenz, während es erheblich weniger Videotoken verarbeitet. Quelle

Die berichteten Testergebnisse von AdaCodec zeigen, dass sich diese Einsparungen lohnen. Laut der Arbeit übertraf das System das unveränderte Qwen3-VL-8B-Modell in allen wichtigen Benchmarks bei gleichem Rechenaufwand. Auch nach einer Verringerung der Videotoken um ungefähr 86 % erreichte oder übertraf es dessen Leistung.

Die Autoren erklären*:

„Wir lassen uns von der prädiktiven Codierung inspirieren, bei der ein System die Fehler einer Vorhersage statt des Rohsignals überträgt. Dieses Prinzip hat eine biologische Grundlage: Man nimmt an, dass das visuelle System Vorhersagefehler codiert, also die Abweichung zwischen erwartetem und beobachtetem Eingangssignal, statt des Eingangssignals selbst.“

„Moderne Video-Codecs nutzen in der Technik dieselbe Idee der Residualcodierung: Referenzframes enthalten den vollständigen Inhalt, während prädiktive Frames Bewegungs- und Residualsignale relativ zu einem Referenzframe enthalten.“

„Diese Systeme haben unterschiedliche Ziele, teilen aber dieselbe bedingte Struktur: Wenn benachbarte Stichproben redundante Informationen enthalten, sollte der Kanal das übertragen, was die Vorhersage nicht erklärt.“

„Standard-Codecs optimieren jedoch für Bitströme und eine für Menschen sichtbare Rekonstruktion, nicht für visuelle Token, die ein LLM verarbeitet. Deshalb gestalten wir diesen Mechanismus als MLLM-Schnittstelle für das Videoverständnis neu.“

Die neue Arbeit stammt von elf Forschenden der Shanghai Jiao Tong University, des Shanghai Innovation Institute und von JD.com. Es gibt eine zugehörige Projektseite, und die Veröffentlichung des Quellcodes ist angekündigt.

Methode

Wie beschrieben behandelt das System nicht jeden Frame als völlig neues Bild, sondern sucht nach den Veränderungen von einem Frame zum nächsten. Links in der folgenden Abbildung wird ein kleiner Bereich des aktuellen Frames mit dem ähnlichsten Bereich eines früheren Frames abgeglichen:

Schematischer Überblick über AdaCodec.

Der Abstand zwischen den beiden Positionen ergibt einen Bewegungsvektor, während die verbleibenden visuellen Unterschiede ein Residual bilden. Diese kompakten Beschreibungen machen die Speicherung eines vollständigen Bildes überflüssig.

Rechts werden die so gewonnenen Informationen in das KI-Modell eingespeist. Wichtige Referenzframes werden weiterhin als vollständige Bilder verarbeitet, während die Zwischenframes durch wesentlich kleinere Bewegungs- und Residual-Token dargestellt werden. Offenbar behält das Modell dadurch genügend Informationen, um das Video zu analysieren, verarbeitet aber deutlich weniger visuelle Daten.

Eine interessante Herausforderung besteht darin, die vollständig zu speichernden Frames auszuwählen. Herkömmliche Video-Codecs setzen Referenzframes gewöhnlich in regelmäßigen Abständen, unabhängig davon, ob sie gebraucht werden. AdaCodec versucht dagegen, die wichtigsten Momente zu erkennen.

Stellen wir uns etwa eine weitgehend unbewegte Gesprächsszene zwischen zwei Personen in einer Wohnung vor. Plötzlich dringt ein SWAT-Team durch das Fenster ein. Kameraperspektiven und Schnittzahl nehmen sofort stark zu und erfordern viel mehr Daten, als ein gleichmäßiges Referenzframe-Intervall bereitstellen kann:

Das ist das Prinzip hinter variablen Komprimierungsverfahren mit variabler Bitrate. Sie analysieren das Ausgangsvideo auf solche bewegungsreichen Abschnitte und weisen dort mehr Daten zu, wo sie benötigt werden. Das kostet allerdings erheblich Zeit und Ressourcen.

Lässt sich ein Frame in AdaCodec aus benachbarten Frames genau vorhersagen, nutzt das System weiterhin kompakte Bewegungs- und Residualtoken. Verändert sich die Szene wesentlich, etwa wie im SWAT-Beispiel oder weniger dramatisch, wird ein vollständiger Referenzframe eingefügt. So kann ein größerer Teil des verfügbaren Rechenbudgets auf wichtige visuelle Informationen entfallen, statt gleichmäßig über das ganze Video verteilt zu werden.

Daten und Tests

In den Tests verwendeten die Forschenden das bereits genannte Qwen3-VL-8B als Basismodell und bewerteten AdaCodec anhand von elf Benchmarks aus drei Bereichen des Videoverständnisses: Die Leistung bei langen Videos wurde mit MLVU, LongVideoBench und LVBench bewertet; das zeitliche Verständnis mit TempCompass, MotionBench und TOMATO; und das allgemeine Videoverständnis mit Video-MME, MVBench, NExT-QA, PerceptionTest und EgoSchema.

Getestet wurden die folgenden quelloffenen Modelle: InternVL3.5-8B; Keye-VL-1.5-8B; GLM-4.1V-9B; MiniCPM-V-4.5-8B; Eagle2.5-8B; PLM-8B; LLaVA-Video-7B; VideoChat-Flash-7B; Molmo2-8B; und Molmo2-O-7B.

Die Varianten von GPT-5, Gemini und Claude erscheinen in der folgenden Tabelle lediglich als Vergleichsbaselines. CoPE-VideoLM-7B und ReMoRa-7B sind frühere Video-Sprachmodelle, die visuelle Token mithilfe einer von Codecs inspirierten Komprimierung einsparen. Sie sind damit die engsten direkten Vergleichsmodelle für AdaCodec:

Hauptergebnisse in elf Benchmarks zum Verständnis langer Videos, zum zeitlichen Schlussfolgern und zum allgemeinen Videoverständnis. Höhere Werte bedeuten bessere Leistung. LVB = LongVideoBench; V-MME = Video-MME. Fett gedruckte und unterstrichene Werte kennzeichnen die höchsten und zweithöchsten Ergebnisse unter den quelloffenen Modellen. Werte geschlossener Modelle stammen, soweit verfügbar, aus offiziellen Berichten. Fehlende Ergebnisse wurden Molmo2 entnommen oder von den Autoren ermittelt.

Für einen fairen Vergleich erhielten AdaCodec und das Standardmodell Qwen3-VL-8B dieselbe Anzahl visueller Token. So spiegelten die Ergebnisse die Wirksamkeit des Komprimierungsansatzes statt Unterschiede bei den Rechenressourcen wider.

Bei der stärksten Komprimierung reduzierte AdaCodec den Verbrauch visueller Token um ungefähr 86 % und erreichte oder übertraf das Basissystem leicht bei Aufgaben zum Verständnis langer Videos, zum zeitlichen Verständnis und zum allgemeinen Videoverständnis.

Wurden die eingesparten Token in die Verarbeitung zusätzlicher Videoframes investiert, stieg die Leistung in jedem Benchmark für lange Videos und jedem zeitlichen Benchmark. Die Zuwächse erreichten +5,4 Punkte bei LongVideoBench und +4,3 Punkte bei TOMATO. Damit erzielte das System zugleich einige der stärksten quelloffenen Ergebnisse der Studie.

Schlussfolgerung

Solche Projekte richten sich zwar meist an Hyperscale-Anbieter, doch diese Art von Arbeit wird auch für Hobbyanwender und KMU interessant sein. Sie könnte Teil einer neuen, öffentlich sichtbaren Genügsamkeit bei lokalen, wirtschaftlicheren KI-Implementierungen werden.

In Gemeinschaften wie r/stablediffusion ist das längst bekannt: Jede größere Veröffentlichung eines quelloffenen Modells wird dort regelmäßig zu einer extrem optimierten Version umgearbeitet (GGUF, quantisierte Gewichte usw.), die mit etwas Geduld auch auf schwächeren Grafikkarten läuft.

Wenn die auf Außenwirkung ausgerichtete Phase dieses dritten KI-Booms tatsächlich vorbei ist und Unternehmen, so die Annahme, von den tatsächlichen Inferenzkosten abgeschreckt werden, könnten Initiativen wie AdaCodec Teil einer kommenden „großen Optimierung“ sein.

^† Das ist nicht mit dem Herausrendern des Videos in ein benutzerfreundliches Format und eine passende Dateigröße gleichzusetzen. Gemeint ist vielmehr die interne Erzeugung und Zusammenstellung von Frames, die während der Inferenz im KI-Modell stattfindet.

* Ich habe die Literaturverweise der Autoren im Fließtext nach eigenem Ermessen in Hyperlinks umgewandelt.

Erstveröffentlichung am Donnerstag, 4. Juni 2026