Die Herausforderung der Videobeschriftung bei mehr als 1 Bild pro Sekunde

Die Fähigkeit von maschinellen Lernsystemen, die Ereignisse zu erkennen, die in einem Video auftreten, ist entscheidend für die Zukunft der AI-basierten Videogenerierung – nicht zuletzt, weil Videodatensätze genaue Beschriftungen erfordern, um Modelle zu produzieren, die den Anforderungen des Benutzers entsprechen und nicht übermäßig halluzinieren.

Ein Beispiel für ein Beschriftungsschema aus dem VidReCap-Projekt von Google. Quelle: https://sites.google.com/view/vidrecap

Die manuelle Beschriftung der für effektive Trainingsdatensätze erforderlichen Videos ist ein unerschwingliches Vorhaben. Obwohl es möglich ist, AI-Systeme zu trainieren, um Videos automatisch zu beschriften, werden immer noch viele menschlich erstellte Beispiele als Grundwahrheit benötigt, für Vielfalt und Abdeckung.

Noch wichtiger ist, dass fast jedes aktuelle AI-basierte Videobeschriftungsmodell mit 1 Bild pro Sekunde arbeitet, was nicht ausreichend ist, um Variationen in vielen Szenarien zu erkennen: plötzliche Mikroausdrucksänderungen für Emotionserkennungssysteme; schnelle Ereignisse in Hochgeschwindigkeitssportarten wie Basketball; gewaltsame Bewegungen; schnelle Schnitte in dramatischen Filmen, in denen Systeme wie PySceneDetect möglicherweise nicht in der Lage sind, sie zu identifizieren (oder werden nicht verwendet); und viele andere Szenarien, in denen das Fenster der Aufmerksamkeit clearly intensiver sein muss.

Bitte klicken, um abzuspielen. Schnelle, aber lebensverändernde Aktion in dem, was ansonsten einer der langsamsten Sportarten der Welt sein kann, als Alex Higgins die Weltmeisterschaft gegen Ray Reardon 1982 gewinnt. Quelle: https://www.youtube.com/watch?v=_1PuqKno_Ok

Schnell vorankommen und Logik brechen

Diese niedrige Rate ist der Standard für verschiedene logistische Gründe. Einerseits ist die Videobeschriftung eine ressourcenintensive Aktivität, egal ob das System ein sequenzielles Frame nach dem anderen untersucht oder verschiedene Methoden verwendet, um eine Folge von Frames in eine interpretierbare Beschriftungssequenz zu bringen. In beiden Fällen ist das Kontextfenster unvermeidlich durch Hardware-Einschränkungen begrenzt.

Ein weiterer Grund, warum 1 Bild pro Sekunde der aktuelle Standard ist, ist, dass Videos normalerweise nicht mit schnellen Ereignissen überfüllt sind; es ist daher redundant, 300 Frames eines statischen Snooker-Tisches der gleiche Aufmerksamkeit zu widmen wie dem Bruchteil einer Sekunde, in dem ein gelochter schwarzer Ball die Meisterschaft gewinnt (siehe Beispiel oben).

Es ist möglich, breitere sekundäre Hinweise zu verwenden, um wichtige Momente in einem Sportvideo zu identifizieren, wie z. B. die anhaltende Reaktion des Publikums auf einen schnellen Slam-Dunk in einem Basketballspiel. Solche Hinweise können jedoch aus anderen Gründen auftreten (wie unerwartete Spielerverletzungen) und sind nicht verlässlich. Dies ist ein Beispiel dafür, wie ein falsch beschrifteter Videodatensatz zu einem generativen Videomodell führen kann, das halluziniert oder Anweisungen falsch interpretiert, d. h., weil das Modell möglicherweise eine Spielerverletzung zeigt, wenn es aufgefordert wird, einen Slam-Dunk zu generieren (weil der “sekundäre Hinweis” der Publikumsaufregung nicht exklusiv für eine bestimmte Art von Ereignis war).

Dies ist in vielerlei Hinsicht ein “budgetärer” Problem und in anderer Hinsicht ein prozedurales Problem. Frameworks bis heute haben auf dem Prinzip basiert, dass sparse Schlüsselbilder die wesentlichen Informationen effektiv erfassen können, was jedoch eher bei der Festlegung von Genre und anderen Aspekten des Videoinhalts effektiv ist, da die Beweise in diesem Fall über mehrere Frames hinweg bestehen.

F-16

Ein neues Papier aus China bietet eine Lösung in Form des ersten multimodalen großen Sprachmodells (MLLM oder einfach LLM), das Videos mit 16 Bildern pro Sekunde analysieren kann, anstatt den Standard von 1 Bild pro Sekunde, und dabei die großen Fallstricke der Erhöhung der Analyserate vermeidet.

Bei Tests behaupten die Autoren, dass das neue System, das F-16 genannt wird, proprietäre State-of-the-Art-Modelle wie GPT-4o und Google’s Gemini-1.5 Pro übertrifft. Während andere aktuelle Modelle in der Lage waren, F-16s Ergebnisse in Tests zu erreichen oder zu übertreffen, waren die konkurrierenden Modelle viel größer und unhandlicher.

Obwohl F-16 auf ernsthaften Hardware (wie wir bald sehen werden) trainiert wurde, ist die Inferenz normalerweise viel weniger anspruchsvoll als das Training. Daher können wir hoffen, dass der Code (der für eine nahe Zukunft angekündigt wird) in der Lage sein wird, auf mittleren oder hochwertigen domestizierten GPUs zu laufen.

Was für die Vitalität der Hobby-Szene (und das schließt die professionelle VFX-Szene ein, meistens) benötigt wird, ist ein Videobeschriftungsmodell dieser Art, das auf Consumer-Systemen laufen kann, sodass die gesamte generative Vide Szene nicht zu API-basierten kommerziellen Systemen migriert oder Verbraucher zwingt, lokale Frameworks an kommerzielle Online-GPU-Dienste anzuschließen.

Jenseits des Skalierens

Die Autoren bemerken, dass dieser Ansatz eine praktische Alternative zum Skalieren von Datensätzen ist. Man kann auch folgern, dass, wenn man mehr Daten auf das Problem werfen würde, dies immer noch der Ansatz wäre, der bevorzugt werden könnte, da das neue System Ereignisse auf eine feinere Weise unterscheidet.

Sie erklären:

‘Eine niedrige Bildfrequenz kann zu einem Verlust kritischer visueller Informationen führen, insbesondere in Videos mit schnell wechselnden Szenen, feinen Details oder schnellen Bewegungen. Zusätzlich kann es, wenn Schlüsselbilder verpasst werden, aber das Modell auf Labels trainiert wird, die von Schlüsselbildinformationen abhängen, Schwierigkeiten haben, seine Vorhersagen mit dem erwarteten Inhalt abzustimmen, was möglicherweise zu Halluzinationen und verringerter Leistung führen kann…

‘… F-16 erreicht Spitzenleistungen in der allgemeinen Video-Fragebeantwortung unter Modellen ähnlicher Größe und zeigt einen klaren Vorteil bei der Verarbeitung von Hochgeschwindigkeitsvideos, wobei es kommerzielle Modelle wie GPT-4o übertrifft. Diese Arbeit eröffnet neue Wege für die Weiterentwicklung der Hochgeschwindigkeitsvideoverarbeitung in der multimodalen LLM-Forschung.’

Das neue Papier trägt den Titel Verbesserung der LLM-Videoverarbeitung mit 16 Bildern pro Sekunde und stammt von acht Autoren der Tsinghua-Universität und ByteDance.

Methode

Da aufeinanderfolgende Frames oft redundante Informationen enthalten, wendet F-16 einen Hochgeschwindigkeits-Aligner an, um Schlüsselbewegungsdetails zu komprimieren und zu kodieren, während die visuellen Semantiken erhalten bleiben. Jedes Frame wird zunächst von einem vorgefertigten Bild-Encoder verarbeitet, der Feature-Darstellungen extrahiert, bevor es an einen Aligner übergeben wird, der auf Gaussian Error Linear Units (GELUs) basiert.

F-16s Architektur verarbeitet Video bei 16 Bildern pro Sekunde, wodurch mehr Frames als traditionelle Modelle mit niedriger Bildfrequenz erfasst werden, und der Hochgeschwindigkeits-Aligner bewahrt visuelle Semantiken, während er Bewegungsdynamiken effizient kodiert, ohne zusätzliche visuelle Token hinzuzufügen. Quelle: https://arxiv.org/pdf/2503.13956

Um die erhöhte Frame-Zahl effizient zu bewältigen, gruppiert F-16 Frames in kleine Verarbeitungsfenster, indem es visuelle Merkmale mithilfe eines dreischichtigen Multi-Layer-Perceptrons (MLP) kombiniert, wodurch nur die relevantesten Bewegungsdetails erhalten bleiben und redundante Duplizierung reduziert wird, während der zeitliche Fluss der Aktionen erhalten bleibt. Eine räumliche Max-Pooling-Schicht komprimiert die Token-Zahl weiter, wodurch die Rechenkosten im Rahmen bleiben.

Die verarbeiteten Video-Tokens werden dann in das Qwen2-7B-LLM eingespeist, das textuelle Antworten basierend auf den extrahierten visuellen Merkmalen und einem gegebenen Benutzer-Prompt generiert.

Indem die Video-Eingabe auf diese Weise strukturiert wird, ermöglicht F-16, wie die Autoren behaupten, präzisere Ereigniserkennung in dynamischen Szenen, während die Effizienz erhalten bleibt.

Kurzversion

F-16 erweitert ein vorgefertigtes Bild-LLM, LLaVA-OneVision, um Video zu verarbeiten, indem es seine visuelle Eingabepipeline transformiert. Während Standard-Bild-LLMs isolierte Frames verarbeiten, reformuliert F-16s Hochgeschwindigkeits-Aligner mehrere Frames in eine Form, die das Modell effizienter verarbeiten kann; dies vermeidet, dass das System mit redundanter Information überwältigt wird, während wichtige Bewegungshinweise für die genaue Videoverarbeitung erhalten bleiben.

Um die Kompatibilität mit seiner bildbasierten Grundlage zu gewährleisten, verwendet F-16 vorgefertigte Parameter, indem es seinen Aligner in Sub-Matrizen umstrukturiert. Dieser Ansatz ermöglicht es, Wissen aus Einzelbild-Modellen zu integrieren, während es sich an sequenzielle Video-Eingaben anpasst.

Der Aligner komprimiert zunächst Frame-Folgen in ein Format, das für das LLM optimiert ist, wobei die informativsten Merkmale erhalten und unnötige Details verworfen werden. Die Architektur-Design ermöglicht es dem System, Hochgeschwindigkeits-Video zu verarbeiten, während die Rechenanforderungen im Rahmen bleiben, was die Autoren als Beweis dafür anführen, dass Skalierung nicht der einzige (oder beste) Weg für die Video-Beschriftung ist.

Tempo variieren

Da die Verarbeitung von Video bei 16 Bildern pro Sekunde die Bewegungserkennung verbessert, aber die Rechenanforderungen erhöht, insbesondere während der Inferenz, führt F-16 eine variable Bildfrequenz-Decodierung ein, die es ermöglicht, die Bildfrequenz dynamisch ohne erneutes Training anzupassen.

Die verfügbaren Einzelbild- und Hochgeschwindigkeits-Aligner von F-16.

Diese Flexibilität ermöglicht es dem Modell, effizient bei niedrigeren Bildfrequenzen zu arbeiten, wenn hohe Präzision nicht erforderlich ist, und reduziert die Rechenanforderungen.

Bei der Testzeit, wenn eine niedrigere Bildfrequenz ausgewählt wird, verwendet F-16 die zuvor trainierten Aligner-Parameter, indem es Eingabe-Frames wiederholt, um die erwarteten Dimensionen zu erreichen. Dies stellt sicher, dass das Modell Video effektiv verarbeiten kann, ohne seine Architektur zu ändern.

Im Gegensatz zu naiver Downsampling (d. h. einfach Frames entfernen), die das Risiko birgt, kritische Bewegungsdetails zu verlieren, bewahrt diese Methode die gelernten Bewegungsrepräsentationen des Aligners, wodurch die Genauigkeit auch bei reduzierten Bildfrequenzen erhalten bleibt. Für die allgemeine Videoverarbeitung kann eine niedrigere Bildfrequenz die Inferenz beschleunigen, ohne einen signifikanten Leistungsverlust zu verursachen, während die Hochgeschwindigkeits-Bewegungsanalyse weiterhin die volle 16-Bilder-pro-Sekunde-Fähigkeit nutzen kann.

Daten und Tests

Basierend auf Qwen2-7B erweitert FP-16 LLaVA-OneVision mithilfe von SigLIP als Bild-Encoder. Mit Video-Frames, die bei 16 Bildern pro Sekunde abgetastet werden, können bis zu 1.760 Frames aus jedem Video erhalten werden. Für längere Video-Clips wurden Frames gleichmäßig (d. h. sparser) abgetastet.

Für das Training verwendete F-16 die gleichen allgemeinen Video-Datensätze wie LLaVA-Video, einschließlich LLaVA-Video-178K, NExT-QA, ActivityNet-QA und PerceptionTest.

F-16 wurde zusätzlich feinabgestimmt auf den Hochgeschwindigkeits-Sport-Datensätzen FineGym, Diving48 und SoccerNet. Die Autoren haben auch eine Sammlung von 276 NBA-Spielen zusammengestellt, die zwischen dem 13. und 25. November 2024 gespielt wurden, und sich auf die Frage konzentriert, ob ein Schuss erfolgreich war (eine Aufgabe, die eine Hochgeschwindigkeits-Verarbeitung erfordert).

Das Modell wurde mithilfe des NSVA-Testsets ausgewertet, wobei die Leistung durch den F1-Score gemessen wurde.

Gymnastik- und Tauchmodelle wurden anhand der Ereigniserkennungsgenauigkeit ausgewertet, während Fußball- und Basketball-Modelle Pässe und Schussausgänge verfolgten.

Das Modell wurde für 1 Epoch mit 128 NVIDIA H100-GPUs (und bei einem Standard-Issue von 80 GB VRAM pro GPU, was die Verwendung von 10,24 Terabyte GPU-Speicher erforderte; selbst nach heutigen Standards ist dies der höchstspezifizierte GPU-Cluster, den ich bei der Verfolgung der Computer-Vision-Forschungsliteratur persönlich erlebt habe). Eine Lernrate von 2×10⁻⁵ wurde während des Trainings verwendet.

Zusätzlich wurde ein LoRA auf Sportdaten feinabgestimmt, wobei LoRA-Adapter mit 64 GPUs für 5 Epochen verwendet wurden. Hier wurde nur das LLM trainiert, während der Bild-Encoder eingefroren blieb.

Im Gegensatz dazu wurden Frameworks wie GPT-4o; Gemini-1.5-Pro; Qwen2-VL-7B; VideoLLaMA2-7B; VideoChat2-HD-7B; LLaVA-OV-7B; MiniCPM-V2.6-8B; LLaVA-Video-7B; und NVILA-7B getestet.

Die Modelle wurden auf Video-MME; VideoVista; TemporalBench; MotionBench; Next-QA; MLVU; und LongVideoBench ausgewertet.

Vergleich der Video-Fragebeantwortungsergebnisse über Modelle hinweg, die die Bildfrequenz-Beschränkungen und die Leistung auf mehreren Benchmarks zeigen. F-16 erreicht Spitzenleistungen unter 7B-Modellen auf Video-MME, NQA, TPB und MB, wobei es proprietäre Modelle wie GPT-4o und Gemini-1.5-Pro übertrifft.

Von diesen Ergebnissen behaupten die Autoren:

‘Auf den Video-MME-Kurz-, Mittel- und NeXT-QA-Datensätzen – jeweils für die Verarbeitung kurzer Videos konzipiert – übertrifft unser Modell das vorherige 7B-Spitzenmodell um 3,2%, 1,0% und 0,9% in der Genauigkeit, was seine starke Leistung bei kurzen Videos unterstreicht.

‘Für Benchmarks, die die Verarbeitung langer Videos bewerten, wie Video-MME-Long, LongVideoBench und MLVU, ist die Herausforderung größer aufgrund der sparseren Frame-Abtastung, was zu größeren Variationen innerhalb des Verarbeitungsfensters führt.

‘Dies erhöht die Schwierigkeit für den Modality-Aligner, temporale Änderungen innerhalb der begrenzten Token-Darstellung effektiv zu kodieren. Als Ergebnis erlebt F-16 einen leichten Leistungsabfall im Vergleich zu [LLaVA-Video-7B], das auf dem gleichen Video-Datensatz trainiert wurde.’

F-16s Hochgeschwindigkeits-Verarbeitung führte, wie die Autoren fortführen, auch zu einer 13,5-prozentigen Verbesserung auf TemporalBench und einem 2,5-prozentigen Gewinn auf MotionBench im Vergleich zu bestehenden 7B-Modellen und zeigte eine ähnliche Leistung wie kommerzielle Modelle wie GPT-4o und Gemini-1.5-Pro.

Hochgeschwindigkeits-Sport-Video-Verständnis

F-16 wurde auf FineGym, Diving48, SoccerNet und NBA-Datensätzen getestet, um seine Fähigkeit zu bewerten, Hochgeschwindigkeits-Sport-Aktionen zu verstehen.

Unter Verwendung der 10.000 manuell annotierten NBA-Clips konzentrierte sich das Training auf Ballbewegungen und Spieler-Aktionen und darauf, ob das Modell richtig bestimmen konnte, ob ein Schuss erfolgreich war, unter Verwendung des NSVA-Testsets mit F1-Score.

Ergebnisse der Hochgeschwindigkeits-Sport-Video-Analyse. F-16 mit dem Hochgeschwindigkeits-Aligner übertraf seinen niedrigen Bildfrequenz-Gegenpart bei allen Sport-Aufgaben. GPT-4o und Gemini-1.5-Pro wurden auch auf NBA- und SoccerNet-QA ausgewertet, wobei kein in-domain-Trainingswissen erforderlich war.

Auf FineGym, das die Erkennung von Gymnastik-Aktionen misst, übertraf F-16 das vorherige 7B-Spitzenmodell um 13,8%, was eine verbesserte fein granulierte Bewegungserkennung zeigt.

Diving48 erforderte die Identifizierung komplexer Bewegungssequenzen wie Start, Somersault, Drehung und Flug-Phasen, und F-16 zeigte eine höhere Genauigkeit bei der Erkennung dieser Übergänge.

Für SoccerNet analysierte das Modell 10-Sekunden-Clips, um Ballpässe zu identifizieren, und die Ergebnisse zeigten eine Verbesserung gegenüber bestehenden 7B-Modellen, was darauf hindeutet, dass eine höhere Bildfrequenz zur Verfolgung kleiner und schneller Bewegungen beiträgt.

In dem NBA-Datensatz näherte sich F-16s Fähigkeit, Schussausgänge zu bestimmen, der Genauigkeit größerer kommerzieller Modelle wie GPT-4o und Gemini-1.5-Pro, was weiterhin darauf hindeutet, dass eine höhere Bildfrequenz seine Fähigkeit zur Verarbeitung dynamischer Bewegungen verbessert.

Variable Bildfrequenzen

F-16 wurde bei verschiedenen Bildfrequenzen getestet, um seine Anpassungsfähigkeit zu messen. Anstatt erneut zu trainieren, behandelte es niedrigere Bildfrequenzen, indem es Frames wiederholte, um die Eingabe-Struktur des Aligners zu erreichen. Dieser Ansatz bewahrte mehr Leistung als das einfache Entfernen von Frames (das zu Genauigkeitsverlust führen kann).

Die Ergebnisse zeigen, dass, obwohl die Reduzierung der Bildfrequenz einige Auswirkungen auf die Bewegungserkennung hatte, F-16 immer noch besser abschnitt als Modelle mit niedriger Bildfrequenz und starke Ergebnisse auch unter 16 Bildern pro Sekunde erzielte.

Links, der Zeitverbrauch der verschiedenen F-16-Module während der Inferenz, gemessen an 300 Videos aus dem Video-MME-Long-Set bei verschiedenen Test-Bildfrequenzen und Sequenzlängen. Rechts, ein Vergleich zwischen der Video-MME-Leistung für Modelle, die bei verschiedenen Bildfrequenzen trainiert und getestet wurden.

F-16s Hochgeschwindigkeits-Verarbeitung erhöhte die Rechenanforderungen, obwohl sein Aligner half, diese Kosten zu bewältigen, indem er redundante visuelle Token komprimierte.

Das Modell erforderte mehr FLOPs pro Video als Modelle mit niedrigerer Bildfrequenz, erzielte aber auch bessere Genauigkeit pro Token, was darauf hindeutet, dass seine Frame-Auswahl- und Token-Komprimierungsstrategien halfen, die zusätzliche Rechenleistung auszugleichen.

Schlussfolgerung

Es ist schwierig, die Bedeutung oder die Herausforderungen dieser spezifischen Forschungsstränge zu übertreiben – insbesondere in diesem Jahr, das als Durchbruchjahr für generative Videos gilt, was die Mängel der Videodatensatz-Kuration und der Beschriftungsqualität in scharfem Licht darstellt.

Es sollte auch betont werden, dass die Herausforderungen, die mit der Erzielung genauer Beschreibungen von internen Video-Details verbunden sind, nicht allein durch das Werfen von VRAM, Zeit oder Speicherplatz gelöst werden können. Die Methode, mit der Ereignisse aus ansonsten langen und langweiligen Video-Ausschnitten isoliert und extrahiert werden (wie z. B. Golf- oder Snooker-Video-Clips), würde von einer Neubewertung der semantischen Ansätze und Mechanismen profitieren, die derzeit die Spitzenleistungen dominieren – da einige dieser Einschränkungen in ressourcenärmeren Zeiten etabliert wurden.

(Vorübergehend ist es interessant zu beachten, dass, selbst wenn 16 Bild pro Sekunde für 2025 eine sehr niedrige Bildfrequenz zu sein scheint, dies auch die native Trainingsgeschwindigkeit von Video-Clips ist, die im sehr beliebten Wan 2.1-generativen Video-Modell verwendet werden, und die Geschwindigkeit, mit der es daher am wenigsten Probleme hat. Hoffentlich wird die Forschungsszene ein Auge auf mögliche “Standards-Entropie” hier haben; manchmal können veraltete Einschränkungen zukünftige Standards aufrechterhalten)

Erstveröffentlicht am Mittwoch, den 19. März 2025