De uitdaging van het ondertitelen van video’s met meer dan 1 fps

De mogelijkheid voor machine learning-systemen om de gebeurtenissen die zich in een video afspelen te herkennen, is cruciaal voor de toekomst van AI-gebaseerde video-generatie – niet in de laatste plaats omdat video-datasets nauwkeurige ondertiteling vereisen om modellen te produceren die voldoen aan een gebruikersverzoek en die niet excessief hallucineren.

Een voorbeeld van een ondertitelingsschema van Google’s VidReCap-project. Bron: https://sites.google.com/view/vidrecap

Handmatig ondertitelen van de schaal van video’s die nodig zijn voor effectieve trainingsdatasets is een onaanvaardbaar vooruitzicht. Hoewel het mogelijk is om AI-systemen te trainen om video’s automatisch te ondertitelen, zijn nog steeds veel door mensen gegenereerde voorbeelden nodig als grondwaarheid, voor variatie en dekking.

Belangrijker nog, bijna elk huidig AI-gebaseerd video-ondertitelingmodel werkt op 1 fps, wat niet een dichte genoeg capture-rate is om variaties in veel scenario’s te onderscheiden: plotselinge micro-expressie-veranderingen voor emotie-herkenningssystemen; snelle gebeurtenissen in hoge-snelheidssporten zoals basketbal; gewelddadige bewegingen; snelle cuts in dramatische films, waar systemen zoals PySceneDetect mogelijk niet in staat zijn om ze te identificeren (of worden niet gebruikt); en veel andere scenario’s waarin het venster van aandacht duidelijk intenser moet zijn.

Klik om af te spelen. Snelle maar levensveranderende actie in wat anders een van de langzaamste sporten ter wereld kan zijn, toen Alex Higgins het wereldkampioenschap won tegen Ray Reardon in 1982. Bron: https://www.youtube.com/watch?v=_1PuqKno_Ok

Snel bewegen en logica breken

Deze lage snelheid is de standaard voor verschillende logistieke redenen. Ten eerste is video-ondertiteling een resource-intensieve activiteit, of het systeem nu één opeenvolgende frame per keer bestudeert of verschillende methoden gebruikt om een reeks frames semantisch samenhangend te maken. In beide gevallen is de contextwindow onvermijdelijk beperkt door hardwarebeperkingen.

Een andere reden waarom 1 fps de huidige standaard is, is dat video’s over het algemeen niet vol zitten met snelle gebeurtenissen; het is daarom overbodig om 300 frames van een statische snookertafel evenveel aandacht te geven als het moment waarop een gepotde zwarte bal het kampioenschap wint (zie bovenstaand voorbeeld).

Het is mogelijk om bredere secundaire hints te gebruiken om cruciale momenten in een sportvideo te identificeren, zoals de aanhoudende reactie van het publiek op een snelle slam-dunk in een basketbalwedstrijd. Echter, dergelijke hints kunnen om andere redenen optreden (zoals onverwachte spelerblessures), en kunnen niet worden vertrouwd. Dit is een voorbeeld van hoe een verkeerd gelabelde video-dataset kan leiden tot een generatief video-model dat hallucineert of instructies verkeerd interpreteert, d.w.z. omdat het model een spelerblessure kan laten zien wanneer het wordt gevraagd om een slam-dunk te genereren (omdat de ‘secundaire hint’ van publieke opwinding niet exclusief was voor een specifiek type gebeurtenis).

Dit is op veel manieren een ‘budgettaire’ probleem, en op andere manieren een procedureel probleem. Frameworks tot nu toe hebben gewerkt op het principe dat schaarse sleutelframes essentiële informatie effectief kunnen vastleggen, maar dit is meer effectief in het vastleggen van het genre en andere facetten van een video’s onderwerp, aangezien bewijs in dat geval over meerdere frames blijft bestaan.

F-16

Een nieuw artikel uit China biedt een oplossing, in de vorm van het eerste multimodale grote taalmodel (MLLM, of simpelweg LLM) dat video op 16 fps kan analyseren in plaats van de standaard 1 fps, zonder de grote valkuilen van het verhogen van de analysessnelheid.

In tests claimen de auteurs dat het nieuwe systeem, getiteld F-16, beter presteert dan propriëtaire state-of-the-art-modellen zoals GPT-4o en Google’s Gemini-1.5 pro. Hoewel andere huidige modellen in staat waren om F-16’s resultaten in tests te evenaren of te overtreffen, waren de concurrerende modellen veel groter en onhandiger.

Hoewel F-16 op ernstige hardware was getraind (zoals we spoedig zullen onderzoeken), is inferentie meestal veel minder veeleisend dan training. Daarom kunnen we hopen dat de code (die in de nabije toekomst zal worden vrijgegeven) in staat zal zijn om te draaien op middel- of hoogwaardige consumenten-GPU’s.

Wat nodig is voor de vitaliteit van de hobbyist-scène (en dat omvat de professionele VFX-scène, meestal) is een video-ondertitelingmodel van dit type dat kan werken, misschien gequantiseerd, op consumentensystemen, zodat de hele generatieve video-scène niet migreert naar API-gebaseerde commerciële systemen, of consumenten dwingt om lokale frameworks aan te sluiten op commerciële online GPU-diensten.

Beyond Scaling Up

De auteurs merken op dat deze benadering een praktische alternatief is voor het opschalen van datasets. Men kan ook afleiden dat als men meer data aan het probleem zou toevoegen, dit nog steeds de benadering zou kunnen zijn die de voorkeur heeft, omdat het nieuwe systeem gebeurtenissen op een meer granulaire manier onderscheidt.

Zij verklaren:

‘Lage framesnelheid kan leiden tot verlies van kritieke visuele informatie, vooral in video’s met snel veranderende scènes, intrigerende details of snelle bewegingen. Bovendien, als sleutelframes worden gemist, maar het model is getraind op labels die afhankelijk zijn van sleutelframe-informatie, kan het moeite hebben om zijn voorspellingen te laten aansluiten bij de verwachte inhoud, wat kan leiden tot hallucinaties en achteruitgang van de prestaties…

‘… F-16 bereikt SOTA-prestaties in algemene video-vragen bij modellen van vergelijkbare grootte en toont een duidelijk voordeel in high-frame-rate video-begrip, waarbij het commerciële modellen zoals GPT-4o overtreft. Dit werk opent nieuwe richtingen voor het verbeteren van high-frame-rate video-begrip in multimodale LLM-onderzoek.’

Het nieuwe artikel is getiteld Verbetering van LLM-video-begrip met 16 frames per seconde, en komt van acht auteurs uit Tsinghua University en ByteDance.

Methode

Aangezien opeenvolgende frames vaak redundante informatie bevatten, past F-16 een high-frame-rate aligner toe om sleutelbewegingsdetails te comprimeren en te coderen, terwijl visuele semantiek behouden blijft. Elk frame wordt eerst verwerkt door een voorgetrainde image-encoder, die functie-representaties extraheren voordat het wordt doorgegeven aan een aligner op basis van Gaussian Error Linear Units (GELUs).

F-16’s architectuur verwerkt video op 16 FPS, waardoor meer frames worden vastgelegd dan traditionele low-frame-rate-modellen, en de high-frame-rate aligner behoudt visuele semantiek terwijl het efficiënt motion-dynamica codeert zonder extra visuele tokens toe te voegen. Bron: https://arxiv.org/pdf/2503.13956

Om de verhoogde frame-telling efficiënt te verwerken, groepeert F-16 frames in kleine verwerkingsvensters, en mergeert visuele functies met behulp van een driedelige Multi-Layer Perceptron (MLP), waardoor alleen de meest relevante motion-details behouden blijven, en onnodige duplicatie wordt verminderd, terwijl de temporale flow van acties behouden blijft. Een spatiale max-pooling laag comprimeert de token-telling verder, waardoor de computationele kosten binnen de perken blijven.

De verwerkte video-tokens worden vervolgens doorgegeven aan de Qwen2-7B LLM, die tekstuele antwoorden genereert op basis van de geëxtraheerde visuele functies en een gegeven gebruikersprompt.

Door video-input zo te structureren, stelt F-16, zoals de auteurs beweren, meer precieze gebeurtenisherkenning in dynamische scènes in staat, terwijl het nog steeds efficiënt blijft.

Het korte verhaal

F-16 breidt een voorgetrainde image-LLM, LLaVA-OneVision, uit om video te verwerken door zijn visuele input-pipeline te transformeren. Terwijl standaard image-LLM’s geïsoleerde frames verwerken, reformateert F-16’s high-frame-rate aligner meerdere frames in een vorm die het model efficiënter kan verwerken; dit voorkomt dat het systeem wordt overweldigd door redundante informatie, terwijl het cruciale motion-cues voor nauwkeurige video-begrip behoudt.

Om compatibiliteit met zijn image-gebaseerde fundament te waarborgen, hergebruikt F-16 voorgetrainde parameters door zijn aligner om te vormen tot sub-matrices. Deze benadering stelt het in staat om kennis van single-frame-modellen te integreren, terwijl het zich aanpast aan sequentiële video-input.

De aligner comprimeert eerst frame-sequenties in een formaat dat geoptimaliseerd is voor het LLM, waarbij de meest informatieve functies behouden blijven en onnodige details worden verwijderd. De architectuurontwerp stelt het systeem in staat om high-frame-rate video te verwerken, terwijl het computationele eisen onder controle houdt, wat de auteurs zien als bewijs dat opschalen niet de enige (of de beste) manier is om video-ondertiteling te verbeteren.

Tempo variëren

Aangezien het verwerken van video op 16 FPS de motion-begrip verbetert, maar de computationele kosten verhoogt, vooral tijdens inferentie, introduceert F-16 een variable-frame-rate decoding methode, waardoor het zijn frame-snelheid dynamisch kan aanpassen zonder opnieuw te trainen.

De single-frame en high frame rate aligners die beschikbaar zijn voor F-16.

Deze flexibiliteit stelt het model in staat om efficiënt te werken bij lagere FPS wanneer hoge precisie niet vereist is, en vermindert de computationele overhead.

Bij testtijd, wanneer een lagere frame-snelheid is geselecteerd, hergebruikt F-16 eerder getrainde aligner-parameters door invoerframes te herhalen om de verwachte dimensies te matchen. Dit zorgt ervoor dat het model video-effectief kan verwerken zonder zijn architectuur te wijzigen.

In tegenstelling tot naive downsampling (d.w.z. eenvoudigweg frames verwijderen), die het risico loopt om cruciale motion-details te verliezen, behoudt deze methode de geleerde motion-representaties van de aligner, waardoor de nauwkeurigheid behouden blijft, zelfs bij verlaagde frame-snelheden. Voor algemene video-begrip kan een lagere FPS-instelling de inferentie versnellen zonder aanzienlijk prestatieverlies, terwijl high-speed motion-analyse nog steeds de volledige 16 FPS-mogelijkheid kan benutten.

Gegevens en tests

Gebouwd op Qwen2-7B, breidt FP-16 LLaVA-OneVision uit met behulp van SigLIP als image-encoder. Met video-frames bemonsterd op 16 FPS, kunnen maximaal 1.760 frames worden verkregen uit elke video. Voor langere video-clips werden frames uniform (d.w.z. minder dicht) bemonsterd.

Voor training gebruikte F-16 dezelfde algemene video-datasets als LLaVA-Video, waaronder LLaVA-Video-178K, NExT-QA, ActivityNet-QA, en PerceptionTest.

F-16 werd bovendien fijngesteld op de high-speed sports-datasets FineGym, Diving48, en SoccerNet. De auteurs hebben ook een collectie van 276 NBA-wedstrijden samengesteld die tussen 13 en 25 november 2024 werden gespeeld, met als focus of een schot succesvol was (een taak die high-frame-rate verwerking vereist).

Het model werd geëvalueerd met behulp van de NSVA-testset, met prestaties gemeten door F1-score.

Gymnastiek- en duikmodellen werden geëvalueerd op basis van gebeurtenisherkenningnauwkeurigheid, terwijl voetbal- en basketbalmodellen passes en schotuitkomsten volgden.

Het model werd getraind voor 1 epoch met behulp van 128 NVIDIA H100-GPU’s (en bij een standaard 80GB VRAM per GPU, betekende dit het gebruik van 10,24 terabyte GPU-geheugen; zelfs volgens recente normen is dit het hoogste gespecificeerde GPU-cluster dat ik persoonlijk ben tegengekomen in de literatuur over computer vision-onderzoek). Een leer tempo van 2×10⁻⁵ werd gebruikt tijdens training.

Bovendien werd een LoRA fijngesteld op sportsdata met LoRA-adapters met 64 GPU’s voor 5 epochs. Hier werd alleen het LLM getraind, waarbij de image-encoder bevroren werd gelaten.

Concurrerende frameworks die in de eerste ronde werden getest voor ‘algemene video-begrip’ waren GPT-4o; Gemini-1.5-Pro; Qwen2-VL-7B; VideoLLaMA2-7B; VideoChat2-HD-7B; LLaVA-OV-7B; MiniCPM-V2.6-8B; LLaVA-Video-7B; en NVILA-7B;

De modellen werden geëvalueerd op Video-MME; VideoVista; TemporalBench; MotionBench; Next-QA; MLVU; en LongVideoBench.

Vergelijking van video-vragenresultaten over modellen, met FPS-limieten en prestaties op meerdere benchmarks. F-16 bereikt SOTA onder 7B-modellen op Video-MME, NQA, TPB en MB, en evenaart propriëtaire modellen zoals GPT-4o en Gemini-1.5-Pro.

Van deze resultaten zeggen de auteurs:

‘Op de Video-MME Short, Medium en NeXT-QA-datasets – elk ontworpen voor korte video-begrip – overtreft ons model het vorige 7B SOTA-model met 3,2%, 1,0% en 0,9% in nauwkeurigheid, waarmee het zijn sterke prestaties op korte video’s aantoont.

‘Voor benchmarks die lange video-begrip evalueren, zoals Video-MME Long, LongVideoBench en MLVU, is de uitdaging groter vanwege de spaarzamere frame-bemonstering, waardoor frames binnen het verwerkingsvenster meer significante variaties vertonen.

‘Dit verhoogt de moeilijkheid voor de modale aligner om temporale veranderingen binnen de beperkte token-representatie effectief te coderen. Als gevolg daarvan ervaart F-16 een lichte prestatieafname in vergelijking met [LLaVA-Video-7B], die op hetzelfde video-dataset is getraind.’

F-16’s high-frame-rate verwerking resulteerde, zoals de auteurs verder gaan, ook in een verbetering van 13,5% op TemporalBench en een verbetering van 2,5% op MotionBench, in vergelijking met bestaande 7B-modellen, en presteerde op een vergelijkbaar niveau als propriëtaire modellen zoals GPT-4o en Gemini-1.5-Pro.

High Speed Sports Video Begrip

F-16 werd getest op FineGym, Diving48, SoccerNet en NBA-datasets om zijn vermogen om high-speed sports-acties te begrijpen te evalueren.

Met behulp van de 10.000 handmatig geannoteerde NBA-clips, richtte de training zich op balbeweging en speleracties, en of de modellen correct konden bepalen of een schot succesvol was, met behulp van de NSVA-testset die werd geëvalueerd met F1-score.

Resultaten van high-speed sports video-analyse. F-16 met de high-frame-rate aligner presteerde beter dan zijn low-frame-rate tegenhanger op alle sports-taken. GPT-4o en Gemini-1.5-Pro werden ook geëvalueerd op NBA en SoccerNet QA, waar domein-specifieke trainingskennis niet vereist was.

Op FineGym, dat gymnastiekactieherkenning meet, presteerde F-16 13,8% beter dan het vorige 7B SOTA-model, waarmee het een verbeterde fijne motion-begrip aantoonde.

Diving48 vereiste het identificeren van complexe bewegingssequenties zoals opstijgen, somersault, draai en vlieg-fasen, en F-16 toonde een hogere nauwkeurigheid in het herkennen van deze overgangen.

Voor SoccerNet analyseerde het model 10-seconde clips, waarbij balpasses werden geïdentificeerd, en de resultaten toonden een verbetering ten opzichte van bestaande 7B-modellen, wat aangeeft dat een hogere FPS bijdraagt aan het volgen van kleine en snelle bewegingen.

In de NBA-dataset naderde F-16’s vermogen om schotuitkomsten te bepalen de nauwkeurigheid van grotere propriëtaire modellen zoals GPT-4o en Gemini-1.5-Pro, wat verder suggereert dat een hogere frame-snelheid zijn vermogen om dynamische beweging te verwerken verbetert.

Variable Frame-Rates

F-16 werd getest bij verschillende frame-snelheden om zijn aanpasbaarheid te meten. In plaats van opnieuw te trainen, verwerkte het lagere FPS door frames te herhalen om de aligner’s input-structuur te matchen. Deze benadering behield meer prestaties dan het eenvoudigweg verwijderen van frames (wat vatbaar is voor nauwkeurigheidsverlies).

De resultaten geven aan dat, hoewel het verlagen van de FPS enige invloed had op motion-herkenning, F-16 nog steeds beter presteerde dan low-frame-rate-modellen en sterke resultaten behield, zelfs onder 16 FPS.

Links, de tijdsconsumptie van verschillende F-16-modules tijdens inferentie, gemeten op 300 video’s uit de Video-MME Long-set bij verschillende test-FPS en sequentielengtes. Rechts, een vergelijking tussen Video-MME-prestaties voor modellen getraind en getest bij verschillende FPS. De solide lijn vertegenwoordigt modellen getraind en getest bij hetzelfde FPS, terwijl de gestreepte lijn de prestaties toont wanneer een model getraind op 16 FPS wordt getest bij een lagere frame-snelheid.

F-16’s high-frame-rate verwerking verhoogde de computationele eisen, hoewel zijn aligner hielp om deze kosten te beheersen door redundante visuele tokens te comprimeren.

Het model vereiste meer FLOPs per video dan low-frame-rate-modellen, maar behaalde ook betere nauwkeurigheid per token, wat suggereert dat zijn frame-selectie- en token-compressie-strategieën hielpen om de toegevoegde berekening te compenseren.

Conclusie

Het is moeilijk om de belangrijkheid of de uitdagingen van deze specifieke onderzoekslijn te overschatten – vooral dit jaar, dat het doorbraakjaar voor generatieve video zal zijn, waardoor de tekortkomingen van video-datasetcuratie en ondertitelingkwaliteit in het licht worden gesteld.

Er moet ook de nadruk op worden gelegd dat de uitdagingen bij het verkrijgen van nauwkeurige beschrijvingen van interne video-details niet uitsluitend kunnen worden opgelost door VRAM, tijd of schijfruimte in het probleem te gooien. De methode waarop gebeurtenissen worden geïsoleerd/uitgepakt uit anders lange en saaie delen van video (zoals golf- of snookervideo’s, bijvoorbeeld) zal profiteren van een heroverweging van de semantische benaderingen en mechanismen die momenteel SOTA-oplossingen domineren – omdat sommige van deze beperkingen zijn vastgesteld in tijden met minder resources.

(bijvoorbeeld, zelfs als 16fps een zeer lage frame-snelheid lijkt voor 2025, is het interessant om op te merken dat dit ook de native trainingsnelheid is van video-clips die worden gebruikt in het zeer populaire Wan 2.1 generatief video-model, en de snelheid waarmee het daarom werkt met de minste problemen. Hopelijk zal de onderzoekssector een oogje houden op mogelijke ‘standaard-entropie’ hier; soms kunnen verouderde beperkingen toekomstige standaarden in stand houden)

Publicatie: woensdag 19 maart 2025