Utmaningen med att skriva undertexter för video i mer än 1fps

Förmågan för maskinlärningssystem att känna igen de händelser som inträffar i en video är avgörande för framtiden för AI-baserad videogenerering – inte minst för att videodatasätt kräver precisa undertexter för att producera modeller som följer en användares begäran och inte hallucinerar i onödan.

Ett exempel på en undertextschema från Googles VidReCap-projekt. Källa: https://sites.google.com/view/vidrecap

Att manuellt skriva undertexter för den mängd videor som behövs för effektiva träningsdatasätt är en oöverkomlig uppgift. Även om det är möjligt att träna AI-system för att automatiskt skriva undertexter för videor, behövs fortfarande många mänskligt genererade exempel som grund för att säkerställa variation och täckning.

Mer viktigt är att nästan alla nuvarande AI-baserade videokapningssystem fungerar vid 1fps, vilket inte är en tillräckligt tät insamling för att urskilja variationer i många scenarier: plötsliga mikrouttrycksförändringar för känslerekognitionssystem; snabba händelser i höghastighetsidrotter som basket; våldsamma rörelser; snabba klipp i dramatiska filmer, där system som PySceneDetect kan misslyckas med att identifiera dem (eller inte används); och många andra scenarier där fönstret för uppmärksamhet tydligt behöver vara mer intensivt.

Klicka för att spela. Snabb men livsförändrande handling i vad som annars kan vara en av de långsammaste sporterna i världen, när Alex Higgins vinner världsmästerskapet mot Ray Reardon 1982. Källa: https://www.youtube.com/watch?v=_1PuqKno_Ok

Flytta snabbt och bryt logik

Denna låga hastighet är standarden av olika logistiska skäl. En av anledningarna till att 1fps är den nuvarande standarden är att videokapning är en resurskrävande aktivitet, oavsett om systemet studerar en sekventiell bild i taget eller använder olika metoder för att semantiskt sammanfoga en sträng av bilder till en tolkningsbar undertextsekvens. I båda fallen är kontextfönstret oundvikligen begränsat av hårdvarubegränsningar.

En annan anledning till att 1fps är den nuvarande standarden är att videor vanligtvis inte är fyllda med snabba händelser; det är därför onödigt att ge 300 bilder av en statisk snookerbord samma uppmärksamhet som den sekund då en svart boll sänks och vinner mästerskapet (se ovan).

Det är möjligt att använda bredare sekundära ledtrådar för att identifiera avgörande ögonblick i en sportvideo, som den uthålliga publikreaktionen på en snabb slam-dunk i en basketmatch. Men sådana ledtrådar kan förekomma av andra skäl (såsom oväntade spelarskador), och kan inte lita på. Detta är ett exempel på hur en felmärkt videodatasätt kan leda till en generativ videomodell som hallucinerar eller missförstår instruktioner, dvs. eftersom modellen kan visa en spelarskada när den begärdes att generera en slam-dunk (eftersom den “sekundära ledtråden” av publikupphetsning inte var exklusiv för en specifik händelse).

Detta är på många sätt ett “budgetproblem”, och på andra sätt ett procedurproblem. Ramverk hittills har fungerat på principen att glesa nyckelbilder kan effektivt fånga essentiell information, men detta är mer effektivt för att etablera genre och andra aspekter av en videos ämne, eftersom bevis i det fallet består över flera bilder.

F-16

En ny artikel från Kina erbjuder en lösning, i form av den första multimodala stora språkmodellen (MLLM, eller enkelt LLM) som kan analysera video vid 16fps istället för standarden 1fps, samtidigt som den undviker de stora fallgroparna med att öka analyshastigheten.

I tester hävdar författarna att det nya systemet, med titeln F-16, presterar bättre än proprietära state-of-the-art-modeller som GPT-4o och Google’s Gemini-1.5 pro. Medan andra nuvarande modeller kunde matcha eller överträffa F-16:s resultat i tester, var de konkurrerande modellerna mycket större och otympligare.

Även om F-16 tränades på vissa allvarliga maskiner (som vi ska undersöka strax), är inferens vanligtvis mycket mindre krävande än träning. Därför kan vi hoppas att koden (lovad för en nära framtida utgåva) kommer att kunna köras på medel- eller högnivådomestiska GPU:er.

Vad som behövs för vitaliteten i hobbyistscenen (och det inkluderar den professionella VFX-scenen, de flesta gånger) är en videokapningsmodell av det här slaget som kan fungera, kanske kvantifierad, på konsumentsystem, så att hela generativa videoscenen inte migrerar till API-baserade kommersiella system, eller tvingar konsumenter att ansluta lokala ramverk till kommersiella online-GPU-tjänster.

Bortom skalning

Författarna observerar att detta tillvägagångssätt är ett praktiskt alternativ till att skala upp datasätt. Man kan också sluta sig till att om man skulle kasta mer data på problemet, är detta fortfarande det tillvägagångssätt som kan vara att föredra, eftersom det nya systemet skiljer på händelser på ett mer granulärt sätt.

De hävdar:

‘Låg bildfrekvens kan resultera i förlust av kritisk visuell information, särskilt i videor med snabbt förändrade scener, intrikata detaljer eller snabb rörelse. Dessutom, om nyckelbilder missas, men modellen är tränad på etiketter som förlitar sig på nyckelbildsinformation, kan den kämpa för att anpassa sina förutsägelser till den förväntade innehållet, vilket potentiellt kan leda till hallucinationer och försämrad prestanda…

‘… F-16 uppnår SOTA-prestanda i allmän video-QA bland modeller av liknande storlek och visar en tydlig fördel i höghastighetsvideoanalys, och överträffar kommersiella modeller som GPT-4o. Detta arbete öppnar nya riktningar för att förbättra höghastighetsvideoanalys i multimodal LLM-forskning.’

Den nya artikeln har titeln Förbättring av LLM-videoanalys med 16 bilder per sekund, och kommer från åtta författare på Tsinghua University och ByteDance.

Metod

Eftersom på varandra följande bilder ofta innehåller redundant information, använder F-16 en höghastighetsjusterare för att komprimera och koda nyckelrörelsedetaljer medan den behåller visuell semantik. Varje bild bearbetas först av en förtränad bildkodare, som extraherar funktionsrepresentationer innan de skickas till en justerare baserad på Gaussian Error Linear Units (GELUs).

F-16:s arkitektur bearbetar video vid 16 FPS, och fångar fler bilder än traditionella låghastighetsmodeller, och dess höghastighetsjusterare bevarar visuell semantik samtidigt som den effektivt kodar rörelsedynamik utan att lägga till extra visuella token. Källa: https://arxiv.org/pdf/2503.13956

För att hantera den ökade bildfrekvensen effektivt, grupperar F-16 bilder i små bearbetningsfönster, och sammanfogar visuella funktioner med hjälp av en tre-lagers Multi-Layer Perceptron (MLP), vilket hjälper till att behålla endast de mest relevanta rörelsedetaljerna, och minskar onödig duplicering, samtidigt som den behåller den temporala flödet av handlingar. En rumslig max-pooling-lager komprimerar dessutom token-räkningen, och håller beräkningskostnaderna inom gränser.

De bearbetade videotoken skickas sedan till Qwen2-7B LLM, som genererar textbaserade svar baserat på de extraherade visuella funktionerna och en given användarprompt.

Genom att strukturera videoinmatningen på det här sättet, möjliggör F-16, enligt författarna, mer exakt händelseigenkänning i dynamiska scener, samtidigt som den behåller effektivitet.

Den korta versionen

F-16 utvidgar en förtränad bild-LLM, LLaVA-OneVision, för att bearbeta video genom att omvandla dess visuella inmatningspipeline. Medan standard-bild-LLM hanterar isolerade bilder, omformar F-16:s höghastighetsjusterare flera bilder till en form som modellen kan bearbeta mer effektivt; detta undviker att överväldiga systemet med redundant information, samtidigt som det behåller nyckelrörelseledtrådar som är nödvändiga för korrekt videoanalys.

För att säkerställa kompatibilitet med sin bildbaserade grund, återanvänder F-16 förtränade parametrar genom att omstrukturera sin justerare till undermatriser. Detta tillvägagångssätt möjliggör det för systemet att integrera kunskap från enkelbildsmodeller, samtidigt som det anpassar sig till sekventiell videoinmatning.

Justeraren komprimerar först bildsekvenser till ett format som är optimerat för LLM, och behåller de mest informativa funktionerna, samtidigt som den kastar bort onödiga detaljer. Arkitekturdesignen möjliggör för systemet att bearbeta höghastighetsvideo, samtidigt som det håller beräkningskraven under kontroll, vilket författarna hävdar är bevis för att skalning inte är den enda (eller bästa) vägen framåt för videoanalys.

Variera takten

Eftersom bearbetning av video vid 16 FPS förbättrar rörelseförståelse, men ökar beräkningskostnaderna, särskilt under inferens, introducerar F-16 en variabel bildfrekvensavkodning-metod, som tillåter det att justera bildfrekvensen dynamiskt utan omträning.

De enskilda bild- och höghastighetsjusterarna som finns tillgängliga för F-16.

Denna flexibilitet möjliggör för modellen att fungera effektivt vid lägre FPS när hög precision inte krävs, och minskar beräkningskostnaderna.

Vid testtid, när en lägre bildfrekvens väljs, återanvänder F-16 tidigare tränade justerarparametrar genom att upprepa inmatningsbilder för att matcha de förväntade dimensionerna. Detta säkerställer att modellen fortfarande kan bearbeta video effektivt utan att modifiera sin arkitektur.

Till skillnad från naiv nedsamplning (dvs. att enkelt ta bort bilder), som riskerar att förlora kritiska rörelsedetaljer, bevarar denna metod justerarens inlärda rörelserepresentationer, och behåller precisionen även vid reducerad bildfrekvens. För allmän videoanalys kan en lägre FPS-inställning påskynda inferens utan signifikant prestandaförlust, medan höghastighetsrörelseanalys fortfarande kan utnyttja den fulla 16 FPS-funktionen.

Data och tester

Byggd på Qwen2-7B, utvidgar FP-16 LLaVA-OneVision med hjälp av SigLIP som bildkodare. Med videobilder sampade vid 16 FPS kan upp till 1 760 bilder erhållas från varje video. För längre videoklipp sampades bilderna enhetligt (dvs. mer sällan).

För träning använde F-16 samma allmänna videodatasätt som LLaVA-Video, inklusive LLaVA-Video-178K, NExT-QA, ActivityNet-QA, och PerceptionTest.

F-16 finjusterades dessutom på höghastighetsidrottsdatasätt FineGym, Diving48, och SoccerNet. Författarna curerade också en samling av 276 NBA-matcher spelade mellan den 13 och 25 november 2024, med fokus på om ett skott var framgångsrikt (en uppgift som kräver höghastighetsbearbetning).

Modellen utvärderades med hjälp av NSVA-testuppsättningen, med prestanda mätt med F1-poäng.

Gymnastik- och dykningsmodeller utvärderades baserat på händelseigenkänning, medan fotbolls- och basketmodeller spårade pass och skottresultat.

Modellen tränades i 1 epoch med 128 NVIDIA H100-GPU:er (och vid en standard 80 GB VRAM per GPU, detta innebar användning av 10,24 terabyte GPU-minne; även enligt senaste standarder är detta den högst specade GPU-klustern jag personligen har stött på i min uppföljning av datorseende-forskning). En inlärningshastighet på 2×10⁻⁵ användes under träning.

Dessutom finjusterades en LoRA på idrottsdata med LoRA-adapter med 64 GPU:er under 5 epoker. Här tränades endast LLM, medan bildkodaren frös.

Modeller som testades i den initiala omgången för “allmän videoanalys” var GPT-4o; Gemini-1.5-Pro; Qwen2-VL-7B; VideoLLaMA2-7B; VideoChat2-HD-7B; LLaVA-OV-7B; LLaVA-Video-7B; och NVILA-7B;

Modellerna utvärderades på Video-MME; VideoVista; TemporalBench; MotionBench; Next-QA; MLVU; och LongVideoBench.

Jämförelse av video-QA-resultat över modeller, som visar FPS-gränser och prestanda på flera benchmark-test. F-16 uppnår SOTA bland 7B-modeller på Video-MME, NQA, TPB och MB, och överträffar proprietära modeller som GPT-4o och Gemini-1.5-Pro.

Av dessa resultat hävdar författarna:

‘På Video-MME Short, Medium och NeXT-QA-datasätt – var och en utformad för kort videoanalys – överträffar vår modell den tidigare 7B SOTA-modellen med 3,2%, 1,0% och 0,9% i noggrannhet, vilket betonar dess starka prestanda på korta videor.

‘För benchmark-test som utvärderar lång videoanalys, såsom Video-MME Long, LongVideoBench och MLVU, är utmaningen större på grund av glesare bildsamplning, vilket orsakar att bilderna inom bearbetningsfönstret visar större variationer.

‘Detta ökar svårigheten för modalityjusteraren att effektivt koda temporala förändringar inom den begränsade tokenrepresentationen. Som ett resultat upplever F-16 en mindre prestandaförlust jämfört med [LLaVA-Video-7B], som är tränad på samma videodatasätt.’

F-16:s höghastighetsbearbetning resulterade, enligt författarna, också i en 13,5% förbättring på TemporalBench och en 2,5% vinst på MotionBench, jämfört med befintliga 7B-modeller, och presterade på en liknande nivå som proprietära modeller som GPT-4o och Gemini-1.5-Pro.

Höghastighetsidrottsvideoanalys

F-16 testades på FineGym, Diving48, SoccerNet och NBA-datasätt för att utvärdera dess förmåga att förstå höghastighetsidrottsåtgärder.

Med hjälp av de 10 000 manuellt annoterade NBA-klippen fokuserade träningen på bollrörelse och spelaråtgärder, och om modellerna kunde korrekt bestämma om ett skott var framgångsrikt, med NSVA-testuppsättningen utvärderad med F1-poäng.

Resultat av höghastighetsidrottsvideoanalys. F-16 med höghastighetsjusteraren presterade bättre än sin låghastighetsmotpart över alla idrottsuppgifter. GPT-4o och Gemini-1.5-Pro utvärderades också på NBA och SoccerNet QA, där inomdomänen träning inte krävdes.

På FineGym, som mäter gymnastikåtgärdsigenkänning, presterade F-16 13,8% bättre än den tidigare 7B SOTA-modellen, vilket visar förbättrad fingranulär rörelseförståelse.

Diving48 krävde identifiering av komplexa rörelsesekvenser, såsom start, somersault, twist och flight-faser, och F-16 visade högre noggrannhet i att känna igen dessa övergångar.

För SoccerNet analyserade modellen 10-sekundersklipp, identifierade bollpassningar, och resultaten visade en förbättring jämfört med befintliga 7B-modeller, vilket indikerar att högre FPS bidrar till att spåra små och snabba rörelser.

I NBA-datasättet nådde F-16:s förmåga att bestämma skottresultat en noggrannhet som nästan motsvarade större proprietära modeller som GPT-4o och Gemini-1.5-Pro, vilket ytterligare tyder på att högre bildfrekvens förbättrar dess förmåga att bearbeta dynamisk rörelse.

Variabel bildfrekvens

F-16 testades vid olika bildfrekvenser för att mäta dess anpassningsförmåga. Istället för omträning hanterade den lägre FPS genom att upprepa bilder för att matcha justerarens inmatningsstruktur. Detta tillvägagångssätt behöll mer prestanda än att enkelt ta bort bilder (vilket kan orsaka precisionsskador).

Resultaten visar att även om reducering av FPS hade viss inverkan på rörelseigenkänning, presterade F-16 fortfarande bättre än låghastighetsmodeller och behöll starka resultat, även under 16 FPS.

Vänster, tidsåtgång för olika F-16-moduler under inferens, mätt på 300 videor från Video-MME Long-uppsättningen vid varierande test-FPS och sekvenslängder. Höger, en jämförelse mellan Video-MME-prestanda för modeller tränade och testade vid olika FPS. Den heldragna linjen representerar modeller tränade och testade vid samma FPS, medan den streckade linjen visar prestanda när en modell tränad vid 16 FPS testas vid en lägre bildfrekvens.

F-16:s höghastighetsbearbetning ökade beräkningskraven, även om dess justerare hjälpte till att hantera dessa kostnader genom att komprimera redundanta visuella token.

Modellen krävde fler FLOPs per video än låghastighetsmodeller, men uppnådde också bättre noggrannhet per token, vilket tyder på att dess bildselektions- och tokenkomprimeringsstrategier hjälpte till att kompensera för den ökade beräkningen.

Slutsats

Det är svårt att överdriva antingen den här specifika forskningssträngens betydelse eller utmaningar – särskilt i år, som förväntas bli genombrottsåret för generativ video, och som kastar brister i videodatasamling och undertextkvalitet i skarp relief.

Det bör också betonas att utmaningarna med att få precisa beskrivningar av interna videodetaljer inte kan lösas uteslutande genom att kasta VRAM, tid eller diskutrymme på problemet. Metoden för att isolera/extraera händelser från annars långa och tråkiga videoklipp (såsom golf- eller snookervideoklipp, till exempel) kommer att dra nytta av en omprövning av de semantiska tillvägagångssätten och mekanismer som för närvarande dominerar SOTA-lösningar – eftersom vissa av dessa begränsningar etablerades under mer resursfattiga tider.

(förresten, även om 16fps kan verka som en mycket låg bildfrekvens för 2025, är det intressant att notera att detta också är den naturliga träningshastigheten för videoklipp som används i den mycket populära Wan 2.1 generativa videomodell, och den hastighet vid vilken den därför fungerar med minst problem. Förhoppningsvis kommer forskningsscenen att hålla ett öga på möjlig “standardsentropi” här; ibland kan föråldrade begränsningar perpetuera framtida standarder)

Publicerad första gången onsdagen den 19 mars 2025