Udfordringen ved at tilføje undertekster til videoer i mere end 1fps

Evnen til, at maskinlæringsystemer kan genkende de begivenheder, der finder sted i en video, er afgørende for fremtiden for AI-baseret video-generering – ikke mindst fordi video-datasets kræver nøjagtige undertekster for at producere modeller, der overholder brugerens anmodning, og som ikke ekscessivt hallucinerer.

Et eksempel på en undertekstskema fra Google’s VidReCap-projekt. Kilde: https://sites.google.com/view/vidrecap

At tilføje undertekster manuelt til den mængde videoer, der er nødvendig for effektive træningsdatasets, er en uacceptabelt prospekt. Selvom det er muligt at træne AI-systemer til at automatisk tilføje undertekster til videoer, er der stadig behov for mange menneskeskabte eksempler som grundsandhed, for variation og dækning.

Endnu vigtigere er, at næsten alle nuværende AI-baserede video-undertekstmodeller fungerer ved 1fps, hvilket ikke er en tæt nok optagelseshastighed til at skelne variationer i mange scenarier: pludselige mikro-udtryksændringer for emotion-genkendelsessystemer; hurtige begivenheder i højhastighedssport som basketball; voldelige bevægelser; hurtige klip i dramatiske film, hvor systemer som PySceneDetect kan fejle i at identificere dem (eller ikke bruges); og mange andre scenarier, hvor vinduet for opmærksomhed tydeligt skal være mere intens.

Klik for at afspille. Hurtig, men livsforandrende handling i, hvad der ellers kan være en af de langsomste sportsgrene i verden, da Alex Higgins sikrer verdensmesterskabet mod Ray Reardon i 1982. Kilde: https://www.youtube.com/watch?v=_1PuqKno_Ok

Flyt og brud logik

Denne lave hastighed er standarden af flere logistiske årsager. For det første er video-undertekstning en ressourcekrævende aktivitet, uanset om systemet studerer én sekventiel ramme ad gangen eller bruger forskellige metoder til at semantisk samordne en række rammer til en fortolkelig undertekstsekvens. I begge tilfælde er kontekstvinduet uundgåeligt begrænset af hardware-begrænsninger.

En anden grund til, at 1fps er den nuværende standard, er, at videoer generelt ikke er fyldt med hurtige begivenheder; det er derfor overflødigt at give 300 rammer af en statisk snooker-bord samme opmærksomhed som det splitsekund, hvor en sorteret sort kugle vinder mesterskabet (se eksempel ovenfor).

Det er muligt at bruge bredere sekundære hints til at identificere afgørende øjeblikke i en sportsvideo, såsom den vedvarende tilskuertilskuelse af en hurtig slam-dunk i en basketballkamp. However, sådanne hints kan optræde af andre årsager (såsom uventede spiller-skader), og kan ikke betrodes. Dette er et eksempel på, hvordan en mislabeled video-dataset kan føre til en generativ video-model, der hallucinerer eller misfortolker instruktioner, dvs. fordi modellen kan vise en spiller-skade, når den blev bedt om at generere en slam-dunk (fordi ‘sekundær hint’ om tilskuertilskuelse ikke var eksklusiv for en bestemt type begivenhed).

Dette er på mange måder et ‘budget-problem’, og på andre måder et procedur-problem. Rammer til dato har opereret på principper, at sparsomme nøgle-rammer kan effektivt fange essentiel information, men dette er mere effektivt til at etablere genre og andre aspekter af en videos emne, da bevis i dette tilfælde består over flere rammer.

F-16

En ny artikel fra Kina tilbyder en løsning i form af den første multimodale store sprogmodel (MLLM, eller blot LLM), der kan analysere video ved 16fps i stedet for standarden 1fps, samtidig med at den undgår de store faldgruber ved at øge analysehastigheden.

I tests hævder forfatterne, at det nye system, titlen F-16, overgår proprietære state-of-the-art-modeller som GPT-4o og Google’s Gemini-1.5 pro. Selvom andre nuværende modeller kunne matche eller overgå F-16’s resultater i tests, var de konkurrerende modeller langt større og mere ubehændige.

Selvom F-16 blev trænet på nogle alvorlige hardware (som vi skal se nærmere på kort), er inferens normalt langt mindre krævende end træning. Derfor kan vi håbe, at koden (lovet til en nært forestående udgivelse) vil være i stand til at køre på middel eller høj niveau domestic GPU’er.

Hvad der er nødvendigt for vitaliteten af hobby-scenen (og det inkluderer den professionelle VFX-scene, det meste af tiden) er en video-undertekstningsmodel af denne type, der kan operere, måske kvantificeret, på forbruger-systemer, så hele den generative video-scene ikke migrerer til API-baserede kommercielle systemer eller tvinger forbrugere til at kobler lokale rammer op til kommercielle online GPU-tjenester.

Beyond Scaling Up

Forfatterne bemærker, at denne type tilgang er en praktisk alternativ til at skala op datasets. Man kan også slutte, at hvis man var gået til at smide mere data på problemet, ville denne type tilgang stadig være den foretrukne, fordi det nye system skelner begivenheder på en mere granuleret måde.

De siger:

‘Lav frame rate sampling kan resultere i kritisk visuel informations-tab, især i videoer med hurtigt skiftende scener, intrikate detaljer eller hurtig bevægelse. Derudover, hvis nøgle-rammer bliver missede, men modellen er trænet på mærker, der afhænger af nøgle-ramme-information, kan det have svært ved at alignere sine forudsigelser med den forventede indhold, potentielt førende til hallucinationer og forringet præstation…

‘… F-16 opnår SOTA-præstation i generel video-spørgsmål blandt modeller af samme størrelse og viser en tydelig fordel i high-frame-rate video-forståelse, overgående kommercielle modeller som GPT-4o. Dette arbejde åbner nye retninger for at fremme high-frame-rate video-forståelse i multimodal LLM-forskning.’

Den nye artikel er titlen Forbedring af LLM Video Understanding med 16 Frames Per Second, og kommer fra otte forfattere på Tsinghua University og ByteDance.

Metode

Da pågældende rammer ofte indeholder redundant information, anvender F-16 en high-frame-rate aligner til at komprimere og kodificere nøgle-bevægelsesdetaljer, mens den fastholder visuel semantik. Hver ramme bliver først behandlet af en forudtrænet billed-encoder, der udtrækker funktionelle repræsentationer, før den bliver sendt til en aligner baseret på Gaussian Error Linear Units (GELUs).

F-16’s arkitektur behandler video ved 16 FPS, fanger flere rammer end traditionelle lav-frame-rate-modeller, og dens high-frame-rate aligner fastholder visuel semantik, mens den effektivt kodificerer bevægelses-dynamik uden at tilføje ekstra visuelle tokens. Kilde: https://arxiv.org/pdf/2503.13956

For at håndtere den øgede ramme-tælling effektivt, grupperer F-16 rammerne i små proces-vinduer, sammenlægger visuelle funktioner ved hjælp af en tre-lags Multi-Layer Perceptron (MLP), hjælper med at fastholde kun de mest relevante bevægelsesdetaljer og reducerer unødvendig duplikation, mens den fastholder den tidsmæssige flow af handlinger. En spatial max-pooling lag komprimerer yderligere token-tællingen, holder beregningsomkostningerne inden for grænser.

De behandlede video-tokens bliver derefter sendt til Qwen2-7B LLM, der genererer tekst-svar baseret på de udtrukne visuelle funktioner og en given bruger-prompt.

Ved at strukturere video-input på denne måde, gør F-16, ifølge forfatterne, mere præcis begivenheds-genkendelse i dynamiske scener mulig, mens den stadig fastholder effektiviteten.

Den korte version

F-16 udvider en forudtrænet billed-LLM, LLaVA-OneVision, til at behandle video ved at transformere sin visuelle input-pipeline. Mens standard billed-LLM’er behandler isolerede rammer, reformatter F-16’s high-frame-rate aligner multiple rammer til en form, modellen kan mere effektivt behandle; dette undgår at overvælde systemet med redundant information, mens det fastholder nøgle-bevægelses-hints nødvendige for nøjagtig video-forståelse.

For at sikre kompatibilitet med sin billed-baserede grundlag, genbruger F-16 forudtrænede parametre ved at omstrukturere sin aligner til sub-matrices. Denne tilgang tillader det at integrere viden fra enkelt-ramme-modeller, mens det tilpasser sig sekventiel video-input.

Aligneren komprimerer først ramme-sekvenser til en format, der er optimeret til LLM, fastholder de mest informative funktioner, mens det kasserer unødvendige detaljer. Arkitektur-designet tillader systemet at behandle high-frame-rate video, mens det fastholder beregningskravene under kontrol, hvilket forfatterne mener er bevis for, at skala er ikke den eneste (eller bedste) vej frem for video-undertekstning.

Ændring af tempo

Da behandling af video ved 16 FPS forbedrer bevægelses-forståelse, men øger beregningskravene, især under inferens, introducerer F-16 en variabel frame-rate afkodning-metode, der tillader det at justere frame-hastighed dynamisk uden at gen-træne.

De enkelt-ramme og high frame rate alignere tilgængelige for F-16.

Denne fleksibilitet tillader modellen at operere effektivt ved lavere FPS, når høj præcision ikke er nødvendig, og reducerer beregnings-overhead.

Under test-tid, når en lavere frame-hastighed er valgt, genbruger F-16 forudtrænet aligner-parametre ved at gentage input-rammer for at matche de forventede dimensioner. Dette sikrer, at modellen kan behandle video effektivt uden at ændre sin arkitektur.

I modsætning til naiv downsampling (dvs. blot fjernelse af rammer), der risikerer at miste kritiske bevægelsesdetaljer, bevare denne metode alignerens lært bevægelses-repræsentationer, fastholder nøjagtighed, selv ved reduceret frame-hastighed. For generel video-forståelse kan en lavere FPS-indstilling accelerere inferens uden betydelig præstations-tab, mens high-speed bevægelses-analyse kan stadig udnytte fuld 16 FPS-kapacitet.

Data og tests

Bygget på Qwen2-7B, FP-16 udvider LLaVA-OneVision ved hjælp af SigLIP som billed-encoder. Med video-rammer samplet ved 16 FPS kan op til 1.760 rammer opnås fra hver video. For længere video-klip blev rammerne uniformt (dvs. mere sparsomt) samplet.

Under træning brugte F-16 de samme generelle video-datasets som LLaVA-Video, herunder LLaVA-Video-178K, NExT-QA, ActivityNet-QA og PerceptionTest.

F-16 blev yderligere fin-justeret på high-speed sports-datasets FineGym, Diving48 og SoccerNet. Forfatterne kuraterede også en samling af 276 NBA-kampe spillet mellem 13. og 25. november 2024, fokuseret på, om et skud var succesfuldt (en opgave, der kræver high-frame-rate procesering), og brugte NSVA-test-sættet vurderet med F1-score.

Modellen blev evalueret ved hjælp af NSVA-test-sættet, med præstation målt af F1-score.

Gymnastik- og dykning-modeller blev vurderet baseret på begivenheds-genkendelses-nøjagtighed, mens fodbold- og basketball-modeller sporedde pasninger og skud-afgange.

Modellen blev trænet i 1 epoch ved hjælp af 128 NVIDIA H100 GPU’er (og ved en standard-80GB VRAM per GPU, dette indebar brug af 10,24 terabytes GPU-hukommelse; selv efter nyere standarder er dette den højeste-specifikationer, jeg personligt har set i computer-vision-forskningslitteraturen). En læringshastighed på 2×10⁻⁵ blev brugt under træning.

Derudover blev en LoRA fin-justeret på sports-data ved hjælp af LoRA-adaptere med 64 GPU’er i 5 epochs. Her blev kun LLM’en trænet, mens billed-encoderen blev frosset.

Modsatte rammer testet i den første runde for ‘generel video-forståelse’ var GPT-4o; Gemini-1.5-Pro; Qwen2-VL-7B; VideoLLaMA2-7B; VideoChat2-HD-7B; LLaVA-OV-7B; MiniCPM-V2.6-8B; LLaVA-Video-7B; og NVILA-7B;

Modellerne blev evalueret på Video-MME; VideoVista; TemporalBench; MotionBench; Next-QA; MLVU; og LongVideoBench.

Sammenligning af video-spørgsmål-resultater på tværs af modeller, viser FPS-grænser og præstation på multiple benchmarks. F-16 opnår SOTA blandt 7B-modeller på Video-MME, NQA, TPB og MB, rivaliserer med proprietære modeller som GPT-4o og Gemini-1.5-Pro.

Af disse resultater siger forfatterne:

‘På Video-MME Short, Medium og NeXT-QA-datasets – hver designed for kort video-forståelse – overgår vores model den tidligere 7B SOTA-model med 3,2%, 1,0% og 0,9% i nøjagtighed, fremhæver dens stærke præstation på kort videoer.

‘For benchmarks, der vurderer lang video-forståelse, såsom Video-MME Long, LongVideoBench og MLVU, er udfordringen større på grund af sparsom frame-sampling, der får rammerne inden for proces-vinduet til at vise større variationer.

‘Dette øger vanskeligheden for modality-aligneren til effektivt at kodificere tidsmæssige ændringer inden for den begrænsede token-repræsentation. Som følge heraf oplever F-16 en let præstations-fald i forhold til [LLaVA-Video-7B], der er trænet på samme video-dataset.’

F-16’s high-frame-rate procesering, fortsætter forfatterne, resulterede også i en 13,5% forbedring på TemporalBench og en 2,5% gevinst på MotionBench, i forhold til eksisterende 7B-modeller, og opnåede en lignende niveau som kommercielle modeller som GPT-4o og Gemini-1.5-Pro.

Højhastighedssport video-forståelse

F-16 blev testet på FineGym, Diving48, SoccerNet og NBA-datasets for at evaluere dens evne til at forstå high-speed sports-handlinger.

Med de 10.000 manuelt annoterede NBA-klip fokuserede træningen på bold-bevægelse og spiller-handlinger, og om modellen kunne korrekt bestemme, om et skud var succesfuldt, ved hjælp af NSVA-test-sættet vurderet med F1-score.

Resultater af high-speed sports video-analyse. F-16 med high-frame-rate aligneren opnåede bedre resultater end sin lav-frame-rate modpart på alle sports-opgaver. GPT-4o og Gemini-1.5-Pro blev også vurderet på NBA og SoccerNet QA, hvor in-domain træning ikke var nødvendig.

På FineGym, der måler gymnastik-handling-genkendelse, opnåede F-16 13,8% bedre end den tidligere 7B SOTA-model, demonstrerende forbedret fin-granuleret bevægelses-forståelse.

Diving48 krævede identifikation af komplekse bevægelses-sekvenser såsom takeoff, somersault, twist og flight-faser, og F-16 viste højere nøjagtighed i at genkende disse overgange.

For SoccerNet analyserede modellen 10-sekunders klip, identificerede bold-pasninger, og resultaterne viste en forbedring i forhold til eksisterende 7B-modeller, indikerende, at højere FPS bidrager til at spore små og hurtige bevægelser.

I NBA-dataset nærmede F-16’s evne til at bestemme skud-afgange sig accuracyn af større proprietære modeller som GPT-4o og Gemini-1.5-Pro, yderligere antyder, at højere frame-hastighed forbedrer dens evne til at behandle dynamisk bevægelse.

Variable frame-rates

F-16 blev testet ved forskellige frame-rates for at måle dens tilpasningsevne. I stedet for at gen-træne, håndterede den lavere FPS ved at gentage rammer for at matche alignerens input-struktur. Denne tilgang fastholdt mere præstation end blot at fjerne rammer (der er tilbøjelig til at føre til tab af nøjagtighed).

Resultaterne viser, at selvom reducering af FPS havde en vis indvirkning på bevægelses-genkendelse, opnåede F-16 stadig bedre resultater end lav-frame-rate-modeller og fastholdt stærke resultater, selv under 16 FPS.

Venstre, tidsforbruget af forskellige F-16-moduler under inferens, målt på 300 videoer fra Video-MME Long-sættet ved varierende test-FPS og sekvens-længder. Højre, en sammenligning mellem Video-MME-præstation for modeller trænet og testet ved forskellige FPS. Den solide linje repræsenterer modeller trænet og testet ved samme FPS, mens den stiplede linje viser præstation, når en model trænet ved 16 FPS testes ved en lavere frame-hastighed.

F-16’s high-frame-rate procesering øgede beregningskravene, selvom dens aligner hjalp med at styre disse omkostninger ved at komprimere redundant visuel tokens.

Modellen krævede flere FLOPs per video end lavere-FPS-modeller, men opnåede også bedre nøjagtighed per token, hvilket antyder, at dens frame-selektion og token-kompressions-strategier hjalp til at kompensere for den øgede beregning.

Konklusion

Det er svært at overdrive enten vigtigheden eller udfordringen af denne bestemte forsknings-gren – især dette år, der er sat til at være gennembruds-året for generativ video, hvilket kaster video-dataset-curation og undertekst-kvalitets-manglers svagheder i skarpt fokus.

Det skal også understreges, at udfordringerne ved at få nøjagtige beskrivelser af interne video-detajler ikke kan løses udelukkende ved at kaste VRAM, tid eller disk-plads på problemet. Metoden, hvorpå begivenheder isoleres/udtrækkes fra ellers lange og kedelige video-klip (som f.eks. golf eller snooker-klip), vil have godt af en genovervejelse af de semantiske tilgange og mekanismer, der i øjeblikket dominerer SOTA-løsninger – fordi nogle af disse begrænsninger blev etableret i mere ressource-fattige tider.

(foruden, selvom 16fps kan synes som en meget lav frame-hastighed for 2025, er det interessant at bemærke, at dette også er den native trænings-hastighed for video-klip brugt i den meget populære Wan 2.1 generative video-model, og den hastighed, hvormed den derfor opererer med færrest problemer. Forhåbentlig vil forskningsscenen holde øje på mulig ‘standard-entropi’ her; nogle gange kan forældede begrænsninger perpetuere fremtidige standarder)

Først udgivet onsdag, 19. marts 2025