Utfordringen med å legge til tekst på video i mer enn 1fps

Evensyklusen for maskinlæringsystemer å gjenkjenne hendelser som skjer i en video, er avgjørende for fremtiden til AI-basert video-generering – ikke minst fordi video-datasett krever nøyaktige undertekster for å produsere modeller som overholder en brukers forespørsel, og som ikke eksessivt hallusinerer.

Et eksempel på en undertekst-skjema fra Google’s VidReCap-prosjekt. Kilde: https://sites.google.com/view/vidrecap

Å legge til tekst på video manuelt i skalaen som trengs for effektive treningsdatasett, er en uforholdsmessig prospekt. Selv om det er mulig å trene AI-systemer til å legge til tekst på video automatisk, trengs det likevel mange menneskeskapte eksempler som grunnssannhet, for variasjon og dekning.

Mer viktig, opererer nesten alle nåværende AI-baserte video-undertekst-modeller ved 1fps, som ikke er en tett nok opptakshastighet til å skille variasjoner i mange scenarier: plutselige mikro-uttrykksendringer for emosjons-gjenkjennelsessystemer; raske hendelser i høyhastighetsidretter som basketball; voldelige bevegelser; raske klipp i dramatiske filmer, hvor systemer som PySceneDetect kan feile å identifisere dem (eller ikke brukes); og mange andre scenarier hvor vinduet for oppmerksomhet tydelig må være mer intens.

Klikk for å spille. Rask, men livsforandrende handling i hva som ellers kan være en av de langsommeste idrettene i verden, da Alex Higgins vinner verdensmesterskapet mot Ray Reardon i 1982. Kilde: https://www.youtube.com/watch?v=_1PuqKno_Ok

Flytt raskt og bryt logikk

Denne lave hastigheten er standarden for flere logistiske årsaker. For det første er video-undertekst en ressurskrevende aktivitet, enten systemet studerer en sekvensiell ramme om gangen, eller bruker ulike metoder for å semantisk samordne en rekke rammeverk til en tolkbar undertekstsekvens. I begge tilfeller er kontekstvinduet uunngåelig begrenset av maskinvare-begrensninger.

En annen årsak til at 1fps er nåværende standard, er at videoer vanligvis ikke er fylt med raske hendelser; det er derfor overflødig å gi 300 rammeverk av en statisk snooker-bord samme oppmerksomhet som sekundet da en potert svart ball vinner mesterskapet (se eksempel ovenfor).

Det er mulig å bruke bredere sekundære hint til å identifisere avgjørende øyeblikk i en idrettsvideo, som den vedvarende crowd-reaksjonen på en rask slam-dunk i en basketballkamp. Likevel kan slike hint forekomme av andre årsaker (slik som uventede spillerskader), og kan ikke pålitelig brukes. Dette er et eksempel på hvordan en feilmerket video-datasett kan føre til en generativ video-modell som hallucinerer eller misforstår instruksjoner, dvs. fordi modellen kan vise en spillerskade når den ble bedt om å generere en slam-dunk (fordi ‘sekundær hint’ av crowd-agitasjon ikke var eksklusiv for en bestemt type hendelse).

Dette er på mange måter et ‘budsjett-problem’, og på andre måter et prosedyre-problem. Rammer til dags dato har operert på prinsippet at sparsomme nøkkel-rammer kan effektivt fange essensiell informasjon, men dette er mer effektivt i å etablere sjanger og andre aspekter av en videos emne, siden bevis i dette tilfelle varer over flere rammeverk.

F-16

En ny artikkel fra Kina tilbyr en løsning, i form av den første multimodale store språk-modell (MLLM, eller bare LLM) som kan analysere video ved 16fps i stedet for standard 1fps, samtidig som den unngår de store fella av å øke analyse-hastigheten.

I tester hevder forfatterne at det nye systemet, tittelen F-16, overgår proprietære state-of-the-art-modeller som GPT-4o og Google’s Gemini-1.5 pro. Selv om andre nåværende modeller kunne matche eller overgå F-16s resultater i tester, var de konkurrerende modellene mye større og mer ubehandlerlige.

Selv om F-16 ble trent på noen alvorlige maskinvare (som vi skal se nærmere på snart), er inferens vanligvis mye mindre krevende enn trening. Derfor kan vi håpe at koden (lovet for en nær fremtidig utgivelse) vil være i stand til å kjøre på medium eller høy-nivå domestiske GPUer.

Hva som trengs for vitaliteten til hobby-scenen (og det inkluderer den profesjonelle VFX-scenen, mest av tiden) er en video-undertekst-modell av denne typen som kan operere, kanskje kvantisert, på forbrukersystemer, så at hele den generative video-scenen ikke migrerer til API-baserte kommersielle systemer, eller tvinger forbrukerne til å koble lokale rammer opp til kommersielle online-GPU-tjenester.

Bortenfor å skalle opp

Forfatterne observerer at denne typen tilnærming er en praktisk alternativ til å skalle opp datasett. En kan også slutte at hvis en skulle kaste mer data på problemet, er dette likevel en tilnærming som kunne være foretrukket, fordi det nye systemet skiller hendelser på en mer granulert måte.

De uttaler:

‘Lav ramme-hastighet prøving kan føre til kritisk visuell informasjons-tap, spesielt i videoer med raskt skiftende scener, intrikate detaljer eller rask bevegelse. I tillegg, hvis nøkkel-rammer blir mistet, men modellen er trent på merker som avhenger av nøkkel-ramme-informasjon, kan den struggle å alignere sine prediksjoner med den forventede innholdet, potensielt førende til hallucinasjoner og redusert ytelse…

‘… F-16 oppnår SOTA-ytelse i generell video-qa blant modeller av samme størrelse og demonstrerer en klar fordel i høy-ramme-hastighet video-forståelse, overgående kommersielle modeller som GPT-4o. Dette arbeidet åpner nye retninger for å fremme høy-ramme-hastighet video-forståelse i multimodal LLM-forskning.’

Den nye artikkelen er tittelen Forbedring av LLM video-forståelse med 16 rammeverk per sekund, og kommer fra åtte forfattere over Tsinghua University og ByteDance.

Metode

Ettersom påfølgende rammeverk ofte inneholder redundant informasjon, anvender F-16 en høy-ramme-hastighet-justeringsmodul for å komprimere og kode nøkkel-bevegelsesdetaljer mens den beholder visuell semantikk. Hver ramme blir først prosessert av en forhåndstrening-bilde-encoder, som trekker ut egenskaps-representasjoner før den blir sendt til en justeringsmodul basert på Gaussian Error Linear Units (GELUs).

F-16s arkitektur prosesserer video ved 16 FPS, fanger flere rammeverk enn tradisjonelle lav-ramme-hastighet-modeller, og dens høy-ramme-hastighet-justeringsmodul beholder visuell semantikk mens den effektivt koder bevegelses-dynamikk uten å legge til ekstra visuelle token. Kilde: https://arxiv.org/pdf/2503.13956

For å håndtere den økte ramme-tellingen effektivt, grupperer F-16 rammeverk i små prosesserings-vinduer, som slår sammen visuelle egenskaper ved hjelp av en tre-lags Multi-Layer Perceptron (MLP), som hjelper til å beholde bare de mest relevante bevegelsesdetaljene, og reduserer unødvendig duplisering, mens den beholder den tidsmessige flyten av handlinger. En romlig max-pooling-lag komprimerer ytterligere token-tellingen, og holder beregningskostnadene innenfor grenser.

De prosesserte video-tokenene blir deretter sendt til Qwen2-7B LLM, som genererer tekstlige svar basert på de uttrukne visuelle egenskapene og en gitt bruker-forespørsel.

Ved å strukturere video-inndata på denne måten, muliggjør F-16, ifølge forfatterne, mer presis hendelse-gjenkjennelse i dynamiske scener, mens den likevel beholder effektivitet.

Kort versjon

F-16 utvider en forhåndstrening-bilde-LLM, LLaVA-OneVision, for å prosessere video ved å transformere sin visuelle inndata-pipeline. Mens standard bilde-LLMer håndterer isolerte rammeverk, reformatterer F-16s høy-ramme-hastighet-justeringsmodul flere rammeverk til en form modellen kan prosessere mer effektivt; dette unngår å overvelde systemet med redundant informasjon mens det beholder nøkkel-bevegelses-hint nødvendig for nøyaktig video-forståelse.

For å sikre kompatibilitet med sin bilde-baserte grunnlag, gjenbruker F-16 forhåndstrening-parametere ved å restrukturere sin justeringsmodul til under-matriser. Denne tilnærmingen tillater det å integrere kunnskap fra enkelt-ramme-modeller mens det tilpasser seg sekvensiell video-inndata.

Justeringsmodulen komprimerer først ramme-sekvenser til en format optimalisert for LLM, og beholder de mest informative egenskapene mens den kasserer unødvendige detaljer. Arkitektur-designet muliggjør systemet å prosessere høy-ramme-hastighet video mens det holder beregningskravene under kontroll, som forfatterne hevder som bevis på at skaling ikke er den eneste (eller beste) måten fremover for video-undertekst.

Variere farten

Ettersom prosessering av video ved 16 FPS forbedrer bevegelses-forståelse, men øker beregningskostnadene, spesielt under inferens, introduserer F-16 en variabel-ramme-hastighet-dekoding-metode, som tillater det å justere ramme-hastighet dynamisk uten å trenings-om igjen.

Den enkelt-ramme og høy-ramme-hastighet-justeringsmodulene tilgjengelige for F-16.

Dette fleksibiliteten muliggjør modellen å operere effektivt ved lavere FPS når høy presisjon ikke er nødvendig, og reduserer beregnings-overhodet.

Ved test-tid, når en lavere ramme-hastighet er valgt, gjenbruker F-16 tidligere trenings-justeringsmodul-parametere ved å repetere inndata-rammer for å matche de forventede dimensjoner. Dette sikrer at modellen kan fortsatt prosessere video effektivt uten å modifisere sin arkitektur.

I motsetning til naiv downsampling (dvs. enkelt fjerning av rammeverk), som risikerer å tape kritiske bevegelsesdetaljer, beholder denne metoden justeringsmodulens lærte bevegelses-representasjoner, og beholder nøyaktigheten selv ved reduserte ramme-hastigheter. For generell video-forståelse kan en lavere FPS-innstilling akselerere inferens uten betydelig ytelses-tap, mens høyhastighets-bevegelses-analyse kan fortsatt utnytte full 16 FPS-kapasitet.

Data og tester

Bygget på Qwen2-7B, FP-16 utvider LLaVA-OneVision ved hjelp av SigLIP som bilde-encoder. Med video-rammer samplet ved 16 FPS, kan opptil 1 760 rammeverk bli oppnådd fra hver video. For lengre video-klipp ble rammeverk samplet uniformt (dvs. mer sparsomt).

For trening, brukte F-16 samme generelle video-datasett som LLaVA-Video, inkludert LLaVA-Video-178K, NExT-QA, ActivityNet-QA, og PerceptionTest.

F-16 ble også finjustert på høyhastighets-idretts-datasett FineGym, Diving48, og SoccerNet. Forfatterne kuraterte også en samling av 276 NBA-kamper spilt mellom 13. og 25. november 2024, som fokuserte på om et skudd var vellykket (en oppgave som krever høy-ramme-hastighet-prosessering).

Modellen ble evaluert ved hjelp av NSVA-testsettet, med ytelse målt ved F1-score.

Gymnastikk- og dykking-modeller ble evaluert basert på hendelse-gjenkjennelses-nøyaktighet, mens fotball- og basketball-modeller sporet pasninger og skudd-utfall.

Modellen ble trent i 1 epoch ved hjelp av 128 NVIDIA H100-GPUer (og ved en standard 80GB VRAM per GPU, dette innebar bruk av 10,24 terabyte GPU-minne; selv etter nåværende standarder er dette den høyest-spekkede GPU-klusteren jeg personlig har kommet over i å følge med computer-vision-forskning-litteraturen). En læringshastighet på 2×10⁻⁵ ble brukt under trening.

I tillegg ble en LoRA finjustert på idrettsdata ved hjelp av LoRA-adaptere med 64 GPUer i 5 epoker. Her ble bare LLM trent, og bilde-encoderen ble frosset.

Modeller som ble testet i den første runden for ‘generell video-forståelse’ var GPT-4o; Gemini-1.5-Pro; Qwen2-VL-7B; VideoLLaMA2-7B; VideoChat2-HD-7B; LLaVA-OV-7B; MiniCPM-V2.6-8B; LLaVA-Video-7B; og NVILA-7B;

Modellene ble evaluert på Video-MME; VideoVista; TemporalBench; MotionBench; Next-QA; MLVU; og LongVideoBench.

Sammenligning av video-qa-resultater over modeller, som viser FPS-grenser og ytelse på flere benchmark. F-16 oppnår SOTA blant 7B-modeller på Video-MME, NQA, TPB og MB, og rivaliserer proprietære modeller som GPT-4o og Gemini-1.5-Pro.

Av disse resultater, uttaler forfatterne:

‘På Video-MME Short, Medium og NeXT-QA-datasettene – hver designet for kort video-forståelse – overgår vår modell den tidligere 7B SOTA-modellen med 3,2%, 1,0% og 0,9% i nøyaktighet, og understreker sin sterke ytelse på kort videoer.

‘For benchmark som vurderer lang video-forståelse, som Video-MME Long, LongVideoBench og MLVU, er utfordringen større på grunn av sparsomme ramme-sampling, som fører til at rammeverkene i prosesserings-vinduet viser større variasjoner.

‘Dette øker vanskeligheten for modality-justeringsmodulen til å effektivt kode tidsmessige endringer innenfor den begrensede token-representasjon. Som følge herav opplever F-16 en mindre ytelses-forbedring sammenlignet med [LLaVA-Video-7B], som er trent på samme video-datasett.’

F-16s høy-ramme-hastighet-prosessering, fortsetter forfatterne, resulterte også i en 13,5% forbedring på TemporalBench og en 2,5% forbedring på MotionBench, sammenlignet med eksisterende 7B-modeller, og utførte på et lignende nivå som proprietære modeller som GPT-4o og Gemini-1.5-Pro.

Høyhastighets-idretts-video-forståelse

F-16 ble testet på FineGym, Diving48, SoccerNet og NBA-datasett for å evaluere sin evne til å forstå høyhastighets-idretts-hendelser.

Ved hjelp av de 10 000 manuelt annoterte NBA-klippene, fokuserte treningen på ball-bevegelse og spiller-hendelser, og om modellene kunne korrekt bestemme om et skudd var vellykket, ved hjelp av NSVA-testsettet evaluert med F1-score.

Resultater av høyhastighets-idretts-video-analyse. F-16 med høy-ramme-hastighet-justeringsmodul utførte bedre enn sin lav-ramme-hastighet-motpart over alle idretts-oppgaver. GPT-4o og Gemini-1.5-Pro ble også evaluert på NBA og SoccerNet QA, hvor domene-trening-kunnskap ikke var nødvendig.

På FineGym, som måler gymnastikk-hendelse-gjenkjennelse, utførte F-16 13,8% bedre enn den tidligere 7B SOTA-modellen, og viste forbedret fin-grånet bevegelses-forståelse.

Diving48 krevde identifisering av komplekse bevegelses-sekvenser som takeoff, somersault, twist og flight-faser, og F-16 viste høyere nøyaktighet i å gjenkjenne disse overgangene.

På SoccerNet analyserer modellen 10-sekunders klipp, og identifiserer ball-pasninger, og resultater viste en forbedring sammenlignet med eksisterende 7B-modeller, og indikerer at høyere FPS bidrar til å spore små og raske bevegelser.

I NBA-datasettet nærmet F-16s evne til å bestemme skudd-utfall nivået til større proprietære modeller som GPT-4o og Gemini-1.5-Pro, og antyder at høyere ramme-hastighet forbedrer dens evne til å prosessere dynamisk bevegelse.

Variabel ramme-hastighet

F-16 ble testet ved ulike ramme-hastigheter for å måle sin tilpasnings-evne. I stedet for å trenings-om igjen, håndterte den lavere FPS ved å repetere rammeverk for å matche justeringsmodulens inndata-struktur. Denne tilnærmingen beholdt mer ytelse enn å enkelt fjerne rammeverk (som kan føre til nøyaktighets-tap).

Resultatene indikerer at mens reduksjon av FPS hadde en viss innvirkning på bevegelses-gjenkjennelse, utførte F-16 likevel bedre enn lav-ramme-hastighet-modeller og beholdt sterke resultater selv under 16 FPS.

Venstre, tid-forbruket til ulike F-16-moduler under inferens, målt på 300 videoer fra Video-MME Long-settet ved ulike test-FPS og sekvens-lengder. Høyre, en sammenligning mellom Video-MME-ytelse for modeller trent og testet ved ulike FPS. Den solide linjen representerer modeller trent og testet ved samme FPS, mens den stiplede linjen viser ytelse når en modell trent ved 16 FPS testes ved en lavere ramme-hastighet.

F-16s høy-ramme-hastighet-prosessering økte beregningskravene, selv om dens justeringsmodul hjalp til å håndtere disse kostnadene ved å komprimere redundante visuelle token.

Modellen krevde flere FLOPs per video enn lavere-FPS-modeller, men oppnådde også bedre nøyaktighet per token, og antyder at dens ramme-valg og token-komprimerings-strategier hjalp til å kompensere for den økte beregningen.

Konklusjon

Det er vanskelig å overdrive hverken viktigheten eller utfordringene i denne spesielle forsknings-retningen – spesielt i år, som er satt til å bli gjennombruddsåret for generativ video, og som kaster mangelen på video-datasett-kurering og undertekst-kvalitet i skarpt lys.

Det bør også understrekes at utfordringene involvert i å få nøyaktige beskrivelser av interne video-detaljer ikke kan løses eksklusivt ved å kaste VRAM, tid eller disk-plass på problemet. Metoden for å isolere/uttrekke hendelser fra ellers lange og kjedelige video-klipp (som golf eller snooker-klipp, for eksempel) vil dra nytte av en omtenkning av de semantiske tilnærmingene og mekanismene som for tiden dominerer SOTA-løsninger – fordi noen av disse begrensningene ble etablert i mer ressurs-fattige tider.

(For øvrig, selv om 16fps kan se ut som en svært lav ramme-hastighet for 2025, er det interessant å notere at dette også er den native trenings-hastigheten for video-klipp brukt i den svært populære Wan 2.1 generative video-modell, og hastigheten det derfor opererer med færrest problemer. Forhåpentligvis vil forskningsscenen holde et øye på mulig ‘standard-entropi’ her; noen ganger kan forældede begrensninger perpetuere fremtidige standarder)

Først publisert onsdag 19. mars 2025