Videoiden tekstityksen haaste yli 1fps:n

Koneoppimisjärjestelmien kyky tunnistaa videotapahtumat on tärkeää tulevaisuudelle AI-pohjaisessa videoiden luomisessa – ei vain siksi, että videodatajoukkoja tarvitaan tarkat tekstitykset, jotta mallit noudattavat käyttäjän pyynnön ja eivät liikaa valehtele.

Esimerkki tekstitysskeemasta Google’n VidReCap-projektista. Lähde: https://sites.google.com/view/vidrecap

Manuaalinen videotekstitys tarvittavassa määrin tehokkaiden koulutusjoukkoihin on mahdoton tehtävä. Vaikka on mahdollista kouluttaa AI-järjestelmiä tekemään videotekstitystä, tarvitaan edelleen runsaasti ihmisten luomia esimerkkejä perustodisteena ja moninaisuuden vuoksi.

Tärkeämpää on, että lähes jokainen nykyinen AI-pohjainen videotekstitysmalli toimii 1fps:n nopeudella, mikä ei ole riittävän tiheä tallennusnopeus monissa tilanteissa: äkilliset mikroilmeiden muutokset tunnistamisjärjestelmissä; nopeat tapahtumat korkean tason urheilussa, kuten koripallossa; väkivaltaiset liikkeet; nopeat leikkaukset draamaelokuvissa, joissa järjestelmät kuten PySceneDetect saattavat olla kykenemättömiä tunnistamaan niitä (tai niitä ei käytetä); ja monissa muissa tilanteissa, joissa huomion ikkuna tarvitsee olla tiheämpi.

Paina toistamaan. Nopea mutta elämää muuttava toiminta yhdessä maailman hitaimmista urheilulajeista, kun Alex Higgins voittaa maailmanmestaruuden Ray Reardonin vastaan 1982. Lähde: https://www.youtube.com/watch?v=_1PuqKno_Ok

Liikku nopeasti ja murskaa logiikka

Tämä matala nopeus on standardi monista logistisista syistä. Yksi syy on, että videotekstitys on resursseja vaativa toiminto, riipumatta siitä, tutkitaanko yhtä peräkkäistä kuvaa kerrallaan vai käytetäänkö erilaisia menetelmiä kuvien semanttisen yhtenäistämiseksi tulkiteltavaksi tekstisekvenssiksi. Kummassakin tapauksessa kontekstiuuni on väistämättä rajoitettu laitteistovarauksilla.

Toinen syy 1fps:n nykyisyydestä on, että videoita ei yleensä täytetä nopeilla tapahtumilla; on siis tarpeetonta antaa 300 kuvaa staattisesta snookertaulusta saman huomion, kuin mustan pallon potkiminen, joka voittaa mestaruuden (ks. yllä oleva esimerkki).

On mahdollista käyttää laajempia toissijaisia vihjeitä nopeiden tapahtumien tunnistamiseen urheiluvideossa, kuten ylläpitämään yleisön reaktiota nopeaan koripalloon. Näitä vihjeitä ei kuitenkaan voida luottaa, sillä ne voivat johtua muista syistä (kuten pelaajan loukkaantumisista), ja niitä ei voida luottaa. Tämä on esimerkki siitä, miten väärin merkitty videodatajoukko voi johtaa generatiiviseen videomalliin, joka valehtelee tai tulkkaa ohjeita väärin, esimerkiksi näyttämällä pelaajan loukkaantumista, kun pyydettiin luomaan koripallotilanne (koska ‘toissijainen vihje’ yleisön hämmästyksestä ei ollut yksinomaan tietyntyyppistä tapahtumaa).

Tämä on monin tavoin ‘budjettiongelma’, ja toisaalta prosessuaalinen ongelma. Viitekehykset ovat toimineet periaatteella, jonka mukaan harvat avainkuvat voivat tehokkaasti kaapata olennaiset tiedot, mutta tämä on enemminkin tehokasta määrittämään videon tyylilajin ja muita aiheen ulottuvuuksia, koska näyttö pysyy useiden kuvien ajan.

F-16

Kiinalainen tutkimusryhmä tarjoaa ratkaisun, joka perustuu ensimmäiseen monimodaaliseen suurelle kielelliseen malliin (MLLM, tai yksinkertaisesti LLM), joka voi analysoida videoita 16fps:n nopeudella, ei 1fps:n, välttäen samalla suuria analyysinopeuden lisäämisen haittoja.

Kokeissa tutkijat väittävät, että uusi järjestelmä, joka on nimeltään F-16, suoriutuu paremmin kuin omistajien nykyiset huipputason mallit, kuten GPT-4o ja Google’n Gemini-1.5 pro. Vaikka muut nykyiset mallit pystyivät vastaamaan tai ylittämään F-16:n tulokset kokeissa, kilpailevat mallit olivat paljon suurempia ja kömpelömpiä.

Vaikka F-16 oli koulutettu jossain määrin vakavalla laitteistolla (kuten myöhemmin tarkastelemme), inference on yleensä paljon vähemmän vaativa kuin koulutus. Siksi voidaan toivoa, että koodi (joka on luvattu lähitulevaisuudessa) pystyy suorittamaan keskitason tai korkean kotitietokoneen näytönohjaimilla.

Mitä tarvitaan harrastajien ja ammattilaisten (mukaan lukien suurimman osan VFX-ammattilaisten) elinvoimaisuuden kannalta, on tällainen videotekstitysmalli, joka voi toimia ehkä kvantisoituna kuluttajajärjestelmissä, jotta koko generatiivinen videokohtaus ei siirry API-pohjaisiin kaupallisiin järjestelmiin tai pakota kuluttajia liittämään paikalliset kehykset kaupallisiin verkkopalveluihin.

Beyond Scaling Up

Tutkijat toteavat, että tämä lähestymistapa on käytännöllinen vaihtoehto datan skaalaamiselle. Voidaan myös päätellä, että jos lisätään enemmän dataa ongelmaan, tämä lähestymistapa voisi olla edelleen suotuisa, koska uusi järjestelmä erottaa tapahtumia hienojakoisemmin.

He toteavat:

‘Matala kuvanopeus voi johtaa kriittisen visuaalisen tiedon menetykseen, erityisesti videoissa, joissa on nopeasti muuttuvia kohtauksia, yksityiskohtaisia yksityiskohtia tai nopeaa liikettä. Lisäksi, jos avainkuvat puuttuvat, mutta malli on koulutettu avainkuviin perustuvilla tunnisteilla, se voi kärsiä siitä, että se ei pysty sopimaan ennusteitaan odotettuun sisältöön, mikä voi johtaa valehteluun ja heikentymään…

‘…F-16 saavuttaa SOTA-suorituskyvyn yleisessä video-kysymys-vastaus -tehtävässä malleissa, jotka ovat saman kokoisia, ja osoittaa selkeän edun nopean kuvataajuuden videoiden ymmärtämisessä, ylittäen kaupalliset mallit, kuten GPT-4o. Tämä työ avaa uusia suuntia multimodaalisen LLM-tutkimuksen edistämiseksi…

Uusi tutkimus on nimeltään Parannettu LLM-videon ymmärtäminen 16 kuvan sekuntivauhdilla, ja se on peräisin kahdeksalta tekijältä Tsinghua-yliopistosta ja ByteDancesta.

Menetelmä

Koska peräkkäiset kuvat usein sisältävät tarpeettomia tietoja, F-16 soveltaa korkean kuvataajuuden kohdistinta tiivistämään ja koodata avainliikkeen yksityiskohtia säilyttäen visuaalisen semantiikan. Jokainen kuva käsitellään ensin esikoulutetulla kuvankoodurilla, joka poistaa piirteiden edustukset ennen kuin se välitetään kohdistimelle, joka perustuu Gaussian Error Linear Units (GELU):iin.

F-16:n arkkitehtuuri prosessoi videoita 16 kuvan sekuntivauhdilla, kaappaamalla enemmän kuvia kuin perinteiset matalan kuvataajuuden mallit, ja korkean kuvataajuuden kohdistin säilyttää visuaalisen semantiikan tehokkaasti koodaten liikkeen dynamiikkaa ilman lisäämistä visuaalisten tokenien määrää. Lähde: https://arxiv.org/pdf/2503.13956

Kuvien lisääntyneen määrän tehokkaan käsittelyn vuoksi F-16 ryhmittelee kuvat pieniin prosessointi-ikkunoissa, yhdistäen visuaaliset ominaisuudet kolmen kerroksen Multi-Layer Perceptron (MLP):n avulla, joka auttaa säilyttämään ainoastaan merkittävimmät liikkeen yksityiskohdat, vähentäen tarpeetonta toistoa ja säilyttäen toimintojen aikajanan. Paikkatilaisten max-pooling-kerros tiivistää edelleen tokenien määrän, pitäen laskennalliset kustannukset hallinnassa.

Käsitellyt videotokenit syötetään sitten Qwen2-7B LLM:ään, joka luo tekstipohjaisia vastauksia poistettujen visuaalisten ominaisuuksien ja annetun käyttäjän pyynnön perusteella.

Tällaisen videon syötteen rakenteistamalla F-16 mahdollistaa, tutkijoiden mukaan, tarkemman tapahtuman tunnistamisen dynaamisissa kohtauksissa, säilyttäen samalla tehokkuuden.

Lyhyt versio

F-16 laajentaa esikoulutetun kuvan LLM:n, LLaVA-OneVision, prosessoimaan videoita muuttamalla visuaalista syötteen putkistoa. Vaikka standardit kuvan LLM:t käsittelevät erillisiä kuvia, F-16:n korkean kuvataajuuden kohdistin uudelleenmuotoilee useita kuvia muotoon, jota malli voi prosessoida tehokkaammin; tämä estää järjestelmän ylikuormittumisen tarpeettomalla tiedolla ja säilyttää avainliikkeen vihjeet, jotka ovat tärkeitä tarkalle videon ymmärtämiselle.

Jotta voidaan varmistaa yhteensopivuus kuvapohjaisen perustan kanssa, F-16 uudelleenmuodostaa kohdistimen alimatriiseiksi. Tämä lähestymistapa mahdollistaa sen, että se voi hyödyntää esikoulutettuja parametrejä sopeutumalla peräkkäisiin video-syötteisiin.

Kohdistin tiivistää ensin kuvasekvenssin muotoon, joka on optimoitu LLM:lle, säilyttäen ainoastaan merkittävimmät ominaisuudet ja hävittäen tarpeettomat yksityiskohdat. Arkkitehtuuri mahdollistaa järjestelmän prosessoinnin korkean kuvataajuuden videoita, pitäen laskennalliset vaatimukset hallinnassa, mikä tutkijoiden mukaan osoittaa, että skaalaamisen lisääminen ei ole ainoa (tai paras) tapa edetä videoiden tekstityksessä.

Vaihteleva tahti

Koska 16fps:n nopeuden prosessointi parantaa liikkeen ymmärtämistä, mutta lisää laskennallisia vaatimuksia, erityisesti inference-ajankohtana, F-16 esittelee muuttuvan kuvataajuuden dekoodausmenetelmän, joka mahdollistaa sen sopeuttamisen kuvataajuutta dynaamisesti ilman uudelleenkoulutusta.

F-16:n yksittäinen kuva- ja korkean kuvataajuuden kohdistimet.

Tämä joustavuus mahdollistaa mallin toimimisen tehokkaammin matalammilla kuvataajuilla, kun korkeaa tarkkuutta ei vaadita, ja vähentää laskennallista rasitusta.

Kun matalampi kuvataajuus valitaan testiaikana, F-16 uudelleenmuodostaa aiemmin koulutetun kohdistimen parametrejä toistamalla syötteen kuvia vastaamaan odotettua ulottuvuutta. Tämä varmistaa, että malli voi edelleen prosessoida videoita tehokkaasti ilman arkkitehtuurin muuttamista.

Toisin kuin viattomat alennusotteen (ts. yksinkertaisesti poistamalla kuvia), joka altistaa kriittisten liikkeen yksityiskohtien menetykselle, tämä menetelmä säilyttää kohdistimen oppimien liikkeen edustusten, ylläpitäen tarkin tarkkuuden, vaikka kuvataajuutta lasketaan.

Data ja testit

Rakennettu Qwen2-7B:lle, FP-16 laajentaa LLaVA-OneVisionia käyttäen SigLIP:iä kuvankoodurina. Videokuvia näytetään 16fps:n nopeudella, josta voidaan hankkia jopa 1 760 kuvaa jokaisesta videosta. Pitemmille videoille kuvia näytetään yhdenmukaisesti (ts. harvemmin) näytettynä.

Koulutuksessa F-16 käytti samoja yleisiä videojoukkoja kuin LLaVA-Video, mukaan lukien LLaVA-Video-178K, NExT-QA, ActivityNet-QA ja PerceptionTest.

F-16 oli myös hienosäädetty korkean tason urheiludatajoukoilla FineGym, Diving48 ja SoccerNet. Tutkijat kokosivat myös 276 NBA-ottelun kokoelman, jotka pelattiin 13. ja 25. marraskuuta 2024, keskittyen siihen, onnistuiko heitto (tehtävä, joka vaatii korkean kuvataajuuden prosessointia).

Malli arvioitiin NSVA-testijoukolla, ja suorituskyky mitattiin F1-lukemalla.

Voimistelun ja uimahyppyjen mallit arvioitiin tapahtuman tunnistamisen tarkkuuden perusteella, kun taas jalkapallon ja koripallon mallit seurasivat syöttöjä ja heittojen tuloksia.

Malli koulutettiin yhdellä epochilla käyttäen 128 NVIDIA H100 -näytönohjainta (ja 80 Gt:n VRAM:näytönohjainkohtaisesti, mikä edellytti 10,24 teratavun näytönohjaimen muistia; jopa viimeaikaisilla tietokoneella tämä on korkein näytönohjainklusteri, jonka olen henkilökohtaisesti nähnyt seuraamalla tietokoneen näkökulmaa). Oppimisnopeus oli 2×10⁻⁵ koulutuksen aikana.

Lisäksi LoRA hienosäädetty urheiludataa, jota käytettiin LoRA-sovittimilla 64 GPU:lla 5 epochin ajan. Tässä vain LLM koulutettiin, jättäen kuvankooduri jäädytettyksi.

Vastakkaiset kehykset, jotka testattiin alkuvaiheessa yleisen videon ymmärtämisen osalta, olivat GPT-4o; Gemini-1.5-Pro; Qwen2-VL-7B; VideoLLaMA2-7B; VideoChat2-HD-7B; LLaVA-OV-7B; MiniCPM-V2.6-8B; LLaVA-Video-7B; ja NVILA-7B;

Mallit arvioitiin Video-MME:ssa; VideoVista:ssa; TemporalBench:ssä; MotionBench:ssä; Next-QA:ssa; MLVU:ssa; ja LongVideoBench:ssä.

Vertailu videokysymys-vastaus -tuloksia malleissa, jotka osoittavat kuvataajuuden rajoitukset ja suorituskyvyn useilla mittareilla. F-16 saavuttaa SOTA:n 7B-malleissa Video-MME:ssa, NQA:ssa, TPB:ssa ja MB:ssa, kilpaillen kaupallisten mallien kanssa, kuten GPT-4o ja Gemini-1.5-Pro.

Tutkijat toteavat:

‘Video-MME Short-, Medium- ja NeXT-QA -tietojoukoissa – jotka on suunniteltu lyhyiden videoiden ymmärtämiseksi – mallimme ylittää edellisen 7B SOTA-mallin 3,2 prosentilla, 1,0 prosentilla ja 0,9 prosentilla tarkkuudessa, korostaa vahvaa suorituskykyä lyhyissä videoissa.

‘Pitkien videoiden ymmärtämistä arvioivissa mittareissa, kuten Video-MME Long, LongVideoBench ja MLVU, haaste on suurempi niiden harvemman kuvanäytön vuoksi, mikä aiheuttaa suurempia vaihteluita kuvien välillä prosessointi-ikkunassa.

‘Tämä lisää haastetta modaalikohdistimelle, jotta se voisi tehokkaasti koodata aikaiset muutokset rajoitetussa tokeniedustuksessa. Seurauksena F-16 kokee lievän suorituskyvyn laskun verrattuna [LLaVA-Video-7B]:ään, joka on koulutettu samalla videodatajoukolla.’

F-16:n korkean kuvataajuuden prosessointi johti myös 13,5 prosentin parantumiseen TemporalBenchissä ja 2,5 prosentin parantumiseen MotionBenchissä verrattuna olemassa oleviin 7B-malleihin, ja se suoritti samalla tasolla kuin kaupalliset mallit, kuten GPT-4o ja Gemini-1.5-Pro.

Nopean urheiluvideon ymmärtäminen

F-16 testattiin FineGym-, Diving48-, SoccerNet- ja NBA-dataseteilla arvioidakseen sen kykyä ymmärtää nopeita urheiluliikkeitä.

Käyttäen 10 000 manuaalisesti merkittyä NBA-klippiä, koulutus keskittyi pallon liikkeisiin ja pelaajien toimiin, ja siihen, voivatko mallit oikein määritellä, onnistuiko heitto, käyttäen NSVA-testijoukkoa, joka arvioitiin F1-lukemalla.

Nopean urheiluvideon analyysin tulokset. F-16:n korkean kuvataajuuden kohdistin suoritti paremmin kuin matalan kuvataajuuden vastine kaikissa urheilutehtävissä. GPT-4o ja Gemini-1.5-Pro arvioitiin myös NBA- ja SoccerNet-videokysymys-vastauksissa, joissa ei vaadittu alan tietämystä.

FineGymissä, joka mittailee voimistelun toiminnan tunnistamista, F-16 suoritti 13,8 prosentilla paremmin kuin edellinen 7B SOTA-malli, osoittaen parannettua hienojakoista liikkeen ymmärtämistä.

Diving48 vaati monimutkaisten liikkeen siirtymien, kuten lähtö, salto, kierros ja lento-vaiheiden, tunnistamista, ja F-16 osoitti korkeampaa tarkkuutta näiden siirtymien tunnistamisessa.

Jalkapallossa malli analysoi 10 sekunnin klippejä, tunnistaa pallon syöttöjä, ja tulokset osoittavat parannuksen verrattuna olemassa oleviin 7B-malleihin, osoittaen, että korkeampi kuvataajuus edistää pienten ja nopeiden liikkeiden seuraamista.

NBA-datasetissä F-16:n kyky määritellä heiton tulokset lähestyi suurempien kaupallisten mallien, kuten GPT-4o ja Gemini-1.5-Pro, tarkkuutta, osoittaen, että korkeampi kuvataajuus parantaa sen kykyä prosessoida dynaamista liikettä.

Muuttuvat kuvataajuudet

F-16 testattiin eri kuvataajuksilla sen sopeutumiskyvyn mittaamiseksi. Sen sijaan, että se olisi koulutettu uudelleen, se käsitteli matalampaa kuvataajuutta toistamalla kuvia vastaamaan kohdistimen syötteen rakennetta. Tämä lähestymistapa säilytti enemmän suorituskykyä kuin yksinkertainen kuvien poistaminen (joka altistaa tarkin tarkkuuden menetykselle).

Tulokset osoittavat, että kuvataajuuden laskeminen vaikutti liikkeen tunnistamiseen, mutta F-16 ylittää edelleen matalan kuvataajuuden malleja ja säilyttää vahvat tulokset jopa alle 16fps:nä.

Vasemmalla, F-16-moduulien aikakulutus inference-ajankohtana, mitattuna 300 videolla Video-MME Long -joukosta eri testikuvataajuksilla ja sekvenssien pituuksilla. Oikealla, vertailu Video-MME-suorituskyvyn välillä malleissa, jotka on koulutettu ja testattu eri kuvataajuksilla. Kiinteä viiva edustaa malleja, jotka on koulutettu ja testattu samalla kuvataajuudella, kun taas katkoviiva näyttää suorituskyvyn, kun malli on koulutettu 16fps:nä ja testattu matalammalla kuvataajuudella.

F-16:n korkean kuvataajuuden prosessointi lisäsi laskennallisia vaatimuksia, vaikka sen kohdistin auttoi hallitsemaan näitä kustannuksia tiivistämällä tarpeettomat visuaaliset tokenit.

Malli vaati enemmän FLOPSeja videokohtaisesti kuin matalamman kuvataajuuden mallit, mutta se saavutti myös paremman tarkin tarkkuuden tokenia kohden, osoittaen, että sen kehyksen valinta ja tokenien pakkausstrategiat auttoivat kompensoimaan lisääntyneen laskennan.

Johtopäätös

On vaikea yliarvioida joko tämän tietyn tutkimussuunnan merkitystä tai haasteita – erityisesti tänä vuonna, joka on määrätty generatiivisen videon läpimurrovuonna, joka heittää videodatajoukon kuraation ja tekstityksen laadun terävään valoon.

Pitäisi myös korostaa, että haasteet, jotka liittyvät videon sisäisten yksityiskohtien tarkan kuvaamiseen, eivät voida ratkaista yksin heittämällä VRAM:ia, aikaa tai levytilaa ongelmaan. Tapa, jolla tapahtumia eristetään/erottellaan muusta pitkästä ja tylsästä videosta (kuten golf- tai snookervideoklippejä), hyötyäisi uudelleenajattelusta semanttisista lähestymistavoista ja mekanismeista, jotka hallitsevat tällä hetkellä SOTA-ratkaisuja – koska jotkut näistä rajoituksista olivat peräisin resursseja köyhästä ajasta.

(Sattumalta, vaikka 16fps näyttää hyvin matalalta kuvataajuudelta vuonna 2025, on mielenkiintoista huomata, että tämä on myös suositun Wan 2.1 generatiivisen videomallin koulutusnopeus, ja nopeus, jolla se toimii vähiten ongelmia. Toivottavasti tutkimusala pitää silmällä mahdollista ‘standardeja entropiaa’ tässä; joskus vanhentuneet rajoitukset voivat edistää tulevia standardeja)

Julkaistu ensimmäisen kerran keskiviikkona 19. maaliskuuta 2025