Videokoodekki tekoälyllä tuotetulle videokuvalle

Tekoälyn rajattoman kulutuksen aikakauden lähestyessä loppuaan uusi, taloudellinen tapa tuottaa tekoälyvideoita lupaa huomattavia säästöjä tokeneissa ja ajassa.

Tekoälyn päättelyvaiheen todelliset kustannukset tuovat uutta realismia nykyisen tekoälyvallankumouksen hurjaan vauhtiin, ja kiinnostus koneoppimisen kustannusten järkeistämiseen kasvaa. Mahdollisuutena on myös tekoälyn tuominen omaan ympäristöön, ja yksityinen tekoäly^[1] yleistyy. Lisäksi runsaasti VRAM-muistia ja muita resursseja kuluttavia koneoppimisprosesseja on selvästi optimoitava.

Videoiden tuottaminen on tässä suhteessa ehkä suurin resurssisyöppö. Jos olet joskus pakannut elokuvan uudelleen tai vienyt sen ulos videoeditointiohjelmasta, tiedät jo kuormituksen, jonka tämä tekoälyyn liittymätön tehtävä aiheuttaa laitteistolle: se kuluttaa RAM-muistia ja suoritinaikaa ja estää usein tietokoneen muun käytön, ellei pakkausalgoritmin vaikutusta koneeseen erikseen rajoiteta.

Voi siis vain kuvitella, missä mittakaavassa tekoälyvideoiden yleistyminen toistaa tätä valtavasti laskentatehoa kuluttavaa prosessia datakeskuksissa ympäri maailmaa. Siinä mittakaavassa pienimmätkin parannukset muuttuvat heti merkittäviksi, kun ne lasketaan yhteen.

Videokuvan ytimessä

Tätä taustaa vasten uusi shanghailainen tutkimus, joka on tehty yhteistyössä JD.comin (JD ) kanssa, ehdottaa videokoodekkia, joka ei kohdistu videon ulosvientiin eli valtavien raakakuvien pakkaamiseen pienemmäksi videotiedostoksi, vaan itse tekoälyvideon tuottamiseen.

Tavallinen videokoodekki ei tallenna jokaista ruutua kokonaisena kuvana. Sen sijaan se tallentaa harvemman joukon kokonaisia kuvia eli I-ruutuja ja niiden lisäksi ruutujen väliset muutokset.

Jos esimerkiksi ihminen liikkuu videossa hieman, koodekki tallentaa vain ne ruudun osat, joissa muutos näkyy, eikä kirjoita koko kohtausta uudelleen. Tällaisia ovat P-ruudut, jotka johdetaan aiemmista ruuduista, ja B-ruudut, jotka voivat hyödyntää myös tulevien ruutujen tietoa:

Videokoodekin rakenne: ylärivin aikajärjestyksessä esitetyt ruudut on merkitty I-, P- ja B-tunnuksin. I-ruudut on tallennettu kokonaan ja esitetty täysissä väreissä, kun taas P- ja B-ruudut on himmennetty kuvastamaan niiden rekonstruointia. Nuolet osoittavat, käytetäänkö aiempia ruutuja, myöhempiä ruutuja vai molempia. Alapaneeleissa on kokonaan tallennettu ruutu vasemmalla (I-ruutu), aiemmasta ruudusta muodostettu ruutu toisena vasemmalta (P-ruutu) ja sekä aiemmista että myöhemmistä ruuduista muodostettu ruutu oikealla (B-ruutu).

Lähellä olevan tiedon uudelleenkäyttö pitää videotiedostot pieninä: useimmat ruudut eivät ole uusia kuvia vaan ohjeita siitä, miten edellinen ruutu on muuttunut. I-ruudut ovat siis tilaa vieviä, pakkaamattomia tai vain vähän pakattuja kokonaisia kuvia. Niiden väliset ruudut sisältävät vain I-ruutujen väliset erot ja erot toisiinsa nähden.

Kun jokainen ruutu on kokonainen pakkaamaton kuva, elokuvassa ei käytännössä ole pakkausta. Tällaisena pakkaamattomana videona tallennettu kaksituntinen elokuva veisi lähes teratavun levytilaa tai enemmän. Juuri näin tekoäly kuitenkin tekee elokuvia^† – se osoittaa samat resurssit ja tokenit jokaiselle ruudulle laskiessaan, miten video muodostetaan.

Mittakaavan tuomat säästöt

Uusi tutkimus, nimeltään AdaCodec: A Predictive Visual Code for Video MLLMs, käyttää täyden määrän visuaalisia tokeneita ainoastaan viiteruutuihin eli I-ruutuihin. Kaikki väliruudut esitetään kompakteina P-tokeneina. Ratkaisu on selvästi saanut mallinsa perinteisten, todellisen maailman videokoodekkien pakkauksesta.

Kun tämä sisäinen pakkaus on tehty, generatiivisen tekoälyn tuottama video voidaan pakata tavalliseen tapaan. Teoriassa kaikki säästöt syntyvät siis palvelinpuolella:

AdaCodecin yleiskuva. Vasemmalla video jaetaan mukautuviin kuvaryhmiin: täydet I-ruudut varataan vaikeasti ennustettaviin hetkiin, ja välissä olevat P-ruudut esitetään tiiviillä liike- ja jäännöstiedoilla. Oikealla järjestelmä yltää Qwen3-VL-8B:n tasolle tai sen yli yhdessätoista vertailutestissä, säilyttää paremman pitkien videoiden tarkkuuden eri tokenibudjeteilla ja lyhentää vastausviivettä käsitellen samalla huomattavasti vähemmän videotokeneita. Lähde

AdaCodecin raportoitujen testitulosten perusteella säästöjä kannattaa tavoitella. Tutkimuksen mukaan järjestelmä suoriutui muokkaamatonta Qwen3-VL-8B-mallia^[1] paremmin kaikissa keskeisissä vertailutesteissä samalla laskentamäärällä. Se ylsi mallin tasolle tai sen yli vielä senkin jälkeen, kun videotokenien määrää oli vähennetty noin 86 %.

Tekijät toteavat*:

”Otamme mallia ennustavasta koodauksesta, jossa järjestelmä lähettää ennusteen virheet raakasignaalin sijaan. Periaatteella on biologinen perusta: näköjärjestelmän ajatellaan koodaavan ennustevirheitä eli odotetun ja havaitun syötteen eroja itse syötteen sijaan.

”Nykyaikaiset videokoodekit soveltavat samaa jäännöskoodauksen periaatetta tekniikassa: viiteruudut sisältävät koko sisällön, kun taas ennustetut ruudut sisältävät liikkeen ja jäännössignaalit suhteessa viiteruutuun.

”Näiden järjestelmien tavoitteet ovat erilaiset, mutta ehdollinen rakenne on sama: kun lähekkäisissä näytteissä on päällekkäistä tietoa, kanavan pitäisi välittää se, mitä ennuste ei selitä.

”Tavalliset koodekit kuitenkin optimoivat bittivirtoja ja ihmiselle katseltavaksi tarkoitettua rekonstruointia, eivät LLM:n käyttämiä visuaalisia tokeneita. Suunnittelemme siksi tämän mekanismin uudelleen MLLM:n rajapinnaksi videoiden ymmärtämiseen.”

Uuden työn on kirjoittanut 11 tutkijaa Shanghai Jiao Tong -yliopistosta, Shanghai Innovation Institutesta ja JD.comista. Työllä on oma projektisivu, ja lähdekoodin julkaisu on luvattu.

Menetelmä

Kuten edellä kuvattiin, järjestelmä ei käsittele jokaista ruutua kokonaan uutena kuvana vaan etsii ruutujen väliset muutokset. Alla olevan kuvan vasemmassa osassa nykyisen ruudun pientä aluetta verrataan aiemman ruudun sitä eniten muistuttavaan alueeseen:

AdaCodecin toimintakaavion yleiskuva.

Näiden kahden sijainnin välinen etäisyys muodostaa liikevektorin, ja jäljelle jäävät kuvalliset erot muodostavat jäännöksen. Nämä tiiviit kuvaukset korvaavat kokonaisen kuvan tallentamisen.

Oikealla näkyvät tiedot syötetään tekoälymalliin. Tärkeät viiteruudut käsitellään edelleen kokonaisina kuvina, mutta väliruudut esitetään huomattavasti pienempinä liike- ja jäännöstokeneina. Näin malli näyttää säilyttävän riittävästi tietoa videon tulkitsemiseen samalla, kun se käsittelee huomattavasti vähemmän kuvallista dataa.

Kiinnostava haaste on ratkaista, mitkä ruudut kannattaa tallentaa kokonaisina. Perinteiset videokoodekit sijoittavat viiteruudut yleensä tasaisin välein riippumatta siitä, tarvitaanko niitä. AdaCodec pyrkii sen sijaan tunnistamaan tärkeimmät hetket.

Ajatellaan esimerkiksi kohtausta, jossa kaksi ihmistä keskustelee melko paikallaan asunnossa, kunnes SWAT-ryhmä ryntää yhtäkkiä sisään ikkunasta. Kuvakulmien määrä ja leikkausten tiheys kasvavat heti, jolloin tarvitaan paljon enemmän dataa kuin säännöllinen viiteruutuväli tarjoaa:

Tähän perustuvat vaihtelevaa pakkausta käyttävät menetelmät, kuten vaihteleva bittinopeus: ne etsivät lähdevideosta tällaiset tapahtumarikkaat jaksot ja osoittavat enemmän dataa sinne, missä sitä tarvitaan. Tämä vie huomattavasti aikaa ja resursseja.

Jos ruutu voidaan AdaCodecissa ennustaa tarkasti lähiruuduista, järjestelmä jatkaa tiiviiden liike- ja jäännöstokenien käyttöä. Jos kohtaus muuttuu olennaisesti esimerkiksi edellä kuvatun SWAT-ryhmän tai jonkin vähemmän dramaattisen muutoksen vuoksi, mukaan lisätään täysi viiteruutu. Näin suurempi osa käytettävissä olevasta laskentabudjetista voidaan käyttää olennaiseen kuvalliseen tietoon sen sijaan, että se jaettaisiin tasaisesti koko videolle.

Aineisto ja testit

Tutkijat käyttivät testeissä pohjamallina edellä mainittua Qwen3-VL-8B:tä ja arvioivat AdaCodecia yhdessätoista vertailutestissä kolmella videoiden ymmärtämisen osa-alueella: pitkien videoiden suorituskykyä mitattiin testeillä MLVU, LongVideoBench ja LVBench; ajallista ymmärtämistä testeillä TempCompass, MotionBench ja TOMATO; ja yleistä videoiden ymmärtämistä testeillä Video-MME, MVBench, NExT-QA, PerceptionTest ja EgoSchema.

Testatut avoimen lähdekoodin mallit olivat InternVL3.5-8B; Keye-VL-1.5-8B; GLM-4.1V-9B; MiniCPM-V-4.5-8B; Eagle2.5-8B; PLM-8B; LLaVA-Video-7B; VideoChat-Flash-7B; Molmo2-8B; ja Molmo2-O-7B.

GPT-5:n, Geminin ja Clauden eri versiot ovat alla olevassa taulukossa mukana vain vertailutasoina. CoPE-VideoLM-7B ja ReMoRa-7B ovat aiempia videokielimalleja, jotka vähentävät visuaalisten tokenien käyttöä koodekeista ammentavalla pakkauksella. Siksi ne ovat AdaCodecin lähimmät suorat kilpailijat:

Päätulokset yhdessätoista vertailutestissä, jotka mittaavat pitkien videoiden ymmärtämistä, ajallista päättelyä ja yleistä videoiden ymmärtämistä. Suurempi pistemäärä tarkoittaa parempaa tulosta. LVB = LongVideoBench ja V-MME = Video-MME. Lihavoidut ja alleviivatut arvot osoittavat avoimen lähdekoodin mallien parhaat ja toiseksi parhaat tulokset. Suljettujen mallien pisteet on otettu virallisista raporteista, kun niitä on ollut saatavilla; puuttuvat tulokset on saatu Molmo2:sta tai tekijät ovat arvioineet ne itse.

Tasapuolisen vertailun varmistamiseksi AdaCodecille ja tavalliselle Qwen3-VL-8B-järjestelmälle annettiin sama määrä visuaalisia tokeneita. Näin tulokset heijastivat pakkaustavan tehokkuutta eivätkä laskentaresurssien eroja.

Voimakkaimmalla pakkausasetuksella AdaCodec vähensi visuaalisten tokenien käyttöä noin 86 % ja ylsi silti vertailujärjestelmän tasolle tai hieman sen yli pitkien videoiden, ajallisen ymmärtämisen ja yleisen videoiden ymmärtämisen tehtävissä.

Kun säästetyt tokenit käytettiin useampien videoruutujen käsittelyyn, suorituskyky parani jokaisessa pitkien videoiden ja jokaisessa ajallisen ymmärtämisen vertailutestissä. Parannus oli enimmillään +5,4 pistettä LongVideoBenchissä ja +4,3 pistettä TOMATOssa, ja tulokset lukeutuivat tutkimuksen vahvimpiin avoimen lähdekoodin tuloksiin.

Johtopäätös

Vaikka tällaiset hankkeet on yleensä suunnattu erittäin suurille palveluntarjoajille, tällainen työ kiinnostaa myös harrastajia ja pk-yrityksiä. Se voi olla osa uutta, julkisuudessa näkyvää niukkuusajattelua paikallisen ja järkeistetyn tekoälyn käytössä.

Esimerkiksi r/stablediffusion-yhteisössä tämä on vanha asia: jokainen merkittävä avoimen lähdekoodin julkaisu puristetaan siellä säännöllisesti äärimmilleen optimoiduksi versioksi (GGUF, kvantisoidut painot^[1] ja niin edelleen), joka toimii pienemmänkin teholuokan näytönohjaimilla, kunhan käyttäjällä on hieman kärsivällisyyttä.

Jos tämän kolmannen tekoälybuumin näyttävyyteen keskittynyt vaihe on todella ohi ja oletetaan, että yritykset säikähtävät päättelyvaiheen todellisia kustannuksia, AdaCodecin kaltaiset hankkeet saattavat olla osa tulevaa ”suurta optimointia”.

^† Tämä ei tarkoita videon ulosvientiä käyttäjälle sopivaan tiedostomuotoon ja -kokoon, vaan ruutujen sisäistä tuottamista ja kokoamista tekoälymallissa päättelyvaiheen aikana.

* Olen muuttanut tekijöiden tekstinsisäisiä viitteitä hyperlinkeiksi harkintani mukaan.

Julkaistu ensimmäisen kerran torstaina 4. kesäkuuta 2026