Videokooderi tekoälyllä luoduille videoille

Tekoälylle omistetun “syö kaikki mitä voit” -ajan loppuessa, taloudellinen uusi lähestymistapa tekoälyvideojen luomiseen luvaa merkittäviä säästöjä sekä symboleissa että ajassa.

Tekoälyn inference -kustannukset tuovat uuden tasapainon nykyisen tekoälyvallankumouksen nopeaan tahtiin, ja kiinnostus tekoälyllisten koneiden oppimisen kustannusten rationalisointiin kasvaa. Tekoälyn sisäistäminen ja yksityisen tekoälyn yleistyminen ovat myös nousseet esiin, ja VRAM:n ja resursseja vaativat koneoppimisohjelmat tarvitsevat myös optimointia.

Videojen luominen on ehkä suurin syypää tässä suhteessa. Jos olet koskaan uudelleenpakannut elokuvaa tai viennyt sen videomuokkausohjelmasta, tiedät jo kuormituksen, jonka tämä tehtävä aiheuttaa laitteellesi – se syö RAM:ia ja CPU-syklisiä, ja usein estää koneen käytön muissa tarkoituksissa, ellei oteta toimenpiteitä pakkausohjelman vaikutuksen rajoittamiseksi.

Tästä voidaan vain kuvitella, mihin mittakaavaan tekoälyvideojen nousu toistaa tämän “voimahimon” prosessin datakeskuksissa ympäri maailmaa. Tällaisessa mittakaavassa jokainen pieni säästö on välittömästi merkittävä kokonaisuuden laskemisessa.

Kehyksessä

Tästä ajatuksesta lähtien Shanghain yliopiston ja JD.comin yhteistyössä tehty uusi tutkimus tarjoaa videokooderin, joka on suunniteltu ei niinkään videojen uloskirjoittamisprosessille (prosessille, jossa suuret, raakat kehykset pakataan pienempään videokoossuurukseen), vaan itse tekoälyvideojen luomisprosessille.

Tavallinen videokooderi toimii siten, että se ei tallenna jokaista kehykstä täydellisenä kuvana, vaan luo pienemmän määrän täydellisiä kuvia, joita kutsutaan I-kehyksiksi, ja tallentaa muutokset kehyksten välillä.

Esimerkiksi, jos henkilö liikkuu hieman videossa, kooderi tallentaa vain kehyksen osat, jotka rekisteröivät tämän muutoksen, eikä kirjoita koko kohtausta uudelleen. Nämä ovat P-kehyksiä, jotka johdetaan aiemmista kehyksistä, ja B-kehyksiä, jotka voivat myös ennakoida tietoa tulevissa kehyksissä:

Videokooderin anatomia: ylärivissä kehykset ajan myötä, joissa on merkintät I, P ja B, I-kehykset tallennetaan täydellisinä kuvina ja P- ja B-kehykset näytetään himmennettynä, jotta voidaan osoittaa jälleenrakennus; nuolet osoittavat, käytetäänkö aiempia kehyksiä, myöhempia kehyksiä vai molempia; alempien paneelien kuvissa on täysin tallennettu kehykset (I-kehykset, vasemmalla), kehykset, jotka on rakennettu aiemmasta kehyksestä (P-kehykset, toisella vasemmalla), ja kehykset, jotka on rakennettu sekä aiemmista että myöhempistä kehyksistä (B-kehykset, oikealla).

Tämä lähikehyksien tiedon uudelleenkäyttö on syy siihen, miksi videotiedostot pysyvät pieninä, ja useimmat kehykset toimivat uusina kuvina, jotka kuvaavat, miten edellinen kehykset on muuttunut. Siksi I-kehykset ovat “täysipainoisia”, tilaa syöviä, pakkaamattomia (tai vähän pakattuja) kuvia, ja kehykset niiden välillä ovat vain ero I-kehyksten (ja niiden kesken) välillä.

Kun jokainen yksittäinen kehykset on täysin pakkaamaton kuva, elokuva on käytännössä pakkaamaton. Tallentaminen elokuvaa tässä muodossa, pakkaamattomana videona, vaatisi noin 2-tunnin elokuvalle lähes (tai yli) teratavun verran levytilaa. Tämä on kuitenkin se, miten tekoäly tekee elokuvia – omistamalla samat resurssit ja symbolit jokaiselle kehykselle, kun se lasketaan, miten muodostaa videon.

Taloudellisuus

Uusi tutkimus, AdaCodec: A Predictive Visual Code for Video MLLMs, käyttää täysin visuaalisia symboleja ainoastaan viitekehyksille (I-kehyksille), ja kaikki välikehykset renderöidään “pikkuisten P-symboleina” – paradigma, joka on otettu perinteisestä pakkaamisesta, jota historialliset “oikean maailman” videokooderit käyttävät.

Kun tämä sisäinen pakkaus on tapahtunut, tekoälyvideo voidaan pakata normaalisti, ja teoriassa kaikki säästöt ovat palvelimella:

AdaCodec:n yleiskatsaus. Vasemmalla videot on jaettu sopeutuvasti kuvaryhmiksi, joissa on varattu täydellisiä I-kehyksiä vaikeasti ennustettavissa kohdissa ja väli-P-kehyksiä, jotka edustavat tiivisteisiä liikemerkintöjä ja jäännösinformaatiota. Oikealla järjestelmä vastaa tai ylittää Qwen3-VL-8B:n yhdeksässä mittauksessa, ylläpitää korkeampaa pitkän videon tarkkuutta symbolibudjetin yli, vähentää viiveitä ja prosessoi merkittävästi vähemmän videosymboleja. Lähde

Säästöt, tutkimuksen mukaan, ovat syytä jäljittää; tutkimusraportti toteaa, että järjestelmä ylittää muuttumattoman Qwen3-VL-8B-mallin jokaisessa tärkeässä mittauksessa, käyttäen samaa määrää prosessointia; ja vastaa tai ylittää mallin suorituskyvyn, kun videosymboleja leikataan noin 86 %.

Tekijät toteavat*:

‘Me otamme vaikutteita ennustavasta koodauksesta, jossa järjestelmä lähettää virheitä ennustuksesta eikä raakasignaalia. Tämä periaate on biologisesti perusteltu: visuaalijärjestelmä luetaan ennustusvirheiksi, odotetun ja havaitun syötteen väliseksi eroksi, eikä itse syötteenä.

‘Modernit videokooderit käyttävät samaa jäännöskoodauksen ideaa insinööritieteessä: viitekehykset sisältävät täydellisen sisällön, kun taas ennustuskehykset sisältävät liikemerkintöjä ja jäännössignaaleja viitekehyksiin nähden.

‘Nämä järjestelmät ovat erilaisia, mutta ne jakavat saman ehdollisen rakenteen: kun lähikehykset ovat tarpeettomia, kanava tulisi kuljettaa, mitä ennustus ei selitä.

‘Standardikooderit kuitenkin optimoivat bitivirroille ja ihmisen näkemän jälleenrakennukselle, eikä visuaalisymboleille, joita MLLM käyttää. Suunnittelemme tämän mekanismin uudelleen MLLM-liittymäksi videoiden ymmärtämiseksi.’

Uusi tutkimus, jota ovat tehneet 11 tutkijaa Shanghain Jiao Tong -yliopistosta, Shanghain innovaatiokeskuksesta ja JD.com:ista, tulee liittyvän projektiivisen sivun kanssa, ja luvataan lähettää lähdekoodi.

Menetelmä

Kuten edellä mainittiin, järjestelmä ei käsittele jokaista kehykstä täysin uutena kuvana, vaan etsii, mitä on muuttunut yhden kehyksen ja toisen välillä. Vasemmalla alla olevassa kuvassa nähdään pienen alueen nykyisestä kehyksestä, joka on vastattu vastaavasta alueesta aiemmasta kehyksestä:

AdaCodec:n skeema. Vasemmalla kehykset on jaettu ryhmiin, joissa on I-, P- ja B-kehykset, ja nuolet osoittavat, mitkä kehykset käytetään.

Etäisyys kahden sijainnin välillä muodostaa liikemerkinnän, ja jäljelle jäävät visuaaliset erot muodostavat jäännöksen, ja nämä tiivisteet korvaavat täysikokoisen kuvan tallentamisen tarpeen.

Oikealla nähdään tulos, joka syötetään tekoälymalliin: tärkeät viitekehykset prosessoidaan edelleen täydellisinä kuvina, mutta välikehykset edustetaan paljon pienempinä liike- ja jäännössymboleina – näyttäen siltä, että malli voi säilyttää tarpeeksi tietoa videon käsittelyyn, prosessoimalla huomattavasti vähemmän visuaalista tietoa.

Yksi mielenkiintoinen haaste on päättää, mitkä kehykset ansaitsevat tallentaa täydellisinä: perinteiset videokooderit asettavat viitekehykset säännöllisin välein, riippumatta siitä, tarvitaanko niitä. AdaCodec yrittää sen sijaan tunnistaa tärkeimmät kohdat.

Esimerkiksi katsotaanpa kohtausta, jossa kaksi henkilöä keskustelee asunnossa – ja yhtäkkiä poliisi ryntää sisään ikkunasta. Heti kamerakulmat ja leikkausnopeus lisääntyvät ja vaativat paljon enemmän tietoa kuin säännöllinen viitekehyksen väli tarjoaa:

Tämä on logiikka muuttuvan bittinopeuden pakkausmenetelmien taustalla, jotka analysoivat lähdevideota “kiireisille” jaksoille ja määrittävät enemmän tietoa, missä sitä tarvitaan – ei pienellä kustannuksella aikaa ja resursseja.

AdaCodecissa, jos kehykset voidaan ennustaa tarkasti lähikehyksistä, järjestelmä jatkaa tiivisteisten liike- ja jäännössymboleiden käyttöä; jos kohtaus muuttuu merkittävästi (esim. poliisi esimerkki tai jotain vähemmän dramaattista), täysi viitekehykset lisätään. Tämä mahdollistaa enemmän prosessointibudjetin käytön tärkeisiin visuaalisiin tietoihin sen sijaan, että se jaetaan tasaisesti koko videon yli.

Tiedot ja testit

Testauksessa tutkijat käyttivät edellä mainittua Qwen3-VL-8B:ta perusmallina ja arvioivat AdaCodecia yhdeksässä mittauksessa, jotka kattoivat kolme videoiden ymmärtämisen aluetta: pitkän videon suorituskyky arvioitiin MLVU:n, LongVideoBench:n ja LVBench:n avulla; ajallinen ymmärtäminen TempCompass:n, MotionBench:n ja TOMATO:n avulla; ja yleinen videoiden ymmärtäminen Video-MME:n, MVBench:n, NExT-QA:n, PerceptionTest:n ja EgoSchema:n avulla.

Avoin lähdekoodi -mallit, joita testattiin, olivat InternVL3.5-8B; Keye-VL-1.5-8B; GLM-4.1V-9B; MiniCPM-V-4.5-8B; Eagle2.5-8B; PLM-8B; LLaVA-Video-7B; VideoChat-Flash-7B; Molmo2-8B; ja Molmo2-O-7B.

GPT-5, Gemini ja Claude -versiot näkyvät taulukossa ainoastaan vertailukohteina. CoPE-VideoLM-7B ja ReMoRa-7B ovat aiempia videokieli -malleja, jotka vähentävät visuaalisten symbolien käyttöä kooderin innoittamalla pakkaamisella, mikä tekee niistä lähimpänä suoria kilpailijoita AdaCodecille:

<img class=" wp-image-426294" src="https://www.unite.ai/wp-content/uploads/2026/06/table-2-1.jpg" alt="Päätulokset yhdeksässä mittauksessa, jotka kattavat pitkän videon ymmärtämisen, ajallisen ymmärtämisen ja yleisen videoiden ymmärtämisen. Korkeammat pisteet osoittavat parempaa suorituskykyä. LVB = LongVideoBench; V-MME = Video-MME. Lihavoitetut ja alleviivatut arvot osoittavat korkeimmat ja toiseksi korkeimmat pisteet avoimissa lähdekoodi -malleissa. Suljetun lähdekoodin mallien pisteet otettiin virallisista raporteista, missä ne olivat saatavilla, ja puuttuvat tulokset otettiin Molmo2:sta tai arvioitiin tekijöiden toimesta.

Jotta vertailu olisi reilu, sama määrä visuaalisia symboleja oli käytettävissä sekä AdaCodecille että perus Qwen3-VL-8B-järjestelmälle, jotta tulokset heijastaisivat pakkauslähestymisen tehokkuutta eikä prosessointiresursseja.

Aggressiivisimmassa asetuksessa AdaCodec vähensi visuaalisten symbolien käyttöä noin 86 %, ja se ylitti tai vastasi perusjärjestelmää pitkän videon, ajallisen ja yleisen videoiden ymmärtämisen tehtävissä.

Kun säästetyt symbolit investoitiin prosessointiin enemmän videokehyksiä, suorituskyky parani jokaisessa pitkän videon mittauksessa ja jokaisessa ajallisessa mittauksessa, ja saavutti +5,4 pistettä LongVideoBenchillä ja +4,3 pistettä TOMATO:lla, ja tuotti joitakin vahvimpia avoimia lähdekoodi -tuloksia tutkimuksessa.

Johtopäätös

Vaikka tämänkaltaiset hankkeet on yleensä suunnattu hyperskaalaisille toimijoille, tämä on sellainen ponnistus, joka kiinnostaa harrastajia ja PK-yrityksiä, osana mahdollista uutta “julkista askeettisuutta” paikallisen, järkeistetyn tekoälykäytön ympärillä.

Yhteisöissä, kuten r/stablediffusion, tämä on hyvin vanha uutinen, koska jokainen suuri avoin lähdekoodi -julkaisu, joka saapuu sinne, on säännöllisesti kidutettu hyper-optimoituun (GGUF, kvantitoidut painot jne.) versioon, joka pystyy toimimaan, jonkinlaista kärsivällisyyttä vaadittaessa, alempien pääteiden näytönohjaimilla.

Jos “esiintymisen vaihe” tästä kolmannesta tekoälyvallankumouksesta on todella ohi, ja oletetaan, että yritykset ovat torjuvia tekoälyn todellisia kustannuksia, aloitteet, kuten AdaCodec, voivat muodostaa osan tulevaa “suurta optimointia”.

^† Tämä ei ole sama asia kuin videon renderöinti käyttäjäystävälliseen muotoon/tiedostokokoonsa; se koskee tekoälymallin sisäistä kehyksten luontia ja kokoamista johtopäätöksenteon aikana.

* Minun muunnos, järkevästi, tekijöiden sisäisistä viittauksista hyperlinkkeihin.

Julkaistu torstaina, 4. kesäkuuta 2026