Tekoälyvideolle muistoja menneistä ajoista

Maaliskuussa tarkastelimme generatiivisen tekoälyvideon vaikeutta muistaa näkemiään asioita ja paikkoja, jotta se voisi tuottaa ne uudelleen ja säilyttää visuaalisen johdonmukaisuuden.

Ongelman käytännön seuraus on, että saatat kulkea tekoälyn maailmamallissa ovesta, kääntyä kymmenen sekuntia myöhemmin ja huomata, ettei ovea, josta tulit, enää ole.

Kyse ei ole pikkuviasta, jonka voisi helposti korjata: generatiivinen tekoälyvideo keksii jatkuvasti ”seuraavaa asiaa”, johon sen on varauduttava, joten se ei oikeastaan pysty muistamaan kovin kauas menneisyyteen tai mitään, mikä on jo poistunut sen rajatusta konteksti-ikkunasta.

Tämä tarkoittaa, että koulutetussa tekoälyn maailmamallissa seikkaileminen ei ole kuin liikkumista mallinnetussa CGI-ympäristössä, jossa tekstuurit ja geometria ovat kiinteitä ja tallennettu vektori- ja bittikarttatietona. Sen sijaan se muistuttaa kulkemista likimääräisten todennäköisyyksien unessa: saman asian voi nähdä kahdesti, mutta vain siksi, että se on asiayhteyden perusteella luotu uudelleen latenttitilasta – ei siksi, että malli todella muistaisi luoneensa tai nähneensä sen.

Niinpä keskimääräinen generatiivisen tekoälyn videomaailmamalli muistuttaa henkilöä, jolla on anterogradinen amnesia: hän muistaa täydellisesti kaiken ennen aivotapahtumaa – kuten aivohalvausta tai vammaa – mutta ei pysty muodostamaan uusia muistoja tapahtuman jälkeen (tila, jonka teki tunnetuksi sitä sairastava Guy Pearcen hahmo Christopher Nolanin elokuvassa Memento [2000], joka näkyy artikkelin pääkuvassa).

Videomalleilla on siis syvällinen ja syvälle juurtunut ymmärrys monista aihealueista, mutta ne eivät pysty muistamaan mitään uutta.

Murujen jäljillä

Maaliskuussa tarkastelemamme HyDRA-ratkaisu perustui pakattujen visuaalisten tokenien ”muistipankkiin”, jonka avulla tekoälyn luomat hahmot saattoivat poistua kuvaruudusta ja palata näkyviin samanlaisina kuin ne olivat ensimmäisellä kerralla.

Tätä ”murupolku”-lähestymistapaa hyödyntäviä menetelmiä on useita. Monimutkaisen 3D-geometrian luominen ja jättäminen jälkeensä ratkaisee kuitenkin ongelman tiedostokoon, reagointikyvyn, viiveen ja muiden mahdollisten pullonkaulojen kustannuksella.

Näihin ”3D-maailmamalleihin” kuuluu NVIDIAn johtama Gen3C, jonka HyDRA-lähestymistavassa ongelma ratkaistaan tavanomaisimmalla tavalla: muuttamalla se, mitä malli ”näkee”, pistepilviksi, jotka ovat pelkistettyä 3D-geometriaa:

Aloita toisto napsauttamalla. HyDRA-lähestymistavassa videon luomista ohjataan pysyvällä 3D-pistepilvivälimuistilla. Näin näkymän johdonmukaisuus säilyy kameran liikkuessa ja aiemmin nähtyjen alueiden tullessa uudelleen näkyviin. Lähde

Samankaltaisia menetelmiä ovat esimerkiksi Oxfordin yliopiston vuonna 2025 kehittämä VMEM ja samalta ajalta peräisin oleva Stanfordin johtama SPMem-yhteistyöhanke:

Aloita toisto napsauttamalla. Stanfordin johtamassa SPMem-yhteistyössä yhdistetään pysyvä 3D-kartta staattisesta ympäristöstä liikkeen kuvaamiseen käytettäviin tuoreisiin videoruutuihin sekä valikoituihin vanhempiin ruutuihin visuaalisten yksityiskohtien tallentamiseksi. Näin mallin on helpompi muistaa paikat, kun se palaa niihin. Lähde 

Kaiken 3D-geometrian tuottaminen on kuitenkin raskasta työtä ja asettaa suuria vaatimuksia päättelylaskennalle. Ympäristössä ei ole helppo kulkea ja samalla ”rakentaa” sitä jatkuvasti niin kuin tietokonegrafiikan taiteilija voisi tehdä. Lisäksi muiden videoiden, kuvakulmien tai otosten on pystyttävä hyödyntämään myöhemmin luotua geometriaa, mikä on haastava vaatimus.

Keveämpiä muistiinpanoja

Uusin ”tekoälyvideon muistia” käsittelevä hanke on uusi yhteistyö, jota johtaa Tsinghua University. Sen nimi on Pysyvä tasomuisti videomaailmamalleille:

Aloita toisto napsauttamalla. Esimerkki järjestelmän toiminnasta Tsinghuan yliopiston johtaman PPMem-hankkeen projektisivustolta. PPMem korvaa aiemmassa SPMem-hankkeessa käytetyn tilavuudellisen 3D-muistin tiiviimmällä kokoelmalla tasopintoja. Se päivittää pintoja ja käyttää niitä uudelleen kameran liikkuessa, jotta aiemmin nähtyjen ympäristöjen johdonmukaisuus säilyy. Lähde 

Kuten yllä olevasta videoleikkeestä* käy ilmi, PPMem parantaa aiempia menetelmiä käyttämällä ympäristöstä tiiviimpää 3D-esitystä. Sen sijaan, että järjestelmä tallentaisi miljoonia yksittäisiä pisteitä aiemmin nähtyjen ympäristöjen rekonstruoimiseksi, se tunnistaa tasopintoja, kuten seiniä, lattioita ja huonekaluja, ja tallentaa ne uudelleenkäytettävinä geometrisina tasoina eli tasoprimitiiveinä. Kun ympäristöstä luodaan uusia osia, niitä lisätään jatkuvasti pysyvään paikalliseen muistiin:

Kaksi esimerkkiä siitä, kuinka PPMem luo videota ja rakentaa samalla pysyvää 3D-muistia. Kummassakin esimerkissä vasemmalla on syötekuva, jonka alla näkyy kameran suunniteltu reitti. Kun numeroituja kuvia luetaan vasemmalta oikealle ensin ylimmältä riviltä ja sitten seuraavalta, nähdään kameran tutkivan kauppaa tai puutarhaa. Pienistä värillisistä upotuksista käy ilmi, kuinka tallennetut 3D-pinnat karttuvat matkan edetessä ja aiemmin tutkittu ympäristö säilyy muistissa. Lähde

Kun kamera palaa aiemmin käymäänsä paikkaan, tallennetut tasot projisoidaan takaisin sen näkökenttään. Ne ohjaavat uusien kuvien luomista ja vähentävät säilytettävän ja käsiteltävän paikkatiedon määrää. Tämä auttaa myös estämään tuttujen kohteiden ja ympäristön muuttumisen tai katoamisen käyntien välillä.

Kirjoittajien mukaan tasoprimitiivien – matemaattisilla vektoreilla määriteltyjen parametristen objektien – käyttö tarjoaa ketterämmän ja tehokkaamman ratkaisun ”murupolkulähestymistapaan”:

’Kokonaisia maailmoja, ei vain lyhyitä videoleikkeitä, luovan mallin on ylläpidettävä vastaavanlaista tiivistä ja jäsenneltyä muistia tuottamastaan sisällöstä. Tasoprimitiivit sopivat tähän tehtävään luontevasti.

’Kukin primitiivi määritellään vain seitsemällä luvulla (keskipisteen syvyys, kaksi suorakulmion mittaa ja rotaatiokvaternio), jotka esittävät 3D-geometrian eksplisiittisesti. Tällainen esitystapa on kertaluokkia tiiviimpi kuin pikselikohtainen esitystapa.’

Napsauta tarvittaessa toistoa. PPMemin tuottamista tasoprimitiiveistä koostuvat kevyet kokonaisuudet voivat tallentaa ja säilyttää yksityiskohtia laajamittaisen geometrian ohella, kun kamera liikkuu maailmamallissa. Yllä havainnollistetut vihreät alueet säilyvät muistissa, kun niitä kartoitetaan tummasta>vihreäksi.

Se, kuinka laajasti tällaiset tasot pystyvät esittämään tutkittua maailmaa, on luonnollisesti muistin ja muiden ennakoitavien pullonkaulojen rajoittamaa. Maailmassa ei siis voi vaeltaa tuntikausia ja palata sitten löytämään kaikkea ennallaan. Videopelien ystäville tällaiset ”tasokohtaiset” rajoitukset ovat kuitenkin tuttuja: tehokkaat mutta rajalliset paikalliset resurssit tuottavat yleensä parhaat tulokset rajatuissa ympäristöissä:

Aloita toisto napsauttamalla. PPMemissä kamera jättää ympäristössä liikkuessaan jälkeensä kevyitä ”tasoja” (vihreät alueet), jotka esittävät sen näkemää ja pysyvät paikallaan, jos kamera palaa myöhemmin tutkimaan aluetta uudelleen.

Yllä näkyy siis, kuinka tällainen taso kartoitetaan huone kerrallaan, kunnes koko kerros on vihreä ja vapaasti tutkittavissa. Tämän jälkeen uusia tasoja tarvitsee luoda vähemmän, joskaan ei lainkaan tarvetta ei voida poistaa.

Menetelmä

PPMem kehitettiin Wan2.2-TI2V-5B-mallista (ei Wan2.1-T2V-1.3B-mallista, jota HyDRA käyttää). Kyseessä on videon diffuusiomalli, jossa on viisi miljardia parametria. Siihen lisättiin Plana3R-mallista mukautettu geometrian ennustamisjärjestelmä. Nykyinen videomallin runko säilytettiin, ja rinnalle lisättiin erillinen käsittelypolku geometriatiedon poimimiseksi mallin sisäisistä esityksistä:

Kaavio PPMemin videonluonti- ja 3D-muistijärjestelmästä. Ylempi polku tuottaa videon, kun taas alempi tallentaa näkyvien pintojen muodot ja sijainnit. Ne lisätään oikealla olevaan tallennettuun muistiin, jota käytetään sitten seuraavan video-osuuden ohjaamiseen. Alareunan nuolet osoittavat, kuinka nämä tiedot syötetään takaisin järjestelmään.

Kaksivaiheisen koulutuksen ensimmäisessä vaiheessa Wan 2.2 -mallia hienosäädettiin kameran liikkeellä ohjattua videonluontia varten. Suunnitellun kameran liikkeen määrittämiseen käytettiin lähdekuvan ja aiempien kuvien projisoituja näkymiä. Tämän jälkeen videomallin runko jäädytettiin, ja uudet geometriakomponentit koulutettiin itsenäisesti.

Koulutuksessa käytettiin yli 80 000:ta DL3DV– ja RealEstate10K-aineistojen videoleikettä, joiden tarkkuus oli 576×1024. Vertailusyvyystiedot saatiin MoGe-2-mallista, ja arvioidut etäisyydet sovitettiin VGGT-mallilla tuotettuihin 3D-rekonstruktioihin.

PPMemin tasojen ennustusjärjestelmä koulutettiin näin arvioimaan pintojen syvyyttä ja suuntaa, ja sen tuloksia verrattiin vertailugeometriaan. Lisäksi renderöityjä pintoja koulutettiin erikseen, jotta ne vastaisivat paremmin rekonstruoituja näkymiä.

Geometriakohtainen käsittely toteutettiin matalarankaisella mukautuksella (LoRA) muuttamatta videomallin perustaa.

Päättelyvaiheessa tavallinen videonluontiprosessi suoritetaan nämä mukautukset poistettuina käytöstä. Sen jälkeen erillisellä käsittelykierroksella poimitaan geometria, joten nämä kaksi toimintoa pysyvät olennaisesti toisistaan riippumattomina.

Video tuotetaan tämän jälkeen noin 25 kuvan jaksoissa. Suunniteltuja kameran liikkeitä käytetään kullekin uudelle jaksolle tarvittavien visuaalisten ja spatiaalisten tietojen valmistelemiseen. Näihin kuuluvat aiemmin luodun ympäristön projisoidut näkymät, näkyvät alueet osoittavat maskit sekä kertyneen geometrian perusteella johdetut syvyystiedot.

Uusien pintojen ennustamisen parantamiseksi tallennetut syvyystiedot yhdistetään seuraavaksi mallin olemassa olevaan näkemykseen kohtauksesta visuaalisella muuntajalla, joka perustuu malliin DINOv2-Base.

Koulutuksen aikana syvyyskarttojen osia jätettiin pois valikoivalla maskauksella, mikä pakotti mallin ennustamaan pintojen geometrian puutteellisten spatiaalisten tietojen perusteella ja paransi yleistämiskykyä.

Uuden geometrian luonnin jälkeen tasojoukkoa tarkennetaan tarkistamalla pintojen päällekkäisyydet ja peittyminen. Vähemmän luotettavat arviot poistetaan, kun saataville tulee parempia havaintoja. Näin tallennettua esitystä voidaan korjata asteittain kameran liikkuessa sen sijaan, että siihen vain kerättäisiin loputtomasti uusia pintaennusteita.

Tulokset

Menetelmää testattiin vertaamalla sitä malleihin Gen3C, Voyager, VMEM ja SPMem. Kaikissa käytettiin niiden repositorioiden oletuskoodia ja -parametreja.

Käytetyt mittarit olivat huippusignaali-kohinasuhde (PSNR), opitut havaintoperustaiset samankaltaisuusmittarit (LPIPS), CLIP-samankaltaisuus ja DINOv2-samankaltaisuus (yksityiskohtaiset poikkeukset on kuvattu artikkelissa).

Ensimmäisessä testissä PPMemiä verrattiin muihin menetelmiin DL3DV- ja RealEstate10K-aineistoilla. Videoiden laatua arvioitiin 49 ja 121 kuvan jaksoissa:

PPMemin, Gen3C:n, Voyagerin, VMemin ja SPMemin videoiden laadun vertailu DL3DV- ja RealEstate10K-aineistoilla 49 ja 121 kuvan jaksoissa. PPMem sai parhaat tai jaetusti parhaat tulokset kaikilla neljällä mittarilla, ja sen etumatka kasvoi yleensä jaksojen pidentyessä.

Kirjoittajat toteavat näistä tuloksista:

‘PPMem saavuttaa parhaat tulokset kaikilla mittareilla molemmissa aineistoissa ja molemmilla kuvamäärillä, vaikka sen perusmalli (Wan 2.2 5B) on pienempi kuin Gen3C:n (Cosmos 7B) ja Voyagerin (HunyuanVideo ∼13B). T’

PPMemin kykyä arvioida kohteiden ja pintojen etäisyyttä kamerasta testattiin myös. Kirjoittajien mukaan DL3DV-aineiston 121 kuvan jaksossa saatiin tarkempia syvyysarvioita kuin Voyagerilla, joka oli ainoa kilpaileva malli, joka pystyi tuottamaan samanaikaisesti videota ja syvyystietoja.

Toisessa, laadullisessa testissä verrattiin kilpailijoiden kykyä säilyttää ympäristön yhtenäisyys kameran liikkuessa DL3DV-kohtausten läpi 300–400 kuvan ajan. PPMem säilytti aiemmin nähtyjen ympäristöjen ulkoasun ja rakenteen kilpailijoita paremmin, ja sen etumatka kasvoi jaksojen edetessä:

Toista napsauttamalla. Emme pysty toistamaan tuloksia yhtä tarkkoina kuin alkuperäisessä, mutta video havainnollistaa asiaa mielestämme paremmin kuin artikkelin staattiset tulokset. Ohjaamme lukijan PPMemin parempilaatuiseen versioon projektisivustolla.

Kirjoittajat toteavat:

‘PPMem säilyttää parhaan havaintoperustaisen tarkkuuden koko jakson ajan, ja ero kasvaa ajan myötä – selkeimmin DINOv2-mittarilla, jossa PPMem johtaa seuraavaksi parasta menetelmää ∼0,27:llä kuvan 300 kohdalla.’

Vertailu Gen3C:n, VMemin, SPMemin, Voyagerin ja PPMemin tuottamista videokuvista kuudessa kohdassa 288 kuvan jaksossa sekä alkuperäisestä videosta (vertailutotuus). PPMem säilyttää kukkapenkin ulkoasun ja ympäröivän maiseman muita menetelmiä johdonmukaisemmin kameran liikkuessa, kun taas kilpailijoiden tuottamat kuvat vääristyvät yhä enemmän tai menettävät yksityiskohtia.

Artikkelissa todetaan, että noin 400 videokuvan jälkeen koko tutkittu kohtaus voidaan esittää PPMemissä noin 100 000 tasoprimitiivillä, jotka vievät vain 5 Mt muistia.

Koska tämä on noin tuhat kertaa tiiviimpi esitystapa kuin saman ympäristön tallentaminen yksittäisinä pisteinä tiheään 3D-pistepilveen, artikkeli, jota olisi voitu pitää vakiintuneen tutkimussuuntauksen vähittäisenä edistysaskeleena, näyttääkin tarjoavan merkittävän parannuksen tämän arkkitehtuurin käytännön toteutukseen.

Yhteenveto

Vaikka uusi tutkimus on jännittävä edistysaskel kohdeongelman asettamissa rajoissa ja puitteissa, toimimme yhä paradigmassa, jossa maailmanmallin latenttiavaruuden satunnainen tutkiminen levittää geometriaa ympärilleen kuin sitkeää vaahtoa — geometriaa, joka voidaan joutua palauttamaan myöhemmissä kohtauksissa tai myöhempiä käyttökonteksteja varten.

Tämä palautusoperaatio on huomattavasti sotkuisempi kuin perinteisten CGI-verkkojen ja niihin sovitettujen tekstuurien tuominen järjestelmään. Koko lähestymistapaa voisi pitää ”jokseenkin takaperoisena”: ihannetapauksessa tekoälymallit pystyisivät hakemaan ja käyttämään viitteenä kiinteitä resursseja jonkinlaisen RAG- tai hakujärjestelmän avulla ja säilyttäisivät samalla latenttiavaruudessa liikkumisen joustavuuden ja luovan vapauden.

Se on paljon pyydetty, mutta minusta ”leivänmurumenetelmä” vaikuttaa vastaavan Wrightin veljeksiä edeltäneitä kummallisia ratkaisuja.

* Katso koko video projektin sivustolta.

Julkaistu ensimmäisen kerran tiistaina 20. lokakuuta 2026