Virtuaalisten AI-avatareiden striimaaminen kuin vuonna 1999

Uusi tutkimus esittää tavan, jolla voidaan striimata elävänoloisia 3D-avatareja, jotka näkyvät lähes välittömästi ja tarkentuvat reaaliajassa, ilman että käyttäjien tarvitsee odottaa valtavien latausten valmistumista.

Monilla tavoin generatiivisen tekoälyn ja tekoälyavusteisten renderöintijärjestelmien valtavat resurssivaatimukset ovat palauttaneet kuluttajien valmiuden takaisin yli kaksikymmentä vuotta. Vuonna 2023 64 Gt:n RAM-alue tuntui ylityökäytöltä kannettavissa tai pöytäkoneissa; nyt, kun RAM:in ja/tai CPU:n siirtäminen kasvaa suosiotaan, 64 Gt on melko vaatimaton paikallisten tekoälytarpeiden osalta; ja nämä aikaisemmin tylsät ja edulliset tietokoneiden osat jatkavat hintansa nousua, kun yritykset kamppailevat tekoälypalvelujen kysynnän täyttämiseksi.

Tekoälyn ja sen prosessien ja ympäristöjen mittakaava ja ahneus ylittävät yleensä kuluttajatasoisen laitteiston, ja jopa “slimmatut” paikalliset mallit, kuten GGUF-versiot, rasittavat tyypillisesti keskivertokoneen.

Jopa tekstipohjaiset tekoälypalvelut, kuten ChatGPT, ovat merkittävän rasituksen alttiina sekä asiakas- että palvelintasolla. Siksi, kun tekoälyä käytetään toimittamaan online-monimediaelämyksiä reaaliajassa, voidaan odottaa merkittäviä kompromisseja viiveessä ja/tai laadussa – samankaltaisia kuin internetin varhaisissa vaiheissa, kun striimauksella oli ongelmia, ja animoiduista “puhaltavan” ikoneista, kuten RealPlayer ja QuickTime.

Viimeksi kun monimedia- ja verkkokysymykset loivat kitkaa käyttökokemukseen, kuluttajatasoisen laitteiston kehitys oli edelleen kehittymässä Mooren lain mukaan, paranevaan lähes eksponentiaalisesti joka vuosi, vaikka käyttöjärjestelmät, verkkoteknologia ja muut tukijärjestelmät kehittyivät tarpeiden mukaan; ja viimeisen kymmenen vuoden ajan kuluttajateknologian ominaisuudet ovat ylittäneet monimediaan liittyvät vaatimukset (jopa siinä määrin, että uudelleenkäynnistys oli tarpeen myyntien ylläpitämiseksi).

Mutta tämä paikallisen kyvyn ylitarjonta saattaa pian päättyä, kun paikallinen laitteisto muuttuu vähemmän tehokkaaksi ja kalliimmaksi, ja kun tekoälypalvelut vaativat enemmän palvelin- ja paikallisia resursseja.

Saamassa pää

Ennen laajakaistaa, jopa ennen varhaisimpia toimivia videostriimeja, verkkokäyttäjät tottuvat kuvien hitaaseen tarkentumiseen, kun progressiiviset JPEG-kuvat sallivat bittivajassa olevan käyttäjän katsella latautuvaa kuvaa, joskus tuskallisen hitaasti, kun enemmän kuvadataa ladataan paikallisesti.

Nyt näyttää siltä, että olemme menossa samanlaisen kokemuksen läpi tekoälyavusteisilla Gaussian Splat -avatareilla:

Klikkaa toistamaan. Uudesta ProgressiveAvatars-projektista, Gaussian-avatareiden vertailu. Vasemmalla vanhempi GaussianAvatars-projekti saa hitaasti uutta dataa, mutta näyttää kamalalta, kun data rakentuu; oikealla Progressive Avatars -versio myös rakentuu hitaasti, mutta tekee sen älykkäällä tavalla, joka antaa perusihmisen olemuksen alusta alkaen. Lähde

Yllä olevassa kuvassa on kaksi versiota Gaussian Splat -pohjaisesta (GSplat) avataarista – ihmisen edustaja, joka on osittain mahdollistettu ei-tekoälyrenderöintitekniikalla, joka juontaa juurensa 1990-luvun alkuun, ja osittain modernimmilla menetelmillä, kuten FLAME -parametrinen ihmismalli, ja tekoälypohjaisilla koulutuslähestymistavoilla:

Gaussian Splatting käyttää gaussinen edustus väri- ja 3D-tiedolle pixelin tai vokselin sijaan, ja kartoittaa tämän ultra-realistisen tekstuuriin perinteisemmän CGI-verkkorakenteen, jota itsessään mahdollistaa ‘parametrinen ihminen’, CGI-kasvo ja/tai keho, järjestelmissä kuten FLAME ja STAR. Lähde

Vasemmalla yllä olevassa videossa voidaan nähdä, että perinteinen Gaussian Splat -avataarin toteutus näyttää melko kamalalta, kun odotetaan dataa; oikealla uusi toteutus Kiinasta, jota kutsutaan ProgressiveAvatarsiksi, pystyy ratkaisemaan saman ongelman paljon sulavammin, tarjoamalla perusihmisolennon alusta alkaen.

Tutkijat väittävät, että heidän menetelmänsä on ensimmäinen, joka “striimaa” tosiaan Gaussian-avataarin, ja varmasti ensimmäinen, joka tekee sen progressiivisella tavalla, jossa kuva rakentuu sulavasti, ja tärkeimmät alueet – kuten silmät ja huulet – voidaan priorisoida, jotta avataari voidaan tehdä keskusteluvalmiiksi, vaikka se olisi vain osittain latautunut:

Klikkaa toistamaan. ProgressiveAvatars-projektin sivustolta, havainnollistus tarkkaavaisuuden herkkyydestä.

Aikaisemmin “yksityiskohtataso”-lähestymistapaa on käytetty aiemmissa yrityksissä “GSplat”-avataarin keventämiseksi, samankaltaista kuin videopelien optimoinnissa, jossa yhä yksityiskohtaisempia versioita henkilöstä ladataan sen mukaan, miten paljon ne vievät näytön tai katsojan huomiota.

Tässä uudessa tutkimuksessa kolme tutkijaa Kiinan tiede- ja teknologiayliopistosta esittävät uuden menetelmän, jota kutsutaan ProgressiveAvatarsiksi.

Menetelmä

Lähestymistapa perustuu aluksi henkilön pään videokuvaan. Jokaiselle kehykselle sovitetaan standardi FLAME -parametrinen kasvomalli, jotta muoto ja ilme muuttuvat ajan myötä, mutta perusrakenteen muoto pysyy kiinteänä. Koska perusmuoto ei muutu, vakaan FLAME-mallin voi uudelleenkäyttää ja parantaa uudelleen, sen sijaan, että se olisi rakennettava alusta alkaen, kuten aiemmissa tutkimuksissa:

Pään video on ensin sovitettu seurattavaan FLAME-verkkoon, minkä jälkeen 3D-gaussit kiinnitetään jokaiseen kasvoon ja kasvavat hierarkkisesti, kun ruudun gradientit osoittavat puuttuvan yksityiskohtaa. Koulutuksen aikana tämä adaptiivinen alijako luo monitasoisen edustuksen moninäkökulmaisen valvonnan alaisuudessa, ja johtopäätöksessä kasvojen merkitysasteet määräävät, mitkä gaussit ladataan ensin, sallien avataarin näkyvän nopeasti ja tarkentuvan progressiivisesti, kun korkeampitasoisia gaussia ladataan.

Pinnan yli on lisätty yksityiskohtia kerroksittain; pinta on implisiittisesti jaettu hierarkiaan, ja pieniä kolmiulotteisia gaussia kiinnitetään jokaiseen kasvoon jokaisessa yksityiskohtatasossa.

Vaikka alkuperäiset karkeammat tasot sieppaavat pään yleismuodon ja liikkeen, myöhemmät hienommat tasot tarjoavat rypyt, hienot muodonmuutokset ja korkeataajuisen tekstuuri. Kuvat renderöidään näistä gaussiaista erottuvalla gauss-raasteroijalla ja koulutetaan moninäkökulmaisen totuudenmukaisen kuvamateriaalin vastaisesti, jotta avataari oppii jäljittelemään todellisen henkilön ulkonäön.

Koulutuksen aikana tämä hierarkia kasvaa automaattisesti: alueet, joissa tarvitaan enemmän yksityiskohtia, jaetaan edelleen, ohjattuna ruudun tilaan, jotta laskennallinen ponnistus kohdistuu siihen, mihin katsojan silmä on todennäköisimmin kiinnittynyt.

Johtopäätöksessä tämä hierarkia mahdollistaa progressiivisen striimaamisen, jossa karkea avataarin versio voidaan näyttää ensin, ja kun lisää tasoja ladataan, uusia gaussia voidaan lisätä ilman, että mitä on jo näytetty, muutetaan, mahdollistaen animoituva pään avataari, joka näkyy nopeasti ja tarkentuu yksityiskohtien mukaan, kun enemmän dataa saadaan:

Kun kaikki gaussit tietyn tasolla ovat saatavilla, malli renderöidään maksimaalisen uskottavuuden kanssa; mutta striimaamisen aikana lähettämällä korkeimman panoksen gaussit ensin, varhaiset osittaiset tulokset vastaavat läheisesti lopullista kuvaa, kun taas matalan panoksen gaussien lähettäminen ensin vääristää värisuhteita ja korostaa vähäisiä osia.

Tiedot ja testit

Testeissä uusi menetelmä arvioitiin NeRSemble -aineistolla, joka koostuu moninäkökulmaisista videoista kullekin koehenkilölle, kalibroituilla parametreilla kaikilla näkökulmilla:

Esimerkkejä moninaisista tulkinnista, jotka sisältyvät NeRSemble-aineistoon, jota käytettiin ProgressiveAvatarsin testeissä. Lähde

Linjassa alkuperäisen GaussianAvatars -menetelmän kanssa kuvat pienennettiin 802x550px:ään, taustan maski generoitiin, ja alkuperäisen projektin koulutus- ja testijako otettiin käyttöön.

Adam-optimointi käytettiin parametri-päivityksiin, 1×10^-2 oppimissuhteella kaikilla barysentrisillä koordinaateilla. Koulutus kesti 60 000 iteraatiota, ja hierarkia laajeni automaattisesti joka 2 000 iteraation jälkeen.

Aluksi tutkijat testasivat rekonstruktio- ja animaatio -tehtävää – eli tehtävää, jossa tasainen video muutetaan 3D-tietoiseksi (x/y/z) järjestelmäksi, käyttäen FLAME:n kanonista CGI-edustusta ankkuriverkkona. Tässä kaikki vertailukohteet koulutettiin alusta alkaen, ja kilpailevat kehykset testattiin olivat mainittu GaussianAvatars ja PointAvatar.

Näissä testeissä käytettiin seuraavia mittareita: Huippu-signaali-kohina-suhde (PSNR), Rakenteellinen samankaltaisuus-indeksi (SSIM) ja Opettunut havainto-indeksi (LPIPS):

Laadullinen vertailu uuden näkökulman ja uuden ilmeen synteesissä. Vertailukohtena oleva GaussianAvatars kamppailee hienojen yksityiskohtien kanssa silmien, rypyt ja ihon tekstuurin ympärillä, kun taas ehdotettu menetelmä säilyttää jo peruskasvon rakenteen noin viiden prosentin lähettämisen jälkeen ja lähestyy lopullista mallia, kun gaussia ladataan, ja vastaa läheisesti täyttä mallia ja viitekuvia (todellista).

Tutkijat toteavat:

‘Meidän menetelmämme rekonstruoii terävämpiä yksityiskohtia useilla alueilla, erityisesti kaulan, hartioiden ja vaatteiden ympärillä. Nämä alueet ovat suhteellisen karkeasti tesselloituja FLAME-mallissa verrattuna korkean merkityksen kasvoalueisiin (esim. silmien ympärillä).

‘Sitä paitsi, aiemmat menetelmät usein jakavat liian vähän 3D-gaussia näille alueille, jotta ne voivat uskottavasti sieppää hienot yksityiskohdat. Vastakohtana meidän adaptiivinen kasvustrategia lisää gaussien määrää ja hienontaa hierarkiaa vain tarvittaessa, mikä tekee jakoa FLAME:n epätasaisen tessellaation suhteen herkkyydeksi.’

Tutkijat huomauttavat, että heidän lähestymistapansa on vertailukelpoinen valmiiden menetelmien kanssa, ja se tarjoaa toimivan avataarin jo 5 prosentin kaistanleveyden varassa:

Määrällinen vertailu uuden näkökulman ja uuden ilmeen synteesissä käyttäen PSNR, SSIM ja LPIPS. Täyden lähetyksen aikana ehdotettu menetelmä saavuttaa korkeimman PSNR-mittarin molemmissa tehtävissä ja säilyy kilpailukykyisenä GaussianAvatarsin kanssa havainnollistavissa mittareissa, kun taas 5 prosentin asetus havainnollistaa laadun kompromissin äärimmäisissä kaistanleveyden rajoituksissa.

Seuraavaksi tutkijat testasivat itse progressiivista renderöintiä. Tämä tehtiin NVIDIA RTX 4090:lla, 24 Gt:n VRAM:illa, 550x802px resoluutiolla. Tässä skenaariossa tutkijat huomauttavat, että 25 prosentin budjetti käyttäisi kaikki “tasolla 1” -gaussit sekä osan tasolla 2 -gaussia, mikä antaa karkean käsityksen siitä, miten gaussiryhmät kertyvät yksityiskohtia korkeammissa ryhmissä, ja miten matalammat ryhmät rakentavat peruskanvaksen:

Suorituskyky eri lähetybudjeteissa uuden näkökulman ja uuden ilmeen synteesissä, osoittaen, että laatu lähestyy tai ylittää GaussianAvatarsin, kun enemmän gaussia ja dataa ladataan, samalla kun reaaliaikaiset nopeudet säilytetään, RTX 4090:lla.

Tutkijat toteavat:

‘Vain 2,60 Mt:n lähetyksen (5 prosentin budjetti) jälkeen avataari saavuttaa jo kohtuullisen laadun. Kun korkeamman tason gaussia ladataan, hienorakenteet, kuten paitan napit, hampaat ja hiukset, tarkentuvat vähitellen, samalla kun säilytetään aikamuodon vakaus.

‘100 prosentin lähetyksen aikana lähestymistapamme saavuttaa renderöintilaadun, joka on vertailukelpoinen valmiiden menetelmien kanssa. Huomattavaa on, että kehysnopeudet eivät laske merkittävästi, mikä lienee johtuvaa siitä, että 3DGS-työkuorma ei ole vielä kyllästänyt GPU:ta.’

Kuitenkin tutkijat huomauttavat, että monikäyttäjäisen VR-skenaariossa 3D-gaussien määrä kasvaisi nopeasti siihen pisteeseen, jossa GPU-raasterointi muodostuisi pullonkaulaksi. Nämä raskaammat skenaariot antavat ehdotetulle lähestymistavalle etulyöntiaseman, jolloin järjestelmä voi tehdä kompromissin primitiivien määrän ja visuaalisen laadun välillä, helpottaen kuormitusta ilman, että renderöinti romahtaa.

Johtopäätös

Gaussian Splatting saattaa kestää tai ei, tai saattaa muistuttaa enemmän RealPlayeria, joka liittyy interaktiivisen striimaamisen alkuvaiheisiin: tekoälyohjatuille tai tekoälyavusteisille 3D-tietoisille edustamiselle, mukaan lukien videopuhelut, virtuaalikauppa, reitinavigaatio ja moninaiset viihdesovellukset. Se saattaa olla, että vaihtoehtoiset teknologiat tai lähestymistavat voittavat, tai että GSplat osoittautuu luotettavimmaksi tekoäly-videoesitysmuodoksi.

Jos ei muuta, tämä mielenkiintoinen uusi tutkimus antaa hieman näkemystä tämän uuden alan laajuudesta, muistuttaen meitä ehkä nostalgisesti bittivajasta internetistä.

* Tekoälyllä tarkoitan tällä kertaa sellaista kokemusta, joka ei vaadi erityisiä laseja, vaan sellaista, jossa monimedia-sisältö ymmärtää X/Y/Z-koordinaatteja.

Julkaistu ensimmäisen kerran keskiviikkona 18. maaliskuuta 2026