Streaming af AI-avatare som i 1999

Nyt forskning præsenterer en måde at streame livlige 3D-avatare, der viser sig næsten med det samme og skærpes i realtid, i stedet for at tvinge brugerne til at vente på massive downloads, der er færdige.

På mange måder har de enorme ressourcekrav til generativ AI og AI-assisterede renderingsystemer ført forbrugerklarhed tilbage 20 eller mere år. I 2023 syntes en 64 GB RAM-allokering i en bærbar computer eller stationær PC at være overkill; nu, med den voksende popularitet af RAM og/eller CPU-offloading, er 64 GB ret beskedent til lokale AI-behov; og disse tidligere banale og billige komponenter i computere fortsætter med at stige i pris, da virksomheder kæmper for at møde efterspørgslen efter AI-tjenester.

Størrelsen og grådigheden efter AI og dens processer og miljøer overgår normalt forbruger-niveauets hardware, og selv kørsel af “slimmede” lokale-orienterede modeller som GGUF-versioner vil typisk belaste det gennemsnitlige system.

Endda tekstbaserede AI-tjenester som ChatGPT er underlagt betydelig belastning både på klient- og serverniveau. Derfor kan vi rimeligt forvente nogle meget alvorlige kompromiser i forsinkelse og/eller kvalitet – lignende internettets tidlige kampe med streaming-medie og de meget hadede animerede “buffering”-ikoner fra RealPlayer og QuickTime.

Sidst, multimedia og netværksproblemer skabte friktion i brugeroplevelsen, var forbruger-niveauets hardware stadig under udvikling gennem Moores lov, og blev næsten eksponentielt bedre hvert år, selvom operativsystemer, netværk og andre understøttende infrastrukturer udviklede sig for at møde efterspørgslen; og i de sidste ti år har forbrugerteknologiens evner overgået multimedia-krav (måske endda til det punkt, hvor omløb behøvede at startes for at fastholde salget).

Men denne overflod af lokale muligheder kan være ved at ende snart, da lokal hardware bliver lavere-specifikationer og dyrere, og da AI-baserede tjenester kræver højere server-side og lokale ressourcer.

Få hovedet

Tilbage i den før-bredbåndsæra, før den tidligste brugbare streaming-video, var webbrugere vant til, at billeder langsomt kom i fokus, da progressive JPEG’er tillod den bandwidth-sultne bruger at se billedet, der blev downloadet, og somme tider meget langsomt, da mere af billededata blev loadet lokalmente.

Nu synes det, som om vi kunne være på vej mod en lignende oplevelse med AI-baserede Gaussian Splat-avatare:

Klik for at afspille.  Fra det nye ProgressiveAvatars-projekt, en sammenligning af streaming Gaussian-avatare. Til venstre, det ældre GaussianAvatars-projekt, der langsomt får nye data, men ser forfærdeligt ud, mens data bygges op; til højre, den nye Progressive Avatars-version, der også bygger detaljer langsomt, men gør det på en intelligent måde, der giver en grundlæggende menneskelig lignelse lige fra starten. Kilde

Ovenfor ser vi to versioner af en Gaussian Splat-baseret (GSplat) avatar – en menneskelig repræsentation, der er muliggjort delvist af en ikke-AI-renderingsteknik, der stammer tilbage fra begyndelsen af 1990’erne, og også af mere moderne metoder, såsom FLAME-parametrisk menneskeligt model, og AI-baserede træningsmetoder:

Gaussian Splatting bruger en Gaussian-repræsentation af farve og 3D-information i stedet for en pixel eller voxel og mapper denne ultra-realistiske tekstur på en mere traditionel CGI-mesh, som i sig selv er faciliteret af en ‘parametrisk menneske’, en CGI-ansigt og/eller krop, i systemer som FLAME og STAR.  Kilde

Til venstre i videoen ovenfor kan vi se, at en traditionel implementering af en Gaussian Splat-avatar ser ret forfærdelig ud, mens vi venter på, at dataene bliver downloadet. Til højre, en ny implementering fra Kina, kaldet ProgressiveAvatars, kan løse detaljerne på en mere elegant måde, således at billedet kan vises med en grundlæggende menneskelig lignelse lige fra starten.

Forfatterne hævder, at deres metode er den første, der rigtigt “strømmer” en Gaussian-avatar, og bestemt den første, der gør det på en progressiv måde, hvor billedet bygges op elegant, og de vigtigste områder – såsom øjne og læber – kan prioriteres, således at avatarerne kan blive samtalevenlige, selv når de kun er delvist lastet:

Click to play. From the ProgressiveAvatars project site, an illustration of attention-aware loading.

Før dette har en “level of detail”-tilgang (LOD) været brugt i tidligere forsøg på at stramme “GSplat”-avatare, lignende videospil-optimeringer, hvor succesivt mere detaljerede versioner af en person lastes efter, afhængigt af om de optager nok af viewport eller brugeropmærksomhed til at være værd at laste:

Of course, this entails a severe amount of redundant ‘spare’ avatars, and the authors frame their approach as a more rational system. By implication, a method of this kind also allows changes to be made in a GSplat figure (i.e., customization) without needing to propagate such changes through a chain of various LOD ‘twins’.

En opdykkende domæne

Hvis dette synes som et niche-problem, så gjorde streaming-video også, tilbage i dage, hvor det at få de tidligste plugins til at fungere blev overdraget til den nærmeste tilgængelige nerd. Derudover går potentialet for AI-baserede streaming-repræsentationer ud over menneskelige avatare og omfatter bygenerering, spil og 3D-baserede* versioner af næsten enhver online-domæne – såsom Virtual Try-On, til tøjshopping:

Klik for at afspille. From a 2024 project, a rough look at the future of online ‘try-on’. Other projects seek to add motion and interactivity – demanding facets to stream and manage. Kilde

lige så vel som LOD-baserede tilgange har indtil nu været hovedsageligt udnyttet af videospil, er mange andre overvejelser, der tidligere kun var videospiludviklingens domæne, sandsynligvis på vej ind i splat-baserede repræsentationer. For eksempel vil de fleste af disse tidlige GSplat-udgaver afbilde en enkel person, der griner og mimer, eller måske taler; men mange situationer vil kræve flere personer, samt miljø- og atmosfæriske funktioner – en scenario, hvor højtydende “triage”-systemer vil bestemme, hvor strømningsdataene skal prioriteres for at holde brugeren i øjeblikket.

Den nye artikel har titlen ProgressiveAvatars: Progressive Animatable 3D Gaussian Avatars og kommer fra tre forskere ved University of Science and Technology of China i Hefei.

Metode

Tilgangen udnytter initialt video af en persons hoved. For hvert billede, bliver en standard FLAME-parametrisk ansigtsmodel tilpasset, således at formen og udtrykket ændrer sig over tid, mens den underliggende mesh-struktur forbliver fast. Fordi grundtopologien ikke ændrer sig, kan en stabil FLAME-skabelon genbruges og forbedres i stedet for at blive genopbygget fra bunden hver gang, som sker i lignende tidligere arbejder:

Hovedvideoen bliver først tilpasset med en sporet FLAME-mesh, hvorefter 3D-Gaussians bliver tilføjet til hvert ansigt og vokser hierarkisk, hvor skærm-rum-gradients indikerer manglende detaljer. Under træning bygger denne adaptive underinddeling en multi-niveau-repræsentation under multi-view-overvågning, og ved slutning bestemmer per-ansigt-værdier, hvilke Gaussians der strømmer først, således at avatarerne kan vises hurtigt og forbedres progressivt, efterhånden som flere detaljer tilføjes.

Over denne grundstruktur bliver detaljer tilføjet i lag; overfladen bliver implicit underinddelt i en hierarki, og små tre-dimensionale Gaussians bliver tilføjet til ansigterne på hvert niveau af detaljer.

Selv om de første, grovere lag fanger den overordnede hovedform og bevægelse, giver de efterfølgende finere lag kræller, subtile deformationer og højfrekvent tekstur. Billeder bliver derefter renderet fra disse Gaussians ved hjælp af en differentierbar Gaussian-rasterizer og trænet mod multi-view-grundværksvideo, således at avatarerne lærer at genskabe den rigtige persons udseende.

Under træning vokser denne hierarki automatisk: områder, der har brug for mere detaljer, bliver underinddelt yderligere, guidet af skærm-rum-signaler, således at beregningsindsatsen koncentreres, hvor brugerens øje er mest sandsynligt at lægge mærke til fejl.

Under slutning muliggør denne hierarki progressiv streaming, hvor en grov version af en avatar kan vises først, og efterhånden som flere lag lastes, kan nye Gaussians tilføjes uden at ændre, hvad der allerede vises, hvilket muliggør en animabel hoved-avatar, der viser sig hurtigt og bliver skarpere og mere detaljeret, efterhånden som mere data ankommer.

Forfatterne bemærker, at hele systemet afhænger af prioriteringen af indkommende data:

Når alle Gaussians på et givent niveau er tilgængelige, bliver den fulde model renderet med maksimal troværdighed; men under streaming, sender man de Gaussians med den højeste bidrag først, hvilket giver tidlige delresultater, der ligner det endelige billede, hvorimod transmission af lavt-bidrag-Gaussians først forvrænger farvebalancen og fremhæver mindre komponenter.

Data og tests

Til tests blev den nye metode evaluueret på NeRSemble-datasettet, som består af multi-view-videoer for hver enkelt subjekt, med kalibrerede parametre på tværs af alle views:

Eksempler på diverse fortolkninger af subjekter i NeRSemble-datasettet, der blev brugt i tests for ProgressiveAvatars. Kilde

I overensstemmelse med den oprindelige GaussianAvatars-metodologi, blev billeder nedskaleret til 802x550px, en forgrundsmask genereret, og det oprindelige projekts trænings/test split antaget.

Den Adam-optimizer blev brugt til parameteropdateringer, med en læringsrate på 1×10^-2 på alle barycentriske koordinater. Træning løb i 60.000 iterationer, med hierarkiet automatisk udvidet hver 2.000 iterationer.

Forfatterne testede først for rekonstruktion og animation – opgaven med at konvertere flad video til et 3D-bevidst (x/y/x)-system, ved hjælp af FLAME’s kanoniske CGI-repræsentation som den ankrende mesh. Til dette blev alle baseline-modellerne trænet fra bunden, og de rivaliserende rammer testede var den ovennævnte GaussianAvatars og PointAvatar.

For disse tests blev følgende metrikker brugt: Peak Signal-to-Noise Ratio (PSNR), Structural Similarity Index (SSIM) og Learned Perceptual Image Patch Similarity (LPIPS):

Kvalitativ sammenligning på ny-syn og ny-udtryks-syntese. Baseline GaussianAvatars kæmper med fine detaljer omkring øjne, rynker og hudtekstur, mens den foreslåede metode allerede bevarer nøglefacial-struktur ved omkring fem procent af transmitteret data og konvergerer mod grundværksbilleder (grundværksbilleder), mens flere Gaussians strømmes, og næsten matcher den fulde model og referencebilleder (grundværksbilleder).

Med hensyn til disse resultater hævder forfatterne:

‘[Vores] metode rekonstruerer skarpere detaljer i flere områder, især omkring halsen, skuldrene og tøjet. Disse områder er relativt groft tessellerede i FLAME-skabelonen sammenlignet med høj-saliens-faciale zoner (f.eks. periokulære regionen).

‘Førhen har tidligere metoder ofte tildelt for få 3D-Gaussians til disse områder for at fange deres fine-skala detaljer. I modsætning hertil øger vores adaptive vækststrategi antallet af Gaussians og forbedrer hierarkiet kun, hvor det er nødvendigt, hvilket gør tildelingen uafhængig af FLAME’s ikke-uniforme tessellation.’

Forfatterne bemærker yderligere, at deres tilgang er på niveau med state-of-the-art-metoder, og giver en fungerende avatar med en trivial 5% bandwidth-allokering:

Kvantitativ sammenligning på ny-syn-syntese og ny-udtryks-syntese ved hjælp af PSNR, SSIM og LPIPS. Ved fuld transmission opnår den foreslåede metode den højeste PSNR på begge opgaver og forbliver konkurrencedygtig med GaussianAvatars på perceptuelle metrikker, mens 5%-indstillingen illustrerer kvalitets-ombytningen under ekstreme bandwidth-begrænsninger.

Derefter testede forskerne den progressive rendering i sig selv. Dette blev udført på en NVIDIA RTX 4090 med 24Gb VRAM, ved 550x802px opløsning. I denne situation bemærker forfatterne, at en 25%-budget ville bruge alle ‘niveau 1’-Gaussians, samt en undermængde af niveau 2-Gaussians, hvilket giver en omtrentlig oversigt over, hvordan Gaussians-grupperingen tilføjer detaljer i de højere nummerværdier, og at de lavere nummerværdier grundlæggende bygger grundkanvas:

Ydelse under forskellige transmissionsbudgetter for ny-syn og ny-udtryks-syntese, viser, at kvaliteten stadig nærmer sig eller overgår GaussianAvatars, mens flere Gaussians og data strømmes, og samtidig opretholder realtids-hastigheder på en RTX 4090.

Forfatterne bemærker:

‘Med kun 2,60 MB transmitteret (5%-budget), opnår avatarerne allerede en rimelig kvalitet. Mens højere-niveau-Gaussians strømmes, skærpes fine strukturer som knapper, tænder og hår gradvist, mens temporal stabilitet opretholdes.

‘Ved 100%-transmission opnår vores tilgang en renderingskvalitet, der er sammenlignelig med SOTA-metoder. Bemærkelsesværdigt er, at frame-raterne ikke falder betydeligt, sandsynligvis fordi 3DGS-arbejdsbyrden endnu ikke har mættet GPU’en.’

Men forfatterne påpeger, at i multi-bruger-VR-scenarier vil antallet af 3D-Gaussians hurtigt vokse til et punkt, hvor GPU-rasterisering bliver en flaskehals. I disse tungere scenarier tilbyder den foreslåede tilgang en fordel ved at tillade systemet at afveje antallet af primitiver mod visuel kvalitet, hvilket lettelser belastningen uden at kollapse renderingen.

Selv om artiklen ikke detaljerer dette, viser projektets websted yderligere test-sammenligninger, der også omfatter MeGA-Hybrid mesh-Gaussian-avatar-projektet:

Klik for at afspille. En af en række supplerende videoer fra artiklens tilhørende projektwebsted, denne sammenligner den nye tilgang i forhold til ny-syn-syntese.

Konklusion

Gaussian Splatting kan eller kan ikke blive en varig del af fremtiden, eller endda blive husket mere end RealPlayer er i dag, i forhold til begyndelsen af interaktiv streaming: AI-drevne eller AI-assisterede 3D-bevidste repræsentationsoplevelser, herunder videochat, virtuel shopping, rute-navigering og diverse underholdningsapplikationer. Det kan være, at alternative teknologier eller tilgange sejrer, eller at GSplat viser sig at være den mest pålidelige AI-video-repræsentation.

Hvis intet andet, så varsler denne interessante nye artikel lidt om omfanget af dette nye domæne, mens den minder os, måske nostalgisk, om den bandwidth-sultne internet i gamle dage.

* Ved ‘3D’ mener jeg ikke den type oplevelse, der kræver specielle briller, men snarere oplevelser, hvor det multimedielle indhold har en form for forståelse af X/Y/Z-koordinater.

Først udgivet onsdag, 18. marts 2026