AI-avatars streamen alsof het 1999 is

Nieuw onderzoek presenteert een manier om levensechte 3D-avatars te streamen die bijna onmiddellijk verschijnen en in real-time scherper worden, in plaats van gebruikers te dwingen om te wachten tot massive downloads zijn voltooid.

Op veel manieren hebben de enorme resource-eisen van generatieve AI en AI-geassisteerde renderingsystemen de consumentenklaarheid teruggebracht naar twintig jaar geleden of meer. Alleen in 2023 leek een 64GB RAM-toewijzing in een laptop of desktop PC overbodig; nu, met de groeiende populariteit van RAM en/of CPU offloading, is 64GB nogal bescheiden voor lokale AI-behoeften; en deze vroeger banale en betaalbare onderdelen van PCs blijven in prijs stijgen terwijl bedrijven worstelen om de vraag naar AI-diensten te vervullen.

De schaal en de gulzigheid van AI en zijn processen en omgevingen overtreffen doorgaans de consumentenniveau-hardware, en zelfs het uitvoeren van ‘afgeslankte’ lokale georiënteerde modellen als GGUF-versies zal typisch de gemiddelde systeem belasten.

Selfs tekstgebaseerde AI-diensten zoals ChatGPT zijn onderhevig aan aanzienlijke belasting zowel op client- als serverniveau. Daarom kunnen we redelijkerwijs verwachten dat, zodra AI wordt belast met het leveren van online multimedia-ervaringen in real-time, er enkele zeer ernstige compromissen zullen zijn in latentie en/of kwaliteit – vergelijkbaar met de vroege strijd van het internet met streamingmedia, en de veel gehate geanimeerde ‘buffering’-iconen van RealPlayer en QuickTime.

De laatste keer dat multimedia- en netwerkproblemen wrijving creëerden in de gebruikerservaring, was de consumentenniveau-hardware nog in ontwikkeling via Moore’s Law, bijna exponentieel beter elk jaar, zelfs terwijl besturingssystemen, netwerken en andere ondersteunende infrastructuur evolueerden om de vraag te vervullen; en voor de afgelopen tien jaar, ongeveer, hebben de mogelijkheden van consumententechnologie de multimedia-eisen overtroffen (misschien zelfs tot het punt waarop verandering nodig was om verkoop te stimuleren).

Maar die overvloed aan lokale capaciteit kan binnenkort ten einde komen, aangezien lokale hardware lager gespecificeerd en duurder wordt, en aangezien AI-gebaseerde diensten hogere serverzijde- en lokale bronnen vereisen.

Een Kop Krijgen

Terug in de pre-breedbandtijd, zelfs voordat de eerste bruikbare streamingvideo, waren webgebruikers gewend aan afbeeldingen die langzaam in focus kwamen, aangezien progressieve JPEG’s de bandbreedte-gebrekkige gebruiker toelieten om de downloadende afbeelding te zien vormen, soms pijnlijk langzaam, aangezien meer van de afbeeldingsgegevens lokaal werd geladen.

Nu lijkt het erop dat we een soortgelijke ervaring kunnen krijgen met AI-geassisteerde Gaussian Splat-avatars:

Klik om af te spelen. Van het nieuwe ProgressiveAvatars-project, een vergelijking van streaming Gaussian-avatars. Links, het oude GaussianAvatars-project krijgt langzaam nieuwe gegevens maar ziet er vreselijk uit terwijl de gegevens worden opgebouwd; rechts, de Progressive Avatars-versie bouwt detail langzaam op, maar doet dit op een intelligente manier die een basis menselijke gelijkenis vanaf het begin geeft. Bron

Boven zien we twee versies van een Gaussian Splat-gebaseerde (GSplat) Avatar – een menselijke representatie die gedeeltelijk mogelijk wordt gemaakt door een niet-AI-renderingstechniek die teruggaat tot de vroege jaren negentig, en ook door moderne methoden, zoals de FLAME parametrische menselijke model, en AI-gebaseerde trainingsbenaderingen:

Gaussian Splatting gebruikt een Gaussian-representatie van kleur en 3D-informatie in plaats van een pixel of voxel, en kaart deze ultrarealistische tekstuur op een meer traditionele soort CGI-mesh, die op zichzelf wordt gefaciliteerd door een ‘parametrische mens’, een CGI-gezicht en/of lichaam, in systemen zoals FLAME en STAR. Bron

Links in de video boven zien we dat een traditionele implementatie van een Gaussian Splat-avatar er vrij afschuwelijk uitziet terwijl we wachten tot de gegevens zijn geladen. Rechts, een nieuwe implementatie uit China, genaamd ProgressiveAvatars, kan zich veel eleganter ontwikkelen terwijl de gegevens worden geladen, en presenteert een niet-alarmistische menselijke afbeelding vanaf het begin.

De auteurs beweren dat hun methode de eerste is die echt ‘streamt’ een Gaussian-avatar, en zeker de eerste die dit doet op een progressieve manier, waarbij de afbeelding elegant opgebouwd wordt, en de meest belangrijke gebieden – zoals ogen en lippen – kunnen worden geprioriteerd, zodat de avatar conversatie kan voeren zelfs als deze slechts gedeeltelijk is geladen:

Click to play. Van de ProgressiveAvatars-projectsite, een illustratie van attention-aware loading.

Voorheen is een ‘level of detail’-benadering (LOD) gebruikt in eerdere pogingen om ‘GSplat’-avatars af te slanken, vergelijkbaar met video-game-optimalisaties, waarbij successievelijk gedetailleerdere versies van een persoon worden geladen op basis van ofwel de viewport of de aandacht van de kijker:

Een Emergent Domein

Als dit een niche-probleem lijkt, nou, zo was streamingvideo ook, terug in de dagen toen het krijgen van de eerste plugins om te werken werd uitbesteed aan de dichtstbijzijnde beschikbare nerd. Bovendien gaat het potentieel voor AI-gebaseerde streamingrepresentaties verder dan menselijke avatars, en omvat stadsgeneratie, games, en 3D-gebaseerde* versies van praktisch elk online domein – zoals Virtual Try-On, voor kledingwinkelen:

Klik om af te spelen. Van een project uit 2024, een ruwe blik op de toekomst van online ‘try-on’. Andere projecten proberen beweging en interactie toe te voegen – veeleisende facetten om te streamen en te beheren. Bron

Net zoals LOD-gebaseerde benaderingen tot nu toe voornamelijk zijn gebruikt door video-games, zullen veel andere overwegingen die ooit het exclusieve domein waren van game-ontwikkeling, waarschijnlijk doordringen in splat-gebaseerde representaties. Bijvoorbeeld, de meeste van deze vroege GSplat-uitstapjes tonen een enkele mens die grimast en praat; maar veel situaties zullen nodig zijn die meerdere mensen, evenals omgevingskenmerken en sfeer, omvatten – een scenario waarin zeer performante ‘triage’-systemen zullen bepalen waar de streaminggegevens moeten worden geprioriteerd, om de kijker in het moment te houden.

De nieuwe paper heeft de titel ProgressiveAvatars: Progressieve Animatable 3D Gaussian Avatars, en komt van drie onderzoekers aan de Universiteit van Wetenschap en Technologie van China in Hefei.

Methode

De benadering maakt aanvankelijk gebruik van video van een persoon zijn hoofd. Voor elke frame wordt een standaard FLAME parametrisch gezichtsmodel aangepast, zodat de vorm en expressie veranderen over tijd, terwijl de onderliggende meshstructuur ongewijzigd blijft. Omdat de basis-topologie niet verandert, kan een stabiele FLAME-sjabloon opnieuw worden gebruikt en verfijnd in plaats van van scratch opnieuw te worden opgebouwd op elk moment, zoals in soortgelijke eerdere werken:

Hoofdvideo wordt eerst aangepast met een getrackte FLAME-mesh, waarna 3D-Gaussians aan elk gezicht worden bevestigd en hiërarchisch worden gegroepeerd waar schermruimtegradiënten ontbrekende details aangeven. Tijdens de training bouwt deze adaptieve subdivisie een multi-level-representatie op onder multi-view-supervisie, en tijdens inferentie bepalen per-gezicht-importscores welke Gaussians het eerst worden gestreamd, waardoor de avatar snel kan verschijnen en progressief scherper kan worden naarmate meer Gaussians worden toegevoegd.

Over deze basisstructuur worden details toegevoegd in lagen; het oppervlak wordt impliciet onderverdeeld in een hiërarchie, en kleine driedimensionale Gaussians worden aan de gezichten op elk detailniveau bevestigd.

Hoewel de eerste grovere lagen de algehele hoofdvorm en -beweging vangen, bieden de latere fijnere lagen rimpels, subtiele vervormingen en hoge frequentietekstuur. Afbeeldingen worden vervolgens gerenderd vanuit deze Gaussians met behulp van een differentieerbare Gaussian-rasterizer en getraind tegen multi-view-grondwaarheidsbeelden, zodat de avatar leert de verschijning van de echte persoon te reproduceren.

Tijdens de training groeit deze hiërarchie automatisch: gebieden die meer detail nodig hebben, worden verder onderverdeeld, geleid door schermruimtesignalen, zodat de computationele inspanning zich concentreert waar de kijker het meest waarschijnlijk fouten zal opmerken.

Tijdens inferentie maakt deze hiërarchie progressieve streaming mogelijk, waarbij een ruwe versie van een avatar eerst kan worden weergegeven, en, naarmate meer lagen worden geladen, nieuwe Gaussians kunnen worden toegevoegd zonder dat wat al wordt getoond, wordt gewijzigd, waardoor een animabele hoofdavatar kan verschijnen die snel verschijnt en scherper en gedetailleerder wordt naarmate meer gegevens binnenkomen.

De auteurs merken op dat het hele systeem afhankelijk is van de prioritering van inkomende gegevens:

Wanneer alle Gaussians op een bepaald niveau beschikbaar zijn, wordt het volledige model gerenderd met maximale geloofwaardigheid; maar tijdens het streamen, het verzenden van de hoogste-bijdrage Gaussians het eerst, laat vroege gedeeltelijke resultaten het eindbeeld nauwkeurig benaderen, terwijl het verzenden van laag-bijdrage Gaussians het eerst de kleurbalans verstoort en minder belangrijke componenten benadrukt.

Gegevens en Tests

Voor tests werd de nieuwe methode geëvalueerd op de NeRSemble dataset, die bestaat uit multi-view-video’s voor elke onderwerp, met gekalibreerde parameters over alle views:

Voorbeelden van diverse interpretaties van onderwerpen opgenomen in de NeRSemble-dataset die wordt gebruikt voor tests voor ProgressiveAvatars. Bron

In overeenstemming met de oorspronkelijke GaussianAvatars methodologie, werden afbeeldingen gedownsampeld tot 802x550px, een voorgrondmasker gegenereerd, en de oorspronkelijke projecttrainings-/test split aangenomen.

De Adam-optimizer werd gebruikt voor parameter-updates, met een leer tempo van 1×10^-2 op alle barycentrische coördinaten. Training liep voor 60.000 iteraties, met de hiërarchie die elke 2.000 iteraties automatisch werd uitgebreid.

Aanvankelijk testten de auteurs voor reconstructie en animatie – de taak van het omzetten van platte video in een 3D-bewust (x/y/x) systeem, met behulp van FLAME’s canon CGI-representatie als anker-mesh. Voor dit doel werden alle baselines van scratch getraind, en de rivaliserende frameworks getest waren de eerder genoemde GaussianAvatars, en PointAvatar.

Voor deze tests werden de volgende metrics gebruikt: Peak Signal-to-Noise Ratio (PSNR), Structural Similarity Index (SSIM), en Learned Perceptual Image Patch Similarity (LPIPS):

Kwalitatieve vergelijking op novel-view en novel-expression synthese. De baseline GaussianAvatars worstelt met fijne details rond ogen, rimpels en huidtextuur, terwijl de voorgestelde methode al de belangrijkste gezichtsstructuur behoudt bij ongeveer vijf procent van de overgedragen gegevens en convergeert naar de grondwaarheid terwijl meer Gaussians worden gestreamd, het volledige model en referentiebeelden (grondwaarheid) nauwkeurig benaderend.

Met betrekking tot deze resultaten beweren de auteurs:

‘[Onze] methode reconstrueert scherpere details in verschillende regio’s, met name rond de nek, schouders en kleding. Deze gebieden zijn relatief grof getesselleerd in de FLAME-sjabloon in vergelijking met hoge-saliency gezichtsgebieden (bijv. de peri-oculaire regio).

‘Als gevolg daarvan alloceren eerdere methoden vaak te weinig 3D-Gaussians voor deze gebieden om hun fijne details trouw te kunnen vastleggen. In tegenstelling daarmee verhoogt onze adaptieve groeistrategie het aantal Gaussians en verfijnt de hiërarchie alleen waar nodig, waardoor de allocatie ongevoelig wordt voor FLAME’s niet-uniforme tessellatie.’

De auteurs merken verder op dat hun benadering gelijkwaardig is aan state-of-the-art methoden, en een bruikbare avatar oplevert met een triviale 5% bandbreedte-toewijzing:

Kwantitatieve vergelijking op novel view synthese en novel expression synthese met behulp van PSNR, SSIM en LPIPS. Bij volledige overdracht bereikt de voorgestelde methode de hoogste PSNR op beide taken en blijft concurrerend met GaussianAvatars op perceptuele metrics, terwijl de 5%-instelling de kwaliteitsruil afbeeldt onder extreme bandbreedtebeperkingen.

Vervolgens testten de onderzoekers de progressieve rendering zelf. Dit werd uitgevoerd op een NVIDIA RTX 4090, met 24Gb VRAM, bij een resolutie van 550x802px. In deze scenario, merken de auteurs op, zou een 25% budget alle ‘level 1’ Gaussians gebruiken, evenals een subset van level 2 Gaussians, wat een ruwe schets geeft van de manier waarop de Gaussian groepen detail toevoegen in de hogere nummervolle groepen, en dat de lagere nummervolle groepen in wezen de basis-canvas bouwen:

Prestaties onder verschillende overdrachtsbudgetten voor novel view en novel expression synthese, waaruit blijkt dat de kwaliteit gestaag de GaussianAvatars benadert of overtreft terwijl meer Gaussians en gegevens worden gestreamd, terwijl reële snelheden worden behouden, op een RTX 4090.

De auteurs merken op:

‘Met slechts 2,60 MB overgedragen (5% budget), heeft de avatar al een redelijke kwaliteit bereikt. Terwijl hogere-niveau-Gaussians worden gestreamd, worden fijne structuren zoals shirtknopen, tanden en haar geleidelijk scherper, terwijl temporele stabiliteit wordt behouden.

‘Bij 100% overdracht bereikt onze benadering een renderkwaliteit die vergelijkbaar is met SOTA-methoden. Opvallend is dat de frame-snelheden niet aanzienlijk dalen, waarschijnlijk omdat de 3DGS-werklast de GPU nog niet heeft verzadigd.’

Echter, de auteurs merken op dat in multi-user VR-scenario’s het aantal 3D-Gaussians snel zal groeien tot het punt waarop GPU-rasterisatie een bottleneck wordt. In die zwaardere scenario’s biedt de voorgestelde benadering een voordeel door het systeem in staat te stellen om het aantal primitieven te ruilen tegen visuele kwaliteit, waardoor de belasting wordt verlicht zonder dat de rendering instort.

Hoewel de paper dit niet beschrijft, bevat de projectsite aanvullende testvergelijkingen, eveneens met het MeGA Hybrid mesh-Gaussian avatar-project:

Klik om af te spelen. Een van een reeks aanvullende video’s van de projectsite van de paper, deze toont een vergelijking van de nieuwe benadering in termen van novel view synthese.

Conclusie

Gaussian Splatting mag dan wel of niet standhouden, of zelfs maar worden herinnerd meer dan RealPlayer nu wordt herinnerd in verband met de dageraad van interactieve streaming: AI-gedreven of AI-geassisteerde 3D-bewuste representatieve ervaringen, waaronder videochat, virtuele winkelen, route-navigatie en diverse entertainmenttoepassingen. Het kan zijn dat alternatieve technologieën of benaderingen het winnen, of dat GSplat de meest betrouwbare AI-video-representatie bewijst.

Als zodanig kondigt deze interessante nieuwe paper een klein deel aan van het bereik van dit nieuwe domein, en herinnert ons, misschien nostalgisch, aan het bandbreedte-gebrekkige internet van weleer.

* Met ‘3D’ bedoel ik niet het soort ervaring dat speciale bril vereist, maar eerder ervaringen waarbij de multimedia-inhoud enige kennis heeft van X/Y/Z-coördinaten.

First published Wednesday, 18 maart 2026