Streaming di Avatar 3D come nel 1999

Nuova ricerca presenta un modo per trasmettere avatar 3D realistici che appaiono quasi istantaneamente e si affinano in tempo reale, invece di costringere gli utenti ad attendere che scaricamenti massicci siano completati.

In molti modi, le enormi richieste di risorse di intelligenza artificiale e sistemi di rendering assistiti da intelligenza artificiale hanno riportato la prontezza per i consumatori indietro di vent’anni o più. Solo nel 2023, un’allocation di 64GB di RAM in un laptop o un PC desktop sembrava eccessiva; ora, con la crescente popolarità di RAM e/o CPU offloading, 64GB è piuttosto modesto per le esigenze locali di intelligenza artificiale; e questi elementi un tempo banali e accessibili dei PC continuano a aumentare di prezzo mentre le aziende lottano per soddisfare la domanda di servizi di intelligenza artificiale.

La scala e l’avidità dell’intelligenza artificiale e dei suoi processi e ambienti di solito superano le attrezzature a livello di consumatore, e anche l’esecuzione di modelli “slim” locali come GGUF solitamente mette a dura prova il sistema medio.

Anche i servizi di intelligenza artificiale basati su testo come ChatGPT sono soggetti a una notevole tensione sia a livello di client che di server. Pertanto, una volta che l’intelligenza artificiale è incaricata di fornire esperienze multimediali online in tempo reale, possiamo ragionevolmente aspettarci alcuni compromessi molto gravi nella latenza e/o nella qualità – simili alle prime lotte di Internet con la trasmissione di media, e ai molto odiati icone di “buffering” animati di RealPlayer e QuickTime.

L’ultima volta che problemi multimediali e di rete hanno creato attrito nell’esperienza dell’utente, l’hardware a livello di consumatore stava ancora evolvendo attraverso la legge di Moore, migliorando quasi esponenzialmente ogni anno, anche mentre i sistemi operativi, le reti e altre infrastrutture di supporto evolvevano per soddisfare la domanda; e negli ultimi dieci anni, più o meno, le capacità della tecnologia dei consumatori hanno superato le richieste multimediali (forse addirittura al punto in cui la necessità di rinnovamento doveva essere avviata per mantenere le vendite).

Ma quel surplus di capacità locale potrebbe stare per finire presto, poiché l’hardware locale sta diventando meno potente e più costoso, e poiché i servizi basati sull’intelligenza artificiale richiedono risorse più elevate a livello di server e locale.

Ottenere una Testa

Nell’era pre-broadband, anche prima dei primi video di streaming utilizzabili, gli utenti web erano abituati a vedere immagini che si formavano lentamente, poiché le JPEG progressive permettevano all’utente a corto di larghezza di banda di guardare l’immagine in fase di download, a volte in modo dolorosamente lento, mentre più dati dell’immagine venivano caricati localmente.

Ora, sembra, potremmo essere in procinto di avere un’esperienza simile con gli avatar 3D assistiti dall’intelligenza artificiale:

Clicca per riprodurre.  Dal nuovo progetto ProgressiveAvatars, un confronto tra avatar Gaussiani in streaming. A sinistra, il progetto GaussianAvatars più vecchio ottiene lentamente nuovi dati ma sembra terribile mentre i dati si accumulano; a destra, la versione Progressive Avatars costruisce anche i dettagli lentamente, ma lo fa in modo intelligente che fornisce una sembianza umana di base fin dall’inizio. Fonte

In alto vediamo due versioni di un avatar Gaussian Splat (GSplat) – una rappresentazione umana resa possibile in parte da una tecnica di rendering non basata sull’intelligenza artificiale che risale ai primi anni ’90, e anche da metodi più moderni, come il modello parametrico di faccia FLAME e approcci di formazione basati sull’intelligenza artificiale:

La tecnica di Gaussian Splatting utilizza una rappresentazione gaussiana di colore e informazioni 3D al posto di un pixel o di un voxel, e mappa questa texture ultra-realistica su una mesh CGI più tradizionale, che a sua volta è facilitata da un ‘umano parametrico’, una faccia e/o un corpo CGI, in sistemi come FLAME e STAR. Fonte

A sinistra nel video sopra possiamo vedere che un’implementazione tradizionale di un avatar Gaussian Splat sembra piuttosto orribile mentre attendiamo che i dati vengano caricati. A destra, una nuova implementazione dalla Cina, chiamata ProgressiveAvatars, è in grado di risolversi in modo molto più elegante mentre i dati vengono caricati, presentando un’immagine umana non allarmante fin dall’inizio.

Gli autori affermano che il loro metodo è il primo a “trasmettere” veramente un avatar Gaussian Splat, e certamente il primo a farlo in modo progressivo, dove l’immagine si costruisce elegantemente, e le aree più importanti – come occhi e labbra – possono essere priorizzate, in modo che l’avatar possa diventare conversazionale anche quando è solo parzialmente caricato:

Clicca per riprodurre. Dal sito del progetto ProgressiveAvatars, un’illustrazione del caricamento attento.

Prima di questo, un approccio “level of detail” (LOD) è stato utilizzato in precedenti tentativi di ridurre gli avatar “GSplat” – simile alle ottimizzazioni dei videogiochi, dove versioni sempre più dettagliate di una persona vengono caricate in base a quanto occupano il viewport o l’attenzione del viewer –

Un Dominio Emergente

Se questo sembra un problema di nicchia, beh, anche la trasmissione video lo era ai tempi in cui ottenere i primi plugin funzionanti era un compito affidato al nerd più vicino. Inoltre, il potenziale per rappresentazioni basate sull’intelligenza artificiale in streaming va oltre gli avatar umani, estendendosi alla generazione di città, giochi e versioni 3D* di praticamente qualsiasi dominio online – come Virtual Try-On, per lo shopping di abbigliamento:

Clicca per riprodurre. Da un progetto del 2024, uno sguardo approssimativo al futuro dello “try-on” online. Altri progetti cercano di aggiungere movimento e interattività – aspetti impegnativi da trasmettere e gestire. Fonte

Proprio come gli approcci basati su LOD sono stati fino ad ora utilizzati principalmente dai videogiochi, molte altre considerazioni che erano un tempo appannaggio esclusivo dello sviluppo di giochi sono probabili candidate a essere utilizzate anche nelle rappresentazioni basate su “splat”. Ad esempio, la maggior parte di questi primi “splat” mostra un unico essere umano che fa smorfie o parla; ma molte situazioni richiederanno più esseri umani, nonché caratteristiche ambientali e atmosfera – uno scenario in cui sistemi di “triage” ad alte prestazioni determineranno dove i dati di trasmissione devono essere priorizzati, per mantenere lo spettatore nel momento:

Il nuovo documento si intitola ProgressiveAvatars: Avatar 3D Gaussian Animabili Progressivi e proviene da tre ricercatori dell’Università di Scienza e Tecnologia della Cina di Hefei.

Metodo

L’approccio inizia utilizzando un video della testa di una persona. Per ogni frame, un modello di faccia parametrico FLAME standard viene adattato, in modo che la forma e l’espressione cambino nel tempo, mentre la struttura della mesh di base rimane fissa. Poiché la topologia di base non cambia, un modello FLAME standard può essere riutilizzato e raffinato invece di essere ricostruito da zero ad ogni istante, come avviene in lavori precedenti:

Il video della testa viene prima adattato con una mesh FLAME tracciata, dopo di che i Gaussiani 3D vengono attaccati a ogni faccia e crescono gerarchicamente dove i gradienti nello spazio schermo indicano dettagli mancanti. Durante l’addestramento, questa sottodivisione adattiva costruisce una rappresentazione a più livelli sotto la supervisione multi-vista, e al momento dell’inferenza, i punteggi di importanza per faccia determinano quali Gaussiani vengono trasmessi per primi, consentendo all’avatar di apparire rapidamente e di affinarsi progressivamente mentre vengono aggiunti livelli di dettaglio più elevati.

Sopra la struttura di base, vengono aggiunti dettagli in strati; la superficie viene implicitamente suddivisa in una gerarchia, e piccoli Gaussiani 3D vengono attaccati alle facce a ogni livello di dettaglio.

Sebbene i livelli iniziali più grossolani catturino la forma generale della testa e del movimento, i livelli successivi più fini forniscono rughe, deformazioni sottili e texture ad alta frequenza. Le immagini vengono quindi rese da questi Gaussiani utilizzando un rasterizzatore gaussiano differenziabile e addestrato contro immagini di riferimento multi-vista, in modo che l’avatar impari a riprodurre l’aspetto della persona reale.

Durante l’addestramento, questa gerarchia cresce automaticamente: le aree che necessitano di più dettagli vengono suddivise ulteriormente, guidate da segnali nello spazio schermo, in modo che lo sforzo computazionale si concentri dove l’occhio dello spettatore è più probabile notare errori.

Durante l’inferenza, questa stessa gerarchia consente la trasmissione progressiva, dove una versione approssimativa dell’avatar può essere visualizzata per prima, e, mentre vengono caricati ulteriori livelli, nuovi Gaussiani possono essere aggiunti senza alterare ciò che è già visualizzato, consentendo un avatar animabile che appare rapidamente e diventa più dettagliato e nitido mentre arrivano più dati:

Gli autori osservano che l’intero sistema si basa sulla priorità dei dati in arrivo:

Quando tutti i Gaussiani a un determinato livello sono disponibili, il modello completo viene renderizzato con fedeltà massima; ma durante la trasmissione, inviare per primi i Gaussiani con il contributo più alto consente ai risultati parziali iniziali di corrispondere da vicino all’immagine finale, mentre la trasmissione dei Gaussiani a basso contributo per primi distorce l’equilibrio dei colori ed enfatizza componenti minori.

Dati e Test

Per i test, il nuovo metodo è stato valutato sul set di dati NeRSemble, che consiste in video multi-vista per ogni soggetto coperto, con parametri calibrati in tutte le viste:

Esempi di interpretazioni diverse di soggetti inclusi nel set di dati NeRSemble utilizzato nei test per ProgressiveAvatars. Fonte

In linea con la metodologia originale GaussianAvatars, le immagini sono state ridotte a 802x550px e una maschera del primo piano è stata generata, e la divisione di addestramento/test originale del progetto è stata adottata.

L’ottimizzatore Adam è stato utilizzato per gli aggiornamenti dei parametri, con un tasso di apprendimento di 1×10^-2 su tutte le coordinate baricentriche. L’addestramento è stato eseguito per 60.000 iterazioni, con la gerarchia automaticamente estesa ogni 2.000 iterazioni.

Inizialmente, gli autori hanno testato per ricostruzione e animazione – il compito di convertire video piatti in un sistema 3D consapevole (x/y/x), utilizzando la rappresentazione CGI canonica di FLAME come mesh di ancoraggio. Per questo, tutte le baseline sono state addestrate da zero, e i framework rivali testati sono stati il già menzionato GaussianAvatars e PointAvatar.

Per questi test, le metriche utilizzate sono state Peak Signal-to-Noise Ratio (PSNR), Structural Similarity Index (SSIM) e Learned Perceptual Image Patch Similarity (LPIPS):

Confronto qualitativo sulla sintesi di vista e espressione nuove. La baseline GaussianAvatars fatica con i dettagli fini intorno agli occhi, alle rughe e alla texture della pelle, mentre il metodo proposto conserva già la struttura facciale chiave a circa il 5% dei dati trasmessi e converge verso la verità di riferimento mentre vengono trasmessi più Gaussiani, corrispondendo da vicino al modello completo e alle immagini di riferimento (verità di riferimento).

Riguardo a questi risultati, gli autori affermano:

‘[Il nostro] metodo ricostruisce dettagli più nitidi in diverse aree, in particolare intorno al collo, alle spalle e ai vestiti. Queste aree sono relativamente tessellate in modo grossolano nel modello FLAME rispetto alle aree facciali ad alta salienza (ad esempio, la regione perioculare).

‘Di conseguenza, i metodi precedenti spesso allocano troppi pochi Gaussiani 3D a queste aree per catturare fedelmente i dettagli a scala fine. Al contrario, la nostra strategia di crescita adattiva aumenta il numero di Gaussiani e raffina la gerarchia solo dove necessario, rendendo l’allocazione insensibile alla tessellazione non uniforme di FLAME.’

Gli autori notano inoltre che il loro approccio è allo stesso livello dei metodi attuali, producendo un avatar funzionale con un’allocazione di larghezza di banda trascurabile del 5%:

Confronto quantitativo sulla sintesi di vista nuova e sulla sintesi di espressione nuova utilizzando PSNR, SSIM e LPIPS. Alla trasmissione completa, il metodo proposto raggiunge il PSNR più alto su entrambi i compiti e rimane competitivo con GaussianAvatars sulle metriche percettive, mentre l’impostazione del 5% illustra il compromesso di qualità sotto vincoli di larghezza di banda estremi.

Successivamente, i ricercatori hanno testato il rendering progressivo stesso. Ciò è stato eseguito su un NVIDIA RTX 4090, con 24Gb di VRAM, a risoluzione 550x802px. In questo scenario, gli autori notano che un budget del 25% utilizzerebbe tutti i Gaussiani di “livello 1”, nonché un subset di Gaussiani di “livello 2”, il che fornisce una visione d’insieme di come i gruppi di Gaussiani accumulano dettagli nei gruppi con numeri più alti, e che i gruppi con numeri più bassi costruiscono essenzialmente la tela di base:

Prestazioni con diversi budget di trasmissione per la sintesi di vista nuova e la sintesi di espressione nuova, mostrando che la qualità si avvicina costantemente o supera GaussianAvatars mentre vengono trasmessi più Gaussiani e dati, mantenendo velocità in tempo reale su un RTX 4090.

Gli autori commentano:

‘Con solo 2,60 MB trasmessi (5% di budget), l’avatar raggiunge già una qualità ragionevole. Mentre vengono trasmessi Gaussiani di livello più alto, strutture fini come bottoni della camicia, denti e capelli si affinano gradualmente mentre si mantiene la stabilità temporale.

‘Al 100% di trasmissione, il nostro approccio raggiunge una qualità di rendering paragonabile ai metodi attuali. Notabilmente, le velocità dei fotogrammi non scendono significativamente, probabilmente perché il carico di lavoro 3DGS non ha ancora saturato la GPU.’

Tuttavia, gli autori notano che in scenari di realtà virtuale multi-utente, il numero di Gaussiani 3D crescerà rapidamente al punto in cui la rasterizzazione della GPU diventerà un collo di bottiglia. In quei scenari più impegnativi, l’approccio proposto offre un vantaggio consentendo al sistema di scambiare il numero di primitive contro la qualità visiva, alleggerendo il carico senza far collassare il rendering.

Sebbene il documento non lo dettagli, il sito del progetto presenta ulteriori confronti di test, che includono anche il progetto MeGA di avatar ibrido mesh-Gaussian:

Clicca per riprodurre. Uno di una serie di video supplementari dal sito del progetto del documento, questo confronta il nuovo approccio in termini di sintesi di vista nuova.

Conclusione

La tecnica di Gaussian Splatting potrebbe o meno durare, o essere ricordata più di quanto lo sia RealPlayer ora, riguardo all’alba della trasmissione interattiva: esperienze rappresentative 3D consapevoli, guidate dall’intelligenza artificiale o assistite dall’intelligenza artificiale, incluse video chat, shopping virtuale, navigazione di percorsi e diverse applicazioni di intrattenimento. Potrebbe essere che tecnologie o approcci alternativi vincono, o che GSplat si dimostri la rappresentazione video più affidabile dell’intelligenza artificiale.

Se non altro, questo interessante nuovo documento annuncia un po’ dell’ambito di questo nuovo dominio, mentre ci ricorda, forse con nostalgia, della larghezza di banda affamata di Internet di un tempo.

* Con ‘3D’, non intendo il tipo di esperienza che richiede occhiali speciali, ma piuttosto esperienze in cui il contenuto multimediale ha una sorta di comprensione delle coordinate X/Y/Z.

Pubblicato per la prima volta mercoledì 18 marzo 2026