Diffusion d’avatars 3D intelligents comme en 1999

De nouvelles recherches présentent un moyen de diffuser des avatars 3D réalistes qui apparaissent presque instantanément et se précisent en temps réel, au lieu de forcer les utilisateurs à attendre la fin de téléchargements massifs.

À bien des égards, les énormes exigences de ressources de l’intelligence artificielle générative et des systèmes de rendu assistés par l’IA ont ramené la préparation des consommateurs à plus de vingt ans en arrière. Même en 2023, une allocation de 64 Go de RAM dans un ordinateur portable ou un PC semblait excessive; maintenant, avec la popularité croissante de la décharge de RAM et/ou de la décharge de CPU, 64 Go est plutôt modeste pour les besoins locaux de l’IA; et ces éléments autrefois banaux et abordables des PC continuent à augmenter en prix alors que les entreprises luttent pour répondre à la demande de services d’IA.

L’échelle et la cupidité de l’IA et de ses processus et environnements dépassent généralement le matériel de niveau consommateur, et même l’exécution de modèles « allégés » locaux en tant que versions GGUF entraînera généralement une tension sur le système moyen.

Même les services d’IA basés sur du texte, tels que ChatGPT, sont sujets à une tension importante à la fois au niveau client et serveur. Par conséquent, une fois que l’IA est chargée de fournir des expériences multimédias en ligne en temps réel, nous pouvons raisonnablement nous attendre à des compromis très graves en termes de latence et/ou de qualité – similaires aux luttes précoces de l’internet avec la diffusion de médias, et aux icônes de « tampon » animées très détestées de RealPlayer et QuickTime.

La dernière fois que les problèmes de multimédia et de réseau ont créé des frictions dans l’expérience utilisateur, le matériel de niveau consommateur évoluait encore grâce à la loi de Moore, s’améliorant presque de manière exponentielle chaque année, même si les systèmes d’exploitation, les réseaux et d’autres infrastructures de support évoluaient pour répondre à la demande; et pendant les dix dernières années, les capacités de la technologie consommateur ont dépassé les exigences multimédias (peut-être même au point où le churn devait être lancé pour maintenir les ventes).

Mais cette surabondance de capacité locale peut bientôt prendre fin, car le matériel local devient moins puissant et plus coûteux, et que les services basés sur l’IA exigent davantage de ressources côté serveur et local.

Obtenir une tête

À l’époque pré-broadband, même avant les premières vidéos de diffusion utilisables, les utilisateurs du Web étaient habitués à voir des images se préciser lentement, car les JPEG progressifs permettaient à l’utilisateur à bande passante limitée de regarder l’image en train de se former, parfois très lentement, à mesure que davantage de données d’image étaient chargées localement.

Maintenant, il semble que nous puissions vivre une expérience similaire avec les avatars d’IA aidés par Gaussian Splat:

Cliquez pour jouer. À partir du nouveau projet ProgressiveAvatars, une comparaison de la diffusion d’avatars gaussiens. Source

Au-dessus, nous voyons deux versions d’un avatar Gaussian Splat (GSplat) – une représentation humaine rendue possible en partie par une technique de rendu non-IA datant des années 90, et également par des méthodes plus modernes, telles que le modèle paramétrique de visage FLAME, et des approches de formation basées sur l’IA:

Gaussian Splatting utilise une représentation gaussienne de la couleur et des informations 3D à la place d’un pixel ou d’un voxel, et mappe cette texture ultra-réaliste sur une maille CGI plus traditionnelle, qui est elle-même facilitée par un ‘humain paramétrique’, un visage et/ou un corps CGI, dans des systèmes tels que FLAME et STAR. Source

À gauche dans la vidéo ci-dessus, nous pouvons voir qu’une mise en œuvre traditionnelle d’un avatar Gaussian Splat a l’air plutôt horrible pendant que nous attendons que les données se chargent. À droite, une nouvelle mise en œuvre de Chine, baptisée ProgressiveAvatars, est capable de se résoudre de manière beaucoup plus élégante à mesure que les données se chargent, présentant une image humaine non alarmante dès le début.

Les auteurs affirment que leur méthode est la première à véritablement « diffuser » un avatar gaussien, et certainement la première à le faire de manière progressive, où l’image se construit de manière élégante, et les zones les plus importantes – telles que les yeux et les lèvres – peuvent être priorisées, de sorte que l’avatar peut devenir conversationnel même lorsqu’il n’est que partiellement chargé:

Click to play. À partir du site du projet ProgressiveAvatars, une illustration du chargement attention-aware.

Auparavant, une approche de « niveau de détail » (LOD) a été utilisée dans les tentatives précédentes pour alléger les avatars « GSplat », similaires aux optimisations de jeux vidéo, où des versions de plus en plus détaillées d’une personne sont chargées en fonction de l’occupation de la vue ou de l’attention du spectateur pour en valoir la peine.

Bien sûr, cela implique une quantité considérable d’avatars « de réserve » redondants, et les auteurs présentent leur approche comme un système plus rationnel. Une méthode de ce type permet également des changements dans une figure GSplat (c’est-à-dire, une personnalisation) sans avoir à propager de tels changements à travers une chaîne de jumeaux LOD différents.

Un domaine émergent

Si cela semble être un problème de niche, eh bien, il en était de même pour la diffusion de vidéo, à l’époque où obtenir les premiers plugins pour qu’ils fonctionnent était confié au nerd le plus proche. De plus, le potentiel des représentations basées sur l’IA pour la diffusion va au-delà des avatars humains, s’étendant à la génération de villes, aux jeux, et aux versions 3D* de pratiquement tout domaine en ligne – tel que le Virtual Try-On, pour les achats de vêtements:

Cliquez pour jouer. À partir d’un projet de 2024, un aperçu grossier de l’avenir de l’essayage en ligne. D’autres projets cherchent à ajouter le mouvement et l’interactivité – des facettes exigeantes à diffuser et à gérer. Source

Comme les approches basées sur le LOD ont été jusqu’à présent principalement utilisées par les jeux vidéo, de nombreuses autres considérations qui étaient autrefois le domaine exclusif du développement de jeux sont susceptibles de s’étendre aux représentations basées sur les splats; par exemple, la plupart de ces premières sorties GSplat montrent un seul humain faisant la grimace et faisant des grimaces, ou peut-être discutant; mais de nombreuses situations seront nécessaires qui présentent plusieurs humains, ainsi que des caractéristiques environnementales et une ambiance – un scénario dans lequel des systèmes de « triage » très performants détermineront où les données de diffusion doivent être priorisées, afin de maintenir le spectateur dans l’instant.

Le nouvel article s’intitule ProgressiveAvatars: Avatars 3D gaussiens animables progressifs, et provient de trois chercheurs de l’Université des sciences et de la technologie de Chine à Hefei.

Méthode

L’approche repose initialement sur une vidéo de la tête d’une personne. Pour chaque image, un modèle de visage paramétrique FLAME standard est ajusté, de sorte que la forme et l’expression changent au fil du temps, tandis que la structure de maille sous-jacente reste fixe. Puisque la topologie de base ne change pas, un modèle FLAME de base stable peut être réutilisé et affiné au lieu d’être reconstruit à partir de zéro à chaque instant, comme c’est le cas dans les travaux précédents:

La vidéo de la tête est d’abord ajustée avec une maille FLAME suivie, après quoi des gaussiennes 3D sont attachées à chaque visage et croissent de manière hiérarchique là où les gradients d’espace d’écran indiquent des détails manquants. Lors de la formation, cette sous-division adaptative construit une représentation à plusieurs niveaux sous la supervision multi-vue, et à l’inférence, les scores d’importance par visage déterminent quelles gaussiennes sont diffusées en premier, permettant à l’avatar d’apparaître rapidement et de se préciser progressivement à mesure que des niveaux de détail plus élevés sont ajoutés.

Sur cette structure de base, des détails sont ajoutés en couches; la surface est implicitement subdivisée en une hiérarchie, et de petites gaussiennes 3D sont attachées aux visages à chaque niveau de détail.

Bien que les couches initiales plus grossières capturent la forme générale de la tête et le mouvement, les couches plus fines suivantes fournissent des rides, des déformations subtiles et une texture à haute fréquence. Les images sont ensuite rendues à partir de ces gaussiennes à l’aide d’un rasteriseur gaussien différentiable et formé contre des images de vérité de terrain multi-vue, de sorte que l’avatar apprend à reproduire l’apparence de la personne réelle.

Lors de la formation, cette hiérarchie grandit automatiquement; les régions qui ont besoin de plus de détails sont subdivisées plus avant, guidées par des signaux d’espace d’écran, de sorte que l’effort de calcul se concentre là où l’œil du spectateur est le plus susceptible de remarquer les erreurs.

Lors de l’inférence, cette même hiérarchie permet une diffusion progressive, dans laquelle une version grossière de l’avatar peut être affichée en premier, et, à mesure que des couches supplémentaires sont chargées, de nouvelles gaussiennes peuvent être ajoutées sans modifier ce qui est déjà affiché, permettant un avatar de tête animable qui apparaît rapidement et devient plus détaillé à mesure que davantage de données arrivent.

Les auteurs observent que le système entier repose sur la priorisation des données entrantes;

Lorsque toutes les gaussiennes d’un niveau donné sont disponibles, le modèle complet est rendu avec une fidélité maximale; mais lors de la diffusion, l’envoi des gaussiennes à contribution la plus élevée en premier permet des résultats partiels précoces pour correspondre étroitement à l’image finale, tandis que la transmission de gaussiennes à faible contribution en premier déforme l’équilibre des couleurs et met l’accent sur les composants mineurs.

Données et tests

Pour les tests, la nouvelle méthode a été évaluée sur l’ensemble de données NeRSemble, qui se compose de vidéos multi-vue pour chaque sujet couvert, avec des paramètres calibrés sur toutes les vues:

Exemples d’interprétations diverses de sujets inclus dans l’ensemble de données NeRSemble utilisé pour les tests de ProgressiveAvatars. Source

Conformément à la méthodologie originale GaussianAvatars, les images ont été rééchantillonnées à 802x550px, une masque de premier plan a été généré, et la division de formation/test originale du projet a été adoptée.

L’optimiseur Adam a été utilisé pour les mises à jour de paramètres, avec un taux d’apprentissage de 1×10^-2 sur toutes les coordonnées barycentriques. La formation a duré 60 000 itérations, avec la hiérarchie automatiquement étendue toutes les 2 000 itérations.

Initialement, les auteurs ont testé la reconstruction et l’animation – la tâche de conversion de la vidéo plate en un système 3D conscient (x/y/x), en utilisant la représentation CGI canonique de FLAME comme maille ancrante. Pour cela, toutes les lignes de base ont été formées à partir de zéro, et les cadres de travail concurrents testés étaient les GaussianAvatars susmentionnés et PointAvatar.

Pour ces tests, les métriques utilisées étaient le rapport signal/bruit de pointe (PSNR), l’indice de similarité structurelle (SSIM), et la similarité d’image perçue apprise (LPIPS):

Comparaison qualitative de la synthèse de vue et d’expression nouvelles. La ligne de base GaussianAvatars a du mal avec les détails fins autour des yeux, des rides et de la texture de la peau, tandis que la méthode proposée préserve déjà la structure faciale clé à environ cinq pour cent des données transmises et converge vers la vérité de terrain à mesure que davantage de gaussiennes sont diffusées, correspondant étroitement au modèle complet et aux images de référence (vérité de terrain).

En ce qui concerne ces résultats, les auteurs affirment:

‘[Notre] méthode reconstruit des détails plus nets dans plusieurs régions, en particulier autour du cou, des épaules et des vêtements. Ces zones sont relativement grossièrement maillées dans le modèle FLAME par rapport aux zones faciales à haute salience (par exemple, la région périorbitaire).

‘Par conséquent, les méthodes antérieures allouent souvent trop peu de gaussiennes 3D à ces régions pour capturer fidèlement leurs détails à petite échelle. En revanche, notre stratégie de croissance adaptative augmente le nombre de gaussiennes et affine la hiérarchie uniquement là où nécessaire, ce qui rend l’allocation insensible à la tessellation non uniforme de FLAME.’

Les auteurs notent en outre que leur approche est à la hauteur des méthodes de pointe, ce qui donne un avatar utilisable avec une allocation de bande passante triviale de 5 %:

Comparaison quantitative de la synthèse de vue et d’expression nouvelles en utilisant PSNR, SSIM et LPIPS. À la transmission complète, la méthode proposée atteint le PSNR le plus élevé sur les deux tâches et reste compétitive avec GaussianAvatars sur les métriques perceptuelles, tandis que le réglage à 5 % illustre le compromis de qualité sous des contraintes de bande passante extrêmes.

Ensuite, les chercheurs ont testé le rendu progressif lui-même. Cela a été effectué sur un NVIDIA RTX 4090, avec 24 Go de VRAM, à une résolution de 550x802px. Dans ce scénario, les auteurs soulignent qu’un budget de 25 % utiliserait toutes les gaussiennes de « niveau 1 », ainsi qu’un sous-ensemble de gaussiennes de niveau 2, ce qui donne une idée de la façon dont les groupes gaussiens accumulent des détails dans les groupes à numéro plus élevé, et que les groupes à numéro inférieur construisent essentiellement la toile de fond de base:

Performances sous différents budgets de transmission pour la synthèse de vue et d’expression nouvelles, montrant que la qualité s’approche progressivement ou dépasse celle de GaussianAvatars à mesure que davantage de gaussiennes et de données sont diffusées, tout en maintenant des vitesses en temps réel, sur un RTX 4090.

Les auteurs commentent:

‘Avec seulement 2,60 Mo transmis (5 % de budget), l’avatar atteint déjà une qualité raisonnable. À mesure que des gaussiennes de niveau supérieur sont diffusées, les structures fines telles que les boutons de chemise, les dents et les cheveux se précisent progressivement, tout en maintenant la stabilité temporelle.

‘À 100 % de transmission, notre approche atteint une qualité de rendu comparable aux méthodes de pointe. Notamment, les taux de trames ne chutent pas de manière significative, probablement parce que la charge de travail 3DGS n’a pas encore saturé le GPU.’

Cependant, les auteurs soulignent que dans les scénarios de réalité virtuelle multi-utilisateurs, le nombre de gaussiennes 3D augmenterait rapidement à un point où la rasterisation GPU deviendrait un goulet d’étranglement. Dans ces scénarios plus lourds, l’approche proposée offre un avantage en permettant au système de faire un compromis entre le nombre de primitives et la qualité visuelle, en réduisant la charge sans faire s’effondrer le rendu.

Bien que l’article ne le détaille pas, le site du projet présente des comparaisons de tests supplémentaires, mettant également en vedette le projet d’avatar hybride maillé-gaussien MeGA:

Cliquez pour jouer. Une des vidéos supplémentaires du site du projet, cette vidéo compare la nouvelle approche en termes de synthèse de vue nouvelle.

Conclusion

Le splatting gaussien peut ou non durer, ou même être rappelé plus tard, en ce qui concerne l’aube de la diffusion interactive: les expériences représentatives 3D conscientes de l’IA, y compris la vidéoconférence, les achats virtuels, la navigation de route, et diverses applications de divertissement. Il se peut que des technologies ou des approches alternatives l’emportent, ou que GSplat prouve être la représentation vidéo la plus fiable basée sur l’IA.

Si rien d’autre, cet article intéressant annonce un peu la portée de ce nouveau domaine, tout en nous rappelant, peut-être avec nostalgie, de l’internet à bande passante limitée d’autrefois.

* Par « 3D », je n’entends pas le type d’expérience qui nécessite des lunettes spéciales, mais plutôt des expériences où le contenu multimédia a une certaine compréhension des coordonnées X/Y/Z.

Publié pour la première fois le mercredi 18 mars 2026