Streaming-KI-Avatare wie im Jahr 1999

Neue Forschungsergebnisse präsentieren eine Möglichkeit, lebensechte 3D-Avatare zu streamen, die fast sofort erscheinen und in Echtzeit schärfer werden, anstatt Benutzern zu erzwingen, auf massive Downloads zu warten.

Auf viele Weise haben die enormen Ressourcenanforderungen von generativer KI und KI-gestützten Rendering-Systemen die Konsumentenbereitschaft um zwanzig oder mehr Jahre zurückgeworfen. Erst 2023 schien eine 64-GB-RAM-Zuweisung in einem Laptop oder Desktop-PC wie übertrieben; jetzt, mit der wachsenden Popularität von RAM und/oder CPU-Offloading, ist 64 GB ziemlich bescheiden für lokale KI-Anforderungen; und diese einst banalen und erschwinglichen Elemente von PCs steigen weiterhin in die Höhe, da Unternehmen versuchen, die Nachfrage nach KI-Dienstleistungen zu decken.

Der Umfang und die Gier von KI und ihren Prozessen und Umgebungen übertreffen in der Regel die Hardware auf Konsumentenebene, und selbst die Ausführung von “abgespeckten” lokalen Modellen als GGUF-Versionen wird in der Regel das durchschnittliche System belasten.

Auch textbasierte KI-Dienste wie ChatGPT sind erheblichen Belastungen sowohl auf Client- als auch auf Serverebene ausgesetzt. Daher können wir vernünftigerweise erwarten, dass KI, wenn sie mit der Bereitstellung von Online-Multimedia-Erfahrungen in Echtzeit beauftragt wird, einige sehr ernsthafte Kompromisse in Bezug auf Latenz und/oder Qualität eingehen wird – ähnlich wie die frühen Kämpfe des Internets mit dem Streaming von Medien und die viel verhassten animierten “Buffering”-Symbole von RealPlayer und QuickTime.

Das letzte Mal, als Multimedia- und Netzwerkprobleme Reibung in der Benutzeroberfläche verursachten, war die Hardware auf Konsumentenebene noch in der Entwicklung durch Moores Gesetz, wurde fast exponentiell besser jedes Jahr, auch als Betriebssysteme, Netzwerke und andere unterstützende Infrastrukturen entwickelt wurden, um die Nachfrage zu decken; und in den letzten zehn Jahren haben die Fähigkeiten von Konsumententechnologie die Multimedia-Anforderungen übertroffen (vielleicht sogar bis zu dem Punkt, an dem eine Erneuerung benötigt wurde, um Verkäufe aufrechtzuerhalten).

Aber dieser Überfluss an lokalen Fähigkeiten könnte bald zu Ende gehen, da lokale Hardware geringer spezifiziert und teurer wird und KI-basierte Dienste höhere Server- und lokale Ressourcen verlangen.

Ein Vorsprung

In der vorbreitbandigen Ära waren Web-Benutzer an Bilder gewöhnt, die langsam scharf wurden, da progressive JPEGs es dem benutzer ermöglichten, das heruntergeladene Bild zu beobachten, während es sich bildete, manchmal schmerzhaft langsam, da mehr Bildaten lokal geladen wurden.

Jetzt scheint es, als ob wir eine ähnliche Erfahrung mit KI-gestützten Gaussian-Splat-Avataren haben könnten:

Klicken Sie, um abzuspielen.   Von dem neuen ProgressiveAvatars-Projekt, ein Vergleich des Streamings von Gaussian-Avataren. Links, das ältere GaussianAvatars-Projekt, das langsam neue Daten erhält, aber schlecht aussieht, während die Daten aufgebaut werden; rechts, die Progressive-Avatars-Version, die auch Details langsam aufbaut, aber auf eine intelligente Weise, die von Anfang an eine grundlegende menschliche Ähnlichkeit vermittelt. Quelle

Oben sehen wir zwei Versionen eines Gaussian-Splat-basierten (GSplat) Avatars – eine menschliche Darstellung, die teilweise durch eine nicht-KI-basierte Rendering-Technik aus den frühen 1990er Jahren und teilweise durch moderne Methoden wie das FLAME-parametrische Menschmodell und KI-basierte Trainingsansätze ermöglicht wird:

Gaussian-Splatting verwendet eine Gaussian-Darstellung von Farbe und 3D-Informationen anstelle eines Pixels oder Voxels und kartiert diese ultrarealistische Textur auf ein traditionelleres CGI-Netz, das selbst durch ein ‘parametrisches Mensch’, ein CGI-Gesicht und/oder Körper in Systemen wie FLAME und STAR ermöglicht wird. Quelle

Links im Video oben können wir sehen, dass eine traditionelle Implementierung eines Gaussian-Splat-Avatars ziemlich schrecklich aussieht, während wir auf die Daten warten. Rechts, eine neue Implementierung aus China, genannt ProgressiveAvatars, kann sich viel eleganter auflösen, während die Daten geladen werden, und präsentiert ein nicht-beunruhigendes menschliches Bild von Anfang an.

Die Autoren behaupten, dass ihre Methode die erste ist, die wirklich einen Gaussian-Avatar “streamt” und sicherlich die erste, die dies auf progressive Weise tut, wobei das Bild sich elegant aufbaut und die wichtigsten Bereiche – wie Augen und Lippen – priorisiert werden, so dass der Avatar bereits konversationsfähig ist, wenn er nur teilweise geladen ist:

Click to play. Von der ProgressiveAvatars-Projekt-Website, eine Darstellung der aufmerksamkeitsgesteuerten Ladung.

Vorher wurde ein “Level-of-Detail”-Ansatz (LOD) in früheren Versuchen verwendet, um “GSplat”-Avatare zu verkleinern, ähnlich wie Video-Game-Optimierungen, bei denen sukzessiv detailliertere Versionen einer Person geladen werden, je nachdem, ob sie genug des Viewports oder der Aufmerksamkeit des Betrachters einnimmt, um es wert zu sein:

Ein emergentes Gebiet

Wenn dies wie ein Nischenproblem erscheint, nun, so war auch das Streaming von Videos einst ein Nischenproblem, als es darum ging, die frühesten Plugins zum Laufen zu bringen, die an den nächsten verfügbaren Nerd ausgelagert wurden. Weiterhin geht das Potenzial von KI-basierten Streaming-Darstellungen über menschliche Avatare hinaus und erstreckt sich auf Stadterzeugung, Spiele und 3D-basierte Versionen praktisch jedes Online-Gebiets – wie Virtual Try-On für Kleidungsshopping:

Klicken Sie, um abzuspielen. Von einem 2024-Projekt, ein ungefährer Blick in die Zukunft des Online-“Anprobierens”. Andere Projekte versuchen, Bewegung und Interaktivität hinzuzufügen – anspruchsvolle Aspekte, die gestreamt und verwaltet werden müssen. Quelle

Genau wie LOD-basierte Ansätze bisher hauptsächlich von Video-Spielen genutzt wurden, werden viele andere Überlegungen, die einst das alleinige Gebiet der Spielementwicklung waren, wahrscheinlich in splat-basierte Darstellungen einfließen. Zum Beispiel zeigen die meisten dieser frühen GSplat-Ausgaben ein einziges menschliches Wesen Grimassen schneidend und muggend oder vielleicht sprechend; aber viele Situationen werden benötigt, die mehrere Menschen sowie Umgebungsmerkmale und Atmosphäre umfassen – ein Szenario, in dem hochleistungsfähige “Triage”-Systeme bestimmen, wo die Streaming-Daten priorisiert werden müssen, um den Betrachter im Moment zu halten.

Die neue Veröffentlichung trägt den Titel ProgressiveAvatars: Progressive Animierbare 3D-Gaussian-Avatare und stammt von drei Forschern der Universität für Wissenschaft und Technologie in Hefei.

Methode

Der Ansatz nutzt zunächst ein Video von einem Menschenkopf. Für jeden Frame wird ein Standard-FLAME-parametrisches Gesichtsmodell angepasst, so dass die Form und der Ausdruck über die Zeit hinweg ändern, während die zugrunde liegende Netzstruktur fest bleibt. Da die Basis-Topologie nicht ändert, kann ein stabiler FLAME-Vorlage wiederverwendet und verfeinert werden, anstatt bei jedem Moment von Grund auf neu aufgebaut zu werden, wie es in ähnlichen vorherigen Arbeiten der Fall ist:

Head-Video wird zunächst mit einem nachverfolgten FLAME-Netz angepasst, wonach 3D-Gauss-Verteilungen jedem Gesicht zugeordnet und hierarchisch anhand von Bildschirm-Gradienten, die fehlende Details anzeigen, vergrößert werden. Während des Trainings baut diese adaptive Unterteilung eine mehrstufige Darstellung unter multipler Aufsicht auf, und bei der Inferenz bestimmen pro-Gesicht-Wichtigkeitsscores, welche Gauss-Verteilungen zuerst gestreamt werden, was es dem Avatar ermöglicht, schnell zu erscheinen und sich progressiv zu verfeinern, während höher auflösende Ebenen hinzugefügt werden.

Über diese Basisstruktur werden Details in Schichten hinzugefügt; die Oberfläche wird implizit in eine Hierarchie unterteilt, und kleine dreidimensionale Gauss-Verteilungen werden jedem Gesicht an jedem Detaillevel zugeordnet.

Obwohl die anfänglichen groberen Schichten die Gesamtheit der Kopfform und -bewegung erfassen, liefern die nachfolgenden feineren Schichten Falten, subtile Deformationen und hochfrequente Texturen. Bilder werden dann aus diesen Gauss-Verteilungen unter Verwendung eines differenzierbaren Gaussian-Rasterizers gerendert und gegen multiplen Ground-Truth-Footage trainiert, so dass der Avatar lernt, das Aussehen der realen Person nachzubilden.

Während des Trainings wächst diese Hierarchie automatisch: Bereiche, die mehr Details benötigen, werden weiter unterteilt, geleitet von Bildschirm-Signalen, so dass der Rechenaufwand dort konzentriert wird, wo das Auge des Betrachters am ehesten Fehler bemerken wird.

Bei der Inferenz ermöglicht diese Hierarchie progressives Streaming, wobei eine grobe Version des Avatars zunächst angezeigt werden kann und, wenn zusätzliche Schichten geladen werden, neue Gauss-Verteilungen hinzugefügt werden können, ohne das bereits Angezeigte zu ändern, was einen animierbaren Kopf-Avatar ermöglicht, der schnell erscheint und schärfer und detaillierter wird, wenn mehr Daten eintreffen.

Die Autoren bemerken, dass das gesamte System von der Priorisierung der eingehenden Daten abhängt:

Wenn alle Gauss-Verteilungen auf einem bestimmten Level verfügbar sind, wird das vollständige Modell mit maximaler Treue gerendert; aber während des Streamings ermöglicht die Übertragung der Gauss-Verteilungen mit dem höchsten Beitrag zuerst, dass die frühen partiellen Ergebnisse dem endgültigen Bild sehr nahe kommen, während die Übertragung von Gauss-Verteilungen mit geringem Beitrag zuerst die Farbbalance verzerren und unwichtige Komponenten betont.

Daten und Tests

Für die Tests wurde die neue Methode auf dem NeRSemble-Datensatz ausgewertet, der Multi-View-Videos für jeden abgedeckten Benutzer enthält, mit kalibrierten Parametern über alle Ansichten:

Beispiele für vielfältige Interpretationen von Themen, die im NeRSemble-Datensatz enthalten sind, der für die Tests von ProgressiveAvatars verwendet wird. Quelle

Im Einklang mit der ursprünglichen GaussianAvatars-Methodik wurden Bilder auf 802x550px heruntergeskaliert, eine Vordergrundmaske generiert und der ursprünglichen Projekts Trainings-/Test-Aufteilung übernommen.

Der Adam-Optimizer wurde für Parameter-Updates verwendet, mit einer Lernrate von 1×10^-2 auf allen baryzentrischen Koordinaten. Das Training lief für 60.000 Iterationen, wobei die Hierarchie alle 2.000 Iterationen automatisch erweitert wurde.

Ursprünglich testeten die Autoren die Rekonstruktion und Animation – die Aufgabe, flache Videos in ein 3D-System (x/y/x) umzuwandeln, unter Verwendung von FLAMEs kanonischem CGI-Darstellung als Anker-Netz. Dazu wurden alle Baselines von Grund auf trainiert, und die rivalisierenden Frameworks, die getestet wurden, waren die oben genannten GaussianAvatars und PointAvatar.

Für diese Tests wurden die folgenden Metriken verwendet: Peak Signal-to-Noise Ratio (PSNR), Structural Similarity Index (SSIM) und Learned Perceptual Image Patch Similarity (LPIPS):

Qualitative Vergleich bei neuer Ansicht und neuer Ausdruckssynthese. Die Baseline-GaussianAvatars kämpft mit feinen Details um die Augen, Falten und Hauttextur, während die vorgeschlagene Methode bereits die wichtigsten Gesichtsstrukturen bei etwa fünf Prozent der übertragenen Daten bewahrt und gegen das vollständige Modell und Referenzbilder (Ground-Truth) konvergiert, wenn mehr Gauss-Verteilungen gestreamt werden.

In Bezug auf diese Ergebnisse behaupten die Autoren:

‘[Unsere] Methode rekonstruiert scharfe Details in mehreren Bereichen, insbesondere um den Hals, die Schultern und die Kleidung. Diese Bereiche sind im FLAME-Modell im Vergleich zu hochsaliency-Gesichtszonen (z.B. der periokularen Region) relativ grob unterteilt.

‘Daher weisen vorherige Methoden oft zu wenige 3D-Gauss-Verteilungen zu, um diese feinen Details treu zu erfassen. Im Gegensatz dazu erhöht unsere adaptive Wachstumsstrategie die Anzahl der Gauss-Verteilungen und verfeinert die Hierarchie nur dort, wo es notwendig ist, wodurch die Zuweisung unempfindlich gegenüber FLAMEs nicht-uniformer Unterteilung wird.’

Die Autoren weisen weiter darauf hin, dass ihr Ansatz auf gleicher Höhe mit den State-of-the-Art-Methoden liegt und mit einer trivialen 5-Prozent-Bandbreitenzulassung einen funktionierenden Avatar liefert:

Quantitativer Vergleich bei neuer Ansichtssynthese und neuer Ausdruckssynthese unter Verwendung von PSNR, SSIM und LPIPS. Bei voller Übertragung erreicht die vorgeschlagene Methode den höchsten PSNR bei beiden Aufgaben und bleibt bei den wahrgenommenen Metriken wettbewerbsfähig mit GaussianAvatars, während die 5-Prozent-Einstellung den Qualitätskompromiss bei extremen Bandbreitenbeschränkungen veranschaulicht.

Als nächstes testeten die Forscher das progressive Rendern selbst. Dies wurde auf einem NVIDIA RTX 4090 mit 24 GB VRAM bei einer Auflösung von 550x802px durchgeführt. In diesem Szenario weisen die Autoren darauf hin, dass ein 25-Prozent-Budget alle “Level-1”-Gauss-Verteilungen sowie einen Teil der “Level-2”-Gauss-Verteilungen aufbrauchen würde, was einen groben Überblick darüber gibt, wie die Gauss-Gruppierungen in den höheren Nummerngruppen Detail aufbauen und wie die niedrigeren Nummerngruppen im Wesentlichen die Basis-Leinwand aufbauen:

Leistung bei verschiedenen Übertragungsbudgets für neuer Ansicht und neuer Ausdruckssynthese, die zeigt, dass die Qualität allmählich der von GaussianAvatars nähert oder übertrifft, wenn mehr Gauss-Verteilungen und Daten gestreamt werden, während Echtzeit-Geschwindigkeiten aufrechterhalten werden, auf einem RTX 4090.

Die Autoren bemerken:

‘Mit nur 2,60 MB übertragenen Daten (5-Prozent-Budget) hat der Avatar bereits eine vernünftige Qualität erreicht. Wenn höhere Gauss-Verteilungen gestreamt werden, schärfen sich feine Strukturen wie Hemdknöpfe, Zähne und Haare allmählich, während die zeitliche Stabilität aufrechterhalten wird.

‘Bei 100-Prozent-Übertragung erreicht unser Ansatz eine Rendereigenschaft, die mit den State-of-the-Art-Methoden vergleichbar ist. Bemerkenswerterweise fallen die Bildfrequenzen nicht signifikant ab, wahrscheinlich weil die 3DGS-Arbeit noch nicht die GPU gesättigt hat.’

Jedoch weisen die Autoren darauf hin, dass in Multi-Benutzer-VR-Szenarien die Anzahl der 3D-Gauss-Verteilungen schnell ansteigen würde, bis die GPU-Rasterisierung zu einem Engpass wird. In diesen anspruchsvolleren Szenarien bietet der vorgeschlagene Ansatz einen Vorteil, indem er es dem System ermöglicht, die Anzahl der Primitiven gegen die visuelle Qualität zu tauschen, wodurch die Last verringert wird, ohne das Rendern zusammenzubrechen.

Obwohl die Veröffentlichung dies nicht ausführlich beschreibt, enthält die Projekt-Website zusätzliche Testvergleiche, die auch das MeGA-Hybrid-Mesh-Gaussian-Avatar-Projekt umfassen:

Klicken Sie, um abzuspielen. Einer von mehreren Zusatzvideos von der Projekt-Website, dieser vergleicht den neuen Ansatz in Bezug auf die Synthese neuer Ansichten.

Schlussfolgerung

Gaussian-Splatting mag oder mag nicht Bestand haben oder sogar mehr in Erinnerung bleiben als RealPlayer jetzt in Bezug auf den Anbruch des interaktiven Streamings: KI-getriebene oder KI-gestützte 3D-bewusste Repräsentationserfahrungen, einschließlich Video-Chat, virtuellem Einkaufen, Routen-Navigation und verschiedenen Unterhaltungsanwendungen. Es könnte sein, dass alternative Technologien oder Ansätze siegen oder dass GSplat sich als die zuverlässigste KI-Video-Darstellung erweist.

Wenn nichts anderes, kündigt diese interessante neue Veröffentlichung ein wenig von dem Umfang dieses neuen Gebiets an, während sie uns, vielleicht nostalgisch, an das bandbreitenarme Internet von einst erinnert.

* Mit “3D” meine ich nicht die Art von Erfahrung, die spezielle Brillen erfordert, sondern vielmehr Erfahrungen, bei denen der Multimedia-Inhalt eine Art von Verständnis von X/Y/Z-Koordinaten hat.

Erstveröffentlicht am Mittwoch, 18. März 2026