KI-Modelle und Plattformen
Meta bringt Echtzeit-Sprachinteraktion und ausdrucksstarke Avatare zu Muse
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
Meta kündigte am 5. November 2026 an, dass Echtzeit-Sprachgespräche und ausdrucksstarke Avatare in der Muse-App in den USA auf Mobilgeräten, im Web und auf dem Mac eingeführt werden. Damit erhält der persönliche KI-Agent eine gesprochene, visuelle Benutzeroberfläche.
Die Veröffentlichung folgt auf die Vorschau bei Connect 2026 am 23. September 2026, bei der lange Echtzeitgespräche und Muse Realtime Avatar vorgestellt wurden. Bei der früheren Veranstaltung wurden die Konzepte demonstriert; die neue Ankündigung markiert ihre Einführung für die Nutzer. Ein Telefonsymbol in der oberen rechten Ecke startet ein Gespräch.
Sprachsteuerung und laufende Aufgaben
Muse Realtime Voice liefert sofort gesprochene Antworten und ermöglicht es den Nutzern, den Agenten zu unterbrechen. Während das Gespräch weitergeht, kann der Agent im Hintergrund an Aufgaben weiterarbeiten. So können sich Unterhaltung und delegierte Arbeit gleichzeitig fortsetzen.
Zu den Beispielen gehören, einen noch unausgereiften Gedanken weiterzuentwickeln, ohne zunächst einen präzisen Prompt zu formulieren, eine Reise anhand eines Reiseziels und einiger Vorlieben zu planen sowie ein Bewerbungsgespräch, eine Präsentation oder einen Pitch zu üben. In anderen Beispielen werden Aufgaben beim Spazierengehen oder Kochen zugewiesen, während Muse sie im Verlauf des Gesprächs erledigt.
Nutzer können die Interaktion ausschließlich per Sprache führen, den Avatar neben dem Gespräch anzeigen oder zu einer Vollbildansicht von Angesicht zu Angesicht wechseln. Der Avatar reagiert beim Zuhören und Sprechen mit zum Tonfall passenden Gesichtsausdrücken und Gesten. Meta zufolge stehen Hunderte Stimmen zur Auswahl, die sich wechseln lassen. Als Beispiele nennt das Unternehmen einen energiegeladenen New Yorker Stil und einen Piratenstil.
Die Sprachfunktion erweitert einen Agenten, der ursprünglich auf Nachrichten und delegierte Aktionen ausgelegt war. Meta führte Muse am 8. September 2026 ein; die Interaktion war über die Muse-App oder WhatsApp möglich. Muse konnte E-Mails versenden und Reisen buchen, nach dem Schließen der App weiterarbeiten und sich wieder melden, wenn sich etwas änderte oder vor einer sensiblen Aktion wie einem Kauf eine Genehmigung erforderlich war. Die neuen Funktionen ergänzen dieses etablierte Aufgaben- und Genehmigungsmodell um Sprache und eine visuelle Präsenz.
Das System hinter dem Echtzeit-Avatar
Ein technischer Bericht von Meta AI Research beschreibt Muse Realtime Voice und Muse Realtime Avatar als ein gemeinsames Streaming-System. Das Sprachmodell erzeugt Sprachtokens, die sowohl den Inhalt als auch die Art seiner Wiedergabe festlegen. Ein Audiodecoder wandelt diese Tokens in Sprache um, während das Avatar-Modell denselben Datenstrom nutzt, um die visuelle Darstellung zu erzeugen. So bleiben Stimme, Lippenbewegungen und Gesichtsausdruck synchron.
Der Avatar basiert auf einem audiogesteuerten Diffusion Transformer, der anhand dieses Token-Datenstroms, von Referenzmaterial wie einem Porträt oder einer Illustration und eines gleitenden Fensters mit kürzlich erzeugten Video-Latents gesteuert wird. Er erzeugt kurze, kausal aufgebaute Videosequenzen. Sobald eine Sequenz fertig ist, dienen ihre zuletzt erzeugten Latents als Bewegungskontext für die nächste. So werden Aussehen und Eigenheiten der Bewegungen fortgeführt und zugleich wird der Rechenaufwand begrenzt, damit die Generierung während des gesamten Gesprächs fortgesetzt werden kann.
Das Forschungsteam berichtet, dass durch Destillation die Zahl der geführten Auswertungen des Lehrermodells pro Sequenz von 120 auf zwei ungeführte Auswertungen des Schülermodells sank. Dies entspreche einer 60-fachen Verringerung bei weitgehender Beibehaltung der Qualität des Lehrermodells.
Das Forschungsteam berichtet von einer Ausgabe im Hochformat mit 448 × 768 Pixeln und 25 Bildern pro Sekunde sowie einer Latenz von etwa 870 Millisekunden zwischen dem Ende des Nutzerbeitrags und dem ersten Byte der synchronisierten Sprach- und Videoreaktion. Durch die Optimierungen steigt die Bereitstellungskapazität gegenüber der BF16-Baseline mit zwei Schritten um das Achtfache; außerdem werden 12 parallel laufende Echtzeit-Videogenerierungssitzungen auf einem GB200 unterstützt. Die Latenzmessung betrifft die Reaktionsfähigkeit im Gespräch, während sich die Kapazitätsangaben auf die Auslastung durch die kontinuierliche Videogenerierung beziehen.
Schutzmaßnahmen und geplante Geräte
Dem Forschungsbeitrag zufolge enthalten die generierten Avatarvideos ein dauerhaftes, unsichtbares Meta Video Seal-Wasserzeichen, ohne dass dadurch zusätzliche Latenz in Echtzeit entsteht. Zugleich weist Meta darauf hin, dass die Beispiele die Fähigkeiten des Modells veranschaulichen und nicht alle Avatare zeigen, die in der Muse-App verfügbar sind. Muse ist für Nutzer ab 18 Jahren bestimmt.
Meta zufolge werden Sprachgespräche bald auch für AI Glasses und Muse Charm verfügbar sein. Bei Connect beschrieb das Unternehmen den Zugriff über die Brille als freihändig und Charm als ein Gerät im Taschenformat, das für Gespräche und die Interaktion mit Muse entwickelt wurde.
Die Veröffentlichung rückt das Interaktionsmodell in den Mittelpunkt: Sprache, Unterbrechungen und die Ausführung von Aufgaben im Hintergrund finden nun in einer einzigen Sitzung statt, ergänzt durch eine visuelle Reaktion des Avatars. Ob Meta diese Kombination auch auf AI Glasses und Muse Charm ausweiten kann, bleibt die nächste offene Frage. Diese Versionen sind weiterhin geplant, während die Einführung der App in den USA auf Mobilgeräten, im Web und auf dem Mac voranschreitet.
