Meta brengt realtime spraak en expressieve avatars naar Muse

Meta maakte bekend dat realtime spraakgesprekken en expressieve avatars vanaf 5 november 2026 worden uitgerold in de Muse-app in de VS, op mobiel, het web en Mac. Daarmee krijgt zijn persoonlijke AI-agent een gesproken, visuele interface.

De release volgt op Meta’s voorproefje van Connect 2026 op 23 september 2026, waar lange realtimegesprekken en Muse Realtime Avatar aan bod kwamen. Tijdens het eerdere evenement werden de concepten gedemonstreerd; met de nieuwe aankondiging wordt de uitrol ervan naar gebruikers ingeluid. Met het telefoonpictogram in de rechterbovenhoek start je een gesprek.

Spraakbediening en doorlopende taken

Muse Realtime Voice geeft direct gesproken antwoorden en laat gebruikers de agent onderbreken. De agent kan op de achtergrond aan taken blijven werken terwijl het gesprek doorgaat, zodat het gesprek en het uitbestede werk tegelijk kunnen verlopen.

De voorbeelden draaien om het verder uitwerken van een onvolledig idee zonder eerst een nauwkeurige prompt op te stellen, het plannen van een reis op basis van een bestemming en enkele voorkeuren, en het oefenen van een sollicitatiegesprek, presentatie of pitch. Andere voorbeelden zijn het toewijzen van taken tijdens het wandelen of koken, waarbij Muse het werk uitvoert terwijl het gesprek doorgaat.

Gebruikers kunnen ervoor kiezen alleen met spraak te communiceren, de avatar naast het gesprek weer te geven of over te schakelen naar een schermvullende weergave van een gesprek van aangezicht tot aangezicht. De avatar reageert tijdens het luisteren en spreken met uitdrukkingen en gebaren die passen bij de toon. Volgens Meta zijn er honderden stemmen om uit te kiezen en kan de selectie worden gewijzigd. Ter illustratie noemt Meta een energieke New Yorkse stijl en een piratenstijl.

Spraak bouwt voort op een agent die oorspronkelijk was ontwikkeld voor berichtenverkeer en het uitvoeren van gedelegeerde taken. Meta introduceerde Muse op 8 september 2026, met interactie via de Muse-app of WhatsApp. Muse kon e-mails versturen en reizen boeken, blijven werken nadat de app was gesloten en weer contact opnemen als er iets veranderde of als goedkeuring nodig was voordat een gevoelige handeling, zoals een aankoop, werd uitgevoerd. De nieuwe functies voegen spraak en een visuele aanwezigheid toe aan dit bestaande model van taken en goedkeuring.

Het systeem achter de realtimeavatar

Een technische beschrijving van Meta AI Research beschrijft Muse Realtime Voice en Muse Realtime Avatar als één streamingsysteem. Het spraakmodel produceert spraaktokens die zowel de inhoud als de manier waarop die wordt uitgesproken bevatten. Een audiodecoder zet die tokens om in spraak, terwijl het avatarmodel dezelfde stream gebruikt om de visuele vertolking te genereren, zodat de stem, lipbewegingen en gezichtsuitdrukkingen synchroon blijven.

De avatar is een door audio aangestuurde Diffusion Transformer, die wordt gevoed met die tokenstream, referentiemateriaal zoals een portret of illustratie en een voortschuivend venster met recente latente videorepresentaties. Het model genereert korte, causale videofragmenten. Zodra een fragment klaar is, leveren de nieuwste gegenereerde latente representaties bewegingscontext voor het volgende fragment. Zo blijven het uiterlijk en de maniertjes behouden, terwijl de rekenlast wordt begrensd zodat de generatie gedurende het hele gesprek kan doorgaan.

Meta meldt dat distillatie de generatie heeft teruggebracht van 120 evaluaties per fragment door een begeleid teachermodel naar twee evaluaties door een onbegeleid studentmodel, zodat het proces in realtime kan worden gebruikt. Het bedrijf omschrijft dit als een vermindering met een factor 60, waarbij de kwaliteit van het teachermodel grotendeels behouden blijft.

Het onderzoeksteam meldt dat het portretvideo uitvoert met een resolutie van 448 bij 768 pixels en 25 frames per seconde, met een latentie van ongeveer 870 milliseconden tussen het einde van de beurt van een gebruiker en de eerste byte van het gesynchroniseerde spraak- en videoantwoord. Dankzij de optimalisaties is de verwerkingscapaciteit voor dienstverlening acht keer zo groot als bij de BF16-basislijn met twee stappen. Ook ondersteunen ze 12 gelijktijdige realtimevideogeneratiesessies op één GB200. De latentiemeting heeft betrekking op de reactiesnelheid in gesprekken, terwijl de capaciteitscijfers slaan op de belasting van de dienstverlening door doorlopende videogeneratie.

Waarborgen en geplande apparaten

In het onderzoeksbericht staat dat gegenereerde avatarvideo een duurzaam, onzichtbaar watermerk van Meta Video Seal bevat, zonder dat dit extra realtimevertraging oplevert. Ook wordt gewaarschuwd dat de voorbeelden de mogelijkheden van het model illustreren en niet allemaal overeenkomen met avatars die beschikbaar zijn in de Muse-app. Muse is bedoeld voor gebruikers van 18 jaar en ouder.

Volgens Meta komen spraakgesprekken binnenkort ook naar AI Glasses en Muse Charm. Tijdens Connect beschreef het bedrijf de toegang via een bril als handsfree en Charm als een zakformaatapparaat dat is ontworpen om met Muse te praten en ermee te communiceren.

De belangrijkste ontwikkeling in deze release is het interactiemodel: spraak, onderbrekingen en het uitvoeren van taken op de achtergrond komen nu samen in één sessie, waaraan de avatar een visuele reactie toevoegt. De vraag is nu of Meta deze combinatie kan uitbreiden naar AI Glasses en Muse Charm. Die versies staan nog op de planning, terwijl de uitrol van de app in de VS op mobiel, het web en Mac doorgaat.