Meta bringer tale i sanntid og uttrykksfulle avatarer til Muse

Meta kunngjorde 5. november 2026 at talesamtaler i sanntid og uttrykksfulle avatarer rulles ut i Muse-appen i USA på mobil, nett og Mac. Dermed får den personlige KI-agenten et muntlig og visuelt grensesnitt.

Lanseringen følger Metas forhåndsvisning på Connect 2026 23. september 2026, der lange samtaler i sanntid og Muse Realtime Avatar ble presentert. Den tidligere begivenheten demonstrerte konseptene; den nye kunngjøringen markerer at de rulles ut til brukerne. Et telefonikon øverst til høyre starter en samtale.

Talekontroller og oppgaver som pågår

Muse Realtime Voice gir umiddelbare muntlige svar og lar brukerne avbryte agenten. Agenten kan fortsette å arbeide med oppgaver i bakgrunnen mens samtalen pågår, slik at diskusjonen og det delegerte arbeidet kan foregå samtidig.

Eksemplene handler om å videreutvikle en uferdig idé uten først å formulere en presis ledetekst, planlegge en reise ut fra et reisemål og noen få preferanser, og øve til et jobbintervju, en presentasjon eller en salgspitch. Andre eksempler dreier seg om å tildele oppgaver mens man går eller lager mat, mens Muse håndterer arbeidet etter hvert som samtalen skrider fram.

Brukerne kan holde samspillet til tale, plassere avataren ved siden av samtalen eller bytte til en fullskjermsvisning ansikt til ansikt. Avataren reagerer mens den lytter og snakker, med ansiktsuttrykk og gester som passer til tonen. Meta sier at det finnes hundrevis av stemmer å velge mellom, og at man kan bytte mellom dem. Meta viser utvalget med en energisk New York-stil og en sjørøverstil.

Tale utvider en agent som opprinnelig var bygget rundt meldinger og delegerte handlinger. Meta lanserte Muse 8. september 2026, med samhandling gjennom Muse-appen eller WhatsApp. Muse kunne sende e-poster og bestille reiser, fortsette å arbeide etter at appen var lukket og ta opp kontakten igjen når noe endret seg, eller når det var nødvendig med godkjenning før en sensitiv handling, for eksempel et kjøp. De nye funksjonene føyer tale og visuell tilstedeværelse til denne etablerte modellen for oppgaver og godkjenninger.

Systemet bak sanntidsavataren

En teknisk gjennomgang fra Meta AI Research beskriver Muse Realtime Voice og Muse Realtime Avatar som ett strømmesystem. Talemodellen produserer taletokener som formidler både innholdet og måten det skal uttales på. En lydekoder gjør disse tokenene om til tale, mens avatarmodellen bruker den samme strømmen til å lage den visuelle framføringen, slik at stemmen, leppebevegelsene og ansiktsuttrykkene holdes synkronisert.

Avataren er en lydstyrt Diffusion Transformer som betinges av denne tokenstrømmen, referansemedier som et portrett eller en illustrasjon, og et rullerende vindu med nylige videolatenter. Den genererer korte, kausale videobiter. Når hver bit er ferdig, gir de nyeste genererte latentene bevegelseskontekst til den neste. Slik videreføres utseende og manerer, samtidig som beregningsmengden holdes innenfor rammer som gjør at genereringen kan fortsette gjennom hele samtalen.

For å gjøre prosessen brukbar i sanntid opplyser Meta at destillering reduserte genereringen fra 120 veiledede evalueringer av lærermodellen per bit til to uveiledede evalueringer av elevmodellen. Meta beskriver dette som en 60-dobling av effektiviteten, samtidig som kvaliteten fra lærermodellen i stor grad bevares.

Forskerteamet oppgir at systemet produserer portrettvideo med en oppløsning på 448 × 768 piksler ved 25 bilder i sekundet, med omtrent 870 millisekunders forsinkelse fra slutten av brukerens taletur til den første byten i det synkroniserte tale- og videosvaret. Optimaliseringene øker serveringskapasiteten åtte ganger sammenlignet med BF16-baseline med to trinn, og støtter 12 samtidige økter for sanntidsgenerering av video på én GB200. Målingen av forsinkelse gjelder hvor raskt systemet svarer i samtalen, mens kapasitetstallene gjelder serverbelastningen som oppstår ved kontinuerlig videogenerering.

Sikkerhetstiltak og planlagte enheter

Forskningsinnlegget sier at generert avatarvideo har et varig, usynlig Meta Video Seal-vannmerke som ikke øker forsinkelsen i sanntid. Det presiserer også at eksemplene viser modellens kapasitet, og at de ikke alle gjenspeiler avatarer som er tilgjengelige i Muse-appen. Muse er for brukere som er 18 år eller eldre.

Meta sier at talesamtaler også snart kommer til AI Glasses og Muse Charm. På Connect beskrev selskapet bruk av briller som håndfri, og Charm som en lommestor enhet laget for å snakke med og samhandle med Muse.

Lanseringen gjør samhandlingsmodellen til det sentrale framskrittet: Tale, avbrytelser og oppgavekjøring i bakgrunnen er nå samlet i én økt, og avataren tilfører en visuell respons. Det neste uavklarte spørsmålet er om Meta kan utvide denne kombinasjonen til AI Glasses og Muse Charm; disse versjonene er fortsatt planlagt, mens utrullingen av appen i USA fortsetter på mobil, nett og Mac.