Meta føjer tale i realtid og udtryksfulde avatarer til Muse

Meta annoncerede den 5. november 2026, at samtaler med tale i realtid og udtryksfulde avatarer bliver rullet ud i Muse-appen i USA på tværs af mobil, web og Mac. Det føjer en talebaseret, visuel brugerflade til virksomhedens personlige AI-agent.

Udrulningen følger efter Metas forhåndsvisning på Connect 2026 den 23. september 2026, hvor der blev vist lange samtaler i realtid og Muse Realtime Avatar. Den tidligere begivenhed demonstrerede koncepterne; den nye annoncering markerer, at de rulles ud til brugerne. Et telefonikon i øverste højre hjørne starter en samtale.

Styring af tale og opgaver, der fortsætter i baggrunden

Muse Realtime Voice giver øjeblikkelige mundtlige svar og lader brugerne afbryde agenten. Agenten kan fortsætte med at arbejde på opgaver i baggrunden, mens samtalen fortsætter, så diskussionen og det delegerede arbejde kan foregå sideløbende.

Eksemplerne handler om at videreudvikle en ufærdig idé uden først at formulere en præcis prompt, planlægge en rejse ud fra en destination og nogle få præferencer samt øve sig til en jobsamtale, en præsentation eller en salgspitch. Andre eksempler omfatter at tildele opgaver, mens man går eller laver mad, og lade Muse håndtere arbejdet, mens samtalen fortsætter.

Brugerne kan nøjes med tale, placere avataren ved siden af samtalen eller skifte til en fuldskærmsvisning ansigt til ansigt. Avataren reagerer, mens den lytter og taler, med ansigtsudtryk og gestik, der passer til samtalens tone. Meta oplyser, at der er hundredvis af stemmer at vælge imellem, og at man kan skifte mellem dem. Som eksempler på stemmeudvalget nævner Meta en energisk New Yorker-stil og en piratstil.

Tale udvider en agent, der oprindeligt var bygget op omkring beskeder og delegerede handlinger. Meta lancerede Muse den 8. september 2026 med mulighed for at interagere via Muse-appen eller WhatsApp. Muse kunne sende e-mails og booke rejser, fortsætte arbejdet, efter at appen var blevet lukket, og vende tilbage, når noget ændrede sig, eller når der var brug for godkendelse inden en følsom handling som et køb. De nye funktioner føjer tale og visuel tilstedeværelse til den etablerede model for opgaver og godkendelser.

Systemet bag avataren i realtid

En teknisk redegørelse fra Meta AI Research beskriver Muse Realtime Voice og Muse Realtime Avatar som ét samlet streamingsystem. Stemmemodellen genererer taletokens, der indeholder både indholdet og måden, det skal fremføres på. En lyddekoder omdanner disse tokens til tale, mens avatarmodellen bruger den samme datastrøm til at skabe den visuelle fremførelse, så stemmen, læbebevægelserne og ansigtsudtrykkene er synkroniserede.

Avataren er en lyddrevet Diffusion Transformer, der er betinget af denne tokenstrøm, referencemateriale som et portræt eller en illustration samt et rullende vindue med nylige videolatenter. Den genererer korte, kausale videosekvenser. Når hver sekvens er færdig, bruges de nyeste genererede latenter som bevægelseskontekst for den næste, så udseende og manerer videreføres, samtidig med at beregningsarbejdet begrænses, så genereringen kan fortsætte under hele samtalen.

Meta oplyser, at destillation gjorde processen anvendelig i realtid ved at reducere genereringen fra 120 evalueringer med en vejledt lærermodel pr. sekvens til to evalueringer med en uvejledt studentermodel. Meta beskriver det som en reduktion på 60 gange, samtidig med at lærermodellens kvalitet i vid udstrækning bevares.

Forskerholdet oplyser, at systemet genererer portrætvideo i formatet 448 × 768 ved 25 billeder i sekundet, med en latenstid på cirka 870 millisekunder fra afslutningen af brugerens tur til den første byte af det synkroniserede svar med tale og video. Optimeringerne øger kapaciteten til at betjene forespørgsler otte gange i forhold til BF16-baseline med to trin og understøtter 12 samtidige sessioner med videogenerering i realtid på én GB200. Latenstidsmålingen handler om, hvor hurtigt systemet reagerer i samtaler, mens kapacitetstallene vedrører belastningen fra kontinuerlig videogenerering.

Sikkerhedsforanstaltninger og planlagte enheder

I forskningsindlægget står der, at genereret avatarvideo indeholder et holdbart, usynligt Meta Video Seal-vandmærke, uden at det øger latenstiden i realtid. Det understreges også, at eksemplerne viser modellens muligheder, og at de ikke alle svarer til avatarer, der er tilgængelige i Muse-appen. Muse er beregnet til brugere på 18 år og derover.

Meta oplyser, at stemmesamtaler også snart kommer til AI Glasses og Muse Charm. På Connect beskrev virksomheden adgang via brillerne som håndfri og Charm som en enhed i lommestørrelse, der er designet til at tale med og interagere med Muse.

Udrulningen gør interaktionsmodellen til det centrale fremskridt: Tale, afbrydelser og opgaver, der udføres i baggrunden, foregår nu i én session, og avataren tilføjer en visuel respons. Det næste åbne spørgsmål er, om Meta kan udvide denne kombination til AI Glasses og Muse Charm; disse versioner er stadig planlagte, mens appen rulles ud i USA på mobil, web og Mac.