Meta för in röst i realtid och uttrycksfulla avatarer i Muse

Meta meddelade den 5 november 2026 att röstsamtal i realtid och uttrycksfulla avatarer lanseras i Muse-appen i USA för mobil, webben och Mac. Därmed får den personliga AI-agenten ett talat, visuellt gränssnitt.

Lanseringen följer efter Metas förhandsvisning på Connect 2026 den 23 september 2026, där långa samtal i realtid och Muse Realtime Avatar visades. Det tidigare evenemanget demonstrerade koncepten; det nya tillkännagivandet markerar att de nu rullas ut till användarna. En telefonikon i det övre högra hörnet startar ett samtal.

Röststyrning och uppgifter som fortsätter i bakgrunden

Muse Realtime Voice ger omedelbara muntliga svar och låter användarna avbryta agenten. Agenten kan fortsätta arbeta med uppgifter i bakgrunden medan samtalet pågår, så att diskussionen och det delegerade arbetet kan fortsätta parallellt.

Exemplen handlar om att vidareutveckla en ofärdig idé utan att först formulera en exakt prompt, planera en resa utifrån en destination och några önskemål samt öva inför en jobbintervju, presentation eller pitch. Andra exempel är att tilldela uppgifter medan man promenerar eller lagar mat, medan Muse sköter arbetet under samtalets gång.

Användarna kan hålla interaktionen enbart röstbaserad, placera avataren bredvid samtalet eller växla till en helskärmsvy ansikte mot ansikte. Avataren reagerar medan den lyssnar och talar, med uttryck och gester som passar tonen. Meta uppger att det finns hundratals röster att välja mellan och att det går att byta röst. Som exempel på urvalet nämner företaget en energisk New York-dialekt och en piratröst.

Röstfunktionen utökar en agent som ursprungligen byggdes kring meddelanden och delegerade uppgifter. Meta introducerade Muse den 8 september 2026, med interaktion via Muse-appen eller WhatsApp. Muse kunde skicka e-post och boka resor, fortsätta arbeta efter att appen stängts och återkomma när något ändrades eller när ett godkännande krävdes före en känslig åtgärd, till exempel ett köp. De nya funktionerna tillför tal och visuell närvaro till den etablerade modellen med uppgifter och godkännanden.

Systemet bakom avataren i realtid

En teknisk redogörelse från Meta AI Research beskriver Muse Realtime Voice och Muse Realtime Avatar som ett enda strömningssystem. Röstmodellen skapar taletoken som förmedlar både innehållet och hur det ska framföras. En ljudavkodare omvandlar dessa token till tal, medan avatarmodellen använder samma ström för att skapa den visuella återgivningen och hålla rösten, läpprörelserna och ansiktsuttrycken synkroniserade.

Avataren är en ljudstyrd Diffusion Transformer som betingas av denna tokenström, referensmaterial som ett porträtt eller en illustration och ett rullande fönster med nyligen genererade latenta videorepresentationer. Den genererar korta kausala videoblock. När varje block är färdigt används de senast genererade latenta representationerna som rörelsekontext för nästa block. På så sätt förs utseende och manér vidare, samtidigt som beräkningarna begränsas så att genereringen kan fortsätta under hela samtalet.

För att göra processen användbar i realtid uppger Meta att destillering minskade genereringen från 120 utvärderingar per block med en styrd lärarmodell till två utvärderingar med en ostyrd studentmodell. Företaget beskriver detta som en 60-faldig minskning, samtidigt som lärarmodellens kvalitet i stort sett bevaras.

Forskargruppen uppger att systemet genererar porträttvideo med upplösningen 448 × 768 bildpunkter och 25 bildrutor per sekund. Fördröjningen från det att användarens tur är slut till den första byten i det synkroniserade ljud- och videosvaret är cirka 870 millisekunder. Optimeringarna ökar serverkapaciteten åtta gånger jämfört med baslinjen med två steg i BF16 och möjliggör 12 samtidiga sessioner för videogenerering i realtid på en GB200. Fördröjningsmåttet gäller hur snabbt samtalet kan föras, medan kapacitetssiffrorna avser serverbelastningen från den kontinuerliga videogenereringen.

Skyddsåtgärder och planerade enheter

I forskningsinlägget står det att den genererade avatarvideon förses med en beständig, osynlig vattenstämpel från Meta Video Seal, utan att fördröjningen i realtid ökar. Inlägget påpekar också att exemplen visar modellens kapacitet och att alla avatarer som visas inte finns tillgängliga i Muse-appen. Muse är avsedd för personer som är 18 år eller äldre.

Meta uppger att röstsamtal även kommer till AI Glasses och Muse Charm inom kort. På Connect beskrev företaget glasögonens åtkomst som handsfree och Charm som en fickstor enhet utformad för att tala med och interagera med Muse.

Lanseringen gör interaktionsmodellen till den centrala utvecklingen: tal, avbrott och uppgifter som utförs i bakgrunden ryms nu i en och samma session, och avataren tillför visuella svar. Om Meta kan föra över den kombinationen till AI Glasses och Muse Charm är nästa öppna fråga. Dessa versioner är fortfarande planerade, medan lanseringen av appen i USA pågår för mobil, webben och Mac.