Meta aduce voce în timp real și avataruri expresive în Muse

Meta a anunțat pe 5 noiembrie 2026 că funcția de conversații vocale în timp real și avatarurile expresive sunt lansate în aplicația Muse în SUA, pe mobil, web și Mac, adăugând o interfață vocală și vizuală agentului său personal de inteligență artificială.

Lansarea vine după prezentarea în avanpremieră de la Connect 2026, din 23 septembrie 2026, care a inclus conversații lungi în timp real și Muse Realtime Avatar. Evenimentul anterior a demonstrat aceste concepte; noul anunț marchează lansarea lor pentru utilizatori. Pictograma unui telefon din colțul din dreapta sus inițiază o conversație.

Comenzi vocale și sarcini în desfășurare

Muse Realtime Voice oferă răspunsuri vocale imediate și le permite utilizatorilor să întrerupă agentul. Agentul poate continua să lucreze la sarcini în fundal în timp ce conversația continuă, astfel încât discuția și activitatea delegată să se desfășoare în paralel.

Exemplele se concentrează pe dezvoltarea unei idei incomplete fără a formula mai întâi o cerere precisă, planificarea unei călătorii pornind de la destinație și câteva preferințe și exersarea unui interviu de angajare, a unei prezentări sau a unei propuneri. Alte exemple presupun atribuirea unor sarcini în timp ce utilizatorul merge pe jos sau gătește, Muse ocupându-se de ele pe măsură ce conversația continuă.

Utilizatorii pot păstra interacțiunea exclusiv vocală, pot afișa avatarul lângă conversație sau pot trece la o vizualizare pe tot ecranul, față în față. Avatarul reacționează în timp ce ascultă și vorbește, folosind expresii și gesturi potrivite tonului. Meta spune că utilizatorii pot alege dintre sute de voci și că selecția poate fi schimbată. Pentru a ilustra opțiunile, compania prezintă un stil newyorkez energic și unul de pirat.

Vocea extinde un agent conceput inițial pentru mesagerie și executarea acțiunilor delegate. Meta a prezentat Muse pe 8 septembrie 2026, cu interacțiune prin aplicația Muse sau WhatsApp. Muse putea trimite e-mailuri și rezerva călătorii, putea continua să lucreze după închiderea aplicației și revenea atunci când se schimba ceva sau când era nevoie de aprobare înaintea unei acțiuni sensibile, precum o achiziție. Noile funcții adaugă vorbirea și prezența vizuală acestui model deja consacrat, bazat pe sarcini și aprobări.

Sistemul din spatele avatarului în timp real

O descriere tehnică de la Meta AI Research prezintă Muse Realtime Voice și Muse Realtime Avatar ca pe un singur sistem de streaming. Modelul vocal generează tokenuri de vorbire care conțin atât mesajul, cât și modul în care este rostit. Un decodor audio transformă aceste tokenuri în vorbire, în timp ce modelul avatarului folosește același flux pentru a genera prestația vizuală, sincronizând vocea, mișcarea buzelor și expresiile.

Avatarul este un Diffusion Transformer ghidat de semnalul audio, condiționat de fluxul de tokenuri, de materiale de referință precum un portret sau o ilustrație și de o fereastră glisantă cu reprezentări latente video recente. Acesta generează secvențe video cauzale scurte. Pe măsură ce fiecare secvență este finalizată, cele mai noi reprezentări latente generate oferă contextul de mișcare pentru următoarea, păstrând aspectul și manierismele avatarului și limitând totodată volumul de calcul, astfel încât generarea să poată continua pe tot parcursul conversației.

Pentru ca acest proces să poată fi folosit în timp real, Meta afirmă că distilarea a redus numărul evaluărilor ghidate ale modelului-profesor de la 120 pentru fiecare secvență la două evaluări fără ghidaj ale modelului-elev. Compania descrie această reducere ca fiind de 60 de ori, păstrând îndeaproape calitatea modelului-profesor.

Echipa de cercetare raportează generarea de videoclipuri portret cu rezoluția de 448 × 768 pixeli, la 25 de cadre pe secundă, și o latență de aproximativ 870 de milisecunde între încheierea intervenției utilizatorului și primul octet al răspunsului sincronizat, audio și video. Optimizările măresc de opt ori capacitatea de servire față de configurația de referință BF16 în doi pași și permit 12 sesiuni concurente de generare video în timp real pe un singur GB200. Măsurarea latenței se referă la capacitatea de reacție în conversație, în timp ce cifrele privind capacitatea se referă la volumul de solicitări generat de producția video continuă.

Măsuri de siguranță și dispozitive planificate

Postarea de cercetare afirmă că videoclipurile generate cu avataruri includ un filigran Meta Video Seal invizibil și persistent, fără a adăuga latență în timp real. De asemenea, precizează că exemplele ilustrează capacitățile modelului și că nu toate avatarurile prezentate sunt disponibile în aplicația Muse. Muse este destinat utilizatorilor cu vârsta de cel puțin 18 ani.

Meta spune că apelurile vocale vor fi disponibile în curând și pe AI Glasses și pe Muse Charm. La Connect, compania a descris accesul prin ochelari ca fiind hands-free, iar Charm ca pe un dispozitiv de buzunar conceput pentru a vorbi și a interacționa cu Muse.

Lansarea face din modelul de interacțiune principala noutate: vorbirea, întreruperea și executarea sarcinilor în fundal au loc acum în cadrul aceleiași sesiuni, iar avatarul adaugă un răspuns vizual. Rămâne de văzut dacă Meta va putea extinde această combinație la AI Glasses și Muse Charm; aceste versiuni sunt încă planificate, în timp ce lansarea aplicației în SUA continuă pe mobil, web și Mac.