Meta wprowadza do Muse głos w czasie rzeczywistym i ekspresyjne awatary

Meta ogłosiła 5 listopada 2026 r., że w aplikacji Muse w Stanach Zjednoczonych udostępniane są rozmowy głosowe w czasie rzeczywistym i ekspresyjne awatary. Nowe funkcje, dostępne na urządzeniach mobilnych, w przeglądarce i na komputerach Mac, wzbogacają osobistego agenta AI o interfejs głosowy i wizualny.

Premiera następuje po prezentacji na Connect 2026 Meta z 23 września 2026 r., podczas której pokazano długie rozmowy w czasie rzeczywistym i Muse Realtime Avatar. Wcześniejsze wydarzenie prezentowało te rozwiązania, a nowe ogłoszenie oznacza ich udostępnienie użytkownikom. Rozmowę rozpoczyna ikona telefonu w prawym górnym rogu.

Sterowanie głosem i zadania wykonywane w tle

Muse Realtime Voice zapewnia natychmiastowe odpowiedzi głosowe i pozwala użytkownikom przerywać agentowi. Agent może kontynuować wykonywanie zadań w tle podczas rozmowy, dzięki czemu dyskusja i zlecona mu praca toczą się równolegle.

Przykłady obejmują rozwijanie niedopracowanego pomysłu bez konieczności wcześniejszego układania precyzyjnego polecenia, planowanie podróży na podstawie miejsca docelowego i kilku preferencji oraz ćwiczenie rozmowy kwalifikacyjnej, prezentacji lub oferty. Inne przykłady dotyczą zlecania zadań podczas spaceru lub gotowania, gdy Muse zajmuje się ich realizacją w trakcie rozmowy.

Użytkownicy mogą rozmawiać wyłącznie głosowo, umieścić awatara obok okna rozmowy albo przełączyć się na pełnoekranowy widok twarzą w twarz. Awatar reaguje podczas słuchania i mówienia, dopasowując mimikę i gesty do tonu rozmowy. Meta podaje, że do wyboru są setki głosów i można je zmieniać. Jako przykłady przedstawia energiczny styl nowojorski i styl piracki.

Obsługa głosowa rozszerza możliwości agenta, który pierwotnie opierał się na komunikacji tekstowej i wykonywaniu zleconych działań. Meta zaprezentowała Muse 8 września 2026 r.; użytkownicy mogli korzystać z niego w aplikacji Muse lub przez WhatsApp. Muse potrafił wysyłać e-maile i rezerwować podróże, kontynuować pracę po zamknięciu aplikacji, a następnie wracać do zadania, gdy coś się zmieniło lub gdy przed wykonaniem wrażliwej czynności, takiej jak zakup, potrzebna była zgoda. Nowe funkcje wzbogacają ten sprawdzony model zadań i zatwierdzania o mowę oraz obecność wizualną.

Jak działa awatar czasu rzeczywistego

Opis techniczny przygotowany przez Meta AI Research przedstawia Muse Realtime Voice i Muse Realtime Avatar jako jeden system strumieniowy. Model głosowy generuje tokeny mowy, które zawierają zarówno treść, jak i sposób jej wypowiedzenia. Dekoder audio przekształca te tokeny w mowę, a model awatara korzysta z tego samego strumienia, by wygenerować obraz, synchronizując głos, ruch ust i mimikę.

Awatar jest sterowany dźwiękiem transformatorem dyfuzyjnym, którego działanie zależy od strumienia tokenów, materiału referencyjnego, takiego jak portret lub ilustracja, oraz przesuwającego się okna niedawno wygenerowanych ukrytych reprezentacji wideo. Generuje krótkie, przyczynowe fragmenty wideo. Po wygenerowaniu każdego fragmentu najnowsze ukryte reprezentacje stają się kontekstem ruchu dla następnego, pozwalając zachować wygląd i manieryzmy awatara, a jednocześnie ograniczając obliczenia, dzięki czemu generowanie może trwać przez całą rozmowę.

Zespół Meta informuje, że destylacja pozwoliła ograniczyć liczbę generowanych ocen z wykorzystaniem modelu nauczyciela ze 120 na fragment do dwóch ocen modelu ucznia, który nie korzysta z takich wskazówek. Według firmy oznacza to 60-krotne ograniczenie tej liczby przy zachowaniu jakości zbliżonej do jakości modelu nauczyciela.

Zespół badawczy informuje, że system generuje pionowe wideo o rozdzielczości 448 × 768 pikseli z szybkością 25 klatek na sekundę, a opóźnienie od zakończenia wypowiedzi użytkownika do pierwszego bajtu zsynchronizowanej odpowiedzi głosowej i wideo wynosi około 870 milisekund. Dzięki optymalizacjom przepustowość obsługi jest ośmiokrotnie większa niż w przypadku bazowej konfiguracji BF16 z dwoma etapami, a na jednym układzie GB200 można prowadzić 12 równoczesnych sesji generowania wideo w czasie rzeczywistym. Pomiar opóźnienia dotyczy płynności rozmowy, natomiast dane o przepustowości odnoszą się do obciążenia obsługowego powodowanego przez ciągłe generowanie wideo.

Zabezpieczenia i planowane urządzenia

We wpisie badawczym podano, że generowane wideo awatarów zawiera trwały, niewidoczny znak wodny Meta Video Seal, który nie powoduje opóźnień w czasie rzeczywistym. Zaznaczono również, że przykłady pokazują możliwości modelu i nie wszystkie przedstawiają awatary dostępne w aplikacji Muse. Z Muse mogą korzystać osoby, które ukończyły 18 lat.

Meta informuje, że rozmowy głosowe będą wkrótce dostępne także na AI Glasses i Muse Charm. Podczas Connect firma opisała obsługę okularów jako bezdotykową, a Charm jako kieszonkowe urządzenie przeznaczone do mówienia i interakcji z Muse.

Najważniejszą zmianą wprowadzoną wraz z premierą jest nowy model interakcji: mowa, możliwość przerywania i wykonywanie zadań w tle są teraz dostępne w ramach jednej sesji, a awatar zapewnia wizualną odpowiedź. Niewiadomą pozostaje, czy Meta będzie w stanie przenieść to połączenie funkcji na AI Glasses i Muse Charm. Te wersje są nadal planowane, podczas gdy wdrażanie aplikacji w Stanach Zjednoczonych na urządzeniach mobilnych, w przeglądarce i na komputerach Mac trwa.