Моделі та платформи ШІ
Meta додає до Muse голосове спілкування в реальному часі та виразливі аватари
Додайте Unite.AI до бажаних джерел у Google
Meta оголосила 5 листопада 2026 року про запуск голосових розмов у реальному часі та виразливих аватарів у застосунку Muse у США — на мобільних пристроях, у вебверсії та на Mac. Так до персонального ШІ-агента додається голосовий і візуальний інтерфейс.
Запуск відбувся після попереднього показу на Connect 2026 від Meta, що відбувся 23 вересня 2026 року й охоплював тривалі розмови в реальному часі та Muse Realtime Avatar. На попередньому заході показали ці концепції, а нове оголошення знаменує їх запуск для користувачів. Щоб почати розмову, натисніть значок телефона у верхньому правому куті.
Голосове керування та виконання завдань у фоновому режимі
Muse Realtime Voice миттєво відповідає голосом і дає користувачам змогу перебивати агента. Агент може паралельно виконувати завдання у фоновому режимі, поки триває розмова, тож обговорення й доручена робота відбуваються одночасно.
Серед прикладів — розвиток незавершеної ідеї без попереднього формулювання точного запиту, планування подорожі на основі пункту призначення та кількох побажань, а також репетиція співбесіди, презентації чи промови. В інших прикладах користувач доручає завдання під час прогулянки або приготування їжі, а Muse виконує їх у міру того, як триває розмова.
Користувачі можуть спілкуватися лише голосом, розмістити аватар поруч із розмовою або перейти в повноекранний режим спілкування віч-на-віч. Аватар реагує під час слухання й мовлення, використовуючи вирази обличчя та жести, що відповідають тону розмови. За словами Meta, на вибір є сотні голосів, і його можна змінити. Як приклади компанія наводить енергійну манеру мовлення мешканця Нью-Йорка та піратську манеру.
Голосове спілкування розширює можливості агента, який спочатку був створений для обміну повідомленнями та виконання доручень. Meta представила Muse 8 вересня 2026 року; взаємодія з ним відбувалася через застосунок Muse або WhatsApp. Muse міг надсилати електронні листи й бронювати подорожі, продовжував працювати після закриття застосунку та повертався до користувача, якщо щось змінювалося або перед чутливою дією, як-от покупкою, потрібно було отримати схвалення. Нові функції додають голос і візуальну присутність до вже налагодженої моделі виконання завдань і отримання схвалення.
Як працює аватар у реальному часі
У технічному описі від Meta AI Research Muse Realtime Voice і Muse Realtime Avatar представлені як єдина потокова система. Голосова модель генерує мовленнєві токени, що містять і зміст, і спосіб його передавання. Аудіодекодер перетворює ці токени на мовлення, а модель аватара використовує той самий потік для створення візуального виконання, синхронізуючи голос, рухи губ і вираз обличчя.
Аватар — це аудіокерований дифузійний трансформер, роботу якого визначають потік токенів, референсні матеріали на кшталт портрета чи ілюстрації та рухоме вікно нещодавно згенерованих латентних представлень відео. Він генерує короткі причинно-обумовлені відеофрагменти. Щойно фрагмент готовий, його найновіші згенеровані латентні представлення стають контекстом руху для наступного. Так зберігаються зовнішність і манери аватара, а обсяг обчислень обмежується, щоб генерація могла тривати протягом усієї розмови.
Дослідницька команда повідомляє, що дистиляція скоротила кількість керованих оцінювань моделі-вчителя для генерації одного фрагмента зі 120 до двох некерованих оцінювань моделі-учня. За описом команди, це скорочення у 60 разів із майже повним збереженням якості моделі-вчителя.
Дослідницька команда повідомляє, що система генерує портретне відео розміром 448 × 768 пікселів із частотою 25 кадрів на секунду; затримка від завершення репліки користувача до першого байта синхронізованої голосової та відеовідповіді становить приблизно 870 мілісекунд. Завдяки оптимізації пропускна здатність обслуговування зростає у вісім разів порівняно з базовим варіантом у два кроки BF16, а на одному GB200 підтримуються 12 одночасних сеансів генерації відео в реальному часі. Показник затримки характеризує швидкість реагування в розмові, тоді як показники пропускної здатності стосуються навантаження на обслуговування, спричиненого безперервною генерацією відео.
Засоби захисту та пристрої, заплановані до випуску
У дослідницькій публікації зазначено, що згенероване відео з аватарами містить стійкий невидимий водяний знак Meta Video Seal, який не додає затримки в реальному часі. Також наголошується, що наведені приклади демонструють можливості моделі й не всі відповідають аватарам, доступним у застосунку Muse. Muse призначений для користувачів віком від 18 років.
Meta повідомляє, що незабаром голосові розмови з’являться також в AI Glasses і Muse Charm. На Connect компанія описала доступ через окуляри як безконтактний, а Charm — як кишеньковий пристрій, призначений для голосового спілкування та взаємодії з Muse.
Головна зміна в цьому випуску — нова модель взаємодії: голос, можливість перебивати агента й виконання завдань у фоновому режимі тепер поєднані в одному сеансі, а аватар додає візуальну відповідь. Чи зможе Meta перенести це поєднання на AI Glasses і Muse Charm — питання, яке поки залишається відкритим: ці версії ще лише заплановані, тоді як запуск застосунку у США триває на мобільних пристроях, у вебверсії та на Mac.
