Модели и платформы ИИ
Meta добавляет в Muse голосовое общение в реальном времени и выразительные аватары
Добавьте Unite.AI в избранные источники в Google
Meta объявила 5 ноября 2026 года о запуске голосовых разговоров в реальном времени и выразительных аватаров в приложении Muse в США на мобильных устройствах, в веб-версии и на Mac. Так в интерфейсе персонального ИИ-агента появились голосовое общение и визуальное представление.
Запуск последовал за предварительной демонстрацией на Connect 2026 от Meta, состоявшейся 23 сентября 2026 года: на ней показали продолжительные разговоры в реальном времени и Muse Realtime Avatar. На прежнем мероприятии продемонстрировали эти возможности, а новое объявление знаменует их запуск для пользователей. Чтобы начать разговор, нажмите на значок телефона в правом верхнем углу.
Голосовое управление и выполнение задач в фоновом режиме
Muse Realtime Voice сразу отвечает голосом и позволяет пользователям перебивать агента. Пока разговор продолжается, агент может параллельно выполнять задачи в фоновом режиме — обсуждение и порученная работа идут одновременно.
В числе примеров — развитие незавершённой идеи без необходимости заранее составлять точный запрос, планирование поездки на основе пункта назначения и нескольких предпочтений, а также подготовка к собеседованию, презентации или выступлению с предложением. В других примерах пользователи поручают задачи во время прогулки или готовки, а Muse выполняет их, пока продолжается разговор.
Пользователи могут общаться только голосом, разместить аватар рядом с окном разговора или переключиться в полноэкранный режим общения лицом к лицу. Аватар реагирует во время прослушивания и речи, используя соответствующие тону выражения лица и жесты. По словам Meta, на выбор предлагаются сотни голосов, и выбранный голос можно сменить. В качестве примеров Meta приводит энергичную манеру жителя Нью-Йорка и пиратскую манеру речи.
Голосовые возможности дополняют агента, изначально созданного для обмена сообщениями и выполнения поручений. Meta представила Muse 8 сентября 2026 года; взаимодействовать с ним можно было через приложение Muse или WhatsApp. Muse мог отправлять электронные письма и бронировать поездки, продолжать работу после закрытия приложения и возвращаться к пользователю, если что-то менялось или перед выполнением важного действия, например покупки, требовалось одобрение. Новые возможности добавляют голосовое общение и визуальное присутствие к уже существующей модели выполнения задач и получения одобрения.
Как устроен аватар, работающий в реальном времени
В техническом описании от Meta AI Research Muse Realtime Voice и Muse Realtime Avatar представлены как единая потоковая система. Голосовая модель генерирует речевые токены, содержащие как сам текст, так и указания на то, как его произнести. Аудиодекодер преобразует эти токены в речь, а модель аватара использует тот же поток для создания визуального образа, синхронизируя голос, движения губ и выражение лица.
Аватар создаётся с помощью аудиоуправляемого трансформера диффузионной модели, которому задаются этот поток токенов, эталонные материалы — например, портрет или иллюстрация — и скользящее окно недавних латентных представлений видео. Модель генерирует короткие видеосегменты с учётом временной последовательности. По завершении каждого сегмента новейшие сгенерированные латентные представления задают контекст движения для следующего, помогая сохранять внешний вид и манеру поведения аватара и ограничивая вычислительные затраты, чтобы генерация могла продолжаться на протяжении всего разговора.
По данным Meta, чтобы сделать этот процесс пригодным для работы в реальном времени, дистилляция позволила сократить число направляемых вычислений модели-учителя на каждый сегмент со 120 до двух ненаправляемых вычислений модели-ученика. Компания описывает это как сокращение в 60 раз при близком к качеству модели-учителя результате.
Исследовательская команда сообщает, что система генерирует вертикальное видео разрешением 448 на 768 пикселей с частотой 25 кадров в секунду. Задержка от окончания реплики пользователя до первого байта синхронизированного голосового и видеоответа составляет около 870 миллисекунд. Благодаря оптимизации пропускная способность обслуживания увеличивается в восемь раз относительно двухэтапной базовой конфигурации BF16; система поддерживает 12 одновременных сеансов генерации видео в реальном времени на одном GB200. Показатель задержки характеризует скорость отклика в разговоре, а показатели пропускной способности — нагрузку на обслуживание, создаваемую непрерывной генерацией видео.
Защитные меры и устройства, запланированные к выпуску
В исследовательской публикации говорится, что на сгенерированное видео с аватарами наносится долговечный невидимый водяной знак Meta Video Seal, не увеличивающий задержку в реальном времени. Также отмечается, что примеры демонстрируют возможности модели и не все показывают аватары, доступные в приложении Muse. Пользоваться Muse могут люди в возрасте от 18 лет.
По словам Meta, вскоре голосовые разговоры появятся также в AI Glasses и Muse Charm. На Connect компания описала использование очков как полностью свободное от рук, а Charm — как компактное карманное устройство для голосового общения и взаимодействия с Muse.
Главное изменение, которое приносит этот запуск, — объединение голосового общения, возможности перебивать агента и выполнения задач в фоновом режиме в одном сеансе; аватар дополняет его визуальной реакцией. Следующий открытый вопрос — сможет ли Meta перенести это сочетание возможностей на AI Glasses и Muse Charm. Пока эти версии остаются в планах, а запуск приложения в США продолжается на мобильных устройствах, в веб-версии и на Mac.
