Meta 为 Muse 带来实时语音和富有表现力的虚拟形象

Meta 于 2026 年 11 月 5 日宣布，实时语音对话和富有表现力的虚拟形象正陆续登陆美国的 Muse 应用，覆盖移动设备、网页和 Mac，为其个人 AI 智能体增添语音和视觉交互界面。

此次发布紧随 Meta 于 2026 年 9 月 23 日举行的 Connect 2026 预览活动，当时展示了长时间实时对话和 Muse Realtime Avatar。此前的活动展示了这些概念；此次新公告则标志着相关功能开始向用户推出。点击右上角的电话图标即可开始对话。

语音控制与持续执行的任务

Muse Realtime Voice 能即时提供语音回复，并允许用户打断智能体。对话进行期间，智能体可以在后台继续处理任务，让讨论和委托的工作同步推进。

示例包括：围绕一个尚未成形的想法继续探索，无须先拟定精确的提示词；根据目的地和少量偏好规划行程；以及排练求职面试、演讲或推介。其他示例还包括在散步或做饭时分派任务，由 Muse 在对话继续进行的同时处理工作。

用户可以选择纯语音交互、让虚拟形象显示在对话旁边，或切换到全屏面对面视图。虚拟形象会在聆听和说话时作出反应，并根据语气展现相应的表情和手势。Meta 表示，用户可以从数百种声音中选择，也可以更换所选声音。Meta 举例展示了充满活力的纽约客风格和海盗风格。

语音功能扩展了这一智能体的能力；它最初围绕消息交流和任务委托而构建。Meta 于 2026 年 9 月 8 日推出了 Muse，用户可以通过 Muse 应用或 WhatsApp 与之互动。Muse 能够发送电子邮件、预订旅行，并在应用关闭后继续工作；如果情况发生变化，或在执行购买等敏感操作前需要获得批准，它还会再次联系用户。这些新功能在既有的任务处理与审批模式中加入了语音和视觉呈现。

实时虚拟形象背后的系统

Meta AI Research 的技术说明将 Muse Realtime Voice 和 Muse Realtime Avatar 描述为一个流式系统。语音模型会生成语音 token，其中既包含说话内容，也包含表达方式。音频解码器将这些 token 转换为语音，而虚拟形象模型则使用同一数据流生成视觉表演，使声音、唇部动作和表情保持同步。

这个虚拟形象采用由音频驱动的 Diffusion Transformer，并以该 token 数据流、肖像或插画等参考媒体，以及近期视频潜变量的滚动窗口作为条件。它会生成短小的因果视频片段。每个片段生成完毕后，最新生成的潜变量会为下一个片段提供动作上下文，在延续形象外观和举止的同时限制计算量，使生成过程能够在整个对话期间持续进行。

Meta 表示，为了让这一过程能够实时运行，蒸馏技术将每个片段的生成过程从教师模型的 120 次有引导评估减少到学生模型的 2 次无引导评估。Meta 将此称为减少了 60 倍，同时表示生成质量仍与教师模型的质量非常接近。

研究团队报告称，系统能够以每秒 25 帧的速度输出 448×768 的竖屏视频；从用户轮次结束到同步语音与视频回复的第一个字节到达，延迟约为 870 毫秒。相较于两步 BF16 基准方案，这些优化将服务能力提升了 8 倍，并支持在一台 GB200 上并发运行 12 个实时视频生成会话。延迟指标衡量的是对话响应速度，而服务能力数据反映的是持续生成视频所带来的服务负载。

安全措施与计划推出的设备

研究博客称，生成的虚拟形象视频包含持久且不可见的 Meta Video Seal 水印，且不会增加实时延迟。博客还提醒，示例旨在展示模型的能力，并非所有示例都对应 Muse 应用中可用的虚拟形象。Muse 仅面向年满 18 岁的用户。

Meta 表示，AI Glasses 和 Muse Charm 也将于近期支持语音对话。在 Connect 活动上，Meta 将眼镜描述为可免提使用，并将 Charm 描述为一款口袋大小、专为与 Muse 交谈和互动而设计的设备。

此次发布凸显了交互模式的核心进展：语音、打断功能和后台任务执行如今整合在同一个会话中，虚拟形象则增添了视觉回应。Meta 能否将这些功能组合扩展到 AI Glasses 和 Muse Charm，是下一个尚待解答的问题；在美国应用逐步登陆移动设备、网页和 Mac 的同时，这些设备版本仍处于计划阶段。