Meta、Museにリアルタイム音声と表情豊かなアバターを導入

2026年11月5日、Metaは発表した。リアルタイム音声での会話と表情豊かなアバターが、米国のMuseアプリでモバイル、ウェブ、Mac向けに提供される。これにより、同社のパーソナルAIエージェントに、音声と映像を使ったインターフェースが加わる。

今回の提供開始に先立ち、Metaは2026年9月23日のConnect 2026での先行披露で、長時間のリアルタイム会話とMuse Realtime Avatarを紹介していた。以前のイベントではコンセプトが実演され、今回の発表はそれらのユーザーへの提供開始を告げるものだ。画面右上の電話アイコンをタップすると会話が始まる。

音声操作と継続中のタスク

Muse Realtime Voiceは即座に音声で応答し、ユーザーはエージェントの発話を途中で遮ることができる。会話を続けながら、エージェントにバックグラウンドでタスクを進めさせることもできるため、話し合いと委任した作業を並行して進められる。

紹介されている活用例には、未完成のアイデアを、まず厳密なプロンプトにまとめることなく具体化すること、行き先といくつかの希望を伝えて旅行を計画すること、就職面接やプレゼンテーション、売り込みの練習をすることがある。そのほか、歩いているときや料理をしているときにタスクを任せ、会話を続ける間にMuseに作業を進めてもらう例も挙げられている。

ユーザーは音声のみでやり取りすることも、会話画面の横にアバターを表示することも、画面いっぱいに広がる対面表示に切り替えることもできる。アバターは聞いているときも話しているときも反応し、会話の雰囲気に合った表情やジェスチャーを見せる。Metaによると、選べる音声は数百種類あり、後から変更することもできる。例として、活気のあるニューヨーカー風と海賊風の音声が紹介されている。

音声機能により、もともとメッセージのやり取りと作業の委任を中心に設計されていたエージェントの機能が拡張される。Metaは2026年9月8日にMuseを発表した。MuseとはMuseアプリまたはWhatsAppを通じてやり取りできる。Museはメールの送信や旅行の予約を行い、アプリを閉じた後も作業を続け、状況が変わったときや、購入などの慎重を要する操作の前に承認が必要になったときにユーザーに戻って知らせることができた。新機能は、こうしたタスク実行と承認を軸にした仕組みに、音声と視覚的な存在感を加える。

リアルタイムアバターを支えるシステム

Meta AI Researchによる技術解説では、Muse Realtime VoiceとMuse Realtime Avatarが、ひとつのストリーミングシステムとして説明されている。音声モデルは、発話内容とその伝え方の両方を含む音声トークンを生成する。音声デコーダーがそのトークンを音声に変換する一方、アバターモデルは同じストリームを使って視覚的な演技を生成し、声、唇の動き、表情を同期させる。

アバターには音声駆動型のDiffusion Transformerが使われており、トークンストリーム、肖像画やイラストなどの参照メディア、直近の動画潜在表現を蓄積するローリングウィンドウを条件として動作する。動画は、短い因果的なチャンク単位で生成される。各チャンクが完成すると、直近に生成された潜在表現が次のチャンクの動きの文脈として使われる。これにより、外見や身振りを引き継ぎながら計算量を抑え、会話中ずっと生成を続けられる。

Metaによると、この処理をリアルタイムで実用化するため、蒸留によって、チャンクごとに必要なガイダンス付き教師モデルの評価回数を120回から、ガイダンスなしの生徒モデルの評価2回へと削減した。Metaは、教師モデルの品質をほぼ維持しながら、評価回数を60分の1にしたと説明している。

研究チームによると、出力は縦向きの448×768ピクセルの動画で、フレームレートは毎秒25フレーム。ユーザーの発話が終わってから、音声と映像が同期した応答の最初のバイトが届くまでの遅延は約870ミリ秒だ。また、最適化により、2段階のBF16ベースラインと比べてサービング容量が8倍に向上し、1台のGB200でリアルタイム動画生成セッションを同時に12件処理できる。遅延の測定値は会話の応答性に関するものであり、容量の数値は動画を継続的に生成することで生じるサービング負荷に関するものだ。

安全対策と今後対応予定のデバイス

研究に関する投稿によると、生成されたアバター動画には、リアルタイムの遅延を増やすことなく、耐久性のある不可視のMeta Video Sealウォーターマークが付与される。また、紹介されている例はモデルの能力を示すものであり、すべてのアバターがMuseアプリで利用できるわけではないとも注意を促している。Museの対象年齢は18歳以上だ。

Metaによると、音声での会話はAI GlassesとMuse Charmにも近日中に導入される。Connectでは、メガネからハンズフリーで利用できること、CharmがMuseとの会話や操作を目的としたポケットサイズのデバイスであることを説明していた。

今回の提供開始で中心となるのは、操作方法の変化だ。音声での会話、割り込み、バックグラウンドでのタスク実行がひとつのセッションに収まり、アバターが視覚的な反応を加える。Metaがこの組み合わせをAI GlassesとMuse Charmにも展開できるかどうかは、今後の焦点となる。これらのデバイスへの対応はまだ予定段階であり、その一方で米国ではモバイル、ウェブ、Mac向けのアプリ提供が進んでいる。