Meta, Muse에 실시간 음성 기능과 풍부한 표현을 담은 아바타 도입

Meta는 2026년 11월 5일, 미국에서 모바일, 웹, Mac용 Muse 앱에 실시간 음성 대화와 풍부한 표현을 담은 아바타를 출시한다고 발표했다. 이에 따라 개인 AI 에이전트에 음성과 시각을 활용하는 인터페이스가 추가된다.

이번 출시는 2026년 9월 23일 열린 Meta의 Connect 2026 프리뷰에 이은 것이다. 당시에는 긴 실시간 대화와 Muse Realtime Avatar가 소개됐다. 앞선 행사에서 관련 개념을 시연했다면, 이번 발표는 이를 사용자에게 제공하기 시작한다는 의미다. 오른쪽 상단의 전화 아이콘을 누르면 대화가 시작된다.

음성 제어와 백그라운드 작업

Muse Realtime Voice는 즉각 음성으로 응답하며, 사용자가 에이전트의 말을 중간에 끊을 수도 있다. 대화가 이어지는 동안 에이전트는 백그라운드에서 작업을 계속할 수 있어, 대화와 위임한 작업을 동시에 진행할 수 있다.

예시로는 완성되지 않은 아이디어를 먼저 정확한 프롬프트로 다듬지 않고 발전시키는 일, 목적지와 몇 가지 선호 사항을 바탕으로 여행을 계획하는 일, 면접이나 발표 또는 제안 발표를 연습하는 일이 제시됐다. 또 걷거나 요리하는 동안 작업을 맡기면 대화가 진행되는 동안 Muse가 해당 작업을 처리하는 사례도 포함된다.

사용자는 음성만으로 대화하거나, 아바타를 대화 화면 옆에 표시하거나, 전체 화면으로 마주 보는 화면으로 전환할 수 있다. 아바타는 듣고 말하는 동안 대화의 분위기에 맞는 표정과 몸짓으로 반응한다. Meta에 따르면 선택할 수 있는 음성은 수백 가지이며, 대화 중에도 음성을 바꿀 수 있다. Meta는 활기찬 뉴욕 사람 말투와 해적 말투를 예로 들었다.

음성 기능이 추가되면서 메시지와 작업 위임을 중심으로 설계된 에이전트의 기능이 확장된다. Meta는 2026년 9월 8일 Muse를 선보였으며, Muse 앱이나 WhatsApp을 통해 이용할 수 있도록 했다. Muse는 이메일을 보내고 여행을 예약할 수 있었고, 앱을 닫은 뒤에도 작업을 계속한 다음 상황이 바뀌거나 구매와 같은 민감한 작업 전에 승인이 필요할 때 사용자에게 다시 알릴 수 있었다. 새 기능은 기존의 작업 및 승인 모델에 음성과 시각적 존재감을 더한다.

실시간 아바타를 구현하는 시스템

Meta AI Research의 기술 설명에 따르면 Muse Realtime Voice와 Muse Realtime Avatar는 하나의 스트리밍 시스템으로 작동한다. 음성 모델은 말의 내용과 전달 방식을 모두 담은 음성 토큰을 생성한다. 오디오 디코더는 이 토큰을 음성으로 변환하고, 아바타 모델은 같은 스트림을 받아 시각적 표현을 만들어 음성과 입 모양, 표정이 서로 동기화되도록 한다.

아바타는 오디오를 기반으로 작동하는 Diffusion Transformer로, 해당 토큰 스트림과 초상화나 일러스트 같은 참조 미디어, 그리고 최근 비디오 잠재 표현의 이동 윈도를 조건으로 사용한다. 이 모델은 인과적으로 연결된 짧은 비디오 청크를 생성한다. 각 청크의 생성이 끝나면 가장 최근에 생성된 잠재 표현이 다음 청크의 움직임을 위한 맥락으로 활용된다. 이 방식은 외양과 버릇을 이어가면서도 연산량을 제한해 대화 내내 생성을 지속할 수 있게 한다.

Meta는 이 과정을 실시간으로 사용할 수 있도록 증류 기법을 적용해 청크당 가이드가 적용된 교사 모델 평가 횟수를 120회에서 가이드가 적용되지 않은 학생 모델 평가 2회로 줄였다고 밝혔다. Meta는 교사 모델의 품질을 거의 그대로 유지하면서 평가 횟수를 60분의 1로 줄였다고 설명한다.

연구팀에 따르면 출력 영상은 세로형 448×768 해상도에 초당 25프레임이며, 사용자의 발화가 끝난 시점부터 음성과 영상이 동기화된 응답의 첫 바이트가 도착할 때까지 걸리는 지연 시간은 약 870밀리초다. 최적화를 통해 2단계 BF16 기준 구성과 비교해 처리 용량을 8배 높였으며, GB200 하나에서 실시간 비디오 생성 세션 12개를 동시에 지원한다. 지연 시간은 대화 응답성을 나타내는 반면, 처리 용량 수치는 연속적인 비디오 생성으로 발생하는 서버 부하와 관련된다.

안전장치와 출시 예정 기기

연구 게시물에 따르면 생성된 아바타 영상에는 실시간 지연을 추가하지 않는 내구성 있는 비가시성 Meta Video Seal 워터마크가 포함된다. 또한 게시물은 예시가 모델의 성능을 보여주기 위한 것이며, 모든 아바타를 Muse 앱에서 이용할 수 있는 것은 아니라고 주의를 당부한다. Muse는 만 18세 이상 사용자를 대상으로 한다.

Meta는 AI Glasses와 Muse Charm에도 음성 대화 기능을 곧 선보일 예정이라고 밝혔다. Connect 행사에서 Meta는 안경을 착용하면 손을 쓰지 않고 이용할 수 있으며, Charm은 Muse와 대화하고 상호작용하도록 설계된 주머니 크기의 기기라고 설명했다.

이번 출시에서 핵심적인 변화는 상호작용 방식이다. 이제 하나의 세션에서 음성 대화와 끼어들기, 백그라운드 작업 실행을 함께 이용할 수 있으며, 아바타가 시각적인 반응을 더한다. Meta가 이 조합을 AI Glasses와 Muse Charm에도 적용할 수 있을지는 아직 지켜봐야 한다. 미국에서는 모바일, 웹, Mac을 대상으로 앱 출시가 진행 중이지만, 해당 기기용 버전은 여전히 출시 예정 상태다.