Meta đưa giọng nói thời gian thực và ảnh đại diện biểu cảm lên Muse

Meta thông báo vào ngày 5 tháng 11 năm 2026 rằng các cuộc trò chuyện bằng giọng nói thời gian thực và ảnh đại diện biểu cảm đang được triển khai trên ứng dụng Muse tại Mỹ, trên thiết bị di động, web và Mac, bổ sung giao diện bằng giọng nói và hình ảnh cho tác nhân AI cá nhân của hãng.

Đợt phát hành này tiếp nối bản xem trước tại Connect 2026 của Meta vào ngày 23 tháng 9 năm 2026, nơi hãng giới thiệu các cuộc trò chuyện thời gian thực kéo dài và Muse Realtime Avatar. Sự kiện trước đó trình diễn các ý tưởng này; thông báo mới đánh dấu việc triển khai chúng đến người dùng. Nhấn vào biểu tượng điện thoại ở góc trên bên phải để bắt đầu trò chuyện.

Điều khiển bằng giọng nói và tác vụ chạy liên tục

Muse Realtime Voice đưa ra câu trả lời bằng giọng nói ngay lập tức và cho phép người dùng ngắt lời tác nhân. Tác nhân có thể tiếp tục xử lý các tác vụ ở chế độ nền trong khi cuộc trò chuyện vẫn diễn ra, nhờ đó cuộc trao đổi và công việc được giao có thể tiến hành song song.

Các ví dụ tập trung vào việc phát triển một ý tưởng còn sơ khai mà không cần soạn câu lệnh chính xác trước, lên kế hoạch cho chuyến đi dựa trên điểm đến cùng một vài sở thích, và luyện tập phỏng vấn xin việc, thuyết trình hoặc trình bày ý tưởng. Những ví dụ khác gồm giao việc khi đang đi bộ hoặc nấu ăn, để Muse xử lý công việc trong lúc cuộc trò chuyện tiếp diễn.

Người dùng có thể chỉ trò chuyện bằng giọng nói, đặt ảnh đại diện bên cạnh cuộc trò chuyện hoặc chuyển sang chế độ toàn màn hình để đối thoại trực diện. Ảnh đại diện phản ứng khi lắng nghe và nói, sử dụng biểu cảm cùng cử chỉ phù hợp với sắc thái cuộc trò chuyện. Meta cho biết có hàng trăm giọng nói để lựa chọn và người dùng có thể đổi giọng bất cứ lúc nào. Hãng minh họa các lựa chọn bằng phong cách sôi nổi của người New York và phong cách cướp biển.

Giọng nói mở rộng khả năng của một tác nhân vốn được xây dựng xoay quanh nhắn tin và thực hiện các việc được giao. Meta giới thiệu Muse vào ngày 8 tháng 9 năm 2026, cho phép tương tác qua ứng dụng Muse hoặc WhatsApp. Muse có thể gửi email và đặt chuyến đi, tiếp tục làm việc sau khi ứng dụng đóng, rồi quay lại khi có thay đổi hoặc khi cần được phê duyệt trước một hành động nhạy cảm như mua hàng. Các tính năng mới bổ sung khả năng giao tiếp bằng giọng nói và sự hiện diện trực quan vào mô hình xử lý tác vụ và xin phê duyệt đã có.

Hệ thống đứng sau ảnh đại diện thời gian thực

Một bài viết kỹ thuật của Meta AI Research mô tả Muse Realtime Voice và Muse Realtime Avatar là một hệ thống truyền phát duy nhất. Mô hình giọng nói tạo ra các token lời nói chứa cả nội dung lẫn cách thể hiện. Bộ giải mã âm thanh chuyển các token đó thành lời nói, trong khi mô hình ảnh đại diện tiếp nhận cùng luồng dữ liệu để tạo phần thể hiện bằng hình ảnh, giữ cho giọng nói, chuyển động môi và biểu cảm đồng bộ với nhau.

Ảnh đại diện là một Transformer khuếch tán được điều khiển bằng âm thanh, với điều kiện đầu vào gồm luồng token đó, phương tiện tham chiếu như ảnh chân dung hoặc hình minh họa, và một cửa sổ trượt chứa các latent video gần đây. Mô hình tạo ra các đoạn video ngắn theo cơ chế nhân quả. Khi mỗi đoạn hoàn tất, các latent mới nhất được tạo ra sẽ cung cấp ngữ cảnh chuyển động cho đoạn tiếp theo, duy trì diện mạo và phong thái qua từng đoạn, đồng thời giới hạn lượng tính toán để quá trình tạo video có thể tiếp tục trong suốt cuộc trò chuyện.

Nhóm nghiên cứu cho biết kỹ thuật chưng cất đã giảm số lượt đánh giá có hướng dẫn của mô hình giáo viên từ 120 xuống còn hai lượt đánh giá không hướng dẫn của mô hình học sinh cho mỗi đoạn, giúp quy trình này có thể vận hành trong thời gian thực. Nhóm mô tả mức giảm này là 60 lần, đồng thời vẫn bảo toàn gần như trọn vẹn chất lượng của mô hình giáo viên.

Nhóm nghiên cứu báo cáo hệ thống tạo video chân dung có độ phân giải 448 × 768 ở tốc độ 25 khung hình/giây, với độ trễ khoảng 870 mili giây tính từ khi người dùng kết thúc lượt nói đến khi byte đầu tiên của phản hồi giọng nói và video đồng bộ được tạo ra. Các tối ưu hóa giúp năng lực phục vụ tăng gấp tám lần so với cấu hình BF16 cơ sở gồm hai bước, đồng thời hỗ trợ 12 phiên tạo video thời gian thực diễn ra đồng thời trên một GB200. Phép đo độ trễ phản ánh khả năng phản hồi trong hội thoại, còn các số liệu về năng lực phục vụ liên quan đến tải phát sinh từ việc tạo video liên tục.

Biện pháp bảo vệ và thiết bị dự kiến

Bài viết nghiên cứu cho biết video ảnh đại diện được tạo ra có hình mờ Meta Video Seal vô hình, bền vững mà không làm tăng độ trễ thời gian thực. Bài viết cũng lưu ý rằng các ví dụ minh họa khả năng của mô hình, nhưng không phải tất cả ảnh đại diện trong đó đều có trên ứng dụng Muse. Muse dành cho người dùng từ 18 tuổi trở lên.

Meta cho biết tính năng trò chuyện bằng giọng nói cũng sẽ sớm có trên AI Glasses và Muse Charm. Tại Connect, hãng mô tả việc sử dụng kính là không cần dùng tay, còn Charm là thiết bị cỡ bỏ túi được thiết kế để người dùng trò chuyện và tương tác với Muse.

Điểm phát triển cốt lõi của đợt ra mắt này là mô hình tương tác: lời nói, khả năng ngắt lời và việc thực hiện tác vụ trong nền giờ đây cùng nằm trong một phiên, còn ảnh đại diện bổ sung phản hồi trực quan. Câu hỏi còn bỏ ngỏ tiếp theo là liệu Meta có thể đưa sự kết hợp này lên AI Glasses và Muse Charm hay không; các phiên bản đó vẫn đang được lên kế hoạch trong khi ứng dụng tiếp tục được triển khai tại Mỹ trên thiết bị di động, web và Mac.