Meta Menghadirkan Suara Real-Time dan Avatar Ekspresif di Muse

Meta mengumumkan pada 5 November 2026 bahwa percakapan suara real-time dan avatar ekspresif mulai tersedia di aplikasi Muse di AS, di perangkat seluler, web, dan Mac, menghadirkan antarmuka lisan dan visual bagi agen AI pribadinya.

Peluncuran ini menyusul pratinjau Connect 2026 dari Meta pada 23 September 2026, yang mencakup percakapan real-time berdurasi panjang dan Muse Realtime Avatar. Acara sebelumnya memperagakan konsep-konsep tersebut; pengumuman baru ini menandai peluncurannya kepada pengguna. Ikon telepon di sudut kanan atas memulai percakapan.

Kontrol Suara dan Tugas yang Berjalan di Latar Belakang

Muse Realtime Voice memberikan respons lisan secara langsung dan memungkinkan pengguna menyela agen. Agen dapat terus mengerjakan tugas di latar belakang saat percakapan berlangsung, sehingga diskusi dan pekerjaan yang didelegasikan dapat berjalan bersamaan.

Contoh penggunaannya berfokus pada mengembangkan gagasan yang belum matang tanpa terlebih dahulu menyusun perintah yang presisi, merencanakan perjalanan berdasarkan tujuan dan beberapa preferensi, serta berlatih untuk wawancara kerja, presentasi, atau promosi. Contoh lainnya mencakup pemberian tugas sambil berjalan atau memasak, sementara Muse menangani pekerjaan tersebut selama percakapan berlangsung.

Pengguna dapat memilih untuk berinteraksi hanya dengan suara, menampilkan avatar di samping percakapan, atau beralih ke tampilan layar penuh yang terasa seperti bertatap muka. Avatar bereaksi saat mendengarkan dan berbicara, dengan ekspresi dan gestur yang sesuai dengan suasana. Meta mengatakan ada ratusan suara yang dapat dipilih, dan pilihan tersebut dapat diubah. Meta menggambarkan pilihan itu dengan gaya bicara warga New York yang bersemangat dan gaya bajak laut.

Fitur suara memperluas kemampuan agen yang awalnya dirancang untuk berkirim pesan dan menjalankan tindakan yang didelegasikan. Meta memperkenalkan Muse pada 8 September 2026, dengan interaksi melalui aplikasi Muse atau WhatsApp. Muse dapat mengirim email dan memesan perjalanan, terus bekerja setelah aplikasi ditutup, serta kembali saat ada perubahan atau ketika persetujuan diperlukan sebelum melakukan tindakan sensitif seperti pembelian. Fitur baru ini menambahkan kemampuan berbicara dan kehadiran visual pada model kerja berbasis tugas dan persetujuan tersebut.

Sistem di Balik Avatar Real-Time

Sebuah uraian teknis dari Meta AI Research menjelaskan Muse Realtime Voice dan Muse Realtime Avatar sebagai satu sistem streaming. Model suara menghasilkan token ucapan yang memuat isi sekaligus cara penyampaiannya. Dekoder audio mengubah token tersebut menjadi ucapan, sementara model avatar menggunakan aliran yang sama untuk menghasilkan penampilan visual, sehingga suara, gerakan bibir, dan ekspresi tetap selaras.

Avatar ini adalah Diffusion Transformer yang digerakkan oleh audio, dengan kondisi yang ditentukan oleh aliran token tersebut, media referensi seperti potret atau ilustrasi, dan jendela bergulir berisi representasi laten video terbaru. Model ini menghasilkan potongan-potongan video kausal yang pendek. Setelah setiap potongan selesai, representasi laten terbaru yang dihasilkan menjadi konteks gerakan untuk potongan berikutnya, mempertahankan tampilan dan gestur dari satu potongan ke potongan selanjutnya sekaligus membatasi komputasi agar pembuatan video dapat berlanjut sepanjang percakapan.

Tim peneliti melaporkan bahwa distilasi mengurangi jumlah evaluasi model guru berpanduan untuk setiap potongan dari 120 menjadi dua evaluasi model siswa tanpa panduan. Mereka menyebutnya sebagai pengurangan 60 kali lipat, dengan tetap mempertahankan kualitas model guru secara saksama.

Tim peneliti melaporkan bahwa sistem menghasilkan video potret berukuran 448 x 768 pada 25 bingkai per detik, dengan latensi sekitar 870 milidetik dari akhir giliran pengguna hingga byte pertama respons suara dan video yang tersinkronisasi. Optimalisasi mereka meningkatkan kapasitas layanan delapan kali lipat dibandingkan baseline BF16 dua tahap dan mendukung 12 sesi pembuatan video real-time secara bersamaan pada satu GB200. Pengukuran latensi berkaitan dengan kecepatan respons dalam percakapan, sedangkan angka kapasitas menunjukkan beban layanan yang ditimbulkan oleh pembuatan video berkelanjutan.

Perlindungan dan Perangkat yang Direncanakan

Unggahan penelitian tersebut menyebutkan bahwa video avatar yang dihasilkan memuat tanda air Meta Video Seal yang tahan lama dan tidak terlihat, tanpa menambah latensi real-time. Unggahan itu juga mengingatkan bahwa contoh-contohnya menunjukkan kemampuan model dan tidak semuanya mencerminkan avatar yang tersedia di aplikasi Muse. Muse ditujukan bagi pengguna berusia 18 tahun ke atas.

Meta mengatakan bahwa percakapan suara juga akan segera hadir di AI Glasses dan Muse Charm. Di Connect, Meta menjelaskan bahwa akses melalui kacamata dapat digunakan tanpa tangan, sementara Charm adalah perangkat seukuran saku yang dirancang untuk berbicara dan berinteraksi dengan Muse.

Peluncuran ini menjadikan model interaksi sebagai perkembangan utama: kemampuan berbicara, menyela, dan menjalankan tugas di latar belakang kini tersedia dalam satu sesi, dengan avatar yang menambahkan respons visual. Pertanyaan berikutnya adalah apakah Meta dapat menghadirkan kombinasi tersebut di AI Glasses dan Muse Charm; versi-versi itu masih direncanakan sementara peluncuran aplikasi di AS berlanjut di perangkat seluler, web, dan Mac.