Meta นำเสียงแบบเรียลไทม์และอวตารที่ถ่ายทอดอารมณ์ได้มาสู่ Muse

Meta ประกาศเมื่อวันที่ 5 พฤศจิกายน 2026 ว่าการสนทนาด้วยเสียงแบบเรียลไทม์และอวตารที่ถ่ายทอดอารมณ์ได้กำลังทยอยเปิดให้ใช้งานในแอป Museในสหรัฐฯ ทั้งบนมือถือ เว็บ และ Mac โดยเพิ่มส่วนติดต่อผู้ใช้แบบภาพและเสียงพูดให้กับเอเจนต์ AI ส่วนบุคคลของบริษัท

การเปิดตัวครั้งนี้เกิดขึ้นหลังจากการเผยตัวอย่างในงาน Connect 2026ของ Meta เมื่อวันที่ 23 กันยายน 2026 ซึ่งมีการสาธิตการสนทนาแบบเรียลไทม์ที่ยาวต่อเนื่องและ Muse Realtime Avatar งานก่อนหน้านั้นแสดงให้เห็นแนวคิดเหล่านี้ ส่วนประกาศครั้งใหม่นี้เป็นการเริ่มทยอยเปิดให้ผู้ใช้ใช้งาน ไอคอนรูปโทรศัพท์ที่มุมขวาบนใช้เริ่มการสนทนา

การควบคุมด้วยเสียงและงานที่ดำเนินต่อเนื่อง

Muse Realtime Voice ตอบกลับด้วยเสียงได้ทันทีและเปิดให้ผู้ใช้พูดแทรกเอเจนต์ได้ เอเจนต์ยังทำงานที่ได้รับมอบหมายต่อในเบื้องหลังได้ขณะที่การสนทนาดำเนินไป ทำให้พูดคุยและมอบหมายงานให้ทำไปพร้อมกันได้

ตัวอย่างการใช้งานมุ่งเน้นไปที่การต่อยอดแนวคิดที่ยังไม่สมบูรณ์โดยไม่ต้องเรียบเรียงพรอมป์ต์ให้แม่นยำก่อน การวางแผนทริปจากจุดหมายปลายทางและความชอบเพียงไม่กี่ข้อ และการซ้อมสัมภาษณ์งาน การนำเสนอ หรือการเสนอขาย ตัวอย่างอื่น ๆ ได้แก่ การมอบหมายงานระหว่างเดินหรือทำอาหาร โดยให้ Muse จัดการงานไปพร้อมกับที่ผู้ใช้สนทนา

ผู้ใช้เลือกสนทนาด้วยเสียงอย่างเดียว วางอวตารไว้ข้างหน้าต่างสนทนา หรือเปลี่ยนเป็นมุมมองเต็มหน้าจอแบบเผชิญหน้าได้ อวตารโต้ตอบทั้งขณะฟังและพูด โดยใช้สีหน้าและท่าทางให้เหมาะกับน้ำเสียง Meta ระบุว่ามีเสียงให้เลือกหลายร้อยแบบ และผู้ใช้เปลี่ยนเสียงที่เลือกได้ บริษัทสาธิตตัวเลือกด้วยสไตล์ชาวนิวยอร์กที่เปี่ยมพลังและสไตล์โจรสลัด

เสียงช่วยต่อยอดเอเจนต์ที่เดิมสร้างขึ้นโดยเน้นการส่งข้อความและการลงมือทำงานตามที่ได้รับมอบหมาย Meta เปิดตัว Museเมื่อวันที่ 8 กันยายน 2026 โดยผู้ใช้โต้ตอบผ่านแอป Muse หรือ WhatsApp ได้ Muse ส่งอีเมลและจองการเดินทางได้ ทำงานต่อได้แม้ปิดแอปไปแล้ว และกลับมาติดต่อผู้ใช้อีกครั้งเมื่อมีการเปลี่ยนแปลงหรือเมื่อต้องขออนุมัติก่อนดำเนินการที่ละเอียดอ่อน เช่น การซื้อ ฟีเจอร์ใหม่เพิ่มทั้งเสียงพูดและการแสดงตัวตนผ่านภาพให้กับรูปแบบการทำงานที่อาศัยการมอบหมายงานและการขออนุมัติซึ่งมีอยู่เดิม

ระบบเบื้องหลังอวตารแบบเรียลไทม์

รายงานทางเทคนิคจาก Meta AI Researchอธิบายว่า Muse Realtime Voice และ Muse Realtime Avatar ทำงานเป็นระบบสตรีมมิงเดียวกัน โมเดลเสียงสร้างโทเค็นคำพูดที่บรรจุทั้งเนื้อหาและวิธีถ่ายทอด จากนั้นตัวถอดรหัสเสียงจะแปลงโทเค็นเหล่านั้นเป็นเสียงพูด ส่วนโมเดลอวตารจะใช้สตรีมเดียวกันเพื่อสร้างการแสดงออกทางภาพ ทำให้เสียง การขยับริมฝีปาก และสีหน้าเป็นจังหวะสอดคล้องกัน

อวตารเป็น Diffusion Transformer ที่ขับเคลื่อนด้วยเสียง โดยมีเงื่อนไขจากสตรีมโทเค็นนั้น สื่ออ้างอิง เช่น ภาพถ่ายบุคคลหรือภาพวาด และหน้าต่างเลื่อนของค่าแฝงวิดีโอช่วงล่าสุด ระบบสร้างวิดีโอเป็นช่วงสั้น ๆ แบบเชิงเหตุเป็นผล เมื่อสร้างแต่ละช่วงเสร็จ ค่าแฝงที่สร้างขึ้นล่าสุดจะเป็นบริบทด้านการเคลื่อนไหวสำหรับช่วงถัดไป ช่วยคงรูปลักษณ์และกิริยาท่าทางให้ต่อเนื่อง พร้อมจำกัดปริมาณการคำนวณเพื่อให้สร้างวิดีโอต่อไปได้ตลอดการสนทนา

ทีม Meta ระบุว่าการกลั่นโมเดลช่วยลดจำนวนครั้งที่ต้องประเมินผลจากโมเดลครูที่มีการชี้นำ จาก 120 ครั้งต่อช่วง เหลือการประเมินผลจากโมเดลนักเรียนที่ไม่มีการชี้นำ 2 ครั้ง เพื่อให้กระบวนการนี้ใช้งานได้แบบเรียลไทม์ บริษัทระบุว่าการลดลงนี้คิดเป็น 60 เท่า โดยยังคงรักษาคุณภาพให้ใกล้เคียงกับโมเดลครู

ทีมวิจัยรายงานว่าสามารถสร้างวิดีโอแนวตั้งความละเอียด 448 × 768 ที่ 25 เฟรมต่อวินาที โดยมีเวลาแฝงประมาณ 870 มิลลิวินาที ตั้งแต่ผู้ใช้พูดจบจนถึงไบต์แรกของการตอบกลับที่ซิงก์เสียงและภาพเข้าด้วยกัน การปรับแต่งของทีมเพิ่มขีดความสามารถในการให้บริการเป็น 8 เท่าเมื่อเทียบกับค่าพื้นฐาน BF16 แบบสองขั้นตอน และรองรับเซสชันสร้างวิดีโอแบบเรียลไทม์พร้อมกัน 12 เซสชันบน GB200 หนึ่งเครื่อง การวัดเวลาแฝงนี้เกี่ยวข้องกับความรวดเร็วในการโต้ตอบของบทสนทนา ส่วนตัวเลขขีดความสามารถสะท้อนภาระการให้บริการที่เกิดจากการสร้างวิดีโอต่อเนื่อง

มาตรการป้องกันและอุปกรณ์ที่วางแผนไว้

โพสต์วิจัยระบุว่าวิดีโออวตารที่สร้างขึ้นมีลายน้ำ Meta Video Seal ซึ่งมองไม่เห็นและคงทน โดยไม่เพิ่มเวลาแฝงแบบเรียลไทม์ นอกจากนี้ยังเตือนว่าตัวอย่างต่าง ๆ แสดงให้เห็นความสามารถของโมเดล และไม่ได้หมายความว่าอวตารทั้งหมดในตัวอย่างจะมีให้ใช้งานในแอป Muse ผู้ใช้ Muse ต้องมีอายุ 18 ปีขึ้นไป

Meta ระบุว่าการสนทนาด้วยเสียงจะพร้อมใช้งานบน AI Glasses และMuse Charmในเร็ว ๆ นี้ด้วย ในงาน Connect บริษัทอธิบายว่าการใช้งานผ่านแว่นตาเป็นแบบไม่ต้องใช้มือ ส่วน Charm เป็นอุปกรณ์ขนาดพกพาที่ออกแบบมาเพื่อพูดคุยและโต้ตอบกับ Muse

การเปิดตัวครั้งนี้ทำให้รูปแบบการโต้ตอบกลายเป็นพัฒนาการสำคัญ โดยขณะนี้ผู้ใช้สามารถพูด แทรกบทสนทนา และให้ระบบทำงานเบื้องหลังได้ภายในเซสชันเดียว พร้อมมีอวตารช่วยตอบสนองด้วยภาพ คำถามที่ยังไม่มีคำตอบคือ Meta จะนำความสามารถที่ผสานกันนี้ไปใช้กับ AI Glasses และ Muse Charm ได้หรือไม่ โดยอุปกรณ์ทั้งสองรุ่นยังอยู่ในแผน ขณะที่การทยอยเปิดให้ใช้งานแอปในสหรัฐฯ บนมือถือ เว็บ และ Mac กำลังดำเนินต่อไป