Meta ने Muse में रियल-टाइम वॉइस और भावपूर्ण अवतार जोड़े

Meta ने 5 नवंबर, 2026 को घोषणा की कि अमेरिका में मोबाइल, वेब और Mac पर Muse ऐप में रियल-टाइम वॉइस बातचीत और भावपूर्ण अवतार उपलब्ध कराए जा रहे हैं। इससे उसके निजी AI एजेंट में बोलकर और दृश्य रूप से संवाद करने की सुविधा जुड़ती है।

यह रिलीज़ 23 सितंबर, 2026 को हुए Meta के Connect 2026 पूर्वावलोकन के बाद आई है, जिसमें लंबी रियल-टाइम बातचीत और Muse Realtime Avatar शामिल थे। उस पहले के आयोजन में इन अवधारणाओं का प्रदर्शन किया गया था; नई घोषणा से इनके उपयोगकर्ताओं के लिए उपलब्ध होने की शुरुआत होती है। बातचीत शुरू करने के लिए ऊपर दाएँ कोने में मौजूद फ़ोन आइकन पर टैप करें।

वॉइस नियंत्रण और जारी रहने वाले कार्य

Muse Realtime Voice तुरंत बोलकर जवाब देता है और उपयोगकर्ताओं को एजेंट की बात बीच में रोकने की सुविधा देता है। बातचीत जारी रहने के दौरान एजेंट पृष्ठभूमि में कार्य करता रह सकता है, जिससे चर्चा और उसे सौंपा गया काम साथ-साथ आगे बढ़ते हैं।

दिए गए उदाहरणों में किसी अधूरे विचार को बिना पहले सटीक प्रॉम्प्ट तैयार किए विकसित करना, किसी गंतव्य और कुछ पसंदों के आधार पर यात्रा की योजना बनाना, और नौकरी के साक्षात्कार, प्रस्तुति या पिच का अभ्यास करना शामिल है। अन्य उदाहरणों में चलते या खाना बनाते समय काम सौंपना शामिल है; बातचीत आगे बढ़ने के साथ Muse उन कामों को संभालता है।

उपयोगकर्ता बातचीत केवल वॉइस के ज़रिए कर सकते हैं, अवतार को बातचीत के बगल में रख सकते हैं या पूरी स्क्रीन पर आमने-सामने देखने के दृश्य पर जा सकते हैं। अवतार सुनते और बोलते समय प्रतिक्रिया देता है और बातचीत के भाव के अनुरूप हाव-भाव तथा चेहरे के भाव दिखाता है। Meta के अनुसार, चुनने के लिए सैकड़ों आवाज़ें हैं और उपयोगकर्ता अपना चयन बदल सकते हैं। Meta इस चयन के उदाहरण के तौर पर एक ऊर्जावान न्यूयॉर्कवासी शैली और एक समुद्री डाकू शैली दिखाता है।

वॉइस से ऐसे एजेंट की क्षमताएँ बढ़ती हैं, जिसे मूल रूप से संदेशों और सौंपे गए कामों के लिए बनाया गया था। Meta ने 8 सितंबर, 2026 को Muse पेश किया, जिसके साथ उपयोगकर्ता Muse ऐप या WhatsApp के ज़रिए संवाद कर सकते थे। Muse ईमेल भेज सकता था और यात्रा बुक कर सकता था, ऐप बंद होने के बाद भी काम जारी रख सकता था, और कुछ बदलने पर या खरीदारी जैसी संवेदनशील कार्रवाई से पहले मंज़ूरी की ज़रूरत होने पर उपयोगकर्ता के पास वापस आ सकता था। नई सुविधाएँ कार्य और मंज़ूरी पर आधारित इस स्थापित मॉडल में बोलचाल और दृश्य उपस्थिति जोड़ती हैं।

रियल-टाइम अवतार के पीछे की प्रणाली

Meta AI Research के तकनीकी विवरण में Muse Realtime Voice और Muse Realtime Avatar को एक ही स्ट्रीमिंग प्रणाली के रूप में बताया गया है। वॉइस मॉडल ऐसे स्पीच टोकन बनाता है जिनमें कही जाने वाली बात और उसे बोलने का ढंग, दोनों शामिल होते हैं। ऑडियो डिकोडर इन टोकनों को आवाज़ में बदलता है, जबकि अवतार मॉडल उसी स्ट्रीम से दृश्य प्रस्तुति तैयार करता है। इससे आवाज़, होंठों की गति और चेहरे के भावों में तालमेल बना रहता है।

यह अवतार ऑडियो से संचालित Diffusion Transformer है, जिसे टोकन स्ट्रीम, संदर्भ सामग्री—जैसे किसी व्यक्ति का चित्र या इलस्ट्रेशन—और हाल के वीडियो लैटेंट की लगातार अद्यतन होती विंडो के आधार पर तैयार किया जाता है। यह वीडियो के छोटे-छोटे कारणात्मक खंड बनाता है। हर खंड पूरा होने पर उसमें जनित सबसे नए लैटेंट अगले खंड के लिए गति का संदर्भ देते हैं। इससे रूप-रंग और हाव-भाव आगे के खंडों में भी बने रहते हैं, जबकि गणना की सीमा तय रहती है और पूरी बातचीत के दौरान वीडियो बनता रह सकता है।

Meta के अनुसार, इस प्रक्रिया को रियल-टाइम में उपयोगी बनाने के लिए डिस्टिलेशन के ज़रिए हर खंड के लिए आवश्यक शिक्षक मॉडल के निर्देशित मूल्यांकनों की संख्या 120 से घटाकर छात्र मॉडल के बिना निर्देशित दो मूल्यांकन कर दी गई। Meta इसे शिक्षक मॉडल की गुणवत्ता को लगभग बरकरार रखते हुए 60 गुना कमी बताता है।

शोध दल के अनुसार, प्रणाली 25 फ़्रेम प्रति सेकंड की गति से 448-बाई-768 पिक्सल का पोर्ट्रेट वीडियो बनाती है। उपयोगकर्ता की बारी समाप्त होने से लेकर आवाज़ और वीडियो के तालमेल वाले जवाब का पहला बाइट आने तक की विलंबता लगभग 870 मिलीसेकंड है। इसके अनुकूलन, दो-चरणीय BF16 आधाररेखा की तुलना में, सेवा क्षमता को आठ गुना बढ़ाते हैं और एक GB200 पर रियल-टाइम वीडियो बनाने के 12 समवर्ती सत्रों को समर्थन देते हैं। विलंबता का माप बातचीत की जवाबदेही से संबंधित है, जबकि क्षमता के आँकड़े लगातार वीडियो बनाने से पैदा होने वाले सेवा-भार से जुड़े हैं।

सुरक्षा उपाय और नियोजित डिवाइस

शोध पोस्ट के अनुसार, बनाए गए अवतार वीडियो में Meta Video Seal का टिकाऊ, अदृश्य वॉटरमार्क शामिल होता है और इससे रियल-टाइम विलंबता नहीं बढ़ती। पोस्ट यह भी स्पष्ट करती है कि इसके उदाहरण मॉडल की क्षमता दिखाते हैं और उनमें से सभी Muse ऐप में उपलब्ध अवतारों को नहीं दर्शाते। Muse केवल 18 वर्ष और उससे अधिक उम्र के उपयोगकर्ताओं के लिए है।

Meta का कहना है कि AI Glasses और Muse Charm में भी जल्द ही वॉइस बातचीत उपलब्ध होगी। Connect में कंपनी ने बताया था कि चश्मे को बिना हाथों का इस्तेमाल किए चलाया जा सकेगा, जबकि Charm जेब में रखा जा सकने वाला ऐसा डिवाइस है जिसे Muse से बोलकर संवाद करने के लिए बनाया गया है।

इस रिलीज़ का मुख्य विकास संवाद के तरीके में है: अब बोलना, बीच में रोकना और पृष्ठभूमि में काम करना—ये सभी एक ही सत्र में संभव हैं, और अवतार दृश्य प्रतिक्रिया भी देता है। Meta इस मेल को AI Glasses और Muse Charm तक पहुँचा पाएगा या नहीं, यह अगला अनसुलझा सवाल है; अमेरिका में मोबाइल, वेब और Mac पर ऐप का विस्तार जारी रहने के बावजूद, उन डिवाइसों के संस्करण अभी नियोजित हैं।